python+selenium+PhantomJS抓取网页数据时,数据保存为csv,有的网页数据没问题,有的成为乱码,求解?
问题
抓取IT之家评论时,将评论数据以csv格式保存,每条新闻的评论保存为一个csv文件,前13条新闻全部没问题,中文正常显示,但是后面的每条新闻的评论数据却变成了乱码。在运行的时候我查看保存的文件发现在数据开始写入csv文件时(未写完),显示正常,但是第二次点开文件时却发现变成了乱码。
图
开始写入时
数据保存完毕后
之后的数据都无法正常保存了。这到底是怎么回事?
回答:
试一下这样行不行
import codecswith codecs.open(fname, 'w', 'utf-8') as fp
还有一个可能是你抓到数据的encoding被系统认为是iso-8859-1
如果是的话,改成utf-8就可以了
以上是 python+selenium+PhantomJS抓取网页数据时,数据保存为csv,有的网页数据没问题,有的成为乱码,求解? 的全部内容, 来源链接: utcz.com/a/157409.html