Python学习笔记之爬取网页保存到本地文件

  • Z时代
  • 2024-01-10
  • 分类：综合

python

 爬虫的操作步骤：

 

爬虫三步走

  • 爬虫第一步：使用requests获得数据： （request库需要提前安装，通过pip方式，参考之前的博文）

    1.导入requests

    2.使用requests.get获取网页源码

  • python;gutter:true;">import requests
    r = requests.get(\'https://book.douban.com/subject/1084336/comments/\').text

    　　

    　　

  • 爬虫第二步：使用BeautifulSoup4解析数据： （BeautifulSoup4库需要提前安装，通过pip方式，参考之前的博文）

    1.导入bs4

    2.解析网页数据

    3.寻找数据

    4.for循环打印

from bs4 import BeautifulSoup
soup = BeautifulSoup(r,\'lxml\')
pattern = soup.find_all(\'p\',\'comment-content\')
for item in pattern:
print(item.string)

　　

  • 爬虫第三步：使用pandas保存数据： （pandas库需要提前安装，通过pip方式，参考之前的博文）

    1.导入pandas

    2.新建list对象

    3.使用to_csv写入

import pandas
comments = []
for item in pattern:
comments.append(item.string)
df = pandas.DataFrame(comments)
df.to_csv(\'comments.csv\')

　　 

完整的爬虫(值得注意的是关于BeautifulSoup和pandas两个包，都需要事先在电脑上安装，可以使用pip命令方式安装，具体方法可查看之前的博文命令 pip install beautifulsoup    &  pip install pandas)

import requests
r = requests.get(\'https://book.douban.com/subject/1084336/comments/\').text
from bs4 import BeautifulSoup
soup = BeautifulSoup(r,\'lxml\')
pattern = soup.find_all(\'p\',\'comment-content\')
for item in pattern:
print(item.string)
import pandas
comments = []
for item in pattern:
comments.append(item.string)
df = pandas.DataFrame(comments)
df.to_csv(\'comments.csv\')#当然这里可以指定文件路径，如 D:/PythonWorkSpace/TestData/comments.csv

代码运行结果：（注意的是，运行结果为csv，可能你用Excel打开之后会出现乱码，那是因为csv格式不对，怎么解决呢？

你可以将csv文件用Notepad++打开，编码Encoding选择 Encode in UTF-8-BOM）

 

如果是多页的话，为了防止保存到CSV 文件中的数据被上一页覆盖，可以这样用：

mode=\'a\', header = False

df.to_csv(\'D:/Python....csv\', mode=\'a\', header = False)

　　

　　

以上是 Python学习笔记之爬取网页保存到本地文件 的全部内容， 来源链接： utcz.com/z/387180.html

回到顶部