Python爬虫
1.
2.
src 资源地址
class css中用来查找标签的属性,用来区分不同的盒子,爬虫中经常用到
爬虫的设计思路
三大特征
1.网址 www.baidu.com
2.协议 http https(http+ss1)
3.网页源代码
爬虫思路
1.请求网址,得到源代码
2.解析源代码,拿到数据
3.如果还存在其他网址,那么再次执行12
爬虫模块
requests 模块
安装 (cmd调出运行安装)
pip install requests
使用(引入)
import requests
发起请求(get|post)
get 正常使用 a标签 点击的请求,或者在地址栏中输入网址,直接回车的请求,表单提交时候能看到表单内容的请求
post 在form表单中的method 属性设置,一般在模拟登陆的时候会用到post请求
发起get请求
requests.get()
import requestsrequests.get("https://www.baidu.com")
当requests前边有空格是会提示unexpected indent 就是说“n”是一个“意外的”缩进
import requestsresponse=requests.get("https://www.baidu.com")
print(response)
print(type(response))
返回值
D:\ProgramData\Anaconda3\python.exe "E:/WXA/PyCharm study/爬虫介绍和基础库/demo1_requests请求.py"<Response [200]>
<class \'requests.models.Response\'>
Process finished with exit code 0
得到的r是一个response对象,还有一个状态码
状态码简介
1**正在请求
2**请求成功
3**网页重定向
4**请求内容错误
5**服务器错误
返回值
r.text 返回网页的源代码
以上是 Python爬虫 的全部内容, 来源链接: utcz.com/z/387419.html