租房子,光看数据怎么够,Python爬取某站租房图片
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
以下文章来源于csdn,作者 王延领
转载地址
https://www.cnblogs.com/kmonkeywyl/p/8409715.html
对于一个net开发者爬虫真真的以前没有写过。这段时间开始学习python爬虫,今天周末无聊写了一段代码爬取上海租房图片,其实很简短就是利用爬虫的第三方库Requests与BeautifulSoup。python 版本:python3.6 ,IDE :pycharm。
第三方库
首先安装
我是用的pycharm所以另外的脚本安装我这就不介绍了。
如上图打开默认设置选择Project Interprecter,双击pip或者点击加号,搜索要安装的第三方库。其中如果建立的项目多记得Project Interprecter要选择正确的安装位置不然无法导入。
Requests库
requests库的官方定义:Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。其实他就是请求网络获取网页数据的。
import requestsheader
={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}res
=requests.get("http://sh.58.com/zufang/",headers=header)try:print(res.text);except ConnectionError:print("访问被拒绝!!!")
结果如下:
其中Request Headers的参数如下:
- headers的一些属性:
- Accept:指定客户端能够接收的内容类型,内容类型的先后次序表示客户端接收的先后次序
- Accept-Lanuage:指定HTTP客户端浏览器用来展示返回信息优先选择的语言
- Accept-Encoding指定客户端浏览器可以支持的web服务器返回内容压缩编码类型。表示允许服务器在将输出内容发送到客户端以前进行压缩,以节约带宽。而这里设置的就是客户端浏览器所能够支持的返回压缩格式。
- Accept-Charset:HTTP客户端浏览器可以接受的字符编码集
- User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
- Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。
- application/xml : 在 XML RPC,如 RESTful/SOAP 调用时使用
- application/json : 在 JSON RPC 调用时使用
- application/x-www-form-urlencoded : 浏览器提交 Web 表单时使用
- 在使用服务器提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致服务器拒绝服务
BeautifulSoup库
BeautifulSoup可以轻松的解析Requests库请求的页面,并把页面源代码解析为Soup文档,一边过滤提取数据。这是bs4.2的文档。
Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,如果我们不安装它,则 Python 会使用 Python默认的解析器,其中lxml 据说是相对而言比较强大的我下面的暗示是python 标准库的。
选择器select
案例:爬取上海租房图片
import requestsimport urllib.requestimport osimport timefrom bs4 import BeautifulSoupheader
={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36"}url
=["http://sh.58.com/zufang/pn{}/?ClickID=2".format(number) for number in range(6,51)]#分页抓取adminCout=6
for arurl in url:
adminCout=adminCout+1
res=requests.get(arurl,headers=header)
soup=BeautifulSoup(res.text,"html.parser")
arryImg=soup.select(".img_list img")
print(arryImg)
count = 0;
for img in arryImg:
print(img["lazy_src"])
_url = img["lazy_src"]
pathName = "E:2333" + str(adminCout)+"_"+str(count) + ".jpg"# 设置路径和文件名
result = urllib.request.urlopen(_url) # 打开链接,和python2.x不同请注意了
data = result.read() # 否则开始下载到本地
with open(pathName, "wb") as code:
code.write(data)
code.close()
count = count + 1 # 计数+1
print("正在下载第:", count)
time.sleep(30)
以上是 租房子,光看数据怎么够,Python爬取某站租房图片 的全部内容, 来源链接: utcz.com/z/531071.html