深圳的房价到底有多高？爬取Q房网数据，有钱人真多

  • Z时代
  • 2024-01-10
  • 分类：综合

python

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

本次目标

爬取Q房网数据

https://shenzhen.qfang.com/newhouse

爬取目标数据：

  • 小区名字

  • 售房状态

  • 房屋面积

  • 户型

  • 开盘时间

  • 交房时间

  • 楼盘地址

  • 售价

  • 预计总价

 

 

emmmm，我看看就行了，买不起买不起

开发工具

  • python 3.6.5

  • pycharm

 

爬虫代码

导入工具

import requests
import parsel
import csv

 

解析网页，爬取数据

for page in range(1, 84):
print("===============================正在爬取第{}页的数据=================================================".format(page))
    url = "https://shenzhen.qfang.com/newhouse/list/n{}".format(page)
    headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
    }
    response = requests.get(url=url, headers=headers)
    selector = parsel.Selector(response.text)
    lis = selector.css(".list-result li")
    dit = {}
for li in lis:
        title = li.css(".list-main-header a em::text").get()  # 名字
        dit["标题"] = title
        status = li.css(".list-main-header i::text").get()     # 是否在售
        dit["房产状态"] = status
        space = li.css(".list-main div:nth-child(1) .space span::text").get()     # 售房面积
        dit["售房面积"] = space
        type_list = li.css(".list-main.fl p:nth-child(3) span a::text").getall()     # 户型
        type_str = "|".join(type_list).strip().replace("
", "").replace(" ", "")  # 户型
        dit["户型"] = type_str
        kp_time = li.css(".new-house-info > div:nth-child(2) > p.space.fl.clearfix > span::text").get()  # 开盘时间
        dit["开盘时间"] = kp_time
        cs_time = li.css(".new-house-info > div:nth-child(2) > p:nth-child(3)> span::text").get()  # 出售时间
        dit["出售时间"] = cs_time
        address = li.css(".list-main a:nth-child(3)::text").get()  # 地址
if not address == None:
            address = address.strip()
else:
            address = None
        dit["地址"] = address
        Price = li.css(".list-price .bigger .amount::text").get()  # 售价
        dit["售价"] = Price
        hj_Price = li.css(".list-price .smaller::text").get()   # 预计总价
        dit["预计总价"] = hj_Price

 

保存数据

f = open("房产数据.csv", mode="a", encoding="utf-8-sig", newline="")
csv_writer = csv.DictWriter(f, fieldnames=["标题", "房产状态", "售房面积", "户型", "开盘时间", "出售时间", "地址", "售价", "预计总价"])
csv_writer.writeheader()
print(dit)

运行代码，效果如下图

 

以上是 深圳的房价到底有多高？爬取Q房网数据，有钱人真多 的全部内容， 来源链接： utcz.com/z/530375.html

回到顶部