Python爬取世纪佳缘的数据，是否能证明它的不靠谱？[Python基础]

• Z时代
• 2024-01-10
• 分类：综合

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

以下文章一级Python技术 ，作者派森酱

刚接触Python的新手、小白，可以复制下面的链接去免费观看Python的基础入门教学视频

https://v.douyu.com/author/y6AZ4jn9jwKW

前言

今天在知乎上看到一个关于【世纪佳缘找对象靠谱吗？】的讨论，其中关注的人有1903，被浏览了1940753次，355个回答中大多数都是不靠谱。用Python爬取世纪佳缘的数据是否能证明它的不靠谱？

一，数据抓取

在PC端打开世纪佳缘网站，搜索20到30岁，不限地区的女朋友

翻了几页找到一个search_v2.php的链接，它的返回值是一个不规则的json串，其中包含了昵称，性别，是否婚配，匹配条件等等

点开Hearders拉到最下面，在它的参数中sex是性别，stc是年龄，p是分页，listStyle是有照片

通过url +参数的get方式，抓取了10000页的数据总计240116

需要安装的模块有openpyxl，用于过滤特殊的字符

# coding:utf-8
import csv
import json
import requests
from openpyxl.cell.cell import ILLEGAL_CHARACTERS_RE
import re
line_index = 0
def fetchURL(url):
   
    headers = {
        "accept": "*/*",
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36",
        "Cookie": "guider_quick_search=on; accessID=20201021004216238222; PHPSESSID=11117cc60f4dcafd131b69d542987a46; is_searchv2=1; SESSION_HASH=8f93eeb87a87af01198f418aa59bccad9dbe5c13; user_access=1; Qs_lvt_336351=1603457224; Qs_pv_336351=4391272815204901400%2C3043552944961503700"
    }
    r = requests.get(url, headers=headers)
    r.raise_for_status()
    return r.text.encode("gbk", "ignore").decode("gbk", "ignore")
def parseHtml(html):
    html = html.replace("", "")
    html = ILLEGAL_CHARACTERS_RE.sub(r"", html)
    s = json.loads(html,strict=False)
    global line_index
    userInfo = []
    for key in s["userInfo"]:
        line_index = line_index + 1
        a = (key["uid"],key["nickname"],key["age"],key["work_location"],key["height"],key["education"],key["matchCondition"],key["marriage"],key["shortnote"].replace("
"," "))
        userInfo.append(a)
    with open("sjjy.csv", "a", newline="") as f:
        writer = csv.writer(f)
        writer.writerows(userInfo)
if __name__ == "__main__":
    
    for i in range(1, 10000):
        url = "http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=23:1,2:20.30&sn=default&sv=1&p=" + str(i) + "&f=select&listStyle=bigPhoto"
        html = fetchURL(url)
        print(str(i) + "页" + str(len(html)) + "*********" * 20)
        parseHtml(html)

二，去重

在处理数据去掉重复的时候发现有好多重复的，还以为是代码写的有问题呢，查了好久的bug最后才发现网站在100页上只有数据有好多重复的，下面两个图分别是110页数据和111页数据，是不是有很多熟面孔。

110页数据

111页数据

过滤重复后的数据只剩下 1872 了，这个水分还真大

def filterData():
    filter = []
    csv_reader = csv.reader(open("sjjy.csv", encoding="gbk"))
    i = 0
    for row in csv_reader:
        i = i + 1
        print("正在处理：" + str(i) + "行")
        if row[0] not in filter:
            filter.append(row[0])
    print(len(filter))

以上是 Python爬取世纪佳缘的数据，是否能证明它的不靠谱？[Python基础] 的全部内容， 来源链接： utcz.com/z/530927.html