Python 爬取网页,?

想爬去今日头条这个网页中的数据,发现Post数据图片描述

图片描述

有一些变量是没有变化的,有一些是在变化的,一直找不到变化的规律,想请指教一下?能看出来是怎么变化的么?max_behost_time =str(time.time())[0:12]

max_create_time= float(str(time.time())[0:12])+552

max_time=float(str(time.time())[0:12])+1162

这是我找到的规律,但是不对

回答:

和time没有必然联系

从字面上看,max_create_time指定了一个边界条件,即我将获取的下一组数据的创建时间的最大值。根据其业务逻辑,max_create_time的值应该是当前列表的所有项中创建时间的最小值。

至于max_behot_time,从字面上看不出,应该和另一个列表有关。

_这个参数无实义,目的是防止浏览器缓存。

回答:

你去看看它的js代码,这些值有可能是通过ajax获取,也有可能是根据一定的规则生成,无论如何,一定与js有关。

回答:

首先你应该从开始找起,就在首页的时候,第一次请求是这样的:没有max_create_time:
图片描述
然后这个请求返回的结果:你会发现点东西:
图片描述

再看第二次请求的参数:知道了吧:max_behot_time这个值就是存在上一次返回结果中:
图片描述

至于max_create_time你自己在试试~~~

回答:

能不能建立个群讨论一下啊?我也有这个需求

回答:

你好,我通过分析好几个json文件发现确实是这样的,下次一的max_time在上一次的max_time中间可以提取出来,这样的话就可以来拼接了

以上是 Python 爬取网页,? 的全部内容, 来源链接: utcz.com/a/161465.html

回到顶部