【搜索技术】请教如何爬取简书某一时间段发帖。
我想爬取简书在某一时间段的帖子，比如 2013 年 4 月 13 — 2013 年 5 月 13
想尝试的思路如下：
百度
利用百度的 site 语法
限定日期
观察大约有 70 个帖子
Google
google 的 site 语法
限定日期
观察大约有 120 个帖子
实现：用 Python 直接请求搜索的结果，然后把得到的网址重定向一下得到真正的简书网址，然后对真正的网址进行请求
问题
用这种方法得到的结果是否靠谱？请问有更靠谱的方法吗？
用 Google 还是用百度呢？
回答
为了全面，你可以把主流的搜索引擎接口都拿来用，不一定要限制在某个搜索引擎接口上。我们有队友搜索某些话题就是这么干的，因为有的网站站内没提供满足需求的搜索方式，这个时候也只有借助搜索引擎了。不过通过搜索引擎搜索的方式信息可能不全面，robots协议规定了不能搜索的，搜索引擎不会收录
以上是 【搜索技术】请教如何爬取简书某一时间段发帖。 的全部内容， 来源链接： utcz.com/a/82721.html
