如何快速查找动态网页里的内容?

如何快速查找动态网页里的内容?

比如 我知道一个网页中 有"论文阅读.rar" 这个文件 是通过连串 ajax请求 (具体表现为 鼠标点击) 最后显示出来的
我只知道有这个文件 但是不知道 如何找到
怎么快速找到这个文件
用python的selenium 可以吗 具体怎么使用

我并不是想要构造爬虫 举个例子 我们可以在静态页面中 通过ctr+f 这个功能找到某个文本 如果有的话 则会跳转到匹配处
但是动态页面这样不行 所以我想要得是在动态页面达到类似的效果


回答:

selenium可以,安装对应浏览器驱(Webdriver),之后具体就像你说的通过调用打开页面api->找到对应按钮api->点击按钮api,等到页面上出现你想要的元素了,再通过api获取即可;具体参考selenium官方文档:https://www.selenium.dev/zh-cn/documentation/webdriver/gettin...

而往往selenium 不是首选,动态内容往往是前端构造请求发出的,很容易捕获,捕获到你需要的api之后通过python来构造这个请求再发出,对响应进行解析即可获取到对应的内容。
这里推荐大名鼎鼎的scrapy:https://scrapy.org/

本文参与了SegmentFault 思否面试闯关挑战赛,欢迎正在阅读的你也加入。

以上是 如何快速查找动态网页里的内容? 的全部内容, 来源链接: utcz.com/p/938792.html

回到顶部