从使用AJAX的网页获取HTML

我想知道如何刮取使用AJAX在网页上呈现内容的网页。通常,这种页面的HTTP GET只会获取嵌入JavaScript代码的HTML页面。但是我想知道是否有可能以编程方式(最好是Java)查询这些页面并模拟Web浏览器类型的请求,以便获取AJAX调用后生成的HTML内容。从使用AJAX的网页获取HTML

回答:

你可能想看看htmlunit

回答:

在The Productive Programmer作者Neal Ford建议功能测试工具Selenium可用于非测试任务。客户端DOM操作发生后检查HTML的任务属于这一类。 Selenium甚至允许你自动与浏览器交互,所以如果你需要点击一些按钮来触发一些AJAX事件,你可以编写脚本。 Selenium使用浏览器插件和基于Java的服务器工作。硒测试代码(或您的案例中的非测试代码)可以用各种语言编写,包括Java,C#和其他.Net语言,php,perl,python和ruby。

回答:

为什么选择时,你可以兼得? TestPlan支持Selenium和HTMLUnit作为后端。另外,它具有用于执行最常见任务的非常简单的语言(如果需要,扩展可以用Java编写 - 实际上很少见)。

以上是 从使用AJAX的网页获取HTML 的全部内容, 来源链接: utcz.com/qa/261253.html

回到顶部