单击Scrapy中的按钮

我正在使用Scrapy爬行网页。单击某些按钮时，仅会弹出一些我需要的信息（当然，单击后也会显示在HTML代码中）。

我发现Scrapy可以处理的形式（如登录）如图所示这里。但是问题在于没有表格可以填写，所以这不是我所需要的。

如何简单地单击一个按钮，然后显示我需要的信息？

我是否必须使用诸如机械化或lxml之类的外部库？

Scrapy无法解释javascript。

如果你绝对必须与页面上的javascript进行交互，则希望使用Selenium。

如果使用Scrapy，问题的解决方案取决于按钮的作用。

如果只是显示以前隐藏的内容，则可以毫无问题地抓取数据，也不会出现在浏览器中，HTML仍然存在。

如果它是在按下按钮时通过AJAX动态获取内容的，那么最好的办法就是使用Firebug等工具查看按下按钮时发出的HTTP请求。然后，你可以直接从该URL请求数据。

我是否必须使用诸如机械化或lxml之类的外部库？

如果要解释javascript，是的，你需要使用其他库，尽管这两者都不适合。他们俩都不了解javascript。Selenium是要走的路。

如果你可以提供要抓取的页面的URL，我可以看一下。