如何使用Python Scrapy模块列出我网站上的所有URL？

  • Z时代
  • 2024-01-10
  • 分类：问答

我想使用Python Scrapy模块从我的网站中抓取所有URL，并将列表写入文件。我查看了示例，但没有看到任何简单的示例来执行此操作。

回答：

这是为我工作的python程序：

from scrapy.selector import HtmlXPathSelector
from scrapy.spider import BaseSpider
from scrapy.http import Request
DOMAIN = 'example.com'
URL = 'http://%s' % DOMAIN
class MySpider(BaseSpider):
    name = DOMAIN
    allowed_domains = [DOMAIN]
    start_urls = [
        URL
    ]
    def parse(self, response):
        hxs = HtmlXPathSelector(response)
        for url in hxs.select('//a/@href').extract():
            if not ( url.startswith('http://') or url.startswith('https://') ):
                url= URL + url 
            print url
            yield Request(url, callback=self.parse)

将此保存在名为的文件中spider.py。

然后，你可以使用Shell管道来后期处理以下文本：

bash$ scrapy runspider spider.py > urls.out
bash$ cat urls.out| grep 'example.com' |sort |uniq |grep -v '#' |grep -v 'mailto' > example.urls

这为我提供了网站中所有唯一URL的列表。

以上是 如何使用Python Scrapy模块列出我网站上的所有URL？ 的全部内容， 来源链接： utcz.com/qa/409980.html

回到顶部