【nginx】写个高效的随机代理

• Z时代
• 2024-01-10
• 分类：技术分享

需求

我有个分布式爬虫系统, 每天的抓取量会在2000W左右, 现在需要给爬虫接上大量的代理服务器.
考虑的是写个随机代理, 这样对原有程序改动不大. 这个代理会自动将请求分配到可用的代理服务器(若不可用则换代理重试)

另外, 代理池中的大量的代理服务器准备通过端口扫描和爬虫来维护

问题

我主要用python编程, 现在想的是用tornado的写个异步的代理服务器,
请问有现成的开源项目吗?
感觉nginx能做到, 但我对nginx不太熟悉, 有具体点的文章推荐么?
或者其他方案?

请不吝赐教.

回答

haproxy或者lvs这种轮子不要太多。

以上是 【nginx】写个高效的随机代理 的全部内容， 来源链接： utcz.com/a/85735.html