python爬虫requests使用代理ip

python

python爬虫requests使用代理ip

一、总结

一句话总结:

a、请求时,先将请求发给代理服务器,代理服务器请求目标服务器,然后目标服务器将数据传给代理服务器,代理服务器再将数据给爬虫。

b、代理服务器是经常变化的,使用代理服务器时传一个参数:proxy,是一个字典的形式。

import requests

proxy={

\'http\':\'58.87.98.150:1080\'

}

response=requests.get("http://httpbin.org/ip",proxies=proxy)

print(response.text)

 

 

二、python爬虫requests使用代理ip

转自或参考:python爬虫(十) requests使用代理ip - 方木Fengl - 博客园
https://www.cnblogs.com/zhaoxinhui/p/12383760.html

 

请求时,先将请求发给代理服务器,代理服务器请求目标服务器,然后目标服务器将数据传给代理服务器,代理服务器再将数据给爬虫。

代理服务器是经常变化的

使用代理服务器时传一个参数:proxy。是一个字典的形式。

通过网址:httpbin.org/ip可以看到当前请求得ip地址:

 

 再快代理官网,点击开放代理可以找到一个代理:

 

 在选第一个ip时,报错超时,说明这个ip已经不能用了,再选第二个

import requests

proxy={

\'http\':\'58.87.98.150:1080\'

}

response=requests.get("http://httpbin.org/ip",proxies=proxy)

print(response.text)

 

 

 此时得结果就是代理ip

 

 

以上是 python爬虫requests使用代理ip 的全部内容, 来源链接: utcz.com/z/389402.html

回到顶部