写爬虫时,IP经常被封?那么如何正确的搭建属于自己的IP代理池( 二 )


写爬虫时,IP经常被封?那么如何正确的搭建属于自己的IP代理池

文章插图
 
启动ProxyApi.py后即可在浏览器中使用接口获取代理,一下是浏览器中的截图:
index页面:
写爬虫时,IP经常被封?那么如何正确的搭建属于自己的IP代理池

文章插图
 
get页面:
写爬虫时,IP经常被封?那么如何正确的搭建属于自己的IP代理池

文章插图
get_all页面:
【写爬虫时,IP经常被封?那么如何正确的搭建属于自己的IP代理池】私信小编01 领取完整项目代码!

写爬虫时,IP经常被封?那么如何正确的搭建属于自己的IP代理池

文章插图
 
爬虫中使用,如果要在爬虫代码中使用的话,可以将此api封装成函数直接使用,例如:
import requestsdef get_proxy(): return requests.get("http://127.0.0.1:5000/get/").contentdef delete_proxy(proxy): requests.get("http://127.0.0.1:5000/delete/?proxy={}".format(proxy))# your spider codedef spider(): # .... requests.get('https://www.example.com', proxies={"http": "http://{}".format(get_proxy)}) # ....6、最后
时间仓促,功能和代码都比较简陋,以后有时间再改进 。喜欢的在github上给个star 。感谢




推荐阅读