Python ip代理,python实现https代理

  Python ip代理,python实现https代理

  首先要找一个可以提供代理互联网协议(互联网协议的缩写)的网站,然后爬下网站上的互联网协议(互联网协议的缩写)地址和端口号。最后用爬取出来的互联网协议(互联网协议的缩写)做代理访问指定网站。

  关键地方我用红色箭头标注出来了。分页解析代码如下

  def get proxip():proxy=[]for I in range(1,3):print(I)header={ User-Agent : Mozilla/5.0(X11;Linux x86 _ 64)“”AppleWebKit/537.36(KHTML,像壁虎)“”Ubuntu铬/44。0 .2403 .89英寸镀铬/44英寸。0 .2403 .89 Safari/537.36 } req=urllib。请求。请求(URL= http://www。西祠戴笠。com/nt/{ 0 }”.format(i),headers=header)r=URL lib。请求。URL open(req)soup=漂亮的soup(r, html.parser ,from _ encoding= utf-8 )table=soup。find( table ,attrs={ id : IP _ list })tr=table。find _ all( tr )[1:]#解析得到代理互联网协议(互联网协议的缩写)的地址,端口,和类型对于tr中的项目:TDS=项目。find _ all( TD )temp _ dict={ } kind= { 0 }:{ 1 } .格式(tds[1]).get_text().lower(),tds[2].get_text()) proxy.append(种类)返回代理

  头是模仿浏览器请求。将最后解析出来互联网协议(互联网协议的缩写)和端口号的结果放在代理人里面。然后开始用代理访问指定网站。

  proxy _ handler=urllib。请求。代理处理程序({ http :proxy _ dict })opener=urllib。请求。build _ opener(proxy _ handler)urllib。请求。install _ opener(opener)req=URL lib。请求。请求(URL= http://博客。csdn。net/u 013692888/article/details/52714103 ,headers=header)urllib。请求。URL打开(请求)源码地址https://github.com/Ahuanghaifeng/python3-ip

郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。

留言与评论(共有 条评论)
   
验证码: