国内ip代理软件,手机代理ip软件海外

　　Python抢快代理——国内总代理IP介绍

　　快速代理简介-国内总代理专栏；默认抓取所有数据，从第一页到最后一页；关键词：ip端口；默认时间间隔：2s，时间太短会导致抓取失败；

　　创建一个kuaiDaiLiGeneral.py

　　#!/usr/痴情的蜜粉/env python# -*-编码：utf-8-*-import OS导入时间来自bs4的导入请求导入美汤类KuaiDaiLiGeneral(object):def _ _ init _ _(self):self。会话=请求。会话()自身。代理=无自身。超时=10 self。time _ interval=2自我。headers={ Accept : text/html，application/xhtml xml，" application/XML；q=0.9，image/webp，*/*；q=0.8 ，接受-编码： gzip，deflate，sdch，br ，接受-语言： zh-CN，zh；q=0.8 ，连接:保持活动,用户代理： Mozilla/5.0(Windows NT 10.0；wow 64)“”苹果WebKit/537.36(KHTML，像壁虎)“”Chrome/55。0 .2883 .87 Safari/537.36 ，} def get_status(self，url): 获取状态：参数网址：访问地址：返回：返回反应或False 响应=自身。会话。get(URL=URL，headers=self.headers，proxies=self.proxies，timeout=self.timeout，# verify=False，# allow _ redirects=False)if响应。status _ code==200:返回响应else:print(错误：网络连接失败！状态：% s URL:% s“%”(响应。status _ code，URL))打印(响应。text)return False def get _ index(self，URL): 访问首页，建立连接：param URL:return: response=self。get _ status(URL)if响应：# response。encoding= utf-8 # html=response。text # print(html)print(首页，建立连接.)return True def get _ last _ page(self，url): 获取最后一页页面：参数网址：第一页的网址：返回：返回int(最后一页)或无响应=自身。get _ status(URL)如果不是response:返回None html=response。text soup=美丽的汤(html， html 5 lib )lis=汤。如果列表[-1]，选择( # list nav ul Li ).text==页：last_page=lis[-2].查找( a ).文本返回int(last _ page)return None def parse _ html(self，URL):response=self。get _ status(URL)如果不是response:返回None html=response。文汤=美汤(html， html。parser’)items=soup。查找(id= list ).查找( tbody ).find _ all( tr )IP _ port _ list=[]中的项目：IP=item。find(attrs={ data-title : IP }).文本端口=项目。find(attrs={ data-title : PORT }).text IP _ port=IP : port \ n IP _ port _ list。append(IP _ port)返回IP _ port _ list @ static method def write _ to _ text(path，content):path=OS。路径。abspath(path)with open(path， a ，encoding= utf-8 )as f:f . writelines(content)def next _ page(self，last_page): for i in range(1，last _ page 1):time。睡眠(自我。time _ interval)URL= https://www . kuai daili . com/free/intr/{ I } .格式(I=I)打印(URL)IP _ port _ list=self。parse _ html(URL)path=OS。路径。加入(OS。getcwd()， IP。txt’)自我。write _ to _ text(path，ip_port_list) def main(self): #首页url=https://www.kuaidaili.com 如果不是自我。get _ index(URL):返回None time。睡眠(自我。时间间隔)#获取最后一页URL= https://www。快戴笠。 last _ page=self。获取最后一页(URL)如果不是last_page:返回None #翻页自我。next _ page(last _ page)if _ _ name _ _== _ _ main _ _ :kuai _ Dai _ Li=kuai general()kuai _ Dai _ Li。主()

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。

相关文章阅读