在本文中，边肖为python crawler编译了一个简单的方法来设置每个代理ip。有兴趣的朋友可以学习参考一下。

Python crawler设置每个代理的ip:

1.添加一段代码，设置代理，每隔一段时间换一个代理。

默认情况下，Urllib2使用环境变量http_proxy来设置http代理。如果某个网站检测到某个IP在某段时间内的访问次数，如果访问次数过多，就会禁止你的访问。所以你可以设置一些代理服务器来帮助你工作，每隔一段时间就换一个代理。网站老板不知道谁在玩游戏，又酸又爽！下面的代码演示了代理设置的用法。

导入urllib2

enable_proxy=True

proxy_handler=urllib2。proxy handler({ ' http ':' http://some-proxy . com:8080 ' })

null_proxy_handler=urllib2。ProxyHandler({})

如果启用_代理：

opener=URL lib 2 . build _ opener(proxy _ handler)

否则：

opener=URL lib 2 . build _ opener(null _ proxy _ handler)

urllib2.install_opener(开启器)

2.Timeout 设置，可以解决一些网站出现响应过慢而造成的影响问题。

之前提到过Urlopen方法，第三个参数是超时的设置，可以设置等待超时多长时间，以解决部分网站响应慢带来的影响。例如，在下面的代码中，如果第二个参数数据为null，则需要指定超时次数并指定参数。如果数据已经传入，就没有必要声明它。

导入urllib2

response=URL lib 2 . urlopen(' http://www . Baidu . com '，timeout=10)

导入urllib2

response=URL lib 2 . urlopen(' http://www . Baidu . com '，data，10)

以上是Python爬虫中设置代理的方法。最后我们加了超时的用法，意在让大家需要一个好的解决网速慢问题的方法。

但是地址代理应用广泛，要重点学习。如果需要使用ip，可以尝试一下爬虫采集、营销推广、工作室等行业首选IP产品孙http。全国城市200条线，API调用频率不限，并发不限。IP池每天24小时不断更新。

知识点拓展：

代码扩展：

从bs4导入BeautifulSoup

导入请求

随机导入

def get_ip_list(url，头):

web_data=requests.get(url，headers=headers)

soup=beautiful soup(web _ data . text，' lxml ')

ips=soup.find_all('tr ')

ip_list=[]

对于范围内的I(1，len(ips)):

ip_info=ips[i]

tds=ip_info.find_all('td ')

ip_list.append(tds[1])。text ':' tds[2]。正文)

返回ip列表

def获取_随机_ IP(IP _列表):

proxy_list=[]

对于ip_list中的ip:

proxy_list.append('http://' ip)

proxy_ip=random.choice(代理列表)

proxy={ ' http ':proxy _ IP }

返回代理

if __name__=='__main__ ':

URL=' http://www . xici daili . com/nn/'

标题={

用户代理':' Mozilla/5.0(Windows NT 6.1；WOW64) AppleWebKit/537.17 (KHTML，像壁虎一样)Chrome/24 . 0 . 1312 . 60 Safari/537.17 '

}

ip_list=get_ip_list(url，headers=headers)

proxy=get _ random _ IP(IP _ list)

打印(代理)

这就是本文关于python爬虫设置每个代理ip的简单方法。有关python crawler如何设置每个代理ip内容的更多信息，请搜索我们以前的文章或继续浏览下面的相关文章。希望大家以后能多多支持我们！

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。