python爬取代理ip,python用随机代理ip访问网页

　　把手机4G封成热点，防止网站ip需求。找一个免费代理通过手机热点切换电脑ip，后面会讲到。

　　需求背景

　　今天我在做爬虫写手的时候，偶然发现了一个漏洞百出的网站。第一次为很多人跑。爬了几十页就把ip关了。它将永远被封存。然后我们换了几个代理，设置了一个单人平行跑，慢了一次5s，这样一次就可以爬几百页。然而，出了问题。恐怕我需要一打经纪人。去哪里找代理？

　　要找自由代理，首先我根据自己平时的经验，运行自己的脚本在网上抓自由代理。可惜我发现这个网站用不了几百个免费代理。于是只好找了一家费用代理公司，但是被价格邀请了。一个月几百块左右。完全不知道能不能用。啊，这个价格我可以自己做多台服务器。但我的目的是找到一个便宜稳定的代理ip。

　　本文分析了用手机热点切换电脑ip前的数据，发现用手机切换ip非常方便，所以我觉得通过手机热点获取电脑可能有免费切断ip的效果。当然，自己家里能拨号的同学可以直接拨号交换ip，但是像我这样租个房间也无济于事。这和关机/开机的效果是一样的。简而言之，用手机或电脑重新连接，就能获得最便捷的ip交换效果。

　　在后期的实际爬虫测试中，网站会在输入50页后永久屏蔽ip，所以你得用手机重启飞行模式，每50页更换一次ip。网站有1400页。也就是说我手动改了20多次IP。虽然已经可以了，但是比买代理划算多了(4G不限流量套餐终于起作用了)！真的很麻烦。

　　总之写爬行动物的真洞。

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。