python使用ip代理池爬虫,selenium 代理ip池
Selenium还可以使用代理ip来控制浏览器。以下文章主要介绍Python使用selenium建立代理ip池访问网站的相关信息。通过示例代码非常详细的介绍,有需要的朋友可以参考一下。
00-1010 I .使用硒之前?1.安装硒2。安装浏览器驱动程序3。配置环境2。使用硒1。介绍图书馆2。完整的代码摘要。
目录
一、使用selenium前?
pip安装硒
1.安装selenium
Chrome驱动文件下载:点击下载。
2.安装浏览器驱动
1.将下载的文件放在c : \ program files(x86)\ Google \ chrome \ application下。
2.然后配置系统变量3360我的电脑-属性-系统设置-高级-环境变量-系统变量-Path,在Path的值中加入目录“c : \ Program Files(x86)\ Google \ Chrome \ Application”。
注意:3360后,如果代码无法调整浏览器,重启电脑再运行!
3.配置环境
二、使用selenium
代码如下(示例):
从selenium导入web驱动程序
来自selenium . web driver . chrome . Options导入选项
1.引入库
如果有多个代理IP可以回收,防止被封禁的概率。
从selenium导入web驱动程序
来自selenium . web driver . chrome . Options导入选项
#下列ip使用自己的代理IP。
proxy_arr=[
-代理服务器=http://171 . 35 . 360999 ,
-代理服务器=http://36.248 ,
# -代理服务器=http://125.46.0 ,
-代理服务器=http://219.239 ,
-代理服务器=http://119 . 57 . 51 ,
-代理服务器=http://60 . 205 . 1:80 ,
-代理服务器=https://139 . 217 . 128 ,
-代理服务器=https://116 . 196。53591 . 16368636661
]
chrome_options=Options()
proxy=random . choice(proxy _ arr)#随机选择一个代理
Print(proxy) #如果代理访问失败,可以从proxy_arr中删除它
Chrome _ options.add _ argument(代理)#添加代理
浏览器=webdriver。Chrome(选项=chrome _选项)
browser . get( http://http bin . org/IP )
打印(浏览器.页面_源)
代码如下(示例):
2.完整代码
关于Python使用selenium构建代理ip池访问网站的这篇文章到此结束。更多关于Pythonselenium代理ip池访问网站的信息,请搜索热门it软件开发工作室之前的文章或继续浏览下面的相关文章。希望你以后能支持热门的IT软件开发工作室!
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。