python使用ip代理池爬虫,selenium 代理ip池

  python使用ip代理池爬虫,selenium 代理ip池

  Selenium还可以使用代理ip来控制浏览器。以下文章主要介绍Python使用selenium建立代理ip池访问网站的相关信息。通过示例代码非常详细的介绍,有需要的朋友可以参考一下。

  00-1010 I .使用硒之前?1.安装硒2。安装浏览器驱动程序3。配置环境2。使用硒1。介绍图书馆2。完整的代码摘要。

  

目录

  

一、使用selenium前?

  pip安装硒

  

1.安装selenium

  Chrome驱动文件下载:点击下载。

  

2.安装浏览器驱动

  1.将下载的文件放在c : \ program files(x86)\ Google \ chrome \ application下。

  2.然后配置系统变量3360我的电脑-属性-系统设置-高级-环境变量-系统变量-Path,在Path的值中加入目录“c : \ Program Files(x86)\ Google \ Chrome \ Application”。

  注意:3360后,如果代码无法调整浏览器,重启电脑再运行!

  

3.配置环境

  

二、使用selenium

  代码如下(示例):

  从selenium导入web驱动程序

  来自selenium . web driver . chrome . Options导入选项

  

1.引入库

  如果有多个代理IP可以回收,防止被封禁的概率。

  从selenium导入web驱动程序

  来自selenium . web driver . chrome . Options导入选项

  #下列ip使用自己的代理IP。

  proxy_arr=[

  -代理服务器=http://171 . 35 . 360999 ,

  -代理服务器=http://36.248 ,

  # -代理服务器=http://125.46.0 ,

  -代理服务器=http://219.239 ,

  -代理服务器=http://119 . 57 . 51 ,

  -代理服务器=http://60 . 205 . 1:80 ,

  -代理服务器=https://139 . 217 . 128 ,

  -代理服务器=https://116 . 196。53591 . 16368636661

  ]

  chrome_options=Options()

  proxy=random . choice(proxy _ arr)#随机选择一个代理

  Print(proxy) #如果代理访问失败,可以从proxy_arr中删除它

  Chrome _ options.add _ argument(代理)#添加代理

  浏览器=webdriver。Chrome(选项=chrome _选项)

  browser . get( http://http bin . org/IP )

  打印(浏览器.页面_源)

  代码如下(示例):

  

2.完整代码

  关于Python使用selenium构建代理ip池访问网站的这篇文章到此结束。更多关于Pythonselenium代理ip池访问网站的信息,请搜索热门it软件开发工作室之前的文章或继续浏览下面的相关文章。希望你以后能支持热门的IT软件开发工作室!

郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。

留言与评论(共有 条评论)
   
验证码: