使用selenium爬虫并解析网页,selenium使用chrome

  使用selenium爬虫并解析网页,selenium使用chrome

  爬虫中的Selenium控制chrome、Firefox等浏览器自动运行获取相关信息_奥特王晓兰的技术博客_博客谁相信光

  1.首先进口我们需要的那包硒。

  来自硒。Web驱动程序导入chrome(如果您使用chrome浏览器,请导入Chrome;如果您使用其他浏览器,请更改名称)

  2.创建浏览器对象

  web=Chrome()

  3.打开浏览器。

  Web.get (3358 www.baidu.com )(这里以百度为例)

  4.找一个元素。点击它

  El=web.find_element_by_xpath(这里是xpath的地址)(如果你对xpath一无所知,请看我之前的博客)

  El.click() # click事件

  5.在寻找一些元素的时候,需要掌握一些前后端的知识。我们可以使用element、class_name、id、tag_name等。视情况而定。

  -6.当执行点击事件时,我们需要导入按键

  从selenium.webdriver.common.keys导入密钥

  -7.在浏览器窗口之间切换

  web . switch _ to . window(web . window _ handle[-1])

  代表页面栏中的最后一页。

  web . switch _ to . windows(web . window _ handles[0])

  它表示页面栏中的第一页。以下是当页面中嵌入了iframe页面时的情况:

  我们先找到iframe的网站,然后再切换。

  web.get( )

  #如果要处理iframe,必须先获取iframe,再切换到iframe,然后才能获取数据。

  iframe=web . find _ element _ by _ XPath( iframe的地址)

  Web.switch_to.frame(iframe) #切换到iframe

  web . Switch _ to . default _ content()#切换回原页面的无头浏览器的应用

  #准备参数配置。

  opt=选项()

  opt.add_argument( - headless )

  opt.add_argument( - disable-gpu )

  Web=Chrome(options=opt) #设置浏览器的参数配置

  相信光的博主奥特王晓兰原创作品,

郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。

留言与评论(共有 条评论)
   
验证码: