使用selenium爬虫并解析网页,selenium使用chrome
爬虫中的Selenium控制chrome、Firefox等浏览器自动运行获取相关信息_奥特王晓兰的技术博客_博客谁相信光
1.首先进口我们需要的那包硒。
来自硒。Web驱动程序导入chrome(如果您使用chrome浏览器,请导入Chrome;如果您使用其他浏览器,请更改名称)
2.创建浏览器对象
web=Chrome()
3.打开浏览器。
Web.get (3358 www.baidu.com )(这里以百度为例)
4.找一个元素。点击它
El=web.find_element_by_xpath(这里是xpath的地址)(如果你对xpath一无所知,请看我之前的博客)
El.click() # click事件
5.在寻找一些元素的时候,需要掌握一些前后端的知识。我们可以使用element、class_name、id、tag_name等。视情况而定。
-6.当执行点击事件时,我们需要导入按键
从selenium.webdriver.common.keys导入密钥
-7.在浏览器窗口之间切换
web . switch _ to . window(web . window _ handle[-1])
代表页面栏中的最后一页。
web . switch _ to . windows(web . window _ handles[0])
它表示页面栏中的第一页。以下是当页面中嵌入了iframe页面时的情况:
我们先找到iframe的网站,然后再切换。
web.get( )
#如果要处理iframe,必须先获取iframe,再切换到iframe,然后才能获取数据。
iframe=web . find _ element _ by _ XPath( iframe的地址)
Web.switch_to.frame(iframe) #切换到iframe
web . Switch _ to . default _ content()#切换回原页面的无头浏览器的应用
#准备参数配置。
opt=选项()
opt.add_argument( - headless )
opt.add_argument( - disable-gpu )
Web=Chrome(options=opt) #设置浏览器的参数配置
相信光的博主奥特王晓兰原创作品,
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。