Python爬取简书,python爬取百度百科

　　百度竞价效果监测：很多客户朋友都在百度推广，全国或者很多地区做过推广。很多时候无法监控到当地以外城市的推广情况，不方便调整推广。

　　问题

　　百度推广在不同地区可以选择不同的竞价策略，不同的思路，但是如果无法监测到数据，操作就会不准确。方法监控一般情况下，大多数朋友

　　用换IP软件换IP搜索目标区域。用一些站长工具查询多个地区的排名。问题

　　魏则西事件后，百度推广中显示的推广信息有五条，并不固定。如果监测数据是纯人工的，一个慢，一个不准。查询原理使用python自动查询排名，并写入excl。

　　如下图所示：

　　实现进程安装依赖库

　　主要用硒库来操作自动搜索。安装python3。安装selenium，配置webdriver等。安装xlrd库操作Excel读写数据。IP pool IP pool可以在线搜索免费代理IP来构建IP pool。这个网络上有很多教程，这个博客之前也分享过。免费IP搭建麻烦，可用性低，移动速度慢，不推荐。

　　收费购买IP服务推荐兔子代理的IP服务。代码实现

　　Selenium自动切换IP搜索。使用上面的代码，可以通过get_proxy()或者proxy_ip()获取代理ip，下面的代码可以自动获取IP自动搜索对应的关键词。

　　这样就实现了关键词搜索。

　　找到出现在第一页的网站。使用selenium库的定位方法可以找到当前页面出现的网站地址。

　　#导航到网站文本class name urls=browser . find _ elements _ by _ class _ name( c-show url )#获取URL中URL首页的网站URL文本：print(url.text)。以动态IP代理为例进行搜索，如下图：

　　以上实现了自动关键词搜索，获得了出现在首页的网址。

　　自动切换IP搜索。添加以下代码进行搜索

　　Browser.close()#退出，清空浏览器缓存browser.quit()运行并加入而True实现。

　　if _ _ name _ _= _ _ main _ _ :while true:BD()sort和write Excel sort，只需在for循环中增加一段即可。

　　Excel写入xlrd库。

　　这个比较简单，看看这个网站就知道了。PythonExcel

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。