爬虫是指python吗,python爬虫是啥

　　Python crawler是由Python程序开发的网络爬虫(web spider，web robot)，是按照一定规则自动抓取万维网信息的程序或脚本。其他不常用的名称有蚂蚁、自动索引、模拟器或蠕虫。其实现在流行的方式是通过程序在网页上获取你想要的数据，也就是自动抓取数据。

　　网络爬虫(英文：Web crawler)，也叫Web spider，是一种用于自动浏览万维网的网络机器人。其目的一般是编制网络索引。

　　网络搜索引擎等网站通过爬虫软件更新自己的网站内容或自己对其他网站的索引。网络爬虫可以保存自己访问的页面，这样搜索引擎就可以生成索引，供用户事后搜索。

　　爬虫访问网站的过程会消耗目标系统资源。许多网络系统不默认爬虫工作。所以在访问大量页面时，爬虫需要考虑规划、加载和礼貌。不愿意被爬虫访问且被爬虫知道的开放站点，可以通过使用robots.txt文件等方法避免。这个文件可以要求机器人只索引网站的一部分，或者根本不处理它。

　　互联网上的页面太多了，即使是最大的爬虫系统也做不出完整的索引。所以在公元2000年之前的万维网早期，搜索引擎往往找不到很多相关的结果。今天的搜索引擎已经在这方面取得了很大的进步，可以立即给出高质量的结果。

　　爬行器还可以验证网页爬行的超链接和HTML代码。

　　Python 爬虫

　　Python 爬虫架构

　　Python爬虫架构主要由五部分组成，分别是调度器、URL管理器、web下载器、web解析器、应用程序(抓取有价值的数据)。

　　调度器：相当于计算机的CPU，主要负责调度URL管理器、下载器和解析器之间的协调。

　　URL管理器：包括要爬取的URL地址和已经爬取的URL地址，防止重复URL爬取和循环URL爬取。URL管理器有三种实现方式，分别是内存、数据库和缓存数据库。

　　Web downloader:通过传入URL地址下载网页，并将网页转换为字符串。web downloader包括urllib2(Python官方基本模块)，包括登录、代理和cookie，以及请求(第三方包)。

　　网页解析器：解析一个网页字符串，可以根据我们的要求提取我们有用的信息，也可以按照DOM树的解析方法进行解析。网页解析器中有正则表达式(直观，通过模糊匹配将网页转换成字符串提取有价值的信息，文档复杂时提取数据非常困难)、html.parser(Python自带)、beautifulsoup(第三方插件，可以使用Python自带的html . parser解析，也可以使用lxml解析，比其他的更强大)、lxml(第三方插件，可以解析xml和HTML)、HTML.parser和beautifulsoup、lxml都解析

　　应用：是从网页中提取有用数据组成的应用。

　　爬虫可以做什么？

　　你可以用爬虫抓取你想要的图片、视频等数据，只要你可以通过浏览器访问的数据都可以通过爬虫获取。

　　爬虫的本质是什么？

　　模拟浏览器打开网页，在网页中获取我们想要的数据。

　　打开浏览器网页的过程：

　　在浏览器中输入地址，就可以通过DNS服务器找到服务器主机，向服务器发送请求。服务器解析后将浏览器结果发送给用户，包括html、js、css等文件内容。浏览器解析结果并最终呈现给用户。

　　所以用户看到的浏览器结果都是由html代码组成的。我们爬虫就是想获取这些内容，通过分析过滤HTML代码就可以得到我们想要的资源。

　　推荐：以上《Python教程》是python的爬虫是什么意思的详细内容。其他相关文章请多关注盛行的IT软件开发工作室！

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。