python request爬虫,爬虫requests模块
Requests是一个由python实现的简单易用的HTTP库，使用起来比urllib简单得多。下面文章主要介绍python爬虫的请求模块的相关信息，通过示例代码详细介绍。有需要的朋友可以参考一下。
00-1010I、概述二、安装和基本步骤使用三、http知识回顾四、请求请求模块的方法使用五、params和payload参数的描述使用总结
目录
在渗透测试,后期经常有需要向第三方发送http请求的场景。python中的Requests库可以很好地满足这个需求。Requests模块是一个网络请求模块，主要用于模拟浏览器发送请求。其实类似的模块还有很多，比如urllib，urllib2，httplib，httplib2，基本上都提供了类似的功能。但是这些模块比较复杂，几乎已经过时，而requests模块简单、强大、高效，这使得它在众多网络请求模块中脱颖而出。
一、概述
安装地点：pip install requests
基本步骤：
1.导入模块：导入请求
2.指定url:url= .
3.基于请求模块发送请求：res=requests.get(url)
4.获取数据值：print(res . )在响应对象中。
5.持久存储(不需要)
二、安装和基本步骤使用
(A)八个请求方法：GET、POST、HEAD、OPTIONS、PUT、DELETE、TRACE、CONNECT。
这里我只详细介绍get和post:
1.得到
用于获取资源。当GET请求指定的资源时，被访问的资源经过服务器解析后会立即返回响应内容。通常以 GET 方式请求特定资源时， 请求中不应该包含请求体，所有需要向被请求资源传递的数据都应该通过 URL 向服务器传递。
2.邮政
发布操作：用于提交数据。当数据通过POST提交到指定位置时，数据将包含在请求正文中。在接收到这些数据之后，服务器可以建立新的资源或者更新现有的资源。同时POST模式的请求体可以包含很多数据，格式不限。因此 POST 方式用途较为广泛，几乎所有的提交操作都可以使用 POST 方式来完成。
注意：虽然可以通过GET提交数据，但一般不是GET而是POST。在HTTP协议中，建议GET方法只用于获取数据，POST方法用于提交数据(而不是获取数据)。
Get方法和post方法的区别：
简单地说，本质区别是：-GET生成一个TCP包
-POST生成两个TCP数据包
对于GET请求，浏览器会将http头和数据一起发送，服务器用200(返回数据)响应；
至于邮政，浏览器先发送header，服务器响应100 continue，浏览器再发送data，服务器响应200 ok（返回数据）。
(2) http常见请求参数
url：请求url地址
标题：请求标题
数据：发送编码为表单的数据。
Params:查询字符串
不间断空格
; host：请求web服务器的域名地址
User-Agent：HTTP客户端运行的浏览器类型的详细信息。通过该头部信息，web服务器可以判断到当前HTTP请求的客户端浏览器类别。
Accept：指定客户端能够接收的内容类型，内容类型中的先后次序表示客户端接收的先后次序。
Accept-Encoding：指定客户端浏览器可以支持的web服务器返回内容压缩编码类型。
Accept-Language:指定HTTP客户端浏览器用来展示返回信息所优先选择的语言
Connection:表示是否需要持久连接。如果web服务器端看到这里的值为Keep-Alive，或者看到请求使用的是HTTP 1.1（HTTP 1.1默认进行持久连接），表示连接持久有效，是不会断开的
cookie：HTTP请求发送时，会把保存在该请求域名下的所有cookie值一起发送给web服务器。
Refer：包含一个URL，用户从该URL代表的页面出发访问当前请求的页面
四、request请求模块的方法使用
举例说明：爬取我个人网站的数据
import requests #导入request模块
输出结果：
当然也可以用下面几种请求方法：
1.requests.post(http://httpbin.org/post) # POST请求
2.requests.put(http://httpbin.org/put) # PUT请求
3.requests.delete(http://httpbin.org/delete) # DELETE请求
4.requests.head(http://httpbin.org/get) # HEAD请求
5.requests.options(http://httpbin.org/get ) # OPTIONS请求
requests响应参数说明：
r.encoding #获取当前的编码
五，params和payload参数使用说明
举例说明：
import requests #导入request模块
输出结果：
总结
到此这篇关于python爬虫之request模块的文章就介绍到这了,更多相关python爬虫之request模块内容请搜索盛行IT软件开发工作室以前的文章或继续浏览下面的相关文章希望大家以后多多支持盛行IT软件开发工作室！
郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。