requests模块的作用,requests的使用

　　请求模块是用于网络访问的模块。其实类似的模块还有很多，比如urllib，urllib2，httplib，httplib2，基本上都提供了类似的功能。那么为什么请求模块可以被拔出来呢？可以打开它的官网看看。它是一个“人”的http模块。那么，它是如何人性化的呢？相信如果你之前用过urllib这样的模块，你会发现它真的很人性化。

　　一、导入

　　下载后，导入模块很简单，代码如下：

　　进口请求二、请求url

　　这里我们列出了发送get或post请求的最常见语法。

　　1.发送不带参数的get请求：

　　R=requests . get( 3358 python tab.com/justtest)现在，我们得到一个响应对象R，我们可以用它来获得我们想要的任何信息。

　　在上面的例子中，get请求没有任何参数，那么如果请求需要参数呢？

　　2.发送带有参数的get请求

　　有效负载={key1:value1 ， key2:value2}

　　r=requests . get( 3358 photo tab.com/just test ，params=payload)从上面我们知道，我们的get参数是作为params关键字参数传递的。

　　我们可以打印出请求的具体url，看看它是否正确：

　　打印机网址

　　http://pythontab.com/justTest?2=value2key1=value1您可以看到实际访问了正确的url。

　　您还可以将列表传递给请求参数：

　　有效负载={key1:value1 ， key2:[value2 ， value3]}

　　r=requests . get( http://python tab.com/just test ，params=payload)

　　打印机网址

　　http://pythontab.com/justTest?1=value1key2=value2key2=value3以上是get请求的基本形式。

　　3.发送发布请求

　　r=requests . post( 3358 photo tab.com/post test ，data={key 3360 value})。从上面可以知道，post请求参数是作为数据关键字参数传递的。

　　现在的data参数传递了字典，我们也可以传递一个json格式的数据，如下：

　　importjson

　　导入请求

　　有效负载={key:value}

　　r=Requests . post( 3358 photo tab.com/post test ，data=json.dumps (payload))因为发送json格式的数据是如此的常见，所以在更高版本的requests模块中，增加了json作为关键字参数，可以直接发送jso。

　　n数据给post请求而不用再使用json模块了，见下：

>>>payload={"key":"value"}
　　>>>r=requests.post("http://pythontab.com/postTest",json=payload)

如果我们想post一个文件怎么办呢？这个时候就需要用到files参数了：

>>>url='http://pythontab.com/postTest'
　　>>>files={'file':open('report.xls','rb')}
　　>>>r=requests.post(url,files=files)
　　>>>r.text

我们还可以在post文件时指定文件名等额外的信息：

>>>url='http://pythontab.com/postTest'
　　>>>files={'file':('report.xls',open('report.xls','rb'),'application/vnd.ms-excel',{'Expires':'0'})}
　　>>>r=requests.post(url,files=files)

tips：强烈建议使用二进制模式打开文件，因为如果以文本文件格式打开时，可能会因为“Content-Length”这个header而出错。

　　可以看到，使用Requests发送请求简单吧！

　　三、获取返回信息

　　下面我们来看下发送请求后如何获取返回信息。我们继续使用最上面的例子：

>>>importrequests
　　>>>r=requests.get('http://pythontab.com/justTest')
　　>>>r.text

r.text是以什么编码格式输出的呢？

>>>r.encoding
　　'utf-8'

原来是以utf-8格式输出的。那如果我想改一下r.text的输出格式呢？

>>>r.encoding='ISO-8859-1'

这样就把输出格式改为“ISO-8859-1”了。

　　还有一个输出语句，叫r.content，那么这个和r.text有什么区别呢？r.content返回的是字节流，如果我们请求一个图片地址并且要保存图片的话，就可以用到，这里举个代码片段如下：

defsaveImage(imgUrl,imgName="default.jpg"):
　　r=requests.get(imgUrl,stream=True)
　　image=r.content
　　destDir="D:\"
　　print("保存图片"+destDir+imgName+"\n")
　　try:
　　withopen(destDir+imgName,"wb")asjpg:
　　jpg.write(image)
　　return
　　exceptIOError:
　　print("IOError")
　　return
　　finally:
　　jpg.close

刚才介绍的r.text返回的是字符串，那么，如果请求对应的响应是一个json，那我可不可以直接拿到json格式的数据呢？r.json()就是为这个准备的。

　　我们还可以拿到服务器返回的原始数据，使用r.raw.read()就可以了。不过，如果你确实要拿到原始返回数据的话，记得在请求时加上“stream=True”的选项，如：

r=requests.get('https://api.github.com/events',stream=True)。

我们也可以得到响应状态码：

>>>r=requests.get('http://pythontab.com/justTest')
　　>>>r.status_code
　　200

也可以用requests.codes.ok来指代200这个返回值：

>>>r.status_code==requests.codes.ok
　　True

四、关于headers

　　我们可以打印出响应头：

>>>r=requests.get("http://pythontab.com/justTest")
　　>>>r.headers
　　｀r.headers｀返回的是一个字典，例如：
　　{
　　'content-encoding':'gzip',
　　'transfer-encoding':'chunked',
　　'connection':'close',
　　'server':'nginx/1.0.4',
　　'x-runtime':'147ms',
　　'etag':'"e1ca502697e5c9317743dc078f67693a"',
　　'content-type':'application/json'
　　}

我们可以使用如下方法来取得部分响应头以做判断：

r.headers['Content-Type']

或者

r.headers.get('Content-Type')

如果我们想获得请求头（也就是我们向服务器发送的头信息）该怎么办呢？可以使用r.request.headers直接获得。

　　同时，我们在请求数据时也可以加上自定义的headers（通过headers关键字参数传递）：

>>>headers={'user-agent':'myagent'}
　　>>>r=requests.get("http://pythontab.com/justTest",headers=headers)

五、关于Cookies

　　如果一个响应包含cookies的话，我们可以使用下面方法来得到它们：

>>>url='http://www.pythontab.com'
　　>>>r=requests.get(url)
　　>>>r.cookies['example_cookie_name']
　　'example_cookie_value'

我们也可以发送自己的cookie(使用cookies关键字参数)：

>>>url='http://pythontab.com/cookies'
　　>>>cookies={'cookies_are':'working'}
　　>>>r=requests.get(url,cookies=cookies)

六、关于重定向

　　有时候我们在请求url时，服务器会自动把我们的请求重定向，比如github会把我们的http请求重定向为https请求。我们可以使用r.history来查看重定向：

>>>r=requests.get('http://pythontab.com/')
　　>>>r.url
　　'http://pythontab.com/'
　　>>>r.history
　　[]

从上面的例子中可以看到，我们使用http协议访问，结果在r.url中，打印的却是https协议。那如果我非要服务器使用http协议，也就是禁止服务器自动重定向，该怎么办呢？使用allow_redirects 参数：

r=requests.get('http://pythontab.com',allow_redirects=False)

七、关于请求时间

　　我们可以使用timeout参数来设定url的请求超时时间（时间单位为秒）：

requests.get('http://pythontab.com',timeout=1)

八、关于代理

　　我们也可以在程序中指定代理来进行http或https访问（使用proxies关键字参数），如下：

proxies={
　　"http":"http://10.10.1.10:3128",
　　"https":"http://10.10.1.10:1080",
　　}
　　requests.get("http://pythontab.com",proxies=proxies)

九、关于session

　　我们有时候会有这样的情况，我们需要登录某个网站，然后才能请求相关url，这时就可以用到session了，我们可以先使用网站的登录api进行登录，然后得到session，最后就可以用这个session来请求其他url了：

s=requests.Session()
　　login_data={'form_email':'youremail@example.com','form_password':'yourpassword'}
　　s.post("http://pythontab.com/testLogin",login_data)
　　r=s.get('http://pythontab.com/notification/')
　　printr.text

其中，form_email和form_password是豆瓣登录框的相应元素的name值。

　　十、下载页面

　　使用Requests模块也可以下载网页，代码如下：

r=requests.get("http://www.pythontab.com")
　　withopen("haha.html","wb")ashtml:
　　html.write(r.content)
　　html.close()

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。

相关文章阅读