python-requests,python3 requests模块
爬取页面内容从URL库中导入请求。导入HTTPErrordef get _ content(URL)时出错：try:response=requests。获取(URL)打印(响应。文本)打印(类型(响应。正文))回应。raise _ for _ status()如果状态码不是200, 引发异常异常# 从内容分析出响应内容的编码格式回应。编码=响应。表观编码除了HTTPError as e:print(e)else:print(response。status _ code)# print(响应。头)返回响应。text if _ _ name _ _= _ _ main _ _ :URL= http://www .百度一下。com get _ content(URL)
向服务器提交数据超文本传送协议(超文本传输协议的缩写)常见请求方法：
获取：从指定的资源请求数据。
帖子：向指定的资源提交要被处理的数据。
得到方法得到请求可被缓存得到请求保留在浏览器历史记录中得到请求可被收藏为书签得到请求不应在处理敏感数据时使用得到请求有长度限制得到请求只应当用于取回数据响应=请求。get( http://www。百度一下。com’)打印(响应。正文)
URL= https://电影。豆瓣。 data={ start :20， limit:40， sort:new_score ， status : P } response=requests。get(URL，params=data)print(response。text)打印(响应。网址)
邮政方法邮政请求不会被缓存邮政请求不会保留在浏览器历史记录中邮政不能被收藏为书签邮政请求对数据长度没有要求响应=请求。帖子( http://http bin。org/post)，data={name:pgbmh ， age:18})print(response.text)
删除方法响应=请求。删除( http://http bin。org/delete ，data={ name : pgbmh })print(response。正文)
百度、360搜索的关键字提交import requestsdef keyword _ post(URL，data):try:user _ agent= Mozilla/5.0(X11；Linux x86 _ 64)苹果WebKit/537.36(KHTML，像壁虎)铬/59。0 .3071 .109 Safari/537.36 响应=请求。get(URL，params=data，headers={ User-Agent :User _ Agent })响应。raise _ for _ status()如果返回的状态码不是200, 则抛出异常；回应。编码=响应。表观编码#判断网页的编码格式，便于回复文本知道如何解码；除了e:打印(爬取错误)else: print(response.url) print(爬取成功！)回复回应。contentdef百度():URL= https://www。百度一下。com keyword=input(请输入搜索的关键字：)# wd是百度需要data={ wd :keyword } keyword _ post(URL，data)def search 360():URL= https://www .所以。 com/s keyword=input(请输入搜索的关键字：)# q是360需要data={ q :keyword } content=keyword _ post(URL，data) with open(360.html ， WB )as f:f . write(content)if _ _ name _ _= _ _ main _ _ :search 360()
上传登录信息导入请求# 1)。上传数据；网址=http://bbs.chinaunix.net/member.php？mod=logging action=loginloginsubmit=yesloginhash=la2a 2 post data={ username : XXX ， password : 12345678 } response=requests。post(URL，data=postData)# 2).将获取的页面写入文件，用于检测是否爬取成功；用打开( doc/chinaunix.html ， wb )作为f: f.write(response.content)# 3).查看网站的甜饼干信息print(response.cookies)for key，value in response。饼干。items():print(key =值)
解析数据格式数据导入请求#解析数据格式IP=输入( IP:)URL= http://IP。淘宝。com/service/getipinfo。PHP data={ IP :IP } response=requests。get(URL，params=data)#将响应的数据数据编码为大蟒可以识别的数据类型；content=response.json()print(内容)打印(类型（内容))country=content[数据][国家]打印(国家)
获取二进制数据下载图片或视频导入请求def get _ content(URL):try:user _ agent= Mozilla/5.0(X11；Linux x86 _ 64)苹果WebKit/537.36(KHTML，像壁虎)铬/59。0 .3071 .109 Safari/537.36 响应=请求。get(URL，headers={ User-Agent :User _ Agent })# print( a )响应。raise _ for _ status()如果返回的状态码不是200, 则抛出异常；回应。编码=响应。表观编码#判断网页的编码格式，便于回复文本知道如何解码；除了e:打印(爬取错误)else: # print(response.url) print(爬取成功！)返回响应.内容#下载视频需要的是字节类型# return response.text #文本类型if _ _ name _ _== _ _ main _ _ :URL= https://GSS 0。BD静态。com/-4o 3d sag _ xi4khgkpowk 1 HF 6 hy/baike/w=268；g=0/sign=4 f 7 BF 38 AC 3 fc 1 e 17 FD BF 8 b 3772 ab 913 e/d 4628535 e 5 DDE 7119 C3 d 076 aabefce 1 b 9 c 1661 ba。jpg # URL= http://gslb。苗派。com/stream/sjvqgn 6 gdtp-swkjalzuitr 7 WM iva-zduKwuw _ _。MP4 movie _ content=get _ content(URL)print(正在下载.)with open(doc/movie.jpg ， WB )as f:f . write(movie _ content)print(下载完成.)
要求的常见使用上传文件，指定文件内容data={ name : fen tiao } files={ #二进制文件需要指定rb file: open(doc/movie.jpg ， Rb )} response=requests。post(URL= http://http bin。org/post ，data=data，files=files)打印(响应。正文)
设置代理proxy={ http : 183。148 .158 .164:9999 ，# https : 110。52 .235 .228:9999 }响应=请求。get( http://http bin。org/get ，proxies=proxy，time out=3)print(response。文本)cookie信息保存# 3).甜饼干信息的保存，加载======客户端的缓存，保持客户端和服务端连接会话seesionseesionObj=请求。会话()#专门用来设置甜饼干信息的，response 1=seesion obj。get( http://http bin。org/cookies/set/name/westos )#专门用来查看甜饼干信息的网址响应2=见目标。get( http://http bin。org/cookies )打印(响应2。正文)
郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。