python爬虫应用案例,python最简单的爬虫代码

　　Python爬虫示例：先导入爬虫的库，生成响应对象；然后设置编码格式，打印状态码；最后，用代码[print(response.text)]输出爬取的信息。

　　python爬虫例子：

　　1.爬取强大的BD页面，打印页面信息

　　#第一个爬虫例子，抓取百度页面

　　Import requests #导入爬虫的库，否则爬虫的函数无法调用。

　　response=requests . get( 3358 www . Baidu.com )#生成一个响应对象

　　response . encoding=response . apparent _ encoding #设置编码格式

　　Print(状态代码： str(response . status _ code))#打印状态代码

　　Print(response.text)#输出爬网信息

　　单击并拖动以移动2.常用方法之get方法实例，下面还有传参实例.

　　# get方法的第二个实例

　　导入请求#先导入爬虫的库，否则无法调用爬虫的函数。

　　response=requests . get( 3358 http bin . org/get )# get方法

　　打印(response.status_code) #状态代码

　　打印(响应.文本)

　　单击并拖动以移动3. 常用方法之post方法实例，下面还有传参实例.

　　# post方法的第三个例子

　　导入请求#先导入爬虫的库，否则无法调用爬虫的函数。

　　response=requests . post( 3358 http bin . org/post )# post方法访问

　　打印(response.status_code) #状态代码

　　打印(响应.文本)

　　单击并拖动以移动4. put方法实例.

　　# put方法的第四个例子

　　导入请求#先导入爬虫的库，否则无法调用爬虫的函数。

　　response=requests . put( 3358 http bin . org/put )# put方法访问

　　打印(response.status_code) #状态代码

　　打印(响应.文本)

　　单击并拖动以移动5.常用方法之get方法传参实例(1).

　　如果需要传递多个参数，只需用符号连接它们，如下所示

　　# get参数传递方法的第五个例子

　　导入请求#先导入爬虫的库，否则无法调用爬虫的函数。

　　response=requests . get( http://http bin . org/get？Name=hezhiage=20) # get参数传递

　　打印(response.status_code) #状态代码

　　打印(响应.文本)

　　单击并拖动以移动6.常用方法之get方法传参实例(2).

　　Params可以传输多个字典。

　　# get参数传递方法的第六个例子

　　导入请求#先导入爬虫的库，否则无法调用爬虫的函数。

　　数据={

　　姓名 : 何志:

　　年龄 :20

　　}

　　response=requests . get( 3358 http bin . org/get ，params=data) # getPass参数

　　打印(response.status_code) #状态代码

　　打印(响应.文本)

　　单击并拖动以移动7.常用方法之post方法传参实例(2) 和上一个有没有很像.

　　# post参数传递方法的第七个例子

　　导入请求#先导入爬虫的库，否则无法调用爬虫的函数。

　　数据={

　　姓名 : 何志:

　　年龄 :20

　　}

　　响应=requests.post(ht

　　tp://httpbin.org/post" , params=data ) # post传参

　　print( response.status_code ) #状态码

　　print( response.text )

　　点击并拖拽以移动8.关于绕过反爬机制，以zh爸爸为例

# 第好几个方法实例
　　import requests #先导入爬虫的库，不然调用不了爬虫的函数
　　response = requests.get( "http://www.zhihu.com") #第一次访问知乎，不设置头部信息
　　print( "第一次,不设头部信息,状态码:"+response.status_code )# 没写headers，不能正常爬取，状态码不是 200
　　#下面是可以正常爬取的区别，更改了User-Agent字段
　　headers = {
　　"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
　　}#设置头部信息,伪装浏览器
　　response = requests.get( "http://www.zhihu.com" , headers=headers ) #get方法访问,传入headers参数，
　　print( response.status_code ) # 200！访问成功的状态码
　　print( response.text )
　　点击并拖拽以移动

　　因为目录关系，在D盘建立了一个叫做爬虫的文件夹，然后保存信息

　　注意文件保存时的encoding设置

# 爬取一个html并保存
　　import requests
　　url = "http://www.baidu.com"
　　response = requests.get( url )
　　response.encoding = "utf-8" #设置接收编码格式
　　print("\nr的类型" + str( type(response) ) )
　　print("\n状态码是:" + str( response.status_code ) )
　　print("\n头部信息:" + str( response.headers ) )
　　print( "\n响应内容:" )
　　print( response.text )
　　#保存文件
　　file = open("D:\\爬虫\\baidu.html","w",encoding="utf") #打开一个文件，w是文件不存在则新建一个文件，这里不用wb是因为不用保存成二进制
　　file.write( response.text )
　　file.close()
　　点击并拖拽以移动

#保存百度图片到本地
　　import requests #先导入爬虫的库，不然调用不了爬虫的函数
　　response = requests.get("https://www.baidu.com/img/baidu_jgylogo3.gif") #get方法的到图片响应
　　file = open("D:\\爬虫\\baidu_logo.gif","wb") #打开一个文件,wb表示以二进制格式打开一个文件只用于写入
　　file.write(response.content) #写入文件
　　file.close()#关闭操作，运行完毕后去你的目录看一眼有没有保存成功

大量免费学习推荐，敬请访问python教程(视频)

　　

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。