python爬数据保存json,爬虫获取json

Python教程栏目介绍爬取Json数据实例

　　相关免费学习推荐：python教程（视频)

　　本文中以爬取其中的人工智能流转率数据为例。

　　该地址返回的响应内容为数据类型，其中红框标记的项即为人工智能流转率值：

　　实现代码如下：

　　导入请求

　　导入数据

　　导入战斗支援车

　　# 爬虫地址

　　网址= https://databank . yushan Fang.com/API/ecapi？ path=/databank/crowd full link/flowInfofromCrowdId=3312 begin thedate=201810 { } end date=201810 { } to crowd id list[0]=3312 to crowd id list[1]=3313 to crowd id list[2]=3314 to crowd id list[3]=3315

　　# 携带甜饼干进行访问

　　标题={

　　主持人：databank.yushanfang.com ，

　　referer : https://数据库。玉山方。com/，

　　连接 : 保持活动，

　　用户代理“:”Mozilla/5.0(Windows NT 10.0；WOW64) AppleWebKit/537.36 (KHTML，像壁虎一样)Chrome/63。0 .3239 .84 Safari/537.36 ，

　　cookie : _ TB _ token _=inkdejldm 3 mgvkjhsfdw；bs _ n _ lang=zh _ CNCNA=aaj 1 evii 7x 0 Cato 9 ktkvjzgs；CK2=072德851 f1 c 02 D5 c 7 BAC 555 f 64 C5 c 66d；c _ token=c 74594 b 486 F8 de 731 e 2608 CB 9526 a3 f 2；an=5y w5 qoj 5 PE 25 luj 5 a 6y 5 pa 55 PEX 6 iiw 5 bqxonpmea==； LG=true SG=\ =19 \ LVC=sahojs 49 pcqhqq==ISG=bpt 0 MD 7 de _ IC 5 ie 3 OA 85 rxamxblk 3u qjmmin 6 o 5 vjh 8 c-zrd TT 7 arxb 3 fxgeavap ，

　　}

　　行数=[]

　　对于(20,31):范围内的n

　　row=[]

　　row.append(n)

　　对于(21,32):范围内的m

　　如果零件号1:

　　row.append( )

　　else:

　　# 格式化请求地址，更换请求参数

　　reqUrl=url.format(n，m)

　　# 打印本次请求地址

　　打印(网址)

　　# 发送请求，获取响应结果

　　响应=请求。get(URL=reqUrl，headers=headers，verify=False)

　　文本=响应。文本

　　# 打印本次请求响应内容

　　打印（文本)

　　# 将响应内容转换为数据对象

　　jsonobj=json.loads(文本)

　　# 从数据对象获取想要的内容

　　toCntPercent=JSON obj[ data ][ intersect wd info ][1][ toCntPercent ]

　　# 生成行数据

　　row.append(str(toCntPercent) % )

　　# 保存行数据

　　rows.append(row)

　　# 生成超过表头

　　header=[AI流转率, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31]

　　# 将表头数据和爬虫数据导出到超过文件

　　用打开( d : \ \ RES \ \ pa冲\ \天猫。CSV ， w ，编码=gb18030 )作为f :

　　f_csv=csv.writer(f)

　　f_csv.writerow(表头)

　　写行(行)导入战斗支援车

　　导入数据

　　导入安全套接层

　　导入urllib.request

　　# 爬虫地址

　　# 不校验证书

　　ssl ._ create _ default _ https _ context=SSL _创建_未验证_上下文

　　# 携带甜饼干进行访问

　　标题={

　　主持人：databank.yushanfang.com ，

　　referer : https://数据库。玉山方。com/，

　　连接 : 保持活动，

　　用户代理“:”Mozilla/5.0(Windows NT 10.0；WOW64) AppleWebKit/537.36 (KHTML，像壁虎一样)Chrome/63。0 .3239 .84 Safari/537.36 ，

　　}

　　行数=[]

　　n=20

　　而编号31:

　　row=[]

　　row.append(n)

　　m=21

　　而m 32:

　　如果零件号1:

　　row.append( )

　　else:

　　# 格式化请求地址，更换请求参数

　　reqUrl=url.format(n，m)

　　# 打印本次请求地址

　　打印（请求网址)

　　# 发送请求，获取响应结果

　　请求=URL库。请求。请求(URL=reqUrl，头=头)

　　响应=urllib。请求。urlopen(请求)

　　text=response.read().解码(“utf8”)

　　# 打印本次请求响应内容

　　打印（文本)

　　# 将响应内容转换为数据对象

　　jsonobj=json.loads(文本)

　　#从Json对象中获得您想要的东西

　　toCntPercent=JSON obj[ data ][ intersect wd info ][1][ toCntPercent ]

　　#生成行数据

　　row.append(str(toCntPercent) % )

　　m=m 1

　　rows.append(row)

　　n=n 1

　　#生成Excel标题

　　Header=[AI换手率， 21 ， 22 ， 23 ， 24 ， 25 ， 26 ， 27 ， 28 ， 29 ， 30 ， 31]

　　#将标题数据和爬虫数据导出到Excel文件

　　用open( d : \ \ RES \ \ pa chong \ \ tmall . CSV ， w ，encoding=gb18030 )作为f :

　　f_csv=csv.writer(f)

　　f_csv.writerow(表头)

　　f_csv.writerows(rows)导出内容如下：

　　关于用Python爬行Json数据的这篇文章到此结束。

　　相关免费学习推荐：php编程(视频)

　　以上是Python抓取Json数据的例子的细节。其他相关文章请多关注盛行的IT软件开发工作室！

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。

Python教程栏目介绍爬取Json数据实例

相关文章阅读