读万卷书不如行万里路,只学书上的理论是远远不够的,只有在实战中才能获得能力的提升,本篇文章手把手带你用计算机编程语言来获取网页的数据,主要应用了要求库,大家可以在过程中查缺补漏,提升水平
要求库是计算机编程语言中发起超文本传送协议请求的库,使用非常方便简单。
发送得到请求
当我们用浏览器打开东旭蓝天股票首页时,发送的最原始的请求就是得到请求,并传入全球资源定位器(统一资源定位器)参数。
导入请求
URL=' http://推送2 his。东方财富网。' com/API/Qt/stock/ff low/day Kline/get '
用计算机编程语言请求库的得到函数得到数据并设置要求的请求头。
header={
用户代理:' Mozilla/5.0(Windows NT 10.0;WOW64) AppleWebKit/537.36 (KHTML,像壁虎一样)Chrome/86。0 .4240 .198 Safari/537.36 '
}
得到网络的参数。
数据={
CB ':' jquery 1123026726575651052076 _ 1633873068863 ',
lmt': '0 ',
klt':' 101 ',
字段s1': 'f1,f2,f3,f7 ',
字段2': 'f51,f52,f53,f54,f55,f56,f57,f58,f59,f60,f61,f62,f63,f64,f65 ',
ut ':' b 2884 a 393 a 59 ad 64002292 a3 e 90d 46 a 5 ',
secid': '0.000040 ',
'_': '1633873068864'
}
我们使用内容属性来获取网站返回的数据,并命名为标准偏差.
sd=requests.get(url=url,headers=header,data=data).内容
json库可以自字符串或文件中解析JSON。该库解析JSON后将其转为计算机编程语言字典或者列表100 .关于模块是大蟒独有的匹配字符串的模块,该模块中提供的很多功能是基于正则表达式实现的,而正则表达式是对字符串进行模糊匹配,提取自己需要的字符串部分。
导入json
进口关于
text=str(sd,' utf-8 ')
res=re.findall(r'[(](.*?)[)]',文本)
re=json.loads(res[0])
p=re['data']['klines']
将杂乱无章的数据排版到擅长中,代码如下:
all_list=re['data']['klines']
data_list=[]
最新价格列表=[]
price_limit_list=[]
net_amount_list1=[]
net_proportion_list1=[]
net_amount_list2=[]
net_proportion_list2=[]
net_amount_list3=[]
net_proportion_list3=[]
net_amount_list4=[]
net_proportion_list4=[]
net_amount_list5=[]
net_proportion_list5=[]
对于范围内的I(len(all _ list)):
data=all_list[i].拆分(',')[0]
数据列表。追加(数据)
##收盘价
最新价格=全部列表[i].分裂(',')[11]
最新价格列表。追加(最新价格)
##涨跌幅
价格限制=全部列表[i].分裂(',')[12]
价格限制列表附加(价格限制)
##主力净流入
####净额
net_amount1=all_list[i].拆分(',')[1]
净额_金额_列表1 .追加(净额_金额1)
##占比
net_proportion1=all_list[i].分裂(',')[6]
净比例列表1 .追加(净比例1)
##超大单净流入
####净额
net_amount2=all_list[i].拆分(',')[5]
净额_金额_列表2 .追加(净额_金额2)
##占比
net_proportion2=all_list[i].拆分(',')[10]
净比例列表2 .追加(净比例2)
##大单净流入
####净额
net_amount3=all_list[i].拆分(',')[4]
净金额列表3 .追加(净金额3)
##占比
net_proportion3=all_list[i].拆分(',')[9]
净比例列表3 .追加(净比例3)
##中单净流入
####净额
net_amount4=all_list[i].拆分(',')[3]
净金额列表4 .追加(净金额4)
##占比
net_proportion4=all_list[i].分裂(',')[8]
净比例列表4 .追加(净比例4)
##小单净流入
####净额
net_amount5=all_list[i].拆分(',')[2]
净金额列表5 .追加(净金额5)
##占比
net_proportion5=all_list[i].分裂(',')[7]
净比例列表5 .追加(净比例5)
#打印(数据列表)
进口熊猫作为螺纹中径
df=pd .数据帧()
df['日期]=数据列表
df['收盘价]=最新价格列表
df['涨跌幅(%)']=价格限制列表
df['主力净流入-净额]=净额_金额_列表一
Df['主力净流入-净占比(%)']=net _ promotion _ list1
Df['超大净流入-净额']=净额_金额_列表2
Df['超大净流入-净占比(%)']=net _ promotion _ list2
Df['大宗订单净流入-净额']=净额_金额_列表3
Df['批量订单净流入-净占比(%)']=net _ promotion _ list3
Df['单笔净流入-净额']=净额_金额_列表4
Df['单项净流入-净比例(%)']=net_proportion_list4
Df['小订单净流入-净额']=净额_金额_列表5
Df['小单净流入-净占比(%)']=net _ promotion _ list5
将df#写入excel
Df.to_excel('徐东蓝天资金流向列表。xlsx’)
将徐东蓝天爬出来的资金流向数据保存到excel表格中,表格部分截图如下:
关于Python获取web数据的详细过程的这篇文章就到这里了。有关Python获取web数据的更多信息,请搜索我们以前的文章或继续浏览下面的相关文章。希望你以后能支持我们!
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。