python从网页获取数据,Python获取网页内容,Python获取网页数据详解流程

python从网页获取数据,Python获取网页内容,Python获取网页数据详解流程

读万卷书不如行万里路,只学书上的理论是远远不够的,只有在实战中才能获得能力的提升,本篇文章手把手带你用计算机编程语言来获取网页的数据,主要应用了要求库,大家可以在过程中查缺补漏,提升水平

要求库是计算机编程语言中发起超文本传送协议请求的库,使用非常方便简单。

发送得到请求

当我们用浏览器打开东旭蓝天股票首页时,发送的最原始的请求就是得到请求,并传入全球资源定位器(统一资源定位器)参数。

导入请求

URL=' http://推送2 his。东方财富网。' com/API/Qt/stock/ff low/day Kline/get '

用计算机编程语言请求库的得到函数得到数据并设置要求的请求头。

header={

用户代理:' Mozilla/5.0(Windows NT 10.0;WOW64) AppleWebKit/537.36 (KHTML,像壁虎一样)Chrome/86。0 .4240 .198 Safari/537.36 '

}

得到网络的参数。

数据={

CB ':' jquery 1123026726575651052076 _ 1633873068863 ',

lmt': '0 ',

klt':' 101 ',

字段s1': 'f1,f2,f3,f7 ',

字段2': 'f51,f52,f53,f54,f55,f56,f57,f58,f59,f60,f61,f62,f63,f64,f65 ',

ut ':' b 2884 a 393 a 59 ad 64002292 a3 e 90d 46 a 5 ',

secid': '0.000040 ',

'_': '1633873068864'

}

我们使用内容属性来获取网站返回的数据,并命名为标准偏差.

sd=requests.get(url=url,headers=header,data=data).内容

json库可以自字符串或文件中解析JSON。该库解析JSON后将其转为计算机编程语言字典或者列表100 .关于模块是大蟒独有的匹配字符串的模块,该模块中提供的很多功能是基于正则表达式实现的,而正则表达式是对字符串进行模糊匹配,提取自己需要的字符串部分。

导入json

进口关于

text=str(sd,' utf-8 ')

res=re.findall(r'[(](.*?)[)]',文本)

re=json.loads(res[0])

p=re['data']['klines']

将杂乱无章的数据排版到擅长中,代码如下:

all_list=re['data']['klines']

data_list=[]

最新价格列表=[]

price_limit_list=[]

net_amount_list1=[]

net_proportion_list1=[]

net_amount_list2=[]

net_proportion_list2=[]

net_amount_list3=[]

net_proportion_list3=[]

net_amount_list4=[]

net_proportion_list4=[]

net_amount_list5=[]

net_proportion_list5=[]

对于范围内的I(len(all _ list)):

data=all_list[i].拆分(',')[0]

数据列表。追加(数据)

##收盘价

最新价格=全部列表[i].分裂(',')[11]

最新价格列表。追加(最新价格)

##涨跌幅

价格限制=全部列表[i].分裂(',')[12]

价格限制列表附加(价格限制)

##主力净流入

####净额

net_amount1=all_list[i].拆分(',')[1]

净额_金额_列表1 .追加(净额_金额1)

##占比

net_proportion1=all_list[i].分裂(',')[6]

净比例列表1 .追加(净比例1)

##超大单净流入

####净额

net_amount2=all_list[i].拆分(',')[5]

净额_金额_列表2 .追加(净额_金额2)

##占比

net_proportion2=all_list[i].拆分(',')[10]

净比例列表2 .追加(净比例2)

##大单净流入

####净额

net_amount3=all_list[i].拆分(',')[4]

净金额列表3 .追加(净金额3)

##占比

net_proportion3=all_list[i].拆分(',')[9]

净比例列表3 .追加(净比例3)

##中单净流入

####净额

net_amount4=all_list[i].拆分(',')[3]

净金额列表4 .追加(净金额4)

##占比

net_proportion4=all_list[i].分裂(',')[8]

净比例列表4 .追加(净比例4)

##小单净流入

####净额

net_amount5=all_list[i].拆分(',')[2]

净金额列表5 .追加(净金额5)

##占比

net_proportion5=all_list[i].分裂(',')[7]

净比例列表5 .追加(净比例5)

#打印(数据列表)

进口熊猫作为螺纹中径

df=pd .数据帧()

df['日期]=数据列表

df['收盘价]=最新价格列表

df['涨跌幅(%)']=价格限制列表

df['主力净流入-净额]=净额_金额_列表一

Df['主力净流入-净占比(%)']=net _ promotion _ list1

Df['超大净流入-净额']=净额_金额_列表2

Df['超大净流入-净占比(%)']=net _ promotion _ list2

Df['大宗订单净流入-净额']=净额_金额_列表3

Df['批量订单净流入-净占比(%)']=net _ promotion _ list3

Df['单笔净流入-净额']=净额_金额_列表4

Df['单项净流入-净比例(%)']=net_proportion_list4

Df['小订单净流入-净额']=净额_金额_列表5

Df['小单净流入-净占比(%)']=net _ promotion _ list5

将df#写入excel

Df.to_excel('徐东蓝天资金流向列表。xlsx’)

将徐东蓝天爬出来的资金流向数据保存到excel表格中,表格部分截图如下:

关于Python获取web数据的详细过程的这篇文章就到这里了。有关Python获取web数据的更多信息,请搜索我们以前的文章或继续浏览下面的相关文章。希望你以后能支持我们!

郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。

留言与评论(共有 条评论)
   
验证码: