python存入数据库,Python实战之数据库应用和数据获取
这篇文章主要介绍了计算机编程语言下载商品数据并连接数据库且保存数据,包括发送请求、获取数据、解析数据(筛选数据)、保存数据、连接数据库等内容,需要的小伙伴可以参考一下
目录
前言:请求数据获取数据解析数据(筛选数据)保存数据连接数据库
前言:
开发环境:
python 3.8pycharm 2021.2专业版代码实现:
发送请求获取数据解析数据(筛选数据)保存数据连接数据库
请求数据
# 伪装
标题={
cookie : miid=4137864361077413341;轨道尼克=\ u 5218 \ u 6587 \ u 9 f 9978083283thw=cnhng=CN zh-CN CNY 156;CNA=Mn i4 gic xyt qcaa 8 apqlawwis;enc=/WC 5 tlhzcgfeq 7 zm 4y 7 wyntoesfzvxhucomhkanukyukh 1 ynhbfxacrrdndcfeey 9y 5 ztsufv 535 ni 0 AK jex 4g==;t=ad 15767 FFA 6 Fe bb 4d 2 a 8709 edebf 63d 3;lgc=\ u 5218 \ u 6587 \ u 9 f 9978083283;SG cookie=e 100 ecw pan 49d 4 UC 3 mkl dec 205 ax RTA 81 rfv 4 IC 8 x8 Yom 08 mjvtdhlkywyybksrncalhgsk 1 mj 6 LMA 1对3 vtf Mr 7 mtw 3 hmm 92 jasn OA 528 au ARF JF 2r nov x25 DM YC6l;uc3=nk2=ogczbg 70 hcz 6 abziwjm=vt3=F8 dcvcogb 1/5 sh 1k qhy=lg2=Vq8l kclz 3/65A==id2=ungwojvj 4 vjzwg==;uc4=nk4=0 @ oawoex 2 a2 ma 2/2I/jfnivzpttp/2YKSTg==id4=0 @ ugbumzoge 7 ar 3 lxd 0 xaym sqyxOW;_ cc _=w5 ihllyffa==_ m _ H5 _ tk=AC 589 fc 01 c 86 be 5353 b 640607 e 791528 _ 1647451667088;_ m _ H5 _ tk _ enc=7d 452 E4 e 140345814d 5748 C3 e 31 fc 355;xlly _ s=1;X5 sec=7b 227365617263686170703 b 32223 a 22326439323431634333336353038636353163333633036343463434634634 c 6158336343534454544745555550616333。tfstk=ckkgbrty 1 f 71 adbhpcs 6 lyjfva 0 dz v2 f 6 isey 3 heaykcuzxfizazuzz 1 sbk 1 hs _ R1.l=ebe VP-O4 gnqzzlbbofwurza 77 oiiragupzanbmiocpo 75 p 5 zbnw 60 wl 4l 9 cngvhstmr 3 lrb zu 9 beybqo 44n 5 u 62j-la 1 hmn;ISG=BD w8 snvxcvxzceu 4 ugf-vtadddrunebfg 0 wxd ba 9 wick 4d xrpkd 97 hhtxqmzqri 3 ,
referer : https://s.taobao.com/search?q=丝袜img file=js=1 stats _ click=search _ radio _ all:1 initiative _ id=staobaoz _ 20220323 ie=ut F8 BC offset=1nt offset=1 P4向左推=2,48s=,
sec-ch-ua“:”不是a;品牌;v=99 ,铬;v=99 ,谷歌chrome’;v=99 ,
sec-ch-ua-mobile: ?0,
sec-ch-ua-平台 : Windows :
sec-fetch-dest: 文档,
秒取模式 : 导航,
sec-fetch-site: 同源,
秒-获取-用户":"?1,
升级-不安全-请求 : 1 ,
用户代理“:”Mozilla/5.0(Windows NT 10.0;win 64x 64)apple WebKit/537.36(KHTML,像壁虎一样)Chrome/99。0 .4844 .82 Safari/537.36 ,
}
url=fhttps://s .TB.com/search?q=丝袜 img file=js=1 stats _ click=search _ radio _ all:1 initiative _ id=staobaoz _ 20220323 ie=ut F8 BC offset=1nt offset=1 P4 push left=2,48s={44*page}
response=requests.get(url=url,headers=headers)
获取数据
html_data=响应。文本
解析数据(筛选数据)
JSON _ str=re。find all( g _ page _ config=(.*);,html_data)[0]
# 字符串肯定不能用字典方式键值对取值
# json_str:字符串
# 类型转变: 转成字典类型才能通过键值对方式去取值
json_dict=json.loads(json_str)
auctions=JSON _ dict[ MODS ][项目列表][数据][拍卖]
用于拍卖:
raw_title=auction[raw_title]
pic_url=auction[pic_url]
detail _ URL=auction[ detail _ URL ]
view _ price=auction[ view _ price ]
item_loc=auction[item_loc]
查看销售=拍卖[查看销售]
尼克=拍卖[尼克]
print(raw_title,pic_url,detail_url,view_price,item_loc,view_sales,nick)
保存数据
连接数据库
导入已安装
def save_sql(title,pic_url,detail_url,view_price,item_loc,view_sales,nick):
count=pymysql.connect(
host=xxx.xxx.xxx.xxx ,#数据库地址
port=3306,#数据库端口
用户=xxxx ,#数据库账号
密码=xxxx ,#数据库密码
db=xxxx #数据库表名
)
# 创建数据库对象
db=count.cursor()
# 写入结构化查询语言
sql=finsert into goods(title,pic_url,detail_url,view_price,item_loc,view_sales,nick)值( {title} , {pic_url} , {detail_url} , {item_loc} , {view_sales} , {nick} )
#执行sql
数据库执行(sql)
#保存修改的内容
count.commit()
db.close()
这就是这篇关于Python下载商品数据并连接到数据库和保存数据的文章。关于Python下载连接保存数据的更多信息,请搜索热门IT软件开发工作室之前的文章或者继续浏览下面的相关文章。希望大家以后多多支持热门IT软件开发工作室!
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。