python存入数据库,Python导入数据集
目录前言开发环境代码实现开始代码请求数据获取数据解析数据(筛选数据)保存数据连接数据库前言开发环境
python 3.8
pycharm 2021.2专业版
代码实现
发送请求获取数据解析数据(筛选数据)保存数据连接数据库
开始代码请求数据# 伪装
标题={
cookie : miid=4137864361077413341;轨道尼克=\ u 5218 \ u 6587 \ u 9 f 9978083283thw=cnhng=CN zh-CN CNY 156;CNA=Mn i4 gic xyt qcaa 8 apqlawwis;enc=/WC 5 tlhzcgfeq 7 zm 4y 7 wyntoesfzvxhucomhkanukyukh 1 ynhbfxacrrdndcfeey 9y 5 ztsufv 535 ni 0 AK jex 4g==;t=ad 15767 FFA 6 Fe bb 4d 2 a 8709 edebf 63d 3;lgc=\ u 5218 \ u 6587 \ u 9 f 9978083283;SG cookie=e 100 ecw pan 49d 4 UC 3 mkl dec 205 ax RTA 81 rfv 4 IC 8 x8 Yom 08 mjvtdhlkywyybksrncalhgsk 1 mj 6 LMA 1对3 vtf Mr 7 mtw 3 hmm 92 jasn+OA 528 au ARF JF 2r nov+x25dm+YC6l;uc3=nk2=ogczbg 70 hcz 6 abziwjm=vt3=F8 dcvcogb 1/5 sh 1k qhy=lg2=Vq8l+kclz 3/65A==id2=ungwojvj 4 vjzwg==;uc4=nk4=0 @ oawoex 2 a2 ma 2/2I/jfnivzpttp/2YKSTg==id4=0 @ ugbumzoge 7 ar 3 lxd 0 xaym+sqyxOW;_ cc _=w5 ihllyffa==_ m _ H5 _ tk=AC 589 fc 01 c 86 be 5353 b 640607 e 791528 _ 1647451667088;_ m _ H5 _ tk _ enc=7d 452 E4 e 140345814d 5748 C3 e 31 fc 355;xlly _ s=1;X5 sec=7b 227365617263686170703 b 32223 a 22326439323431634333336353038636353163333633036343463434634634 c 6158336343534454544745555550616333。tfstk=ckkgbrty 1 f 71 adbhpcs 6 lyjfva 0 dz v2 f 6 isey 3 heaykcuzxfizazuzz 1 sbk 1 hs _ R1.l=ebe VP-O4 gnqzzlbbofwurza 77 oiiragupzanbmiocpo 75 p 5 zbnw 60 wl 4l 9 cngvhstmr 3 lrb zu 9 beybqo 44n 5 u 62j-la 1 hmn;ISG=BD w8 snvxcvxzceu 4 ugf-vtadddrunebfg 0 wxd ba 9 wick 4d xrpkd 97 hhtxqmzqri 3 ,
"推荐人“: https://s.taobao.com/search?q=丝袜img file=js=1 stats _ click=search _ radio _ all:1 initiative _ id=staobaoz _ 20220323 ie=utf8 BC offset=1 nto offset=1 p4p push left=2,48 s=,
" sec-ch-ua ":" "不是;品牌;v=99 ,铬;v=99 ,谷歌chrome’;v=99 ,
sec-ch-ua-mobile :?0,
sec-ch-ua-platform : Windows ,
sec-fetch-dest: document ,
sec-fetch-mode:“”导航,
sec-fetch-site :同源,
sec-fetch-user :?1,
升级-不安全-请求: 1 ,
用户代理: Mozilla/5.0(Windows NT 10.0;win 64x 64)apple WebKit/537.36(KHTML,像壁虎一样)Chrome/99。0 .4844 .82 Safari/537.36 ,
}
url=fhttps://s .TB.com/search?q=丝袜 img file=js=1 stats _ click=search _ radio _ all:1 initiative _ id=staobaoz _ 20220323 ie=utf8 BC offset=1 nt offset=1 p4p push left=2,48 s={44*page}
response=requests.get(url=url,headers=headers)获取数据html_data=响应。文本解析数据(筛选数据)JSON _ str=re。find all( g _ page _ config=(.*);,html_data)[0]
# 字符串肯定不能用字典方式键值对取值
# json_str:字符串
# 类型转变:转成字典类型才能通过键值对方式去取值
json_dict=json.loads(json_str)
auctions=JSON _ dict[ MODS ][项目列表][数据][拍卖]
对于拍卖中的拍卖:
raw_title=auction[raw_title]
pic_url=auction[pic_url]
detail _ URL=auction[ detail _ URL ]
view _ price=auction[ view _ price ]
item_loc=auction[item_loc]
查看销售=拍卖[查看销售]
尼克=拍卖[尼克]
print(raw_title,pic_url,detail_url,view_price,item_loc,view_sales,nick)保存数据用open(TB.csv ,mode=a ,encoding=utf-8 ,newline= )作为女:
csv_writer=csv.writer(f)
csv_writer.writerow([raw_title,pic_url,detail_url,view_price,item_loc,view_sales,nick])
连接数据库导入已安装
def save_sql(title,pic_url,detail_url,view_price,item_loc,view_sales,nick):
count=pymysql.connect(
host=xxx.xxx.xxx.xxx ,#数据库地址
port=3306,#数据库端口
用户=xxxx ,#数据库账号
密码=xxxx ,#数据库密码
db=xxxx #数据库表名
)
# 创建数据库对象
db=count.cursor()
# 写入结构化查询语言
sql=finsert into goods(title,pic_url,detail_url,view_price,item_loc,view_sales,nick)值( {title} , {pic_url} , {detail_url} , {item_loc} , {view_sales} , {nick} )
#执行sql
数据库执行(sql)
#保存修改的内容
count.commit()
db.close()
原创作品来自爱吃饼干的博主松鼠,
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。