python存入数据库,Python导入数据集

  python存入数据库,Python导入数据集

  目录前言开发环境代码实现开始代码请求数据获取数据解析数据(筛选数据)保存数据连接数据库前言开发环境

  python 3.8

  pycharm 2021.2专业版

  代码实现

  发送请求获取数据解析数据(筛选数据)保存数据连接数据库

  开始代码请求数据# 伪装

  标题={

  cookie : miid=4137864361077413341;轨道尼克=\ u 5218 \ u 6587 \ u 9 f 9978083283thw=cnhng=CN zh-CN CNY 156;CNA=Mn i4 gic xyt qcaa 8 apqlawwis;enc=/WC 5 tlhzcgfeq 7 zm 4y 7 wyntoesfzvxhucomhkanukyukh 1 ynhbfxacrrdndcfeey 9y 5 ztsufv 535 ni 0 AK jex 4g==;t=ad 15767 FFA 6 Fe bb 4d 2 a 8709 edebf 63d 3;lgc=\ u 5218 \ u 6587 \ u 9 f 9978083283;SG cookie=e 100 ecw pan 49d 4 UC 3 mkl dec 205 ax RTA 81 rfv 4 IC 8 x8 Yom 08 mjvtdhlkywyybksrncalhgsk 1 mj 6 LMA 1对3 vtf Mr 7 mtw 3 hmm 92 jasn+OA 528 au ARF JF 2r nov+x25dm+YC6l;uc3=nk2=ogczbg 70 hcz 6 abziwjm=vt3=F8 dcvcogb 1/5 sh 1k qhy=lg2=Vq8l+kclz 3/65A==id2=ungwojvj 4 vjzwg==;uc4=nk4=0 @ oawoex 2 a2 ma 2/2I/jfnivzpttp/2YKSTg==id4=0 @ ugbumzoge 7 ar 3 lxd 0 xaym+sqyxOW;_ cc _=w5 ihllyffa==_ m _ H5 _ tk=AC 589 fc 01 c 86 be 5353 b 640607 e 791528 _ 1647451667088;_ m _ H5 _ tk _ enc=7d 452 E4 e 140345814d 5748 C3 e 31 fc 355;xlly _ s=1;X5 sec=7b 227365617263686170703 b 32223 a 22326439323431634333336353038636353163333633036343463434634634 c 6158336343534454544745555550616333。tfstk=ckkgbrty 1 f 71 adbhpcs 6 lyjfva 0 dz v2 f 6 isey 3 heaykcuzxfizazuzz 1 sbk 1 hs _ R1.l=ebe VP-O4 gnqzzlbbofwurza 77 oiiragupzanbmiocpo 75 p 5 zbnw 60 wl 4l 9 cngvhstmr 3 lrb zu 9 beybqo 44n 5 u 62j-la 1 hmn;ISG=BD w8 snvxcvxzceu 4 ugf-vtadddrunebfg 0 wxd ba 9 wick 4d xrpkd 97 hhtxqmzqri 3 ,

  "推荐人“: https://s.taobao.com/search?q=丝袜img file=js=1 stats _ click=search _ radio _ all:1 initiative _ id=staobaoz _ 20220323 ie=utf8 BC offset=1 nto offset=1 p4p push left=2,48 s=,

  " sec-ch-ua ":" "不是;品牌;v=99 ,铬;v=99 ,谷歌chrome’;v=99 ,

  sec-ch-ua-mobile :?0,

  sec-ch-ua-platform : Windows ,

  sec-fetch-dest: document ,

  sec-fetch-mode:“”导航,

  sec-fetch-site :同源,

  sec-fetch-user :?1,

  升级-不安全-请求: 1 ,

  用户代理: Mozilla/5.0(Windows NT 10.0;win 64x 64)apple WebKit/537.36(KHTML,像壁虎一样)Chrome/99。0 .4844 .82 Safari/537.36 ,

  }

  url=fhttps://s .TB.com/search?q=丝袜 img file=js=1 stats _ click=search _ radio _ all:1 initiative _ id=staobaoz _ 20220323 ie=utf8 BC offset=1 nt offset=1 p4p push left=2,48 s={44*page}

  response=requests.get(url=url,headers=headers)获取数据html_data=响应。文本解析数据(筛选数据)JSON _ str=re。find all( g _ page _ config=(.*);,html_data)[0]

  # 字符串肯定不能用字典方式键值对取值

  # json_str:字符串

  # 类型转变:转成字典类型才能通过键值对方式去取值

  json_dict=json.loads(json_str)

  auctions=JSON _ dict[ MODS ][项目列表][数据][拍卖]

  对于拍卖中的拍卖:

  raw_title=auction[raw_title]

  pic_url=auction[pic_url]

  detail _ URL=auction[ detail _ URL ]

  view _ price=auction[ view _ price ]

  item_loc=auction[item_loc]

  查看销售=拍卖[查看销售]

  尼克=拍卖[尼克]

  print(raw_title,pic_url,detail_url,view_price,item_loc,view_sales,nick)保存数据用open(TB.csv ,mode=a ,encoding=utf-8 ,newline= )作为女:

  csv_writer=csv.writer(f)

  csv_writer.writerow([raw_title,pic_url,detail_url,view_price,item_loc,view_sales,nick])

  连接数据库导入已安装

  def save_sql(title,pic_url,detail_url,view_price,item_loc,view_sales,nick):

  count=pymysql.connect(

  host=xxx.xxx.xxx.xxx ,#数据库地址

  port=3306,#数据库端口

  用户=xxxx ,#数据库账号

  密码=xxxx ,#数据库密码

  db=xxxx #数据库表名

  )

  # 创建数据库对象

  db=count.cursor()

  # 写入结构化查询语言

  sql=finsert into goods(title,pic_url,detail_url,view_price,item_loc,view_sales,nick)值( {title} , {pic_url} , {detail_url} , {item_loc} , {view_sales} , {nick} )

  #执行sql

  数据库执行(sql)

  #保存修改的内容

  count.commit()

  db.close()

  原创作品来自爱吃饼干的博主松鼠,

郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。

相关文章阅读

  • 关系型数据库与非关系型数据库简介一样吗,关系型数据库非关系型数据库有哪些
  • 关系型数据库与非关系型数据库简介一样吗,关系型数据库非关系型数据库有哪些,关系型数据库与非关系型数据库简介
  • 关于redis数据库入门详细介绍图片,redis数据库的使用,关于Redis数据库入门详细介绍
  • 使用php连接mysql数据库,php连接数据库的方法
  • 使用php连接mysql数据库,php连接数据库的方法,一文详解PHP连接MySQL数据库的三种方式
  • 什么是分库分表,为什么要进行分库分表-,分库分表的区别,数据库分库分表是什么,什么情况下需要用分库分表
  • vb中adodb连接数据库,
  • treeview控件绑定数据,wpf treeview数据绑定,详解TreeView绑定数据库
  • sql的多表查询,数据库如何实现多表查询
  • SQL数据库的图形管理界面工具是,sql图形界面创建数据库
  • SQL数据库的图形管理界面工具是,sql图形界面创建数据库,SQLServer2019 数据库的基本使用之图形化界面操作的实现
  • sql数据库定时备份怎么弄,mysql 定期备份
  • sql数据库定时备份怎么弄,mysql 定期备份,MySQL 数据库定时备份的几种方式(全面)
  • sqlserver的nvarchar和varchar,数据库varchar和nvarchar
  • sqlserver的nvarchar和varchar,数据库varchar和nvarchar,SQL中varchar和nvarchar的基本介绍及其区别
  • 留言与评论(共有 条评论)
       
    验证码: