一些简单的python代码,python项目实例代码
点击上方“i小码哥”订阅我吧!
今天给大家分享三个极其实用的Python爬虫案例。
0 1爬取美图网站
爬图是爬行动物最常见的入门项目。并不复杂,但可以熟悉Python语法,掌握爬虫思路。当然,有两点需要注意:第一,不要侵犯版权;第二,注意营养。
思路流程
第一步:获取网站的响应,对内容进行分页,解析后提取图集的地址。
第二步:获取网站的响应,对图集进行分页,解析后提取图片的下载地址。
第三步:下载图片(即获取二进制内容,然后在本地进行复制)。
部分代码
运行结果
02爬取微博数据
爬虫最大的功能之一就是整合数据,获取更全面的信息,真正做好大数据的分析。在这个数据说话的时代,影响是决定性的。(注意不要侵权)
思路流程
1.使用chrome浏览器获取自己的cookie。
2.获取要抓取的用户的微博User_id。
3.将得到的两个内容填入weibo.py,替换代码中的YOUR_USER_ID和#YOUR_COOKIE,运行代码。
部分代码
Wordcloud是由Word Cloud等软件生成的,会根据信息出现的频率和权重来显示关键词的字体大小。
0 3爬取王者荣耀全套皮肤
如何获得全套皮肤?用钱买,或者用爬行者爬下来~虽然后者不能穿。这个案例稍微复杂一点,但是是一个值得学习的项目。
思路流程
首先进入所有英雄的列表,你会看到下图。
所有英雄的名字都包含在这个网页里。点击其中一个英雄,比如“百里守约”,进入后会看到如下图:
网站是https://pvp.qq.com/web201605/herodetail/196.shtml.
URL中196.shtml前面的字符不变,只有196.shtml发生了变化。而196就是对应“守约百里”的数字。如果要抓取图片,要进入每个英雄图片所在的网站,网站的钥匙就是对应的数字。那么如何找到这些数字呢?
在所有英雄列表中,打开浏览器的开发者工具,刷新,找到一个json格式的文件,如图:
然后你会看到所有英雄对应的数字。对应于这个json文件的URL形式可以在上图所示的标题中找到。导入Python,提取这些数字,然后模拟所有英雄的URL。
小节代码:
#抓取王者荣耀英雄的图片
#导入所需模块
导入请求
进口
进口货
#导入json文件(包含所有英雄的名字和编号)
URL=3358pvp.qq.com/web201605/js/herolist.json #英雄的名字json
Head={User-Agent:换成自己的头}
html=requests.get(url,headers=head)
html=requests.get(url)
html_json=html.json()
#提取英雄姓名和号码
hero _ name=list(map(lambdax:x[cname],html _ json)) # name
hero _ number=list(map(lambdax:x[ename],html _ json)) # number
下载图片
现在你可以访问所有英雄的网站,并抓取它们下面的图片。去一个英雄的网站,打开开发者工具,在网络下刷新,找到英雄的皮肤图片。如图所示:
然后检查标题中图片的URL。你会发现皮肤图片是有规律的。我们可以这样模拟图片URL。
http://game . gtimg . cn/images/yxzj/img 201606/skin/hero-info/amp;# x27str(v)amp;# x27/amp。# x27str(v)amp;# x27-bigskin-amp;# x27str(u)放大器;# x27。jpg,
在这个URL中,只改变了str(v)和str(u)(str(U)是Python中的一个函数),str(v)是英雄对应的编号,str(U)只是图片编号。例如,第一个图片是1,第二个是2,第三个是.而且一个英雄应该不超过12张皮肤(你可以把这个值调整到20,等等。然后我就下载了。
下载代码:
执行完上面的代码后,只需要执行main函数。
拍下来的图片是这样的。每个文件夹内都有相应的英雄图片,如下所示:
结束。
资料来源:CSDN
零基础学 Python,来这里
踏入Python编程大门仅7天,已有3800人加入。
【基础】0基础入门python,24小时快速答疑;
【提高】实战40多个项目。老兵可以学python来自真实场景;
【直播】不定期直播项目案例讲解,教你如何分析项目;
【分享】分享优质的python学习资料,让你在最短的时间内获得有价值的学习资源;朋友在分享高质量的信息或学习时,会时不时给予赞赏和支持。希望每一个优质的圈友都能赚回加盟费,快速成长,享受分享和帮助他人。
【人脉】收获一批志同道合的朋友,都是python的从业者。
【价格】本着传道授业解惑的精神,69元只需要加入一个可以保证学习效果的良心圈。
【礼物】后续圈zrdz开发python,0基础入门在线课程,免费送给圈友进行巩固和系统复习。
(三重福利)最近给圈里发了个礼包:
1.2.7G,308最新数据分析报告
2、40G人工智能算法视频课
3.Python爬虫类,共14个类
更精彩
在微信官方账号后台对话框输入以下关键词。
看到更多优质内容!
PM2.5世界杯惊喜附书代码
我也这么认为请把这篇文章分享给你的朋友。
转载/投稿请联系:data_circle_yoni。
总结Python的4个超级思维导图,不要错过。
知乎13万赞!为什么很多名校毕业生的后半生都输了?
【连载】光明奇迹轻松学习Python——如何入门Python?
如何自学成为Python的爱毛豆?这里有一些建议。
Python基础扎实,从22个语法开始!
抢JD。COM的注释手动,并修改网址直接重用(发送代码)
为什么《Python之父》推荐的小蓝书火了?
Python实战只需“三步”抓取二手iphone信息(送源码)
做数据分析要看什么书?
Python实战教你如何爬上豆瓣电影Top 250(附全部代码)
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。