python显示进度条,实时显示处理进度,
这篇文章主要介绍了如何实现大蟒爬虫爬取视频时实现实时进度条显示,在爬取并下载网页上的视频的时候,我们需要实时进度条,这可以帮助我们更直观的看到视频的下载进度。文章围绕主题展开更多内容,需要的小伙伴可以参考一下
目录
一、全部代码展示二、解释1 .用.结尾用法(实现上下文管理)关闭用法(完美解决上述问题)2.文件流流3。回应。标题[ content-length ]4。回应。ITER _ content()5。\r和%三、结果展示四、总结前言:在爬取并下载网页上的视频的时候,我们需要实时进度条,这可以帮助我们更直观的看到视频的下载进度。
一、全部代码展示
从上下文库导入关闭
从请求导入获取
URL= https://v 26-web。douyinvod。com/57 cdd 29 ee 3 a 718825 BF 7 B1 b 14d 63955 b/615d 475 f/video/tos/cn/tos-cn-ve-15/72 c 47 FB 481464 cfda 3d 415 b 9759 aade 7/?a=6383 br=2192 Bt=2192 CD=0 0 0ch=26cr=0cs=0cv=1dr=0ds=4er=ft=jal 9 wj-BZ 7 th WG 4s 1 CTL=021633499366600 fdb DDC 0200 fff 0030 a 92169 a 000000490 f 5507 lr=all mime _ type=video _ MP4
用closing(get(url,stream=True))作为响应:
chunk_size=1024 #单次请求最大值
#回应。标题[内容长度]得到的数据类型是潜艇用热中子反应堆(海底热反应堆的缩写)而不是(同国际组织)国际组织
content _ size=int(response。标题[内容长度])#文件总大小
data_count=0 #当前已传输的大小
带开(文件名。mp4 , wb )作为文件:
ITER内容(块大小=块大小):
文件.写入(数据)
done_block=int((数据计数/内容大小)* 50)
# 已经下载的文件大小
数据计数=数据计数长度(数据)
# 实时进度条进度
now_jd=(数据计数/内容大小)* 100
# %% 表示%
print( % \ r[% s % s]% d % % %(done _ block * ), *(50-1-done _ block),now_jd),end= )
注:上面的url已过期,需要各位自己去找
网页上的视频url
二、解释
1.with closing
我们在日常读取文件资源时,经常会用到with open() as f:的句子。
但是使用with语句的时候是需要条件的,任何对象,只要正确实现了上下文管理,就可以使用with语句,实现上下文管理是通过__enter__
和__exit__
这两个方法实现的。
with用法(没有实现上下文管理)
class Door():def open(self):
print(Door is opened)
def close(self):
print(Door is closed)
with Door() as d:
d.open()
d.close()
结果报错了:
with用法(实现上下文管理)
用__enter__
和__exit__实现了上下文管理
class Door():def open(self):
print(Door is opened)
def close(self):
print(Door is closed)
with Door() as d:
d.open()
d.close()
结果没报错:
closing用法(完美解决上述问题)
一个对象没有实现上下文,我们就不能把它用于with
语句。这个时候,可以用contextlib中的
closing()
来把该对象变为上下文对象。
class Door():def __enter__(self):
print(Begin)
return self
def __exit__(self, exc_type, exc_value, traceback):
if exc_type:
print(Error)
else:
print(End)
def open(self):
print(Door is opened)
def close(self):
print(Door is closed)
with Door() as d:
d.open()
d.close()
例如:用with语句使用requests中的get(url)
也就是本文中的案例,使用with closing()下载视频(在网页中)
2.文件流stream
想象一下,如果把文件读取比作向池子里抽水,同步会阻塞程序,异步会等待结果,如果池子非常大呢?
因此有了文件流,它就好比你一边抽一边取,不用等池子满了再用,
所以对于一些大型文件(几个G的视频)一般会用到这个参数。(对小型文件也可以使用)
3.response.headers['content-length']
这表示获取文件的总大小,但是它得到的结果的数据类型是str而不是int,因此需要进行数据类型转换。
4.response.iter_content()
该方法一般用于从网上下载文件和网页(需要用到requests.get(url))
其中chunk_size表示单次请求最大值。
5.\r和%
\r表示回车(回到行首)
%是一种占位符
而对于%%,第一个%起到了转义的作用,使结果输出为百分号%
三、结果展示
四、总结
我之前看了许多的进度条,这些进度条都能动,但是满足不了根据文件内容进行加载(里面的参数要么都定死了,要么就与文件大小无关),不能做到真正的交互功能,这次的进度条就很好的展示了,大家可以去试试!!
这次下载视频展示进度条是争对一个url,大家可以将它加到你的爬虫的循环中,这样就能在爬每个视频的时候展示实时进度条了!!
到此这篇关于如何实现python爬虫爬取视频时实现实时进度条显示的文章就介绍到这了,更多相关python爬取显示进度条内容请搜索盛行IT软件开发工作室以前的文章或继续浏览下面的相关文章希望大家以后多多支持盛行IT软件开发工作室!
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。