python多进程处理文件,Python处理大量数据

　　在大蟒中，我们会遇到处理大量文件数据的时候。如果我们用为循环顺序处理，处理文件数据效率额很低，这时我们就可以使用我们的多线程来处理多个超大的文件数据。

　　第一步：导入import threading 模块

　　第二步：使用多线程可以同时打开并运行多个数据进口螺纹

　　#!/usr/bin/envpython

　　#编码=utf-8

　　导入线程

　　进口时间

　　fromQueueimportQueue

　　defreadFile():

　　file _ object=open(/opt/dev/python/list。dat’)

　　全局队列

　　forlineinfile_object:

　　queue.put(line)

　　类别消费者(线程。螺纹):

　　defrun(self):

　　全局队列

　　whilequeue.qsize()0:

　　 msg=self.name 消费了queue.get()

　　printmsg

　　时间。睡眠(0.01)

　　queue=Queue()

　　defmain():

　　readFile()

　　(5):

　　c=消费者()

　　c。启动()

　　if__name__==__main__:

　　主()以上就是用大蟒多线程处理大量数据的演示代码，如果有需要处理大量文件的小伙伴，可以尝试使用多线程，会方便很多哦~

　　（推荐操作系统：windows7系统、Python 3.9.1、戴尔自交第三代电脑。)

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。