python 爬虫 多线程,python 线程并发

　　大蟒并发编程实战（四):使用多线程，python爬虫被加速10倍_wx5de339d64c54e的技术博客_博客

　　大蟒创建多线程的方法

　　单线程、多线程爬取博客园速度对比tmp/blog_spider.py

　　导入请求

　　URL=[

　　fhttps://www.c.com/#p{page}

　　对于范围(1,50 ^ 1)中的页面

　　]

　　定义抓取(网址):

　　r=requests.get(url)

　　打印(url，len(r.text))

　　爬网(URL[0])01。多线程爬行。巴拉圭

　　导入博客_蜘蛛

　　导入线程，时间

　　极好的单线程():

　　打印(单线程开始)

　　对于blog _ spider.urls中的网址：

　　blog_spider.craw(网址)

　　打印("单线程结束")

　　极好的多线程():

　　打印(单线程开始)

　　线程=[]

　　对于blog _ spider.urls中的网址：

　　线程。追加（

　　穿线Thread(target=blog_spider.craw，args=(url，))

　　)

　　对于螺纹中的螺纹：

　　thread.start()

　　对于螺纹中的螺纹：

　　thread.join()

　　打印("单线程结束")

　　if __name__==__main__ :

　　start=time.time()

　　单线程()

　　end=time.time()

　　打印(单线程成本： ,结束-开始，秒)

　　start=time.time()

　　多线程()

　　end=time.time()

　　打印(多线程开销： ,结束-开始，秒)爬取速度对比

　　可以看到，速度足足提高了8倍，当然和电脑的性能也有关系

　　单线程

　　多线程

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。