python多线程返回结果,python 多进程返回值

2022-08-27 15:32:40 分类：python 阅读()

　　python多线程返回结果,python 多进程返回值

　　本文主要介绍python关于多线程和获取返回值的知识，包括带返回值的多线程和实现过程的分析。这篇文章给你做了非常详细的介绍，对你的学习或者工作有一定的参考价值。有需要的朋友可以参考一下。

　　00-1010一、多线程带返回值1.1实现代码1.2结果二。实现过程2.1一个普通的爬虫函数2.2多线程值传递的简单例子2.3实现重点三。守则练习四。学问

　　

目录

　　

一、带有返回值的多线程

　　# -*-编码：utf-8 -*-

　　作者：wyt

　　日期：2022年4月21日

　　导入线程

　　导入请求

　　导入时间

　　URL=[

　　f 3359 www.cnblogs.com/# p { page } #要爬网的地址

　　对于范围(1，10)中的页面#爬网1-10页

　　]

　　定义抓取(url):

　　r=requests.get(url)

　　Num=len(r.text) #抓取博客公园当前页面的字数

　　Return num #返回当前页面的字数。

　　Def sigle(): #单线程

　　res=[]

　　对于urls:中的I

　　res.append(craw(i))

　　返回资源

　　ClassThread(线程。Thread) 3360 #重写threading.thread类并添加函数获取返回值。

　　def __init__(self，url):

　　threading.Thread.__init__(self)

　　Self.url=url #初始化传入的url

　　Def run(self): #一个新增加的功能，其目的是：

　　self . result=crawl(self . url)#.调整crawl (arg)函数，将初始URL作为参数——传递，实现爬虫功能。

　　# .并获取craw(arg)函数的返回值并存储在该类的定义值结果中。

　　Get _ result (self) 3360 #增加了一个新函数，目的是返回run()函数得到的结果。

　　返回自我结果

　　def多线程():

　　打印(“开始”)

　　Threads=[] #定义一个线程组

　　对于urls:中的url

　　Threads.append(#将分配的MyThread类添加到线程组。

　　MyThread(url) #将每个url传递给重写的MyThread类

　　)

　　对于threads: #中的线程，每个线程组的开始

　　thread.start()

　　对于threads: #中的线程，加入每个线程组

　　thread.join()

　　list=[]

　　对于threads:中的线程

　　list . append(thread . get _ result())#将每个线程返回的结果添加到列表中。

　　打印(“结束”)

　　Return list #返回多线程返回的结果列表。

　　if __name__==__main__:

　　start_time=time.time()

　　result_multi=多线程()

　　Print(result_multi) #输出返回值-列表

　　# result_sig=sigle()

　　# print(结果签名)

　　end_time=time.time()

　　打印(运行时间：，结束时间-开始时间)

　　 class="maodian">

　　

1.2 结果

　　单线程：

　　

　　多线程：

　　

　　加速效果明显。

　　

　　

二、实现过程

　　

　　

2.1 一个普通的爬虫函数

　　

import threading
　　import requests
　　import time
　　urls = [
　　 fhttps://www.cnblogs.com/#p{page} # 待爬地址
　　 for page in range(1, 10) # 爬取1-10页
　　]
　　def craw(url):
　　 r = requests.get(url)
　　 num = len(r.text) # 爬取博客园当页的文字数
　　 print(num)
　　def sigle(): # 单线程
　　 res = []
　　 for i in urls:
　　 res.append(craw(i))
　　 return res
　　def multi_thread():
　　 print("start")
　　 threads = [] # 定义一个线程组
　　 for url in urls:
　　 threads.append(
　　 threading.Thread(target=craw,args=(url,)) # 注意args=(url,)，元组
　　 )
　　 for thread in threads: # 每个线程组start
　　 thread.start()
　　 for thread in threads: # 每个线程组join
　　 thread.join()
　　 print("end")
　　if __name__ == __main__:
　　 start_time = time.time()
　　 result_multi = multi_thread()
　　 # result_sig = sigle()
　　 # print(result_sig)
　　 end_time = time.time()
　　 print(用时：, end_time - start_time)
　　

　　返回：

　　

start
69915
69915
69915
69915
69915
69915
69915
69915
69915
end
用时： 0.316709041595459

　　

　　

　　

2.2 一个简单的多线程传值实例

　　

import time
　　from threading import Thread
　　def foo(number):
　　 time.sleep(1)
　　 return number
　　class MyThread(Thread):
　　 def __init__(self, number):
　　 Thread.__init__(self)
　　 self.number = number
　　 def run(self):
　　 self.result = foo(self.number)
　　 def get_result(self):
　　 return self.result
　　if __name__ == __main__:
　　 thd1 = MyThread(3)
　　 thd2 = MyThread(5)
　　 thd1.start()
　　 thd2.start()
　　 thd1.join()
　　 thd2.join()
　　 print(thd1.get_result())
　　 print(thd2.get_result())

　　返回：

　　

3
5

　　

　　

　　

2.3 实现重点

　　多线程入口

　　

threading.Thread(target=craw,args=(url,)) # 注意args=(url,)，元组

　　多线程传参

　　需要重写一下threading.Thread类，加一个接收返回值的函数。

　　

　　

三、代码实战

　　使用这种带返回值的多线程技术重写了一下之前发布过的一个爬取子域名的代码，原始代码在这里：https://www.jb51.net/article/254460.htm

　　

import threading
　　import requests
　　from bs4 import BeautifulSoup
　　from static.plugs.headers import get_ua
　　#https://cn.bing.com/search?q=site%3Abaidu.com&go=Search&qs=ds&first=20&FORM=PERE
　　def search_1(url):
　　 Subdomain = []
　　 html = requests.get(url, stream=True, headers=get_ua())
　　 soup = BeautifulSoup(html.content, html.parser)
　　 job_bt = soup.findAll(h2)
　　 for i in job_bt:
　　 link = i.a.get(href)
　　 # print(link)
　　 if link not in Subdomain:
　　 Subdomain.append(link)
　　 return Subdomain
　　class MyThread(threading.Thread):
　　 def __init__(self, url):
　　 threading.Thread.__init__(self)
　　 self.url = url
　　 def run(self):
　　 self.result = search_1(self.url)
　　 def get_result(self):
　　 return self.result
　　def Bing_multi_thread(site):
　　 print("start")
　　 threads = []
　　 for i in range(1, 30):
　　 url = "https://cn.bing.com/search?q=site%3A" + site + "&go=Search&qs=ds&first=" + str(
　　 (int(i) - 1) * 10) + "&FORM=PERE"
　　 threads.append(
　　 MyThread(url)
　　 )
　　 for thread in threads:
　　 thread.start()
　　 for thread in threads:
　　 thread.join()
　　 res_list = []
　　 for thread in threads:
　　 res_list.extend(thread.get_result())
　　 res_list = list(set(res_list)) #列表去重
　　 number = 1
　　 for i in res_list:
　　 number += 1
　　 number_list = list(range(1, number + 1))
　　 dict_res = dict(zip(number_list, res_list))
　　 print("end")
　　 return dict_res
　　if __name__ == __main__:
　　 print(Bing_multi_thread("qq.com"))
　　

　　返回：

　　

{
1:'https://transmart.qq.com/index',
2:'https://wpa.qq.com/msgrd?v=3&uin=448388692&site=qq&menu=yes',
3:'https://en.exmail.qq.com/',
4:'https://jiazhang.qq.com/wap/com/v1/dist/unbind_login_qq.shtml?source=h5_wx',
5:'http://imgcache.qq.com/',
6:'https://new.qq.com/rain/a/20220109A040B600',
7:'http://cp.music.qq.com/index.html',
8:'http://s.syzs.qq.com/',
9:'https://new.qq.com/rain/a/20220321A0CF1X00',
10:'https://join.qq.com/about.html',
11:'https://live.qq.com/10016675',
12:'http://uni.mp.qq.com/',
13:'https://new.qq.com/omn/TWF20220/TWF2022042400147500.html',
14:'https://wj.qq.com/?from=exur#!',
15:'https://wj.qq.com/answer_group.html',
16:'https://view.inews.qq.com/a/20220330A00HTS00',
17:'https://browser.qq.com/mac/en/index.html',
18:'https://windows.weixin.qq.com/?lang=en_US',
19:'https://cc.v.qq.com/upload',
20:'https://xiaowei.weixin.qq.com/skill',
21:'http://wpa.qq.com/msgrd?v=3&uin=286771835&site=qq&menu=yes',
22:'http://huifu.qq.com/',
23:'https://uni.weixiao.qq.com/',
24:'http://join.qq.com/',
25:'https://cqtx.qq.com/',
26:'http://id.qq.com/',
27:'http://m.qq.com/',
28:'https://jq.qq.com/?_wv=1027&k=pevCjRtJ',
29:'https://v.qq.com/x/page/z0678c3ys6i.html',
30:'https://live.qq.com/10018921',
31:'https://m.campus.qq.com/manage/manage.html',
32:'https://101.qq.com/',
33:'https://new.qq.com/rain/a/20211012A0A3L000',
34:'https://live.qq.com/10021593',
35:'https://pc.weixin.qq.com/?t=win_weixin&lang=en',
36:'https://sports.qq.com/lottery/09fucai/cqssc.htm'
}

　　

　　非常非常非常能感受到速度快了超级多，用这种方式爆破子域名也比较爽。没有多线程，我的项目里可能缺少了好几个功能：因为之前写过的一些程序都因执行时间过长被我砍掉。这个功能还是很实用的。

　　

　　

四、学习

　　B站python-多线程教程：https://www.bilibili.com/video/BV1bK411A7tV

　　到此这篇关于python实现多线程并得到返回值的示例代码的文章就介绍到这了,更多相关python多线程得到返回值内容请搜索盛行IT软件开发工作室以前的文章或继续浏览下面的相关文章希望大家以后多多支持盛行IT软件开发工作室！

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。

标签： python

相关文章阅读

  • python多线程详解,python中的线程和进程
  • python多线程详解,python中的线程和进程,Python线程详解
  • ,,python多线程高级锁condition简单用法示例
  • python多线程是不是真正的并发,python的多进程是并发还是并行
  • python 多线程并行处理,python多线程运行
  • python 多线程编程,python多线程有几种实现方法,都是什么
  • python多线程和java多线程的区别,python的多进程和多线程
  • 进程共享全局变量吗,python多线程变量共享
  • python多线程传递参数,python 线程传递参数
  • python线程结束的三种方式,python多线程如何结束
  • python多线程锁的使用,python线程死锁的原因及解决方法
  • python多线程爬取大量数据,python3多线程爬虫
  • python 多线程有几种实现方法,python多线程是假的
  • python多线程并发,python3 多进程并发执行
  • Python多线程,python多线程菜鸟教程
    • 留言与评论（共有 条评论）
       
    验证码：