博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python中threading多线程以及传参
阅读量:3909 次
发布时间:2019-05-23

本文共 1124 字,大约阅读时间需要 3 分钟。

话不多说,上代码:

class get_article_content(object):#对象属性只有传入的是初始值和末位置	"""抓取文章内容类""".............................省略	def run(initial_value, last_value):		article_urls = get_article_content.read_csv()#读取原始url		datas = get_article_content.crawl_article(article_urls, initial_value, last_value)#数据抓取		get_article_content.save_keyword_retrieval(datas)#数据保存class thread_crawl(object):	"""线程类"""	def __init__(self):		pass	def five_threads():		#抓取文章内容并进行检索关键词保存,5个线程		all_article_num = len([i for i in get_article_content.read_csv()])		tem = all_article_num // 5		t1 = threading.Thread(target=get_article_content.run,args=[0, tem])		t2 = threading.Thread(target=get_article_content.run,args=[tem, tem*2])		t3 = threading.Thread(target=get_article_content.run,args=[tem*2, tem*3])		t4 = threading.Thread(target=get_article_content.run,args=[tem*3, tem*4])		t5 = threading.Thread(target=get_article_content.run,args=[tem*4, all_article_num])		t1.start()		t2.start()		t3.start()		t4.start()		t5.start()		while 1:#如果线程都结束,就排序			if threading.activeCount() - 1 == 0:				sort_article.sort_it('keyword_retrieval.csv')#文章排序				break			time.sleep(10)

 

转载地址:http://rfkrn.baihongyu.com/

你可能感兴趣的文章
真实经历:整整一年了,他是这样从程序员转型做产品经理的
查看>>
互联网时代供应链
查看>>
WPF 使用 Expression Design 画图导出及使用 Path 画图
查看>>
使用BeetleX访问redis服务
查看>>
.NET 应用如何优雅的做功能开关(Feature Flag)
查看>>
如何踢掉 sql 语句中的尾巴,我用 C# 苦思了五种办法
查看>>
从零开始实现 ASP.NET Core MVC 的插件式开发(九) - 如何启用预编译视图
查看>>
.NET应用如何优雅的实现功能定时开关
查看>>
netcore一键部署到linux服务器以服务方式后台运行
查看>>
从 3.1 到 5.0 —— OpenReservation 更新记
查看>>
还在犹豫是否迁移.NET5?这几个项目已经上线了!
查看>>
Kuma 1.0 GA发布,70多项新功能和改进
查看>>
被 C# 的 ThreadStatic 标记的静态变量,都存放在哪里了?
查看>>
ASP.NET Core使用HostingStartup增强启动操作
查看>>
结合控制台程序和K8S的CronJob完成定时任务
查看>>
2020了,最流行的密码依旧是123456
查看>>
网传不要升级.NET5的诸多原因,你赞同几个?
查看>>
利用模板化应对ERP业务模型的快速变化
查看>>
[项目更新] 集成RabbitMQ队列与EventBus总线
查看>>
尝鲜!.NET5实操之docker+k8s,这10个坑,你不得不知!
查看>>