大数据分析用python还是java,人工智能用java还是python

　　大数据是目前互联网上比较流行的技术语言。在处理大数据方面有优势的编程语言有很多，比如java、python、go、R、Hadoop等。每种编程语言原则上都可以处理大数据，只是处理的规模不同。但是现在，比较流行的数据处理编程语言是java和python。

　　Java大数据和python大数据

　　说到java编程，java工程师在同行中一直都是待遇不错的职位，而python在2016年从最初的人工智能爆发，从而在短短两年内就赶上了java。python的发展，最大的赢家无疑是python。未来的大数据对一个企业有多重要？通过对数据的分析，了解市场需求和发展方向，对公司未来进行定位，整理大量不规则的数据信息，总结出可以查询的特征。

　　大数据的基本技能

　　自从python在流行度上超越java后，python在大数据方面的优势逐渐被人们认可。但是java作为一门成熟了20多年的编程语言，在大数据处理方面已经存在了很长时间，至今仍然是程序员们最爱开发的编程。

　　在大数据处理方面，java还是偏爱软件应用和网站数据，包括游戏数据处理，尤其是金融服务数据处理，一直是java的强项；Python有很多免费的科学算法库，优势在于人工智能大数据处理。当然，Python也用于处理银行基础设施中的金融数据。可以说java和python在大数据处理上各有优势。

　　处理大规模数据时常用的Python库有哪些？它们的优缺点是什么？适用范围是什么？

　　快乐金毛对NLP/对话机器人方向感兴趣，请联系我

　　我们需要澄清两点，然后才能全面地看待这个问题：

　　1.几百万行不算大数据。按照现在的互联网应用，大数据的起点是10亿以上。

　　2.处理的具体含义。如果是数据加载和分发，python效率很高；如果是找一些常用的统计和一些基本算法的结果，python也有现成的高效库，用C实现，并行化；如果是纯自己写的算法，没有别的可以借鉴，也没有库可以用。用纯python写就是自找麻烦。

　　python的优势不在于运行效率，而在于开发效率和高维护性。针对具体问题选择合适的工具，本身就是一种技术能力。

　　百万级数据是小数据，不是python能处理的问题。python在处理数据方面还存在一些问题。

　　Python在处理大数据方面的劣势：

　　1.python线程有gil，意味着多线程时只能在一个核上运行，浪费了多核服务器。在一个常见的场景中，这是致命的：存在巨大的数据共享或并发单元之间的共享(例如big dict)。多进程会导致内存紧张，而多线程解决不了数据共享的问题。编写一个单独的进程来维护和读取这些数据，不仅效率低，而且很麻烦。

　　2.python的执行效率不高。在处理大数据的时候，确实如此。pypy(一个jit python解释器，可以理解为加速执行的脚本语言)可以大大提高速度，但是pypy不支持很多python经典包，比如numpy(顺便给pypy打个广告，斯文的学姐可以捐PyPy——号召捐款)

　　3.大部分大公司，不管是环境还是积累，用java处理大数据都会好很多。

　　Python的数据处理优势(不是大数据处理):

　　1、开发速度异常快，代码量巨大。

　　2.丰富的数据处理包，不管是常规的还是非常规的，html解析和xml解析，用起来都非常方便。

　　3.使用内部类型的成本极低，不需要额外的操作(java，C用一个map很费力)

　　4.在公司，大量的数据处理工作不需要面对非常大的数据。

　　5.庞大的数据不是语言能解决的。它需要一个处理数据的框架(hadoop，mpi。虽然是小众，但是python还是有处理大数据的框架，或者说有些框架也支持python。

　　6.kwddt处理编码问题太方便了。

　　总而言之：

　　1.python可以处理大数据。

　　2.python不一定是处理大数据的最佳选择。

　　3.Python和其他语言(公司推广的)并行使用是非常好的选择。

　　4.因为开发速度的原因，如果你经常和数据打交道，像linux终端，经常和小数据打交道(100m以内)，最好学python。

　　python数据处理包：

　　1.自带常规包，文字处理就够了。

　　2.CelementTree，当数据量过大时，Lxml的默认XML速度不足。

　　3.beautifulsoup处理html

　　4.hadoop(可以用python处理)并行，支持用python写的map reduce，这就够了。对了，阿里巴巴的odps和hadoop一样，支持用python写的udf，内嵌在sql语句中。

　　5.学习数值计算和数据挖掘

　　6.dpark(上楼的答案)类似hadoop的东西

　　1、2、3、5是处理文本数据的利器(python处理文本数据很方便，不是吗)，4、6是并行计算的框架(大数据处理的效率在于良好的分布式计算逻辑，而不是任何语言)。

　　目前就这么多，最好说一个方向，不然不知道。

　　如何查看电脑配置历史中提交的图片或压缩文件？

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。