hadoop为什么要用mysql,hadoop为什么要用集群
Hadoop即Lucene的创始人Doug Cutting在2000年开发了Lucene,距离java (1995年)正式推出仅5年。你可以想象当时Java是多么的新颖和酷!
根据道格卡丁的自述,他当时开发软件的主要目的是赚钱养家。这个时候java的很多新特性自然赢得了年轻工程师的青睐。
如何解决写爬虫IP受阻的问题?立即使用。
Doug Cutting还是Apache Lucene的创始人,Apache Lucene是一个著名的基于Java的搜索引擎库。Hadoop最初用于Apache Nutch,一个著名的开源搜索引擎。Nutch本身是基于Lucene的,也是Lucene的子项目。所以很自然的Hadoop是基于Java的,所以Hadoop是Java写的。
Hadoop是用Java写的,所以Hadoop自然支持用Java语言写作业。但在实际应用中,有时由于使用非Java第三方库或其他原因,需要用C/C或其他语言编写MapReduce作业。这时候可能会用到Hadoop提供的一些工具。
如果你想用C/C写MpaReduce作业,可用的工具有Hadoop Streaming或者Hadoop Pipes。
如果想用Python写MapReduce作业,可以用Hadoop Streaming或者Pydoop。
如果想用其他语言,比如shell,php,ruby等。可以使用Hadoop Streaming。
JVM / JDK开发人员请求帮助
我们强烈建议任何进行JVM/JDK测试的人编译并运行Hadoop。
这是一次出色的性能和压力测试。随着Hadoop成为关键的后端数据中心应用,良好的Hadoop支持非常重要。这就是Hadoop为什么用java的细节。请多关注我们的其他相关文章!
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。