大数据工程师的职业素养,大数据软件工程师需要知识嘛,大数据工程师需要具备哪些能力

　　经常看到有近几万的朋友在疑惑学习Java应该选择哪个开发方向。我们在上一篇文章中已经提到了这一点。Java开发在这个领域有三种选择：

　　JavaEE，主要用于企业应用开发；安卓发展方向；嵌入式应用开发方向。这里建议你选择JavaEE方向，因为它应用广泛，工作设置也很多。

　　但是我们从来没有讨论过学习Java。这辈子只能做Java后端开发吗？难道只能在这条路上战斗到底吗？中间没有其他选择了吗？

　　偶然认识的一个朋友，一开始从事Java后端开发。后来利用业余时间自学成功转入大数据行业。现在是大数据工程师的员工，工资比以前好多了。前提是他是Java后端开发者。

　　大数据是我们现在的一个热门发展方向。

　　但是大数据的起点要高，什么都不用就可以入门。

　　我们将要谈到的对大数据的学习是有条件的。首先你需要是一个普通的工程师，如果是Java工程师就更好了，但是如果是危机四伏的天空，那你只有成为工程师之后才能学习大数据。

　　一

　　认识大数据

　　大数据实际上是数据，但它也包括一些新功能：

　　数据来源广；数据格式多样化(结构化数据、非结构化数据、Excel文件等。);数据量大(至少TB级别，甚至可能PB级别)；数据增长速度快。并且对于上述新特性有许多问题要考虑：

　　比如数据来源很多，如何收集汇总？收集后，应该存放什么？数据存储后，如何通过运算转换成想要的结果？

　　我们需要有相应的知识来解决这些问题。

　　二

　　大数据所需技能要求

　　Python语言：写一些脚本的时候会用到。

　　Scala语言：编写Spark程序的最佳语言。当然，你也可以选择Python。

　　Ozzie，azkaban：用于计划任务的工具。

　　Hue，Zepplin：图形化任务执行管理和结果查看工具。

　　Allluxio，Kylin等：通过预处理存储数据来加速操作的工具。

　　必须掌握的技能：

　　高级Java(虚拟机、并发)、Linux基本操作、Hadoop(HDFS MapReduce Yarn)、HBase(JavaAPI operation Phoenix)、Hive(HQL基本操作和原理理解)、Kafka、Storm/JStorm、Scala、Python、Spark(核心Spark SQL Spark Streaming)、辅助小工具(Sqoop/Flume/Oozie/Hue)等)

　　高阶技能6条：

　　机器学习算法和mahout库加MLlib，r语言，Lambda架构，Kappa架构，Kylin和Alluxio。

　　三

　　学习规划

　　第一阶段

　　Linux学习：Linux操作系统介绍及安装，Linux常用命令，Linux常用软件安装，Linux网络，防火墙，Shell编程等。

　　Java 高级学习：主多线程、契约下队列、JVM技术、反射和动态代理、JMS。

　　Zookeeper学习：Zookeeper分布式协调服务介绍，Zookeeper集群的安装部署，Zookeeper数据结构，命令。

　　第二阶段

　　Hadoop、Hive、HBase、Scala、Spark、Python

　　第三阶段

　　Sqoop、Flume、Oozie、Hue主要可以在CSDN、51CTO和官网学习。

　　总结

　　在科技行业，每天都会有新的东西出现，所以我们需要关注最新的科技动态，不断学习。任何通用技术都是先学习理论，然后在实践中不断完善的过程。

　　如果觉得自己的阅读效率太慢，可以在网上搜集一些课程。

　　快速学习的能力，解决问题的能力，沟通的能力，真的是这个行业很重要的指标。

　　善于使用StackOverFlow和Google帮助你解决学习过程中遇到的问题。

　　以上是我们对大数据学习的总结。我们需要有编程基础。我们需要有扎实的编程基础和经验，自学相对比刚开始容易。那么对大数据感兴趣或者想进入这个行业的可以学习一下。

　　大数据学习群：8688 47735一起学习共享资源

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。