大数据开发工程师和java开发工程师,大数据和架构师区别

　　建筑师不是一个专业的工作，而是一种能力，建筑师有很多种。不同领域的建筑师是不一样的。比如互联网架构师和物联网架构师，没什么可比较的。

　　建筑应该考虑什么？

　　1.考虑系统能做什么，不能做什么，这就是我们常说的系统边界。

　　2.确定架构内模块之间的关系，模块与外部的关系是什么。

　　3.确定架构的非功能性需求、可伸缩性、可用性、可维护性和安全性。

　　4.架构确定后，要能指导开发者按照架构思路进行设计和进化，保证开发出来的东西和架构规划一致。

　　Java系统架构师

　　系统技术选择和可行性评估。分布式技术框架的控制。深入挖掘和分析业务需求、关键模块设计、方案评估和技术支持、技术攻关、如何实现分布式系统技术、撰写技术方案和系统设计文稿、指导开发人员完成编码工作、优化产品性能和架构、保证系统架构质量的优秀抽象设计能力、思路清晰、善于思考、能够独立分析和解决问题。具体来说，你可能需要掌握以下内容

　　熟悉*nix，熟悉shell/python等。扎实的java基础知识，熟悉IO、多线程和并发编程，熟悉缓存，以及NoSQL、Netty、kafka等中间件技术Kafka对JVM原理有扎实的理解，对服务器端的设计和编程有深刻的理解，能够调优JVM，熟悉常用的数据结构和常用的设计模式。对分布式算法和主流分布式系统有深刻理解，熟悉主流消息队列及其工作原理(排序/索引/存储/平滑/去重)，有丰富的分布式、高并发、高负载、高可用系统设计经验，熟悉分布式缓存、消息机制等大数据架构师。

　　制定大数据平台设计开发的数据架构规范，编写核心代码，升级优化数据基础设施和数据处理系统，攻关关键技术，持续提升核心系统性能，确保系统安全、高效、稳定运行，跟踪实时大规模数据、技术容器化、私有云实施技能方案、数据模型标准化等大数据相关领域的技术趋势。竞品发展及技术趋势：蜂巢、风暴、弗林克、火花、麋鹿、卡夫卡、动物园管理员、纱、Presto。他们对Spark分布式计算的底层原理有深刻的理解，对复杂系统的性能优化和稳定性有实践经验，精通数据仓库设计。深刻理解MR操作原理和机制，能够优化任务执行效率，熟悉开源数据交换工具：SQOOP、Streamset、Kettle、DataXETC。善于捕捉业务需求，根据需求规划架构设计，并给出相应的解决方案和方法。加分项：数据预测、预警、人工智能、图像识别、语音智能、物联网数据采集、阅卷等。线性计算、神经网络等。

　　区别：java系统架构师侧重于分布式、高可用、并发、容错等。精通支持业务的系统架构或工具集

　　大数据架构师专注于人工智能、商业智能、数据挖掘、离线和实时等高效可用的结构化数据和半结构化数据。他们熟悉hadoop生态系统，并使用各种模型组件集来解决问题。

　　同：降本增效，提高效率，创造价值。

　　转载于：https://blog.51cto.com/8745668/2378954

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。