首页 热点专区 义务教育 高等教育 出国留学 考研考公
您的当前位置:首页正文

大数据架构师岗位的职责内容

2021-08-17 来源:要发发教育

  职责:

  1.负责整个大数据平台架构的设计和构建;

  2.负责构建大数据平台的数据交换、任务调度等通用平台;

  3.制定开发、测试、实施、维护的标准和规范,指导和培训工程师,不断提升团队能力。

  4.参与系统需求分析、架构设计、技术选型、应用设计与开发以及测试与部署,负责编写核心部分代码。

  5.持续挑战新的技术方向,攻克大数据量、高并发、高可用、可扩展等技术难点。

  任职要求:

  1.3年以上大数据架构经验,丰富的数据仓库、数据挖掘、机器学习项目经验

  2.大规模数据处理的架构和设计实战经验

  3.精通Spark、MR,熟练HDFS、Yarn、Hbase、Hive、MongoDB,熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等,并具有丰富的大型数据平台工程经验

  4.深刻理解大数据处理(流计算,分布式计算,分布式文件系统,分布式存储等)相关技术和实现方法

  5.熟悉主数据、元数据、数据质量等企业数据管理相关的体系和方法,熟练Linux/Unix平台上的开发环境

  6.本科或以上学历,计算机软件或相关专业,丰富的java开发经验和互联网背景优先。

  7.具有比较强的问题分析和处理能力,有比较优秀的动手能力,热衷技术,精益求精

因篇幅问题不能全部显示,请点此查看更多更全内容