大数据工程师需要学习哪些?

发布网友 发布时间：2022-04-25 18:07

我来回答

共11个回答

热心网友 时间：2022-04-08 12:42

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。

Kafka：这是个比较好用的队列工具。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点。

请点击输入图片描述

热心网友 时间：2022-04-08 14:00

由浅入深依次掌握：

Java语言基础：
Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射，多线程、Swing程序与集合类；
HTML、CSS与JavaScript：
PC端网站布局、HTML5+CSS3基础、WebAPP页面布局、原生javascript交互功能开发、Ajax异步交互、jQuery应用；
JavaWeb和数据库：
数据库、javaWeb开发核心、JavaWeb开发内幕；
Linux基础：
Linux安装与配置、系统管理与目录管理、用户与用户组管理、Shell编程、服务器配置、Vi编辑器与Emacs编辑器；
Hadoop生态体系：
Hadoop起源与安装、MapRece快速入门、Hadoop分布式文件系统、Hadoop文件I/O详解、MapRece工作原理、MapRece编程开发、Hive数据仓库工具、开源数据库HBase、Sqoop与Oozie；
Spark生态体系：
Spark简介、Spark部署和运行、Spark程序开发、Spark编程模型、作业执行解析、Spark SQL与DataFrame、深入Spark Streaming、Spark MLlib与机器学习、GraphX与SparkR、spark项目实战、scala编程、Python编程；
Storm实时开发：
storm简介与基本知识、拓扑详解与组件详解、Hadoop分布式系统、spout详解与bolt详解、zookeeper详解、storm安装与集群搭建、storm-starter详解、开源数据库HBase、trident详解；
投入时间和精力，以兴趣来驱动学习。在整个的学习过程中贯穿着代码实战。看的代码是别人的，动手写出来的是自己的。自己动手写代码，记忆更加深刻，效率更高。

热心网友 时间：2022-04-08 15:35

一、认识大数据大数据本质其实也是数据，不过也包括了些新的特征，数据来源广;数据格式多样化(结构化数据、非结构化数据、Excel文件等);数据量大(最少也是TB级别的、甚至可能是PB级别);数据增长速度快。而针对以上新的特征需要考虑很多问题：例如，数据来源广，该如何采集汇总?采集汇总之后，又该存储呢?数据存储之后，该如何通过运算转化成自己想要的结果呢?对于这些问题，我们需要有相对应的知识解决。

二、大数据所需技能要求Python语言：编写一些脚本时会用到。

Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。

Ozzie，azkaban：定时任务调度的工具。

Hue，Zepplin：图形化任务执行管理，结果查看工具。

Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。

必须掌握的技能：、 HBase(、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、辅助小工具(Sqoop/Flume/Oozie/Hue等)

热心网友 时间：2022-04-08 17:26

你好，大数据学习的内容包括8个阶段的内容:

你可以按照顺序学习，先学习基础的东西，希望你早日学有所成。

热心网友 时间：2022-04-08 19:34

要成为大数据工程师，必备的技能有Java，Spark，Hadoop，Hive和Big Data。

热心网友 时间：2022-04-08 21:59

看图咯

热心网友 时间：2022-04-09 00:40

基础课程：数学分析、高等代数、普通物理数学与信息科学概论、数据结构、数据科学导论、程序设计导论、程序设计实践。
必修课：离散数学、概率与统计、算法分析与设计、数据计算智能、数据库系统概论、计算机系统基础、并行体系结构与编程、非结构化大数据分析。
选修课：数据科学算法导论、数据科学专题、数据科学实践、互联网实用开发技术、抽样技术、统计学习、回归分析、随机过程。
另外学习大数据必须要学习大数据中心常识，大数据技术体系很复杂，与物联网、移动互联网、人工智能、云核算等都有着精密的关系。所以，Hadoop生态体系；HDFS技术；HBASE技术；Sqoop运用流程；数据仓库东西HIVE；大数据离线剖析Spark、Python言语；数据实时剖析Storm等都是学习大数据需要了解和掌握的。
从事大数据工作，免不了要分析数据。如果从事数据剖析师，就需要了解一定的数学常识。需要有一定的公式核算能力，了解常用计算模型算法。而如果从事数据发掘工程师，就需要能够熟练运用各类算法，对数学的要求是很高的。

热心网友 时间：2022-04-09 03:38

Java
JavaEE核心
Hadoop生态体系
大数据spark生态体系

热心网友 时间：2022-04-09 06:53

业务型最常见的就是数据分析师了。他们熟悉某领域的业务，他们知道怎样利用数据可以快速赚钱，通过数据分析解决现有问题。也就是说业务型更着重于应用层面，python也是首先推荐使用的一种工具，就像以前VBA一样
可以考虑到这边看看对比下，比较不错的

热心网友 时间：2022-04-09 10:24

大数据工程师学习大纲

热心网友 时间：2022-04-09 14:12

杭州大数据工程师学习课程介绍，学习大数据分为两种情况，一是有一定编程基础的同学学习大数据，还有就是零基础的同学学习大数据。当然了，有基础的也不要太飘，没有基础的也不要太担心。对于没有基础的同学而言，想要精通大数据，也不是不可能的，如果都能自学成才，那要学习机构干什么？对于有基础的同学，想要精通，也是需要不断打磨更新自己技术的！
对于大数据的学习，杭州大数据老师有以下建议，想要学习的同学可以根着这些阶段走，步步为营！

阶段一、大数据基础——java语言基础方面
（1）Java语言基础
Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类
（2） HTML、CSS与JavaScript
PC端网站布局、HTML5+CSS3基础、WebApp页面布局、原生JavaScript交互功能开发、Ajax异步交互、jQuery应用
（3）JavaWeb和数据库
数据库、JavaWeb开发核心、JavaWeb开发内幕
阶段二、 Linux&Hadoop生态体系
Linux体系、Hadoop离线计算大纲、分布式数据库Hbase、数据仓库Hive、数据迁移工具Sqoop、Flume分布式日志框架
阶段三、 分布式计算框架和Spark&Strom生态体系
（1）分布式计算框架
Python编程语言、Scala编程语言、Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算、实战一：基于Spark的推荐系统（某一线公司真实项目）、实战二：新浪网（www.sina.com.cn）
（2）storm技术架构体系
Storm原理与基础、消息队列kafka、Redis工具、zookeeper详解、实战一：日志告警系统项目、实战二：猜你喜欢推荐系统实战
阶段四、 大数据项目实战（一线公司真实项目）
数据获取、数据处理、数据分析、数据展现、数据应用
阶段五、 大数据分析 —AI（人工智能）
Data Analyze工作环境准备&数据分析基础、数据可视化、Python机器学习
1、Python机器学习2、图像识别&神经网络、自然语言处理&社交网络处理、实战项目：户外设备识别分析
大数据技术是一门很复杂的学科，这些只是一些理论知识，想要精通还是要在行业内摸爬滚打的，理论渗入实践，实践中升华理论，才是我们学习技术的真谛！