该如何学习大数据知识？

请用语音读文章

热门回答：

谢谢邀请！

大数据是我的主要研究方向之一。同时也在带大数据方向的研究生。所以我来回答一下这个问题。

虽然不同的学习方向往往需要学习不同的内容。但是对于零基础的学习者来说。以下三方面基础知识是都需要学习的：

第一：编程语言。不论是选择大数据分析方向还是大数据应用开发方向。掌握编程语言都是学习大数据的重要基础。目前在大数据领域应用比较广泛的语言包括Java、Python、Scala、R和Go等。其中Java在Hadoop平台应用比较多。而Scala在Spark平台应用比较普遍。从目前的应用趋势来看。学习Python则是不错的选择。既可以从事大数据开发。也可以从事大数据分析。

第二：大数据平台。学习大数据知识绕不过大数据平台。大数据平台承载了分布式存储和分布式计算的核心任务。所以大数据平台研发也是目前大数据领域的重要岗位。目前Hadoop和Spark是比较适合初学者学习的大数据平台。一方面是其开源的属性。另一方面Hadoop对于硬件的要求也比较低。

我从事互联网行业多年。目前也在带计算机专业的研究生。主要的研究方向集中在大数据和人工智能领域。我会陆续写一些关于互联网技术方面的文章。感兴趣的朋友可以关注我。相信一定会有所收获。

如果有互联网、大数据、人工智能等方面的问题。或者是考研方面的问题。都可以在评论区留言！

其他观点：

本人从事大数据以及相关行业。算是一个业内人士。说说我的看法。仅供参考。

首先大数据这几年特别热门。同时也带来了很多的就业。大数据的价值也越来越明显。尤其是人工智能的发展和即将到来5G。都离不开大数据这个基础！所以选择学习大数据对未来的发展还是挺不错的。但同时也要清楚一些问题！

首先是确定学习的方向：大数据是一个大概念。必须知道他都有那些部分。自己将来就业要选择那个方向。下面就说一下大数据就业的方向和技能需求以及岗位需求！仅供参考！！

一。大数据开发

从事大数据开发工程师

岗位职责

1、利用Hadoop、Spark等技术在分布式系统上对海量历史数据进行预处理。挖掘用户信

息；

2、参与大数据基础平台的搭建和维护；

3、负责广告投放项目管理平台研发；

4、负责大数据计算处理平台项目研发。

技术要求

1、熟练掌握c++/Java开发。具备扎实的程序设计基本功和学习能力

2、熟悉 Linux。熟悉 shell/perl/python/php 等脚本语言的一种或多种。

3、熟悉传统数据库MySQL。

4、熟悉MapReduce、Storm、Spark、Spark Streaming等大数据开发工具。对源代码

有一定研究者优先；

5、熟悉linux环境。熟悉shell等脚本编程；

6、有大规模数据处理和日志处理经验的优先。

7、有较强的人际沟通、协调能力。具备与技术人员沟通数据需求的能力；

8、具备良好的逻辑分析能力和解决实际问题的能力。

二。大数据运维

从事大数据运维工程师

岗位职责

1、负责大数据平台整体软硬件的日常运维； 

2、分析平台运行状态。进行性能优化； 

3、负责大数据平台运行故障的分析、定位和解决； 

4、负责新技术、新组件的技术探索、测试和应用； 

5、支撑运维自动化系统的设计和开发。 

岗位要求： 

1、 熟悉hadoop生态圈主要开源技术组件及其工作原理。能阅读相关源代码。能顺利阅读英文文档； 

2、熟悉软硬件设备、网络原理。有丰富的大数据平台部署、性能优化和运维经验；

3、熟悉Linux。熟悉cacti、ganglia、zabbix等运维软件。熟悉SaltStack、Ansible等自动化软件。有python、java、shell编程基础； 

4、工作认真负责。有较强的学习能力、动手能力和分析解决问题的能力； 

补充：

熟悉Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等开源项目。有运维优化经验者优先；

熟悉Linux操作系统的配置、管理及优化；

熟悉Python、Linux、shell,有ETL维护经验、电信行业大数据维护经验者优先

三。数据挖掘

从事数据挖掘工程师

岗位职责

1、对海量数据进行分析。建立数据挖掘算法。利用大数据对产品进行研究和建模。为用户提供评估和预测等功能；

2、参与/负责用户画像、推荐等系统搭建。参与核心产品推荐场景算法的研发和优化；

3、采用先进的数据挖掘和机器学习算法。为公司业务部门提供决策依据；

4、搭建数据挖掘系统和机器学习系统。实现智能平台的自动化流程。

1、具备强悍的编码能力。有扎实的数据结构和算法功底；

2、优秀的学习能力、独立分析问题和解决问题能力；

3、熟悉Linux开发环境。熟悉Python。PHP。Java等语言两种以上；

4、熟悉基本的数据分析方法、数据挖掘、机器学习算法；

5、熟悉SPSS/Modeler/R/Python等至少一种数据挖掘工具；

6、熟悉Hadoop/Spark。有Elasticsearch。Solr。Kafka。Flume等开源项目使用经验

7、有画像、广告、推荐。搜索等算法方向实际工作经验优先

四。BI（商务智能）工程师— （包括数据库开发、BI开发工程师、ETL开发、报表开发、BI咨询顾问）

岗位职责

1、独立负责业务数据收集整理。构建经营分析和报表系统；

2、通过专题分析。对业务问题进行深入分析。为业务的策略、产品优化提供数据支持；

3、 以数据驱动业务为目标。进行数仓研发工作但不局限于数仓；

4、 参与数据仓库ETL设计、开发和优化工作。保证数据准确、稳定、组织合理 

岗位要求

1、掌握Oracle、MySQL、ODPS等数据库开发技能。熟练应用开发、数据库原理和常用性能优化和扩展技术；

2、掌握数据仓库建设、熟悉大数据平台操作。离线计算Hive/MR研发、实时计算spark streaming/storm； 

3、熟悉ETL逻辑、OLAP设计和数据分析技术（聚类分析、回归分析、决策树等）、数据挖掘相关算法；

4、熟悉Linux系统环境开发。掌握shell、perl、python等至少一种开发语言。

6. 有较强的逻辑/概率思维能力。善于分析、归纳、描述、沟通、和解决问题。

补充（根据企业工具区别）

1、全面熟知数据仓库设计理念、设计方法。熟练掌握Informatica、Kettle、Automation等至少一种ETL工具；

2、熟练掌握SAP BO、MSTR、SmartBI、Cognos、QV等至少一种BI工具；

3、熟悉数据仓库。掌握BI相关工具。如ETL工具（SSIS, SAP DataService）、OLAP工具（SSAS）和前端展示工具(BO CR/Webi)

五。数据可视化

从事可视化工程师

岗位职责

1、负责大数据平台业务逻辑和数据可视化功能。数据可视化组件研发；    

2、搭建基础的可视化分析平台。设计数据分析应用的架构。实现实时数据调用与展示；

3、数据相关性分析与根因分析；

4、支持客户需求分析和数据分析。

岗位要求

1、熟练Web前端技术（SVG/HTML5/JavaScriptdeJS等）；

2、熟练D3、Echarts、Three.js、WebGL等开源数据可视化库和技术；    

3、有Web服务器端编程语言（如Node/Java）开发经验优先；    

4、有blender(以及blender game engine)或者unity 3d或unreal engine等开发经验优先

一些BI岗位的详细介绍

BI工程师（开发、咨询、实施）

BI开发工程师

岗位职责

1、执行在框架设计的基础上完成具体组件的概要设计、详细设计编写；          

2、完成BI系统具体组件的代码编写、单元测试；                                 

3、参与BI系统报表平台技术架构设计。数据库结构设计；                  

4、参与BI系统数据仓库的构架、建模和实现。  

5、负责向需求方提供数据及业务分析服务。负责整体风控模型的优化。理解并掌握BI报表需求；

岗位要求

1、有数据仓库或统计分析类项目开发经验或较深的理论知识；

2、熟悉Cognos、Webfocus、ireport等数据分析报表开发工具和技术；

3、熟悉Linux/Unix服务器。并了解一些基本的操作命令；

4、至少熟悉Informix/Oracle/SQL Server等数据库中的一种,并在此基础上有过ETL程序或存储过程的开发。

5、能够熟练应用JSP/Servlet/JavaScript等WEB开发技术。熟悉Spring。Struts2和iBATIS等主流的开发框架。熟悉BIRT、JasperReports等开源报表工具；

6、熟悉Linux Shell、Perl等脚本语言。熟悉ORACLE数据库。PL/SQL编程；

7、熟悉BI系统技术框架。熟悉数据采集流程。对数据仓库有比较深入的了解；

8、熟悉行业经营分析系统（BI）架构及实现者优先。

BI咨询顾问

岗位职责

1、分析客户的数据要求；

2、负责Qlikview/Tableau BI项目的实施和报表开发；

3、负责校验数据。保障数据的准确；

4、 负责客户需求收集、分析。梳理业务流程解决方案。项目的拓展支撑；

5、撰写需求规格书及各类相关文档；

6、良好的团队合作、协调、问题处理能力；

岗位要求

1、对BI有系统的认知；

2、熟练使用Qlikview。Tableau等前端工具；

3、熟悉MS SQL Server。熟练运用SQL语言；

4、前端报表偏业务方向需熟悉主流报表工具或新兴前端报表工具Qlikview、Tableau等优先考虑；

6、后台数据处理需熟悉掌握至少一种后台ETL开发工具。例：Informatica powercenter、Datastage、OWB、微软DTS、Kettle等；

7、后台数据建模需熟练掌握至少一种数据挖掘算法和建模方法。了解建模；

8、良好的英文能力。能快速阅读和撰写英文技术文档者优先。

BI实施工程师

岗位职责

1、负责BI项目的需求调研与分析工作；

2、负责BI项目的方案设计、实施或项目管理工作；

3、参与公司BI产品和项目的实施开发工作。

岗位要求

1、良好的数据库基础。精通SQL。深入掌握Oracle或其他数据库。能够进行数据库调优；

3、熟悉ORACLE、MYSQL、SQLSERVER等主流数据库的安装及配置、熟悉SQL语句编写及ETL、BI实施工作；

3、熟悉LINUX操作系统安装及常用命令；

4、熟悉BI基础理论知识。使用过BI相关产品；

5、参与BI相关项目的实施工作；

6、熟悉TOMCAT、JDK等安装及参数配置；

7、具备较强的语言表达能力。能与客户顺畅沟通或产品介绍；

8、具备较强的学习与动手能力。能够适应全国范围内出差；

9、熟悉hadoop大数据及自动化运维工具经验者的待遇从优。

ETL工程师

岗位要求：

具备一般的JAVA应用开发能力；

熟悉Oracle下的分区。表空间。 SQL性能调优等操作；

熟悉常用的ETL工具。如：kettle。 informatica等；

熟悉常用的报表工具。如：Cognos等。

岗位职责：

负责行业生产交易系统数据仓库开发。存储过程编写。数据模型研究。大数据研究

六。数据分析工程师

岗位职责:

1、进行业务和企业经营行为分析。梳理业务规律和业务需求；

2、将业务需求转化为数据需求。发现数据应用场景。梳理指标体系；

3、使用合适的数据分析工具进行数据分析和模型设计；

4、提出基于数据的结果和分析建议。根据分析结果进行行业研究、评估和预测；

5、编写数据分析报告；

6、完成领导交办的其他工作。

岗位要求

1、本科以上学历。计算机、数学、统计学等相关专业；

2、深刻理解大数据分析原理及相关应用；

3、熟练掌握主流数据库技术；

4、精通数据分析、挖掘工具与方法。如SAS、R、Python、EXCEL等；

5、敏锐的数据观察和分析能力。及时发现和分析其中隐含的变化和问题并给出建议；

6、良好的沟通能力和团队精神。较强的学习能力。能承担一定的工作压力；

还有就是要怎么学习。要参加培训？还是自学？。培训花费大但是有学习环境和氛围并且有人指导可以全身心的投入学习中。要是自学在自己没有基础的情况下是容易走弯路的而且花费时间会很长！

最后就是学历问题。大专之上学习较好。找工作还算能行。不过大专找工作也有点吃力但是也能找到！要是你大学的专业是计算机或者数学统计学相关专业可能出来很有优势。是加分项！

希望能够帮到你。欢迎关注。讨论

其他观点：

感谢邀请！

以下回答属于个人理解。不喜勿喷！

首先、想学习大数据。就需要知道什么才是大数据！要学习哪些东西？

涉及大数据的东西其实太多了。

比如服务器负载均衡搭建。是不是数据大数据呢？数据库分库分表。主从数据库是不是数据大数据呢？

这个要从大数据的起源来说。大数据起源是google公司写的三篇论文开始说。

google公司是世界上软件技术最强之一。人家公司自己有自己的大数据平台。发布了三篇论文。分别是Google-File-System和Google-Bigtable以及Google-MapReduce。这三篇论文发布之后。才有的大数据的概念。

大数据中的File-System现在学习的叫hdfs。(Hadoop Distributed File System)

Hadoop分布式文件系统,利用linux。来做的分布式文件系统。

MapReduce是一种编程模型。

Bigtable就是超大数据库存储了。

如果有兴趣可以私信我。我可以给你一些学习的视频资料

以上就是由优质生活领域创作者 生活常识网 整理编辑的，如果觉得有帮助欢迎收藏转发~