入门大数据必读!

前言

作为一名大数据的初学者,你可能会有很多疑惑

如何入门?要学什么?要会什么?学到什么程度能找工作?能赚多少钱?这篇文章,写给:刚刚入门大数据的同学

现在,大数据方向的大致分为以下几类:

1.大数据工程师(平台开发)

2.大数据运维(平台维护)

3.数据分析师(算法、机器学习等)

4.大数据科学家

由于VV担任的是大数据工程师,在这个方向做一下三点介绍

1.技能掌握

2.如何入门

3.学习渠道

一.技能掌握:

想要成为一名大数据工程师,需要掌握一些什么技能呢?从哪里找?

很简单,打开一家求职网站,输入搜索职位:大数据工程师,是不是有很多招聘岗位?

以XX公司的招聘简章为例,看一下作为一名符合公司要求的大数据工程师,需要掌握什么技能。

如上图,一共有6条(我没数错哦,你仔细看看),后两条和经验要求先忽略不看

从第一条要求,开始解读:要掌握1~2门的编程语言,熟练使用Linux,并可以进行脚本的编写

第二条:对大数据的技术框架要求,需要熟悉Hadoop,Hbase,Hive,Spark,Storm等技术

第三条:要熟悉一些主流的消息中间件、内存数据库

第四条:要熟悉一些主流的数据工具、检索技术

我们总结一下:

从职位要求的优先级开始

1.要掌握一种或多种语言,Java语言(入门需掌握JavaSe),Scala语言(使用Spark会用到,入门掌握基本使用)

2.熟练使用Linux操作系统,基本shell的使用,ssh,ip,hosts,环境变量等配置

3.熟悉主流大数据框架Hadoop,Spark

4.熟悉Hadoop周边框架 Zookeeper,Hbase,Hive,Sqoop,Flume,Kafka,Storm等

5.sql的基本使用,基本增删改查,权限等

6.了解Redis、Memcache、ES、Solr等技术

二.如何入门:

该如何入手呢,根据上面总结的6点,对应的入门方式如下:

第一阶段:

1.先学习一门编程语言,JavaSe

2.学习Linux基本操作,查看,创建文件/目录,删除,目录切换,解压文件等

第二阶段:

3.掌握Hadoop各种模式下的安装,学习HDFS设计原理和读写原理,熟练使用HDFS,学习Hadoop的Mapreduce的核心思想,尤其是shuffle!

4.熟悉周边框架 Zookeeper,Hbase,Hive,Sqoop,Flume的搭建和使用

要知道框架的基本概念,如何搭建,如何使用

其中Hbase,Hive要重点学习,安装,使用,熟悉!

5.sql基础入门,增删改查语句使用

第三阶段:

6.基于前五条的基础,可以开始了解:

(1)消息队列kafka的基本概念,使用

(2)实时处理系统:storm和spark Streaming

(3)Spark平台

(4)ES、Solr等

三.学习渠道:

有些书籍的版本较老,仅推荐几本不错的

Linux学习《鸟叔的私房菜》

HBase《HBase权威指南》

Hive《Hive开发指南》

Scala《快学Scala》

其余学习的可在网上找一些视频资料进行学习

请关注微信公众号“VV大数据”,获取大数据学习资料!!

自学还是培训?

想要培训的同学,建议找一家知名的培训机构哦,建议观望一阵再做选择,不要脑袋一热就去了,尽量别贷款!如果无基础,培训前,先搞一套教学视频,跟着学习,否则容易跟不上,浪费时间金钱,消耗双方的精力

想要自学的同学,多关注一下我的公众号和博客的内容,进行学习!

至于还有一些其它的问题,学大数据难么、学到什么程序可以出去找工作、能赚多少钱?

VV只能说,难易程度,这个真是看个人,相信自己就对了!

当觉得自己学的程度差不多了,可以去参加几次面试,对自身的实力进行一下检验

面试受挫了,也不要气馁,总结经验,继续努力,加油!

至于赚多少嘛~嘿嘿,这个看你了,给多少都是有可能的!

如果还有什么问题,可在公众号中给我留言,VV会跟您交流哦!

如果觉得这篇文章对你有帮助,记得扫描下方二维码关注我的公众号、点赞、分享哦!



赫墨拉

我是一个喜爱大数据的小菜鸡,这里是我分享我的成长和经历的博客

You may also like...

发表评论

电子邮件地址不会被公开。