入门大数据必读!
前言
作为一名大数据的初学者,你可能会有很多疑惑
如何入门?要学什么?要会什么?学到什么程度能找工作?能赚多少钱?这篇文章,写给:刚刚入门大数据的同学
现在,大数据方向的大致分为以下几类:
1.大数据工程师(平台开发)
2.大数据运维(平台维护)
3.数据分析师(算法、机器学习等)
4.大数据科学家
由于VV担任的是大数据工程师,在这个方向做一下三点介绍
1.技能掌握
2.如何入门
3.学习渠道
一.技能掌握:
想要成为一名大数据工程师,需要掌握一些什么技能呢?从哪里找?
很简单,打开一家求职网站,输入搜索职位:大数据工程师,是不是有很多招聘岗位?
以XX公司的招聘简章为例,看一下作为一名符合公司要求的大数据工程师,需要掌握什么技能。
如上图,一共有6条(我没数错哦,你仔细看看),后两条和经验要求先忽略不看
从第一条要求,开始解读:要掌握1~2门的编程语言,熟练使用Linux,并可以进行脚本的编写
第二条:对大数据的技术框架要求,需要熟悉Hadoop,Hbase,Hive,Spark,Storm等技术
第三条:要熟悉一些主流的消息中间件、内存数据库
第四条:要熟悉一些主流的数据工具、检索技术
我们总结一下:
从职位要求的优先级开始
1.要掌握一种或多种语言,Java语言(入门需掌握JavaSe),Scala语言(使用Spark会用到,入门掌握基本使用)
2.熟练使用Linux操作系统,基本shell的使用,ssh,ip,hosts,环境变量等配置
3.熟悉主流大数据框架Hadoop,Spark
4.熟悉Hadoop周边框架 Zookeeper,Hbase,Hive,Sqoop,Flume,Kafka,Storm等
5.sql的基本使用,基本增删改查,权限等
6.了解Redis、Memcache、ES、Solr等技术
二.如何入门:
该如何入手呢,根据上面总结的6点,对应的入门方式如下:
第一阶段:
1.先学习一门编程语言,JavaSe
2.学习Linux基本操作,查看,创建文件/目录,删除,目录切换,解压文件等
第二阶段:
3.掌握Hadoop各种模式下的安装,学习HDFS设计原理和读写原理,熟练使用HDFS,学习Hadoop的Mapreduce的核心思想,尤其是shuffle!
4.熟悉周边框架 Zookeeper,Hbase,Hive,Sqoop,Flume的搭建和使用
要知道框架的基本概念,如何搭建,如何使用
其中Hbase,Hive要重点学习,安装,使用,熟悉!
5.sql基础入门,增删改查语句使用
第三阶段:
6.基于前五条的基础,可以开始了解:
(1)消息队列kafka的基本概念,使用
(2)实时处理系统:storm和spark Streaming
(3)Spark平台
(4)ES、Solr等
三.学习渠道:
有些书籍的版本较老,仅推荐几本不错的
Linux学习《鸟叔的私房菜》
HBase《HBase权威指南》
Hive《Hive开发指南》
Scala《快学Scala》
其余学习的可在网上找一些视频资料进行学习
请关注微信公众号“VV大数据”,获取大数据学习资料!!
自学还是培训?
想要培训的同学,建议找一家知名的培训机构哦,建议观望一阵再做选择,不要脑袋一热就去了,尽量别贷款!如果无基础,培训前,先搞一套教学视频,跟着学习,否则容易跟不上,浪费时间金钱,消耗双方的精力
想要自学的同学,多关注一下我的公众号和博客的内容,进行学习!
至于还有一些其它的问题,学大数据难么、学到什么程序可以出去找工作、能赚多少钱?
VV只能说,难易程度,这个真是看个人,相信自己就对了!
当觉得自己学的程度差不多了,可以去参加几次面试,对自身的实力进行一下检验
面试受挫了,也不要气馁,总结经验,继续努力,加油!
至于赚多少嘛~嘿嘿,这个看你了,给多少都是有可能的!
如果还有什么问题,可在公众号中给我留言,VV会跟您交流哦!
如果觉得这篇文章对你有帮助,记得扫描下方二维码关注我的公众号、点赞、分享哦!