在平台方面,hadoop环境需要搭建在linux服务器上,首先需要了解Linux的基础知识与命令;
开发方面,hadoop首先是个提供大数据存储的平台,因此我们要使用其存储功能,因此需要掌握其数据操作的api(scala api 或者 java api);其次是hadoop是大数据分析的数据源,熟悉对大数据的 分析/使用 方法(spark/map-reduce技术,都有scala 和 java两种api)。
因此,学习hadoop必须掌握scala或者java中的一门开发语言,然后在学习hadoop数据操作命令,api,spark/map-reduce分析技术。
另外,还可以学习hbase这种基于hdfs的结构化大数据存储技术,和flume大数据采集技术。
要求有java和linux基础,如果是掌握hadoop的使用,java基础好就可以了,看看hadoop权威指南。想深入学习源码的话,就需要些网络编程的知识了。不过自学hadoop真心比较困难,我也是初学,安装环境搞了将近一个月,其中各种问题,建议还是找个性价比较高的学习机构,挺说大讲台不错。
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....