提供海量数据存储zd和计算的。需要java语言基础。
Hadoop实现了一个分布zd式文件系统(Hadoop Distributed File System),简称HDFS。有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供专高吞吐量来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算属回。
hadoop工程师主要是偏开发层面,指的是围绕大数据系平台系统级的研发人员, 熟练hadoop大数据平台的核心框架,能够使用hadoop提供的通用算法,
熟练掌握hadoop整个生态系统的组件如:yarn,hbase、hive、pig等重要组件,能够实现对平台监控、辅助运维系统的开发。
不管是国外的著名公司google、yahoo!、微软、亚马逊、
ebay、facebook、twitter、linkedin等和初创公司cloudera、hortonworks等,亦或是国内的著名公司中国移动、阿里巴巴、华为、腾讯、百度、网易、京东商城等,都在使用hadoop及相关技术解决大规模化数据问题,以满足公司需求和创造商业价值。
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....