hadoop-2.6.0-src.tar.gz是源码压缩文件。可以用eclipse导入研究源码,或者Maven构建编译打包。
hadoop-2.6.0.tar.gz是已经官方发布版压缩包,可以直接使用。不过官网下载的hadoop发布版本只适合x86环境,若要x64的则需要Maven重新构建。
*.mds 是描述文件,记录压缩包的MD5,SHA1等信息。
hadoop是apache软件基金会旗下的一个开源分布式计算平台。以hadoop分布式文件系统(hdfs,hadoop distributed filesystem)和mapreduce(google mapreduce的开源实现)为核心的hadoop为用户提供了系统底层细节透明的分布式基础架构。
对于hadoop的集群来讲,可以分成两大类角色:master和salve。一个hdfs集群是由一个namenode和若干个datanode组成的。其中namenode作为主服务器,管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的datanode管理存储的数据。mapreduce框架是由一个单独运行在主节点上的jobtracker和运行在每个集群从节点的tasktracker共同组成的。主节点负责调度构成一个作业的所有任务,这些任务分布在不同的从节点上。主节点监控它们的执行情况,并且重新执行之前的失败任务;从节点仅负责由主节点指派的任务。当一个job被提交时,jobtracker接收到提交作业和配置信息之后,就会将配置信息等分发给从节点,同时调度任务并监控tasktracker的执行。
从上面的介绍可以看出,hdfs和mapreduce共同组成了hadoop分布式系统体系结构的核心。hdfs在集群上实现分布式文件系统,mapreduce在集群上实现了分布式计算和任务处理。hdfs在mapreduce任务处理过程中提供了文件操作和存储等支持,mapreduce在hdfs的基础上实现了任务的分发、跟踪、执行等工作,并收集结果,二者相互作用,完成了hadoop分布式集群的主要任务。
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....