在hadoop1中核心组成部分是HDFS、MapReduce,到了Hadoop2,核心变为HDFS、Yarn,而且新的HDFS中可以有多个NameNode,每个都有相同的职能。
以下内容是从http://www.superwu.cn/2014/02/12/1094/阅读后自己总结了一下:
配置文件无非就这几个文件:
1、hadoop-env.sh:
只需设置jdk的安装路径,如:export JAVA_HOME=/usr/local/jdk
2、core-site.xml:
(1)fs.defaultFS:hdfs://cluster1(域名),这里的值指的是默认的HDFS路径
(2)hadoop.tmp.dir:/export/data/hadoop_tmp,这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。
(3)ha.zookeeper.quorum:hadoop101:2181,hadoop102:2181,hadoop103:2181,这里是ZooKeeper集群的地址和端口。注意,数量一定是奇数,且不少于三个节点
(4)hadoop.proxyuser.erpmerge.hosts、hadoop.proxyuser.erpmerge.groups主要用来设置oozie的代理用户
主从模式是对主操作数据,从会实时同步数据。反之对从操作,主不会同步数据,还有可能造成数据紊乱,导致主从失效。 对等模式则是无论对那一台操作,另一个都会同步数据。一般用作高容灾方案。
比如d主从在c=1时,q随d变,有可能一下就随d由1变成0了;而边沿触发要等到下一个边沿才可能变化。。
还有jk主从触发器在时钟脉冲作用期间,j,k的变化可能引起主锁存器状态的变化,但只能改变一次。当q=0时,只有j的变化可以使qm变化,即由0变为1,且只能变化一次;当q=1时,只有k变化才能使qm发生变化,即由1变0,且也仅能一次。这种现象为主从触发器的一次翻转现象。
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....