2 使用which hadoop命令,测试是否成功
3 配置core-site.xml
4 配置hdfs-site.xml
5 配置yarn-site.xml(非必须,使用默认也可)
6 配置mapred-site.xml
7 配置mapred-env.sh里面的JAVA路径
8 如上的配置完成后,需要新建几个文件夹,来提供HDFS的格式化底层一个是hadoop的tmp文件夹,另外的是namenode和datanode的文件夹,来分别存储各自的信息
9 上面一切完成后,即可执行hadoop namenode -format 进行格式化
10 然后启动伪分布式集群,执行命令sbin/start-all.sh 最后使用JPS查看JAVA进程
11 配置本机的hosts文件,映射主机名信息
下面来详细说下,各个步骤的具体操作:
在这之前,最好配置好本机的SSH无密码登陆操作,避免hadoop进程之间通信时,需要验证。
下面是各个xml文件的配置
1、下载hadoop包
wget
2、tar xvzf hadoop-0.20.2.tar.gz
3、安装jdk,从oracle网站上直接下载jdk,地址:
4、chmod +x jdk-6u21-linux-i586.bin;./jdk-6u21-linux-i586.bin,当前目录下出现了jdk1.6.0_21目录
5、配置java环境变量 vi /etc/profile
复制代码代码如下:
export java_home=/root/src/hadoop/jdk1.6.0_21
export classpath=$classpath:$java_home/lib:$java_home/jre/lib
export path=$path:$java_home/bin
在终端下执行 source /etc/profile 使配置生效
6、可以用以下命令查看
显示java版本 java -vesion
复制代码代码如下:
echo $java_home
which java
echo $path
echo $classpath
如果java -version没有显示你的jdk的版本,请检查你的path的设置。
7、配置hadoop环境变量 vi /etc/profile
复制代码代码如下:
export hadoop_install=/root/src/hadoop/hadoop-0.20.2
export path=$path:$hadoop_install/bin
source /etc/profile 使配置生效
8、测试环境
hadoop version 显示
hadoop 0.20.2
subversion -r 911707
compiled by chrisdo on fri feb 19 08:07:34 utc 2010
9、配置
hadoop每一个组件都使用一个xml文件配置,核心属性在core-site.xml中,hdfs属性在hdfs-site.xml中,mapreduce属性在mapred-site.xml中。这些文件都在conf子目录下。
hadoop有本地模式、伪分布模式和完全分布模式三种,默认配置为本地模式,没有守护进程,一切都运行在单个jvm上。