在编译之前,我们需要先下载后hadoop 1.2.1的源码文件,并解压到合适的位置。在此我是把hadoop直接放到D盘根目录,另外由于在编译的工程中需要知道eclipse的路径,所以首先计划目录结构如下如下:
Eclipse: D:\DTools\eclipse
Hadoop: D:\hadoop-1.2.1
1. 下载hadoop-1.2.1.tar.gz,并解压缩到 D盘根目录下
2. 在 Eclipse 中选择 File—>Import—>General/Existing Projects into Workspace 导入Hadoop的Eclipse插件项目。选择路径为D:\hadoop-1.2.1\src\contrib\eclipse-plugin,然后点击Finish.其默认的项目名称是 MapReduceTools。
至于该存放目录的分配是通过调用rpc访问jobtracker的方法来进行分配的,下面看一下jobtracker的分配代码:
final path stagingrootdir = new path(conf.get(
"mapreduce.jobtracker.staging.root.dir",
"/tmp/hadoop/mapred/staging"));
final filesystem fs = stagingrootdir.getfilesystem(conf);
return fs.makequalified(new path(stagingrootdir, user + "/.staging")).tostring();
注意上面代码所生成的stagingrootdir是所有job文件的存放目录,是一个根目录,并不单指当前job。
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....