1.编译hadoop2.6.0的eclipse插件
编译源码:
cd src/contrib/eclipse-plugin
ant jar -Dversion=2.6.0 -Declipse.home=/opt/eclipse -Dhadoop.home=/opt/hadoop-2.6.0
eclipse.home 和 hadoop.home 设置成你自己的环境路径
命令行执行编译,产生了8个警告信息,直接忽略。
compile:
[echo] contrib: eclipse-plugin
[javac] /software/hadoop2x-eclipse-plugin/src/contrib/eclipse-plugin/build.xml:76: warning: 'includeantruntime' was not set, defaulting to build.sysclasspath=last; set to false for repeatable builds
[javac] Compiling 45 source files to /software/hadoop2x-eclipse-plugin/build/contrib/eclipse-plugin/classes
[javac] /opt/hadoop-2.6.0/share/hadoop/common/hadoop-common-2.6.0.jar(org/apache/hadoop/fs/Path.class): warning: Cannot find annotation method 'value()' in type 'LimitedPrivate': class file for org.apache.hadoop.classification.InterfaceAudience not found
[javac] /opt/hadoop-2.6.0/share/hadoop/hdfs/hadoop-hdfs-
1、下载eclipse解压。
2、把hadoop-eclipse-plugin-1.1.2.jar放到eclipse的plugs目录下。
我的hadoop集群用的版本:hadoop1.1.2
hadoop0.20以后的版本的安装目录下contrib/没有eclipse的hadoop-*-eclipse-plugin.jar插件,需要自己用ant编译。
源文件在:hadoop-x.y.z/src/contrib/eclipse-plugin 下,注意:需要下载源目录的包,如查下载的是bin的压缩包,里面是没有eclipse插件的源文件的。
3、打开eclipse
window-- preferences 出现hadoop map/reduce
配置hadoop installation directory:
注意:我的宿主机windows上并没有安装hadoop, hadoop安装在vm中的centos中
在windows下建了一个目录f:/myhadoop 把centos hadoop安装根目录下的jar包拷过来。
4、新建工程:map/reduce project
配置hadoop location:
5、刷新dfs locations 列出hdfs服务器上的上的目录:
6、问题:
在eclipse上可以列出hadoop集群上的目录,但不能创建文件,上传文件
原因:windows下eclipse安装了hadoop插件,默认使用的是windows当前用户去操作hadoop,而我的hadoop集群当前的用户是grid
而eclipse中hadoop locations 的高级参数配置,是不能修改这个用户的:
解决方法:
在windows用户和组的管理中,把当前用户修改成hadoop组grid用户。
但我的机器系统是win7家庭版,打不开用户和组管理:
不能已,用另一种方案:
windows上新建一个grid用户,然后再打开eclipse,创建工程,进行以上的配置dfs loactioins
发现这时,在eclipse中可以列出目录,新建文件夹,上传文件了。( 或者修改hadoop集群上文件夹的权限,如:bin/hadoop fs -chmod 777 ./in, 下图第2个文件是修改hadoop集群文件平权限后上传的)
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....