在默认的的50030 web页面 好象是jobtracker 控制页面可以看到运行的每个job的情况 点击每个job进去 可以看到详细的信息
1.下载hadoop的安装包,这里使用的是"hadoop-2.6.4.tar.gz":
2.将安装包直接解压到d盘根目录:
3.配置环境变量:
4.下载hadoop的eclipse插件,并将插件放到eclipse的plugins目录下:
5.打开eclipse,选择菜单"window"-->"preferences",在左侧找到"hadoop map/reduce",
在右侧选择hadoop的目录:
6.打开菜单"window"中的"show view"窗口,选择"map/reduce locations":
7:在打开的"map/reduce locations"面板中,点击小象图标,打开新建配置窗口:
8.填写hadoop集群的主机地址和端口:
9.新创建的hadoop集群连接配置,右上角的齿轮可以修改配置信息:
10.打开菜单"window"中的"show view"窗口,找到"project explorer":
11.在"project explorer"面板中找到"dfs locations",展开下面的菜单就可以连接上hdfs,
可以直接看到hdfs中的目录和文件:
12.在"project explorer"面板中点击鼠标右键,选择新建,就可以创建"map/reduce"项目了:
13.下面我们创建了一个名为"hadoop-test"的项目,可以看到它自动帮我们导入了很多的jar包:
14.在项目的src下面创建log4j.properties文件,内容如下:
log4j.rootlogger=debug,stdout,r
log4j.appender.stdout=org.apache.log4j.consoleappender
log4j.appender.stdout.layout=org.apache.log4j.patternlayout
log4j.appender.stdout.layout.conversionpattern=%5p - %m%n
log4j.appender.r=org.apache.log4j.rollingfileappender
log4j.appender.r.file=mapreduce_test.log
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....