如何在Windows下的Eclipse中直接运行Storm的WordCountTopology

C！的贡献（making-storm-fly-with-netty）。

通常.1-incubating） 将会更容易地部署到windows环境中，导致了很大一部分Storm的潜在用户放弃了将storm整合的到大数据处理框架中，我将列出几个步骤。

非常感谢Storm的开发者David Lao以及 来自Yahoo。

我将它安装在。

下面；word count&quot，大家可以自行到Oracle官网下载.0_45\jdk1，下一个storm版本 （0.9，在windows下跑storm是一个极大的挑战；7）:下载JDK(Storm 需要的环境是JDK6/,storm的生态依赖以及如何让windows伪装成UNIX/。

这是一个简单的创建单节点以及跑一个＂简单拓扑的过程，在这个步骤中。

先附上UI图；Java\:安装JAVA。

就是因为这个原因；POSIX.7在过去，这种方式会涉及到Storm的源码编程方式，讲述如何将storm部署到windows环境中，并且将会跑一个简单的拓扑在这个环境中，我使用JDK 7:\

如何运行自带wordcount

1、在linux系统中，所在目录“/home/kcm”下创建一个文件input[ubuntu@701~]$ mkdir input2.在文件夹input中创建两个文本文件file1.txt和file2.txt,file1.txt中内容是“hello word”,file2.txt中内容是“hello hadoop”、“hello mapreduce”（分两行）。

[ubuntu@701~]$ cd input[ubuntu@701~]$ vi file1.txt（编辑文件并保存）[ubuntu@701~]$ vi file2.txt（编辑文件并保存）[ubuntu@701~]$ ls -l /home/kcm/inputfile1.txt file2.txt显示文件内容可用：[ubuntu@701~]$ cat/home/kcm/input/file1.txthello word[ubuntu@701~]$ cat /home/kcm/input/file2.txthello mapreducehello hadoop3.在HDFS上创建输入文件夹wc_input，并将本地文件夹input中的两个文本文件上传到集群的wc_input下[ubuntu@701~]$ hadoop fs -mkdir wc_input[ubuntu@701~]$ hadoop fs -put/home/kcm/input/file* wc_input查看wc_input中的文件：[ubuntu@701~]$ /hadoop fs -ls wc_inputFound 2 items-rw-r--r-- 1 root supergroup 11 2014-03-13 01:19 /user/hadoop/wc_input/file1.txt-rw-r--r-- 1 root supergroup 29 2014-03-13 01:19 /user/hadoop/wc_input/file2.txt4.首先，在window下将wordcount进行打包，我们这里把它打包成wordcount.jar；然后，将wordcount.jar拷贝到linux系统中，存放的目录自己决定即可。

我们这里存放到/home/kcm目录下面。

5.运行wordcount.jar包（转到该jar包存放的目录下）：[ubuntu@701~]$ hadoop jar wordcount.jar /user/hadoop/wc_input /user/hadoop/output

如何运行自带wordcount

1. 创建本地的示例数据文件：依次进入【Home】-【hadoop】-【hadoop-1.2.1】创建一个文件夹file用来存储本地原始数据。

并在这个目录下创建2个文件分别命名为【myTest1.txt】和【myTest2.txt】或者你想要的任何文件名。

分别在这2个文件中输入下列示例语句：2. 在HDFS上创建输入文件夹呼出终端，输入下面指令：bin/hadoop fs -mkdir hdfsInput执行这个命令时可能会提示类似安全的问题，如果提示了，请使用bin/hadoop dfsadmin -safemode leave来退出安全模式。

当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结 束。

安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。

运行期通过命令也可以进入 安全模式。

意思是在HDFS远程创建一个输入目录，我们以后的文件需要上载到这个目录里面才能执行。

3. 上传本地file中文件到集群的hdfsInput目录下在终端依次输入下面指令：cd hadoop-1.2.1bin/hadoop fs -put file/myTest*.txt hdfsInput4. 运行例子：在终端输入下面指令：bin/hadoop jar hadoop-examples-1.2.1.jar wordcount hdfsInput hdfsOutput注意，这里的示例程序是1.2.1版本的，可能每个机器有所不一致，那么请用*通配符代替版本号bin/hadoop jar hadoop-examples-*.jar wordcount hdfsInput hdfsOutput应该出现下面结果：Hadoop命令会启动一个JVM来运行这个MapReduce程序，并自动获得Hadoop的配置，同时把类的路径（及其依赖关系）加入到Hadoop的库中。

以上就是Hadoop Job的运行记录，从这里可以看到，这个Job被赋予了一个ID号：job_201202292213_0002，而且得知输入文件有两个（Total input paths to process : 2），同时还可以了解map的输入输出记录（record数及字节数），以及reduce输入输出记录。

查看HDFS上hdfsOutput目录内容：在终端输入下面指令：bin/hadoop fs -ls hdfsOutput从上图中知道生成了三个文件，我们的结果在＂part-r-00000＂中。

使用下面指令查看结果输出文件内容bin/hadoop fs -cat output/part-r-00000

转载请注明出处51数据库 » storm wordcount运行