并行数据处理框架mapreduce

当然有，MapReduce的思想很简单却很强大，但是MapReduce不是万能的。而且MapReduce是属于分布式计算，并不等同于并行计算

　　数据去重的最终目标是让原始数据中出现次数超过一次的数据在输出文件中只出现一次。我们自然而然会想到将同一个数据的所有记录都交给一台reduce机器，无论这个数据出现多少次，只要在最终结果中输出一次就可以了。
具体就是reduce的输入应该以数据作为key，而对value-list则没有要求。当reduce接收到一个时就直接将key复制到输出的key中，并将value设置成空值。