首先hadoop框架要求程序员将函数分成两部分,即map和reduce函数。
map阶段:就是将输入通过map函数处理得出中间结果并通过hadoop框架分配到不同的reduce。
reduce阶段:就是将中间结果通过reduce函数处理得到最后的结果。
以wordcount为例,在map阶段,map函数在每个单词后面加上一个1;在reduce阶段,reduce函数将相同单词后面的1都加起来。其中hadoop框架实现过程中的排序,分配等,当然这些也可以通过自定义的函数来控制。
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....