mapreduce与Spark的map-Shuffle-reduce过程
mapreduce过程解析(mapreduce采用的是sort-based shuffle)
将获取到的数据分片partition进行解析,获得k/v对,之后交由map()进行处理.
任务占坑
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....