a.由于MapReduce的shuffle过程需写磁盘,比较影响性能;而Spark利用RDD技术,计算在内存中进行.b.MapReduce计算框架(API)比较局限,而Spark则是具备灵活性的并行计算框架.c.再说说SparkAPI方面-Scala:ScalableLanguage,据说是进行并行计算的最好的语言.与Java相比,极大的减少代码量.
mapreduce多与磁盘交互,计算的中间结果会在磁盘上读取,特别是shuffle时候,而spark会在内存中计算,如果内存不足才会放入磁盘缓存,所以,总的来说,spark比mapreduce快
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....