spark 图计算,结果可放在内存。hdfs用于存储,spark streaming 流计算。spark sql离线计算、saprk mllib。saprk的这些组件都是进行计算的。
hahoop只有mapreduce是和spark一样用来计算。
spark包括spark sql,要比较的话,mapreduce用于计算、yarn。spark技术先进、mapreduce,pipeline,spark mllib机器学习。
建议大数据存储使用hadoop的hdfs,统一使用rdd。mapreduce叠代计算中间结果放在磁盘。
mpi高性能计算,yarn用于资源管理,只能比较mapreduce与spark区别,计算速度比mapreduce快、核心组件,适合大数据离线计算、spark streaminghadoop包括hdfs,资源管理用hadoop的yarn
我是来看评论的
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....