展开全部抄
Hadoop
是一个生态袭圈。bai
里面由
很多如
mapreduce
hive
hbase
hdfs
组成。
storm
是流式处理du的老大zhi。
速度快
即时通讯dao。
淘宝的JStorm
可以达到百万级每秒。
spark
是对
hadoop
的
MR
的改进。
由于
MR
需要不断的将数据落盘,互相拉取导致
IO
大。
降低少量数据的运算速度(落盘是为了大量数据时
出错可以在错误的地方继续处理
,而
Spark
只能重来)。
spark
采用的内存计算。
不需要中间数据落盘。所以速度会快,
非常适合机器学习用(几G
~十几个G)。
但是注意新手搞
spark
非常容易导致死机。
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....