目前看来,在各个场合下spark都优于hadoop(Map/Reduce)。但Hadoop与MR是的初衷是为了使用廉价的、异构的机器来做分布式存储与计算,但spark对硬件的要求稍高,对内存/CPU是有较高要求的。如果不考虑成本因素,spark应该是未来的首选,当然也不排除2~3年后,在hadoop生态圈又有新贵出来替换spark。
这个就比较负责了,可以用hadoop+hbase+spark/storm进行平台构建,spark用于数据分析和处理、hbase用于将处理后的数据保存、hadoop用于离线分析和原始数据存储,具体的还得结合应用场景
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....