hive默认计算引擎是mapreduce,hive on spark是搞hive的开发者将计算引擎换成spark
对应的有spark sql,这是spark的开发者写的访问hive数据的sql引擎。两者开发者不同。
如果你搞hive的话,建议可以再了解下hive on tez,又叫Stinger
hive on spark
在许多已有hadoop企业中,hive担当着非常重要的角色,为hadoop注入了使用sql的能力,已经成为sql on hadoop上的事实标准。基于这些原因,cloudera选择继续拥抱hive,主要的精力则放在性能和最小化特性差异上,造福大量期望利用spark引擎高效性的hive重度用户。
hive上的修改
在hive on spark设计原则上,工程师主要尊重以下几点:
首先,尽量少的改动hive已有代码;
其次,最大化代码重用;
再次,最小化feature的改动,带来更多的兼容性,也减少了后续的维护开销。
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....