Hive是一种基于HDFS的数据仓库,抄并且提供了基于SQL模型的,针对存储了大数据的数据仓库,进行分布式交互查询的查bai询引擎。
SparkSQL并不能完全替代Hive,它替代的是Hive的查询引擎,SparkSQL由于其底层基于Spark自身的基于内存的特点,du因此速度是Hive查询引擎的数倍以上,Spark本身是不提供存储的,所以不可能替代Hive作为数据仓库的这个功能。
SparkSQL相较于zhiHive的另外一个优点,是支持大量不同的数据源,包括hive、json、parquet、jdbc等等。SparkSQL由于身处Spark技术堆栈内,基于RDD来工作,因此可以与Spark的其他dao组件无缝整合使用,配合起来实现许多复杂的功能。比如SparkSQL支持可以直接针对hdfs文件执行sql语句。
charindex函数返回一个整数,返回的整数是要找的字符串在被找的字符串中的位置。假如charindex没有找到要找的字符串,那么函数整数“0”。让我们看看下面的函数命令执行的结果:
charindex(’sql’, ’microsoft sql server’)
这个函数命令将返回在“microsoft sql server”中“sql”的起始位置,在这个例子中,charindex函数将返回“s”在“microsoft sql server”中的位置11。
spark SQL和hive到底什么关系
Spark SQL解决了这两个问bai题。
第一,Spark SQL在Hive兼容层面仅依赖HQL parser、Hive Metastore和Hive SerDe。也就是说,从HQL被解析成du抽象语法树(AST)起,就全部由Spark SQL接管了zhi。执行计划生成和优化都由Catalyst负责。借助Scala的模式匹配等函数式语言特性,利用daoCatalyst开发执行计划优化策略比Hive要简洁得多。去年Spark summit上Catalyst的作者Michael Armbrust对Catalyst做了内一个简要介绍:2013 | Spark Summit。
第二,相对于容Shark,由于进一步削减了对Hive的依赖,Spark SQL不再需要自行维护打了patch的Hive分支。Shark后续将全面采用Spark SQL作为引擎,不仅仅是查询优化方面。
Spark SQL解决了这两个问题。
第一,Spark SQL在Hive兼容层面仅依赖HQL parser、Hive Metastore和Hive SerDe。也就是说,从2113HQL被解析成抽象语法树(AST)起,就全部由Spark SQL接管了。执行计划生成和优化5261都由Catalyst负责。借4102助Scala的模式匹配等函数式语言特性,利用Catalyst开发执行计划优化策略比Hive要简洁1653得多。去年Spark summit上Catalyst的作者Michael Armbrust对Catalyst做了版一个简要介绍:2013 | Spark Summit。
第二,相对于Shark,由于进一步削减了对Hive的依赖,Spark SQL不再需要自行维权护打了patch的Hive分支。Shark后续将全面采用Spark SQL作为引擎,不仅仅是查询优化方面。
历史上存在的原2113理,以前都是使用hive来构建数据仓库,所以存在大量对hive所管理的数据查询的需求。而hive、shark、sparlSQL都可以进5261行hive的数据查询。shark是使用了hive的sql语法解析器和优化器,修改了执4102行器,使之物1653理执行过程是跑在spark上;而sparkSQL是使用了自身的语法解析器、优化器和执行器,同时sparkSQL还扩展了回接口,不单单支持hive数据答的查询,可以进行多种数据源的数据查询。
历史上存在的原理bai,以前都是使用hive来构建数据仓库,所以存在大量对hive所管理的数du据查询的需求。而hive、shark、sparlSQL都可以进行hive的数据查询。shark是使用了zhihive的sql语法解dao析器和优化器,专修改了执行器,使之物理执行过程是跑在spark上;而sparkSQL是使用了自身的语法解析器、优化器和执行器,同时sparkSQL还扩展了接口,不单单支持hive数据的查属询,可以进行多种数据源的数据查询。
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....