可以通过映射表方式实现。下面说得略细,需要耐心看并做参考:
首先要知道目前(2017.05.04)kudu没有timestamp与decimal类型,需要用其它类型代替,比如timestamp可以用长bigint代替,decimal可以用double型代替。
如果想在kudu中创建一个新表,并将数据导入到这个新表中,那么比较简单的方式是通过impala建立kudo的内部映射表,因为建立内部映射表过程会同时建立一个kudu新表并在impala中建立一个内部映射表,建立方法如下:
首先保证kudu正确安装并且master与tserver服务都正常运行,然后在impala shell中输入
create table table_name (
column1 type primary key ...,
column2 type,
...
)
partition by hash(column1) partitions n stored as kudu;
这样就在kudu中建立好表了,下一步就可以通过impala的映射表向这个kudu表中导入数据了(table_name要用自己取的表名代替,columnN也要用自己取的列名代替。)(如果建立列集主键,方式为primary key(column1, column2, column3),具体如何建立这里就不细说了)(顺便说一下:这样建立的kudu中的表名为:impala::database_name.table_name)。
如果kudu中已经存在一个现有表,您想将impala表中数据导入到这个现有kudu表中,那么需要在impala中建立外部映射表,方法是:
create external table table_name
stored as kudu
tblproperties('kudu.table_name' = 'kudu中的table_name');
这样就建立完成了。
在impala shell 中执行:
insert into table_name select * from 你的impala表;
就可以将你的表数据导入到新表了。
最后提及:kudu表必须有主键或者列集主键,可能你的表没有主键或列集主键,而你的表第一列或对应列集的前几列又有重复数据,这种情况下你的表导入后会有数据丢失,比较简单的解决方法是:
在建立kudu表时增加一个专门的主键,放在第一列。然后:
insert into table_name select row_number() over(order by 你的impala表中任意一列名), * from 你的impala表;
HDFS和HBase两个系统把持着,一直没有太大突破。在追求高吞吐的批处理场景下,我们选用HDFS,在追求低延迟,有随机读写需求的场景下,我们选用HBase,那么是否存在一种系统,能结合两个系统优点,同时支持高吞吐率和低延迟呢?有人尝试修改HBas
再看看别人怎么说的。
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....