技术选型当前使用版本:apachehadoop1.0.2hive0.10升级目标版本Apachehadoop2.4.1Hive0.13升级风险点Hdfs的升级Hadoop升级最主要是hdfs的升级,hdfs的升级是否成功,才是升级的关键,如果升级出现数据丢失,则其他升级就变的毫无意义。解决方法:1.备份hdfs的namenode元数据,升级后,对比升级前后的文件信息。2.单台升级datanode,观察升级前后的block数。备注:文件数和block数不是完全一样,hadoop1和hadoop2的计数方式不一样,可能相差2%左右。Yarn的升级Yarn的升级,它相对hdfs的升级,升级压力没有那么大,但是由于以前hive使用mapred,而现在直接使用yarn,所以兼容问题,就比hdfs多不少,所幸我们的任务基本是使用hive,所以我们的是面临hive0.13和hive0.10的兼容问题。而我们升级过程中,yarn的兼容问题,主要是资源的错误配置,兼容问题不多,而hive的升级,遇到的兼容问题,所以升级过程中,要测试的是hive升级导致的问题。
推荐用 hive 1.1.0
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....