1、hadoop内部默认的文本读取编码设置为utf-8,你的源文件为gbk,在读取时遇到中文时是肯定要出现乱码。
解决方法有二:
(1)将你的GBK编码的文件在生成时,统一成utf-8,这是最好的方式,方便国际化。
(2)重写一个你的hadoop读文件的FileInputFormat对象,在其中进行传相应的编码值与编码转换的工作,这个是比较麻烦,实际当中用得很少。
再思考下。
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....