版权声明:本文为博主原创文章,未经博主允许不得转载。
背景:我在用mahout做一个推荐系统,RecommenderJob要求的数据格式是:userId,itemId,preference。但是我在调用mahout来做推荐之前写有mapreduce数据处理操作,mapreduce输出的格式中有tab分隔符,本来我想把最终结果只放到key或value用NullWritable来实现,可是感觉不好使,所以只能换以下的方式来实现。
[java] view plain copy print?
conf.set("mapred.textoutputformat.ignoreseparator", "true");
conf.set("mapred.textoutputformat.separator", ",");
由于公司的代码不能随便透露,所以我只能以wordcount为例了
[java] view plain copy print?
package com.panguoyuan.mapreduce;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
| 文章分类: |
|
还能输入300字
上传中....
飘荡之风