map任务的输出结果不写入HDFS,而是写入执行map的本地硬盘上,为什么呢?因为map的输出是中间结果,所谓中间结果,就是要经过reduce之后才会是最终结果,而且整个mapreduce执行完之后,这个结果就要被干掉了。所以,把它放在HDFS中并实现备份,这就有点大题小做了。当你执行mapreduce的时候,你可以在shell中用命令 df -lh 来查看硬盘的使用率,要想办法把这个使用率控制在90%以内。
在旧版mapred下面实现方法如下:
// 获得输入文件的路径名
String path=((FileSplit)reporter.getInputSplit()).getPath().toString();
//使用Reporter reporter对象来获取,在新版mapreduce中.
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....