hadoop是用Java写的, 2005年12月-- Nutch移植到新的框架,Hadoop在20个节点上稳定运行。 2004年-- 最初的版本(称为HDFS和MapReduce)由Doug Cutting和Mike Cafarella开始实施。 2004年9月30日18:00PM,J2SE1.5发布
hdfs客户端的权限错误:permission denied
搭建了一个hadoop的环境,hadoop集群环境部署在几个linux服务器上,现在想使用windows上的java客户端来操作集群中的hdfs文件,但是在客户端运行时出现了如下的认证错误,被折磨了几天,问题终得以解决。以此文记录问题的解决过程。
(如果想看最终解决问题的方法拉到最后,如果想看我的问题解决思路请从上向下看)
问题描述
上传文件的代码:
private static void uploadtohdfs() throws filenotfoundexception,ioexception {
//我的文件地址
string localsrc = "e:\\快盘\\技术文档\\hadoop\\hdfs初步研究.pdf";
//存放在云端的目的地址
string dest = "hdfs://192.168.2.156:9000/user/hdfs初步研究.pdf";
inputstream in = new bufferedinputstream(new fileinputstream(localsrc));
//得到配置对象
configuration conf = new configuration();
// conf.set("fs.default.name","hdfs://192.168.2.156:9000");
//文件系统
filesystem fs = filesystem.get(uri.create(dest), conf);
//输出流
outputstream out = fs.create(new path(dest), new progressable() {
@override
public void progress() {
system.out.println("上传完一个设定缓存区大小容量的文件!");
}
});
//连接两个流,形成通道,使输入流向输出流传输数据
ioutils.copybytes(in, out, 4096, true);
}
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....