如果和数据block不在同一个host上,那么就是使用HDFSDataTransaferProtocol(不是正式的命名,意会即可)来读,也就是一个二进制协议走TCP链接。
如果是在同一个host上,那么是利用了HDFS中"short-circuit local reads"技术。简单来说,从DataNode那边获取到所需数据的Meta信息,然后直接通过系统调用open/read来读取。
支持一下感觉挺不错的
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....