分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。
Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统,与MapReduce和Google档案系统的概念类似。
HDFS(Hadoop 分布式文件系统)是其中的一部分。
一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
Hdfs分布式文件系统 就是hadoop开源云平台中的文件系统,是其最关键的技术 解决文件分块存储、索引等
一台一台的电脑上你都装好了hadoop,每台电脑有相同的用户名,密码。然后其中一台电脑作为master其余电脑作为slave(这个要在安装hadoop后进行配置)。在master这台电脑上启动hadoop,其余的电脑也就都跟着启动了。这样当你把文件导入到hadoop的时候,这个文件是分布的存储在你的这些hadoop电脑上的,至于怎么存,存在哪几台电脑,我们是不需要关心的,会自动给我们处理。这就是所谓的hadoop分布式文件系统。希望能帮到你~~~:)
Hadoop|
Apache Pig|
Apache Kafka|
Apache Storm|
Impala|
Zookeeper|
SAS|
TensorFlow|
人工智能基础|
Apache Kylin|
Openstack|
Flink|
MapReduce|
大数据|
云计算|
用户登录
还没有账号?立即注册
用户注册
投稿取消
文章分类: |
|
还能输入300字
上传中....