有哪些主要的分布式存储系统?能不能给简单介绍一两句嘛?
1.HadoopHDFS(大数据分布式文件系统),这个适用于商用硬件上高数据吞吐量对大数据集的访问需求。
它效仿谷歌文件系统(GFS),数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。
该系统的主要设计目标包括:容错,可扩展性,高效性和可靠性。
2.OpenStack的对象存储Swift,提供一个类似AmazonS3的对象存储。
其主要特点为:所有的存储对象都有自身的元数据和一个URL,这些对象在尽可能唯一的区域复制3次,而这些区域可被定义为一组驱动器,一个节点,一个机架等。
开发者通过一个RESTfulHTTPAPI与对象存储系统相互作用。
对象数据可以放置在集群的任何地方。
在不影响性能的情况下,集群通过增加外部节点进行扩展。
这是相对全面升级,性价比更高的近线存储扩展。
数据无需迁移到一个全新的存储系统。
集群可无宕机增加新的节点。
故障节点和磁盘可无宕机调换。
在标准硬件上运行,例如戴尔,HP和Supermicro。
3.公有云对象存储,公有云大都只有对象存储。
比如:Amazon的S3,微软的AzureBolb,阿里的OSS等等.4.Facebook用于图片存储的Haystack,拥有大量元数据,适用于图片的对象存储,采用每张图片一个文件的方式取代NFS文件系统。
此外,Facebook着眼于长尾服务,因此传统缓存和CDN(内容发布网络)的表现并不甚佳。
一般正常的网站有99%CDN点击量,但Facebook只有约80%CDN点击率。
5.Ceph,是红帽的,它是一个遵循LGPL协议的存储平台,可以在单个分布式节点上同时支持对象存储,块存储和文件存储三种存储。
Ceph设计的主要初衷是变成一个可避免单节点故障的分布式文件系统,EB级别的扩展能力,而且是一种开源自由软件,许多超融合的分布式文件系统都是基于Ceph开发的,作为开源软件在超融合商业领域的应用,Ceph因为性能等问题被诟病,但不乏许多厂商在Ceph上不断优化和努力。
,比如深圳元核云就在优化它的性能方面做了很多努力,也取得了不错的成绩。
还有OpenStack可以作为一个Linux访问的文件系统提供传统块存储Cinder,并行分布式文件系统Lustre,遵循InfinibandRDMA或TCP/IP协议创建块集中存储的GlusterFS,用户空间文件系统FUSE(FilesysteminUserspace)等。
什么是分布式存储系统?
展开全部 定义:分布式数据库是指利用高速计算机网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。
分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上,以获取更大的存储容量和更高的并发访问量。
近年来,随着数据量的高速增长,分布式数据库技术也得到了快速的发展,传统的关系型数据库开始从集中式模型向分布式架构发展,基于关系型的分布式数据库在保留了传统数据库的数据模型和基本特征下,从集中式存储走向分布式存储,从集中式计算走向分布式计算。
特点:1.高可扩展性:分布式数据库必须具有高可扩展性,能够动态地增添存储节点以实现存储容量的线性扩展。
2 高并发性:分布式数据库必须及时响应大规模用户的读/写请求,能对海量数据进行随机读/写。
3. 高可用性:分布式数据库必须提供容错机制,能够实现对数据的冗余备份,保证数据和服务的高度可靠性。
...
分布式存储是什么东西?
展开全部 分布式存储有块存储、对象存储、文件存储,有不同的开源项目如Ceph、GlusterFS、Sheepdog、Swift,还有不同的商业实现如Google、AWS、微软、金山、七牛、又拍、阿里云元核云等,思路或多或少都有些不同,可选的硬件种类也很多。
似乎可选的东西太多了,而且各有优缺点。
...
四块科技分布式存储主要是做什么的呀?
展开全部 分布式存储是一种存储的方式,其“分布式”的理念是软件定义存储的基础,从概念上来说,软件定义存储的范围更大,除了存储之外,还包括管理、计算、网络接口等相关概念。
或者说,分布式存储就是一种链接方式,而软件定义存储就是类似元核云存储、华为等企业所研发的软件产品。
...
块储存,对象存储,文件存储的区别和联系
通常来讲,磁盘阵列都是基于Block块的存储,而所有的NAS产品都是文件级存储。
1. 块存储:DAS SAN a) DAS(Direct Attach Storage): 是直接连接于主机服务器的一种存储方式,每台服务器有独立的存储设备,每台主机服务器的存储设备无法互通,需要跨主机存取资料室,必须经过相对复杂的设定,若主机分属不同的操作系统,则更复杂。
应用:单一网络环境下且数据交换量不大,性能要求不高的环境,技术实现较早。
b) SAN(Storage Area Network): 是一种高速(光纤)网络联接专业主机服务器的一种存储方式,此系统会位于主机群的后端,它使用高速I/O联接方式,如:SCSI,ESCON及Fibre-Channels.特点是,代价高、性能好。
但是由于SAN系统的价格较高,且可扩展性较差,已不能满足成千上万个CPU规模的系统。
应用:对网速要求高、对数据可靠性和安全性要求高、对数据共享的性能要求高的应用环境中。
2. 文件存储 通常NAS产品都是文件级存储。
NAS(Network Attached Storage):是一套网络存储设备,通常直接连在网络上并提供资料存取服务,一套NAS储存设备就如同一个提供数据文件服务的系统,特点是性价比高。
它采用NFS或CIFS命令集访问数据,以文件为传输协议,可扩展性好、价格便宜、用户易管理。
目前在集群计算中应用较多的NFS文件系统,但由于NAS的协议开销高、带宽低、延迟大,不利于在高性能集群中应用。
3. 对象存储:总体上讲,对象存储同时兼具SAN高级直接访问磁盘特点及NAS的分布式共享特点。
核心是将数据通路(数据读或写)和控制通路(元数据)分离,并且基于对象存储设备(OSD),构建存储系统,每个对象存储设备具备一定的职能,能够自动管理其上的数据分布。
对象储存结构组成部分(对象、对象存储设备、元数据服务器、对象存储系统的客户端)3.1 对象 一个对象实际就是文件的数据和一组属性信息的组合。
3.2 对象存储设备(OSD) OSD具有一定的智能,它有自己的CPU、内存、网络和磁盘系统。
OSD提供三个主要功能:包括数据存储和安全访问(1)数据存储 (2)智能分布 (3)每个对象元数据的管理3.3 元数据服务器(Metadata Server , MDS) MDS控制Client与OSD对象的交互,主要提供以下几个功能:(1) 对象存储访问 允许Client直接访问对象,OSD接收到请求时先验证该能力,再访问。
(2) 文件和目录访问管理 MDS在存储系统上构建一个文件结构,限额控制、包括目录、文件的创建、访问控制等(3) Client Cache 一致性 为提高性能,在对象存储系统设计时通常支持Client的Cache。
因此带来了Cache一致性的问题,当Cache文件发生改变时,将通知Client刷新Cache,以防Cache不一致引发的问题。
对象存储:一个文件包含了属性(术语叫matadata元数据,例如该文件的大小、修改时间、存储路径等)以及内容(简称数据)。
以往的文件系统,存储过程将文件按文件系统的最小块来打散,再写进硬盘,过程中没有区分元数据(metadata)和数据。
而在每个块最后才会告知下一个块的地址,因此只能一个一个读,速度慢。
而对象存储则将元数据独立出来,控制节点叫元数据服务器(服务器+对象存储管理软件),里面主要存储对象的属性(主要是对象的数据被打散存放到了那几台分布式服务器中的信息),而其他负责存储数据的分布式服务器叫做OSD,主要负责存储文件的数据部分。
当用户访问对象时,会先访问元数据服务器,元数据服务器只负责反馈对象存储在那些OSD。
假设反馈文件A存储在B,C,D三台OSD,那么用户就会再次访问三台OSD服务器去读取数据。
这时三台OSD同时对外传输数据,因此传输的速度就加快了。
OSD服务器数量越多,这种读写速度的提升就越大。
另一方面,对象存储软件有专门的文件系统,所以OSD对外又相当于文件服务器,那么就不存在文件共享方面的困难了,也解决了文件共享方面的问题。
因此对象存储的出现,很好的结合了块存储与文件存储的优点。
为什么还要使用块存储和文件存储:1.有一类应用是需要存储直接裸盘映射的,比如数据库。
因为数据库需要存储裸盘映射给自己后,再根据自己的数据库文件系统来对了裸盘进行格式化,因此不能采用其他已经被格式化为某种文件系统的存储。
此类更适合块存储。
2.对象存储的成本比普通的文件存储还是较高,需要购买专门的对象存储软件以及大容量硬盘。
如果对数据量要求不是海量,只是为了作文件共享的时候,直接用文件存储的形式就好了,性价比高。
分布式文件系统的系统分类
(DFS) 是AFS的一个版本,作为开放软件基金会(OSF)的分布式计算环境(DCE)中的文件系统部分。
如果文件的访问仅限于一个用户,那么分布式文件系统就很容易实现。
可惜的是,在许多网络环境中这种限制是不现实的,必须采取并发控制来实现文件的多用户访问,表现为如下几个形式:只读共享 任何客户机只能访问文件,而不能修改它,这实现起来很简单。
受控写操作 采用这种方法,可有多个用户打开一个文件,但只有一个用户进行写修改。
而该用户所作的修改并不一定出现在其它已打开此文件的用户的屏幕上。
并发写操作 这种方法允许多个用户同时读写一个文件。
但这需要操作系统作大量的监控工作以防止文件重写,并保证用户能够看到最新信息。
这种方法即使实现得很好,许多环境中的处理要求和网络通信量也可能使它变得不可接受。
NFS和AFS的区别NFS和AFS的区别在于对并发写操作的处理方法上。
当一个客户机向服务器请求一个文件(或数据库记录),文件被放在客户工作站的高速缓存中,若另一个用户也请求同一文件,则它也会被放入那个客户工作站的高速缓存中。
当两个客户都对文件进行修改时,从技术上而言就存在着该文件的三个版本(每个客户机一个,再加上服务器上的一个)。
有两种方法可以在这些版本之间保持同步:无状态系统 在这个系统中,服务器并不保存其客户机正在缓存的文件的信息。
因此,客户机必须协同服务器定期检查是否有其他客户改变了自己正在缓存的文件。
这种方法在大的环境中会产生额外的LAN通信开销,但对小型LAN来说,这是一种令人满意的方法。
NFS就是个无状态系统。
回呼(Callback)系统 在这种方法中,服务器记录它的那些客户机的所作所为,并保留它们正在缓存的文件信息。
服务器在一个客户机改变了一个文件时使用一种叫回叫应答(callbackpromise)的技术通知其它客户机。
这种方法减少了大量网络通信。
AFS(及OSFDCE的DFS)就是回叫系统。
客户机改变文件时,持有这些文件拷贝的其它客户机就被回叫并通知这些改变。
无状态操作在运行性能上有其长处,但AFS通过保证不会被回叫应答充斥也达到了这一点。
方法是在一定时间后取消回叫。
客户机检查回叫应答中的时间期限以保证回叫应答是当前有效的。
回叫应答的另一个有趣的特征是向用户保证了文件的当前有效性。
换句话说,若一个被缓存的文件有一个回叫应答,则客户机就认为文件是当前有效的,除非服务器呼叫指出服务器上的该文件已改变了。
Yonghong Z-Data MartYonghong Data Mart是一款数据存储、数据处理的软件。
Yonghong Data Mart采用基于ZDFS的分布式列存储系统,就是将数据分散存储在多***立的设备上。
传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。
分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
Yonghong Data Mart的分布式文件存储系统 (ZDFS)是在Hadoop HDFS基础上进行的改造和扩展,将服务器集群内所有节点上存储的文件统一管理和存储。
这些节点包括唯一的一个NamingNode,在 ZDFS 内部提供元数据服务;许多MapNode,提供存储块。
存储在 ZDFS 中的文件被分成块,然后将这些块复制到多个计算机中(Map Node)。
这与传统的 RAID 架构大不相同。
块的大小和复制的块数量在创建文件时由客户机决定。
Naming Node监控存在服务器集群内所有节点上的文件操作,例如文件创建、删除、移动、重命名等等。
Network File System
对象存储系统的与传统存储的比较
有大量的基于块和基于文件的存储系统可供选择,一个明显的问题是,我们为什么需要另外一种存储技术呢?块和文件都是成熟且经过验证的,所以也许看起来好像他们可以增强以满足日益增长的分布式云计算生态系统的需求。
基于块的存储系统,磁盘块通过底层存储协议访问,像SCSI命令,开销很小而且没有其它额外的抽象层。
这是访问磁盘数据最快的方式,所有高级别的任务,像多用户访问、共享、锁定和安全通常由操作系统负责。
换句话讲,基于块的存储关心所有底层的问题,但其它事情都要依靠高层的应用程序实现。
所有的对象存储拥有基于块存储的节点,利用对象存储软件集合提供所有其它的功能。
基于块的存储系统是对象存储系统的补充,而基于文件的存储系统一般被认为是直接的竞争者。
横向扩展的NAS系统的关键属性就是扩展性,对象存储也是这样,通过增加节点实现水平扩展。
但由于NAS系统是基于分层文件结构的有限的命名空间,它们对于有着接近无限扩展能力的、具有扁平结构的纯对象存储来讲,所受的约束更多,对象存储仅受到对象ID的位数限制。
尽管限制多多,但横向扩展的NAS系统仍然具备对象存储的诸多特性,而其欠缺的功能,像对于表征状态转移(REST)协议的支持,厂商们正在快速的完善中,这样他们就可以把横向扩展的NAS系统划归到对象存储的类别中了。
云计算时代,大家对软件定义存储,分布式存储,SDS了解多少呢?
从而形成海量的存储空间和数据处理能力,并且能够广泛适应各类应用场景,来实现与传统专用硬件同等的功能,避免了厂商对用户的绑架,应对日趋激烈的市场竞争。
而分布式存储的魔力在于用任务分担的方式聚合了大量标准PC服务器的资源。
软件定义最直接的好处就是取代了专用硬件,显著降低了系统建设成本;同时破除了上层应用对特定硬件系统的依赖。
鹏云网络Zettastor是基于分布式架构的软件定义存储系统,可以帮助用户加速实现数据中心基础架构的转型,以显著提升业务敏捷性,提供存储资源服务。
bj广视通达 | 发布于24 分钟前 评论 ...
对象存储、文件存储和块存储有什么区别?
2016年已经到来,现在让我们回顾一下2015年存储领域的主要概念,什么是对象存储?统一存储的工作方式又是怎么样的?块存储与两者的区别在哪里?其实,这三个概念都是围绕数据而衍生的。
【对象存储】首先来说对象存储,最常用的方案,主要是将多台服务器内置大容量硬盘,再装上对象存储管理软件,管理其它服务器并提供读写访问的功能。
对象存储的核心是将数据通路和控制通路分离,并且基于对象存储设备构建存储系统,每个对象存储设备具有一定的智能,能够自动管理其上的数据分布。
对象存储是将元数据独立出来,控制节点叫元数据服务器(服务器+对象存储管理软件),里面主要负责存储对象的属性,而其它负责存储数据的分布式服务器,叫做OSD,主要负责存储文件的数据部分。
当用户访问对象,会先访问元数据服务器,元数据服务器只负责反馈对象存储在哪些OSD,假设反馈文件A存储在B、C、D三台OSD,那么用户就会再次直接访问3台OSD服务器去读取数据。
由于是3台OSD同时对外传输数据,所以传输的速度就加快了。
当OSD服务器数量越多,这种读写速度的提升就越大,通过此种方式,实现了读写快的目的。
在信息技术高速发展的时代,各行各业离不开IT系统的支撑。
在复杂的业务应用中,既要有数据库为主的应用,又要用文件为主的访问需求。
由于产品成本过高、架构复杂等诸多因素,催生了统一存储。
统一存储,也可以理解为网络统一存储或者NUS,既支持基于文件的NAS存储,又支持基于块数据的SAN存储,并且可由一个统一界面进行管理,同时支持文件级数据和块数据存储的解决方案——统一存储,利用单一的设备和管理界面来存储企业内部的多种数据类型,无疑可大幅降低企业的存储管理复杂性。
统一存储受到中小企业的青睐在于同时支持NAS和SAN,从而减少资源重复,简化IT基础设施,减少从DAS到NAS或SAN的遗留系统,中小企业可以利用标准的NAS和SAN协议连接至统一存储阵列,减少升级或扩展的复杂性。
另外,通过消除冗余的处理能力和存储容量浪费,可帮助用户节省成本。
统一存储的最大特点还在于其扩展非常简单,通过增加新的磁盘和/或节点就可增加其存储容量,甚至性能。
这对于相对缺少专业技术人员的中小企业而言,具有莫大的诱惑力。
统一存储的主流厂商包括NetApp、EMC、IBM、Dell、HDS等。
块存储是一种基于存储网络的、可弹性扩展的、可由云主机进行管理和使用的原始块级存储卷设备。
块存储挂载进云主机后的使用方式与现有普通硬盘的使用方式完全一致。
用于向云主机提供块级存储卷以持久化数据。
具有安全可靠、高并发大吞吐量、低时延、规格丰富、简单易用的特点,适用于文件系统、数据库或者其他需要原始块设备的系统软件或应用。
DAS和SAN是两种块存储的典型存储方式。
朱银龙40522687