linux平台的集群软件有哪些软件
Linux集群主要分成三大类( 高可用集群, 负载均衡集群,科学计算集群)高可用集群( High Availability Cluster)负载均衡集群(Load Balance Cluster)科学计算集群(High Performance Computing Cluster)================================================高可用集群(High Availability Cluster)常见的就是2个节点做成的HA集群,有很多通俗的不科学的名称,比如"双机热备", "双机互备", "双机".高可用集群解决的是保障用户的应用程序持续对外提供服务的能力。
(请注意高可用集群既不是用来保护业务数据的,保护的是用户的业务程序对外不间断提供服务,把因软件/硬件/人为造成的故障对业务的影响降低到最小程度)Linux平台常见的高可用集群 有这些:1. RedHat 公司 的 开放源代码RedHat Cluster Suite, 简称RHCS . (产品介绍http://www.redhat.com/solutions/clustersuite/)- RHCS实际上是一个套件,除了现在提到的高可用集群软件,还包含了一个基于LVS的负载均衡软件.- RHCS包含的集群软件,是GPL协议下开放源代码的集群系统. - RHCS目前的版本有 RHCS v3和 v4,分别对应于RedHat 企业版Linux的 3.0家族和4.0家族.- RHCS是一个独立的产品,不包括在RedHat Enterprise Linux当中,无论是购买还是下载,都是单独存在的.RHCS的获得:RHCS的获得有三个途径:a. 从redhat 的官方销售渠道购买,得到的是RedHat RHCS产品的二进制代码(光盘或直接从RHN-RedHat Network下载),源代码,以及支持和升级服务.b. 从redhat 的官方站点下载SRPM包,编译并安装. 无原厂商业支持和升级服务. 这里下载 (ftp.redhat.com/pub/redhat/linux/enterprise/4/en/RHCS和ftp:/tp.redhat.com/pub/redhat/linux/enterprise/3/en/RHCS)c. 从centOS官方站点下载RHCS的二进制代码包并安装,无原厂商业支持和升级服务. 这里下载(http://mirror.centos.org/centos/4/csgfs/, 请阅读此目录中的README文件)
Linux下集群软件哪些比较主流试用
越来越多的企业开始使用Hadoop来对大数据进行处理分析,但Hadoop集群的整体性能却取决于CPU、内存、网络以及存储之间的性能平衡。
而在这篇文章中,我们将探讨如何为Hadoop集群构建高性能网络,这是对大数据进行处理分析的关键所在。
关于Hadoop “大数据”是松散的数据集合,海量数据的不断增长迫使企业需要通过一种新的方式去管理。
大数据是结构化或非结构化的多种数据类型的大集合。
而Hadoop则是Apache发布的软件架构,用以分析PB级的非结构化数据,并将其转换成其他应用程序可管理处理的形式。
Hadoop使得对大数据处理成为可能,并能够帮助企业可从客户数据之中发掘新的商机。
如果能够进行实时处理或者接近实时处理,那么其将为许多行业的用户提供强大的优势。
Hadoop是基于谷歌的MapReduce和分布式文件系统原理而专门设计的,其可在通用的网络和服务器硬件上进行部署,并使之成为计算集群。
Hadoop模型 Hadoop的工作原理是将一个非常大的数据集切割成一个较小的单元,以能够被查询处理。
同一个节点的计算资源用于并行查询处理。
当任务处理结束后,其处理结果将被汇总并向用户报告,或者通过业务分析应用程序处理以进行进一步分析或仪表盘显示。
为了最大限度地减少处理时间,在此并行架构中,Hadoop“movesjobstodata”,而非像传统模式那样“movingdatatojobs”。
这就意味着,一旦数据存储在分布式系统之中,在实时搜索、查询或数据挖掘等操作时,如访问本地数据,在数据处理过程中,各节点之间将只有一个本地查询结果,这样可降低运营开支。
Hadoop的最大特点在于其内置的并行处理和线性扩展能力,提供对大型数据集查询并生成结果。
在结构上,Hadoop主要有两个部分: Hadoop分布式文件系统(HDFS)将数据文件切割成数据块,并将其存储在多个节点之内,以提供容错性和高性能。
除了大量的多个节点的聚合I/O,性能通常取决于数据块的大小——如128MB。
而传统的Linux系统下的较为典型的数据块大小可能是4KB。
MapReduce引擎通过JobTracker节点接受来自客户端的分析工作,采用“分而治之”的方式来将一个较大的任务分解成多个较小的任务,然后分配给各个TaskTrack节点,并采用主站/从站的分布方式(具体如下图所示):Hadoop系统有三个主要的功能节点:客户机、主机和从机。
客户机将数据文件注入到系统之中,从系统中检索结果,以及通过系统的主机节点提交分析工作等。
主机节点有两个基本作用:管理分布式文件系统中各节点以及从机节点的数据存储,以及管理Map/Reduce从机节点的任务跟踪分配和任务处理。
数据存储和分析处理的实际性能取决于运行数据节点和任务跟踪器的从机节点性能,而这些从机节点则由各自的主机节点负责沟通和控制。
从节点通常有多个数据块,并在作业期间被分配处理多个任务。
部署实施Hadoop 各个节点硬件的主要要求是市县计算、内存、网络以及存储等四个资源的平衡。
目前常用的并被誉为“最佳”的解决方案是采用相对较低成本的旧有硬件,部署足够多的服务器以应对任何可能的故障,并部署一个完整机架的系统。
Hadoop模式要求服务器与SAN或者NAS进行直接连接存储(DAS)。
采用DAS主要有三个原因,在标准化配置的集群中,节点的缩放数以千计,随着存储系统的成本、低延迟性以及存储容量需求不断提高,简单配置和部署个主要的考虑因素。
随着极具成本效益的1TB磁盘的普及,可使大型集群的TB级数据存储在DAS之上。
这解决了传统方法利用SAN进行部署极其昂贵的困境,如此多的存储将使得Hadoop和数据存储出现一个令人望而却步的起始成本。
有相当大一部分用户的Hadoop部署构建都是采用大容量的DAS服务器,其中数据节点大约1-2TB,名称控制节点大约在1-5TB之间,具体如下图所示:来源:BradHedlund,DELL公司 对于大多数的Hadoop部署来说,基础设施的其他影响因素可能还取决于配件,如服务器内置的千兆以太网卡或千兆以太网交换机。
上一代的CPU和内存等硬件的选择,可根据符合成本模型的需求,采用匹配数据传输速率要求的千兆以太网接口来构建低成本的解决方案。
采用万兆以太网来部署Hadoop也是相当不错的选择。
万兆以太网对Hadoop集群的作用 千兆以太网的性能是制约Hadoop系统整体性能的一个主要因素。
使用较大的数据块大小,例如,如果一个节点发生故障(甚至更糟,整个机架宕机),那么整个集群就需要对TB级的数据进行恢复,这就有可能会超过千兆以太网所能提供的网络带宽,进而使得整个集群性能下降。
在拥有成千上万个节点的大型集群中,当运行某些需要数据节点之间需要进行中间结果再分配的工作负载时,在系统正常运行过程中,某个千兆以太网设备可能会遭遇网络拥堵。
每一个Hadoop数据节点的目标都必须实现CPU、内存、存储和网络资源的平衡。
如果四者之中的任意一个性能相对较差的话,那么系统的潜在处理能力都有可能遭遇瓶颈。
添加的CPU和内存组建,将影响存储和网络的平衡,如何使Hadoop集群节点在处理数据时更有效率,减少结果,并在...
数据库集群的应用
一.基于实时数据同步技术基于此技术构造的数据库集群是市场上的新兴力量,它又具有两类,分别是:a.具有独立网关下面以DBTwin为例来说明其技术特点。
DBTwin采用了冗余设计原理,对于来自客户端的请求,请求被分成两类:查询请求和数据更新请求。
对于数据更新请求,集群内部各节点之间保持数据的实时同步一致;对于数据的查询请求,则可以在集群各节点之间负载均衡执行。
它的特点是:a) 负载均衡的单元是客户端的每个独立请求,这点除了Oracle RAC集群,是市场上独有的。
b) 实时冗余一致的多份数据,从理论上讲实现了数据的零丢失。
c) 由于可以做到数据零丢失,因此在系统发生任意故障条件下,可以做到系统的对外服务不停止。
d) 此系统使用了专用高速数据同步技术,根据测试,数据同步速度能SQL Server的镜像相等。
e) 此系统的缺点是数据同步需要花费代价,节点数量受到限制,一般2到4个节点为宜。
f) 此系统从宏观上提升了整个系统的性能。
b.将调度节点集成于数据库引擎下面以Moebius来说明其技术特点。
任何在数据库和应用程序之间引入的中间件都同时引入了单点故障点,如果中间件(网关)出现了故障,则数据库集群就会形同虚设。
因此Moebius在集群中的每个节点上都存在于嵌入于数据库引擎的分发代理,当前负责调度的分发代理出现故障时,分发代理会故障转移到集群中的其他节点,从而避免了使用网关架构所引入的单点故障点,除此之外,该类产品的特点是:a) 负载均衡是基于每个客户端的独立请求,默认规则是将查询优先分发到集群中负载低的服务器,也可以自定义规则,将某些特定业务分发到集群中的某一台,比如将报表相关的查询分发给集群中的特定服务器。
b) 采用Share-Nothing架构,对数据进行冗余,从而保证了数据的安全性c) 数据库同步机制采用日志Redo的方式,在日志同步之前对日志进行压缩,保证了同步效率d) 在集群中任意节点出现故障时,会被自动剥离出节点,由剩余运行正常的节点继续提供服务,从而保证了最小停机时间e) 负载均衡集群从宏观上提高了吞吐量和性能f) 该类集群不需要特殊的存储设备,可以使用廉价的本地存储,但由于数据冗余,因此相较于Share-Disk架构而言,需要更多的存储空间c.没有独立网关当前市场上也存在下列一种基于数据实时同步的集群,其拓扑结构如下图所示:此系统由于没有独立的集群网关,因此本质上简化成了数据库的实时备份系统,与实际的备份系统不同的是,它是工作在数据库应用层。
此系统的特点:a) 没有独立的集群网关,通过主节点的转发来实行查询的负载均衡。
在系统压力大的情况下,集群主机会形成性能瓶颈,无论是CPU、内存还是网络带宽,也可能是OS等系统内核资源,都容易因到达临界状态而形成瓶颈。
b) 各节点数据实时一致,对于数据容错有利。
c) 对客户端没有二进制透明。
d) 负载均衡单元是数据库连接。
也就是说,在客户端登陆数据库的时候,静态地指定连接到某个集群节点,此后此连接上的全部请求一律发送到该数据库上,因此在特殊情况下,可能会出现这样的场景:所有客户端的连接集中在集群主机上,这时候,集群主机不但承担了客户端的所有查询,还需要实时同步数据到所有的集群从机,即集群主机的CPU为100%,而集群别的节点CPU可能为0%,这样整个系统的性能会受到严重影响。
e) 由于使用的是分布式事务机制(MSDTC)确保数据的实时一致性,因此数据同步的性能比较慢,根据测试,会比SQL Server镜像慢好几倍。
f) 同样地,此集群的节点数量也受到限制,也是以2到4个节点为宜。
Linux下集群软件哪些比较主流试用
联泰集群的高性能计算集群服务器是一种采用IA架构服务器产品为基础构建方式的集群服务器产品,其特点是用高速通信网络将一组多个LTHPC系列IA架构服务器连接起来,形成松耦合的多处理机系统,就像一个单独集成的计算资源一样协同工作。
对于用户系统,集群就是一个整体的并行系统,主要通过消息传递方式实现各主机之间的通信。
如果将其与传统上的超级计算机比较的话。
它的特点主要可概括为:高可用性:将多个结点通过网络连接起来如同一个系统一样提供服务。
高并行处理能力:多结点间通过并行环境和并行程序设计实现应用的高效并行处理。
负载均衡:通过在多个结点上实现应用的负载均衡实现。
管理便捷性:通过集群系统软件和集群管理软件对整个集群实现单一管理。
双机热备软件有什么作用
NEC ExpressCluster? X 3.0 纯软热备方式简介1 概述 信息化建设的不断推进,各个企事业单位的活动越来越多的依赖于其关键的业务信息系统,这些业务信息系统对整个机构的运营和发展起着至关重要的作用,一旦发生宕机故障或应用停机,将给机构带来巨大的经济损失。
可见,对那些需要保障信息安全和提供不间断的信息服务的机构来说,业务系统的容错性和不间断性显得尤为重要。
如何保障各种关键应用持续运营,达到永续经营的良性循环,已成为当今企事业单位和IT领域急需解决的关键问题。
2 软件功能简介 荟萃NEC技术精华的EXPRESSCLUSTER是一款专业的高可用集群软件产品(双机热备集群软件),可为您提供Windows和Linux平台上完整的高可用性解决方案。
当集群中的某个节点由于软件或硬件原因发生故障时,集群系统可以把IP、客户业务等资源切换到其他健康的节点上,使整个系统能连续不间断的对外提供服务,从而为机构24x365的关键业务提供了可靠的保障,达到了系统99.999%的高可用性和可靠性。
NEC ExpressCluster? X 3.0 语言支持:中文、英文、日文。
NEC ExpressCluster? X 3.0 最大节点数:支持2~32节点NEC ExpressCluster? X 3.0 配置信息备份:集群配置信息可以导入、导出。
配置好NEC软件之后可以选择导出配置文件保存,如果出现系统宕机,无需重新配置NEC软件,即可恢复集群,可以通过导入配置文件,快速建立双机系统;对于系统更改主机名,IP地址等相应的信息,只需简单操作就可以完成NEC软件系统的修改。
NEC ExpressCluster? X 3.0 报警功能:不仅有event log输出、AlertView显示、还支持手机短信、Email、旋转灯方式的通报功能。
NEC ExpressCluster? X 3.0 BS架构管理工具:实现了Windows和Linux两个平台上的产品的管理接口的统一。
完全屏蔽了平台差异性。
只要有浏览器和Java运行环境,任何一台机器都可以进行监控,维护和配置操作。
可以在一个页面上同时显示多个集群的状态, 无论是Windows集群还是Linux集群,一目了然。
NEC ExpressCluster? X 3.0 日志收集功能:提供log自动收集工具,可在管理控制台自动收集所有集群服务器的日志信息,并且可供收集的log种类丰富,除了EC本身的内部日志以外,还可收集系统日志、注册表信息、系统诊断报告等等 NEC ExpressCluster? X 3.0 故障监视功能:可以对主机的网卡、本地磁盘、存储、应用程序、进程、服务、操作系统、服务器自我监视等。
当主机发生任何故障后,NEC ExpressCluster? X 3.0将自动、快速的把主服务器上的所有资源切换到备服务器上,确保应用程序持续可用性,保证公司业务的持续运行。
NEC ExpressCluster? X 3.0 的集群结构: 共享磁盘型、数据镜像型、共享磁盘镜像型、虚拟平台集群、无磁盘型、共享和镜像共存型、NAS型。
NEC ExpressCluster? X 3.0 的运行方式支持: Active/Standby 、Active/Active、N+1备份、M+N备份和远程集群:Active/Standby:其中一台服务器作为 Active 主机,运行重要的应用程序,向客户端提供各种应用服务,另一台服务器作为备机,实时监控 Active 主机运行情况,只有当 Active 主机发生故障后,备机才接管 Active 主机上的应用服务。
Active/Active :每台主机上运行各自的应用程序。
服务器在运行自身的应用服务时,同时也是另一台主机的备机,即两台主机互为备机。
N+1备份:有N台主服务器上运行各自的应用程序,1台服务器做为这N台主服务器的备服务器;当有任何一台主服务器发生故障,这台备服务器就会接管此主服务器上的应用程序。
M+N备份:有M台主服务器上运行各自的应用程序,N台服务器做为这M台主服务器的备服务器;当有任何一台主服务器发生故障,这N台备服务器中对应的那台应用服务器就会接管此主服务器上的应用程序。
远程集群:两座城市之间对应用程序做高可用保护,只有一座城市的应用服务器运行此应用程序,当此应用程序出现故障,另一座城市的服务器马上接管此应用程序。
NEC ExpressCluster? X 3.0 解决方案:双机双柜(数据镜像型)、双机单柜(共享磁盘型)、双机无柜(数据镜像型\无磁盘型)、多机单柜(共享型)等等。
NEC ExpressCluster? X 3.0 支持的操作系统:windows、linux等等。
NEC ExpressCluster? X 3.0 支持的数据库:oracle、mssql、sql server、DB2、sybase等等。
NEC ExpressCluster? X 3.0 支持的应用程序:如web、his、lis、pacs、erp、收费、语音、视屏等等,所有的应用程序都支持。