linux平台的集群软件有哪些软件
Linux集群主要分成三大类( 高可用集群, 负载均衡集群,科学计算集群)高可用集群( High Availability Cluster)负载均衡集群(Load Balance Cluster)科学计算集群(High Performance Computing Cluster)================================================高可用集群(High Availability Cluster)常见的就是2个节点做成的HA集群,有很多通俗的不科学的名称,比如"双机热备", "双机互备", "双机".高可用集群解决的是保障用户的应用程序持续对外提供服务的能力。
(请注意高可用集群既不是用来保护业务数据的,保护的是用户的业务程序对外不间断提供服务,把因软件/硬件/人为造成的故障对业务的影响降低到最小程度)Linux平台常见的高可用集群 有这些:1. RedHat 公司 的 开放源代码RedHat Cluster Suite, 简称RHCS . (产品介绍http://www.redhat.com/solutions/clustersuite/)- RHCS实际上是一个套件,除了现在提到的高可用集群软件,还包含了一个基于LVS的负载均衡软件.- RHCS包含的集群软件,是GPL协议下开放源代码的集群系统. - RHCS目前的版本有 RHCS v3和 v4,分别对应于RedHat 企业版Linux的 3.0家族和4.0家族.- RHCS是一个独立的产品,不包括在RedHat Enterprise Linux当中,无论是购买还是下载,都是单独存在的.RHCS的获得:RHCS的获得有三个途径:a. 从redhat 的官方销售渠道购买,得到的是RedHat RHCS产品的二进制代码(光盘或直接从RHN-RedHat Network下载),源代码,以及支持和升级服务.b. 从redhat 的官方站点下载SRPM包,编译并安装. 无原厂商业支持和升级服务. 这里下载 (ftp.redhat.com/pub/redhat/linux/enterprise/4/en/RHCS和ftp:/tp.redhat.com/pub/redhat/linux/enterprise/3/en/RHCS)c. 从centOS官方站点下载RHCS的二进制代码包并安装,无原厂商业支持和升级服务. 这里下载(http://mirror.centos.org/centos/4/csgfs/, 请阅读此目录中的README文件)
双机软件那家公司产品和服务更好些,市面上很多公司在做,但是好像...
其实双机热备软件这个东西,就是卖产品,有什么服务啊,只要在关键的时刻起作用就行,再有一个就是要绝对的稳定,这才是首要前提.一般谁也不会没事老动这个。
其实功能和目的大部分都差不多,不过价格差异就比较大了,一般情况都是在3-4W左右吧.价格都比较高.你要是没什么特殊的要求的话,只是做个双机热备,我推荐你用全球盾.全球盾的功能相对单一一点,但做双机热备是绝对的好用,因为他功能单一,所以操作和维护起来非常的简单,非常省事.更重要的是功能少所以核心的功能,双机热备就非常的稳定,现在我们用的就非常的好.这可全都是我一个敲上去的,绝对不是粘贴复制.记得选我的答案哦!
如何为Xen虚拟机建立高可用集群系统
一旦我们在信息中心的服务器中实施了虚拟化技术,任何一台物理服务器的断电都会导致多个虚拟机停止工作。
一个高可用的(HA)集群系统可以帮助我们预防这种情况出现,当主机故障发生后,虚拟机可以在集群系统中迅速重建。
举例来说,假设虚拟化集群中的一个物理节点失效,虚拟机可以迅速迁移到其他节点继续运行。
在这种集群模式下,即使在服务器宕机的情况下,核心业务系统仍然可以持续地提供服务。
在Xen虚拟机可以被集群系统管理并实现在节点间自由迁移之前,所有节点必须具备访问虚拟机的配置文件及后端存储的能力。
在本文中,TechTarget中国的特约虚拟化专家Sander van Vugt将讲述如何对它们实现共享访问。
实现对虚拟机配置文件的访问实现虚拟机配置文件在所有节点的共享访问是非常简单的。
首先,把文件存放在SAN系统中的逻辑单元号LUN(logic unitnumber)上;接下来,把LUN中/etc/xen/vm目录映射给节点中所有相关主机;最后,把配置文件设置为网络共享状态,使其所在目录可以被主机动态加载。
或者您也可以在配置发生变化后,手动同步文件(而且这种变化并不会经常发生)。
然而,为了虚拟机后端存储的共享访问,设置方式是完全不同的。
配置后端存储设...一旦我们在信息中心的服务器中实施了虚拟化技术,任何一台物理服务器的断电都会导致多个虚拟机停止工作。
一个高可用的(HA)集群系统可以帮助我们预防这种情况出现,当主机故障发生后,虚拟机可以在集群系统中迅速重建。
举例来说,假设虚拟化集群中的一个物理节点失效,虚拟机可以迅速迁移到其他节点继续运行。
在这种集群模式下,即使在服务器宕机的情况下,核心业务系统仍然可以持续地提供服务。
在Xen虚拟机可以被集群系统管理并实现在节点间自由迁移之前,所有节点必须具备访问虚拟机的配置文件及后端存储的能力。
在本文中,TechTarget中国的特约虚拟化专家Sander van Vugt将讲述如何对它们实现共享访问。
实现对虚拟机配置文件的访问实现虚拟机配置文件在所有节点的共享访问是非常简单的。
首先,把文件存放在SAN系统中的逻辑单元号LUN(logic unitnumber)上;接下来,把LUN中/etc/xen/vm目录映射给节点中所有相关主机;最后,把配置文件设置为网络共享状态,使其所在目录可以被主机动态加载。
或者您也可以在配置发生变化后,手动同步文件(而且这种变化并不会经常发生)。
然而,为了虚拟机后端存储的共享访问,设置方式是完全不同的。
配置后端存储设备这里提供两种不同的配置虚拟机后端存储的方法。
第一种是,虚拟机默认状态下是把后端存储作为一个文件来处理的。
在这种情形下,设置该文件可以被集群中的每个主机访问就可以共享了。
同时,我们建议把该文件放置在安全的集群文件系统中,例如Oracle的Oracle Cluster FileSystem 2。
第二种更加简单的方式是,设置专门的设备作为后端存储。
当创建虚拟机时,在安装过程中把逻辑卷配置为虚拟机的后端存储。
这样,只需确保逻辑卷是位于SAN中的LUN上,并且可以被集群中的所有主机访问到就可以了。
配置Xen主机在准备好多个Xen主机后,就可以开始创建集群系统了。
首先,从主服务器上启动hb_gui终端,并认证为hacluster用户。
接下来,选择Configuration进行配置,再选择Resources。
在这页中,单击Add,对Primitive相关选项进行配置。
最后,为resource命名输入其ID(在测试过程中,命名为\"Xen-node\"是个不错的选择)。
下一步依次选择Class OCF, ProviderHeartbeat和Type Xen进行相应配置。
全部完成后,点击Forward。
在下一个窗口中,我们可以进一步配置新Xen虚拟机的相应参数。
选择Instance Attributes页,在xmfile参数中指定正确的Xen虚拟机配置文件。
然后,提供虚拟机配置文件的完整路径并点击Apply。
现在我们已经在集群中创建了源虚拟机。
到现在,在hb_gui终端的管理窗口中,我们已经可以看到源虚拟机了,但是它还处于非激活状态。
右键点击虚拟机,选择Start。
恭喜,现在我们已经完成第一台集群系统中虚拟机的创建。
“分布式”与“集群”的区别是什么?
简单说,分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。
例如: 如果一个任务由10个子任务组成,每个子任务单独执行需1小时,则在一台服务器上执行改任务需10小时。
采用分布式方案,提供10台服务器,每台服务器只负责处理一个子任务,不考虑子任务间的依赖关系,执行完这个任务只需一个小时。
(这种工作模式的一个典型代表就是Hadoop的Map/Reduce分布式计算模型) 而采用集群方案,同样提供10台服务器,每台服务器都能独立处理这个任务。
假设有10个任务同时到达,10个服务器将同时工作,10小后,10个任务同时完成,这样,整身来看,还是1小时内完成一个任务! 以下是摘抄自网络文章: 一、集群概念 1. 两大关键特性 集群是一组协同工作的服务实体,用以提供比单一服务实体更具扩展性与可用性的服务平台。
在客户端看来,一个集群就象是一个服务实体,但事实上集群由一组服务实体组成。
与单一服务实体相比较,集群提供了以下两个关键特性: · 可扩展性--集群的性能不限于单一的服务实体,新的服务实体可以动态地加入到集群,从而增强集群的性能。
· 高可用性--集群通过服务实体冗余使客户端免于轻易遇到out of service的警告。
在集群中,同样的服务可以由多个服务实体提供。
如果一个服务实体失败了,另一个服务实体会接管失败的服务实体。
集群提供的从一个出 错的服务实体恢复到另一个服务实体的功能增强了应用的可用性。
2. 两大能力 为了具有可扩展性和高可用性特点,集群的必须具备以下两大能力: · 负载均衡--负载均衡能把任务比较均衡地分布到集群环境下的计算和网络资源。
· 错误恢复--由于某种原因,执行某个任务的资源出现故障,另一服务实体中执行同一任务的资源接着完成任务。
这种由于一个实体中的资源不能工作,另一个实体中的资源透明的继续完成任务的过程叫错误恢复。
负载均衡和错误恢复都要求各服务实体中有执行同一任务的资源存在,而且对于同一任务的各个资源来说,执行任务所需的信息视图(信息上下文)必须是一样的。
3. 两大技术 实现集群务必要有以下两大技术: · 集群地址--集群由多个服务实体组成,集群客户端通过访问集群的集群地址获取集群内部各服务实体的功能。
具有单一集群地址(也叫单一影像)是集群的一个基本特征。
维护集群地址的设置被称为负载均衡器。
负载均衡器内部负责管理各个服务实体的加入和退出,外部负责集群地址向内部服务实体地址的转换。
有的负载均衡器实现真正的负载均衡算法,有的只支持任务的转换。
只实现任务转换的负载均衡器适用于支持ACTIVE-STANDBY的集群环境,在那里,集群中只有一个服务实体工作,当正在工作的服务实体发生故障时,负载均衡器把后来的任务转向另外一个服务实体。
· 内部通信--为了能协同工作、实现负载均衡和错误恢复,集群各实体间必须时常通信,比如负载均衡器对服务实体心跳测试信息、服务实体间任务执行上下文信息的通信。
具有同一个集群地址使得客户端能访问集群提供的计算服务,一个集群地址下隐藏了各个服务实体的内部地址,使得客户要求的计算服务能在各个服务实体之间分布。
内部通信是集群能正常运转的基础,它使得集群具有均衡负载和错误恢复的能力。
二、集群分类 Linux集群主要分成三大类(高可用集群, 负载均衡集群,科学计算集群) 高可用集群(High Availability Cluster) 负载均衡集群(Load Balance Cluster) 科学计算集群(High Performance Computing Cluster) 具体包括: Linux High Availability 高可用集群 (普通两节点双机热备,多节点HA集群,RAC, shared, share-nothing集群等) Linux Load Balance 负载均衡集群 (LVS等....) Linux High Performance Computing 高性能科学计算集群 (Beowulf 类集群....) 三、详细介绍 1. 高可用集群(High Availability Cluster) 常见的就是2个节点做成的HA集群,有很多通俗的不科学的名称,比如"双机热备","双机互备","双机"。
高可用集群解决的是保障用户的应用程序持续对外提供服务的能力。
(请注意高可用集群既不是用来保护业务数据的,保护的是用户的业务程序对外不间断提供服务,把因软件/硬件/人为造成的故障对业务的影响降低到最小程度)。
2. 负载均衡集群(Load Balance Cluster) 负载均衡系统:集群中所有的节点都处于活动状态,它们分摊系统的工作负载。
一般Web服务器集群、数据库集群和应用服务器集群都属于这种类型。
负载均衡集群一般用于相应网络请求的网页服务器,数据库服务器。
这种集群可以在接到请求时,检查接受请求较少,不繁忙的服务器,并把请求转到这些服务器上。
从检查其他服务器状态这一点上看,负载均衡和容错集群很接近,不同之处是数量上更多。
3. 科学计算集群(High Performance Computing Cluster) 高性能计算(High Perfermance Computing)集群,简称HPC集群。
这类集群致力于提供单个计算机所不能提供的强大的计算能力。
3.1 高性能计算分类 3.1.1 高吞吐计算(High-...
双机热备软件有什么作用
NEC ExpressCluster? X 3.0 纯软热备方式简介1 概述 信息化建设的不断推进,各个企事业单位的活动越来越多的依赖于其关键的业务信息系统,这些业务信息系统对整个机构的运营和发展起着至关重要的作用,一旦发生宕机故障或应用停机,将给机构带来巨大的经济损失。
可见,对那些需要保障信息安全和提供不间断的信息服务的机构来说,业务系统的容错性和不间断性显得尤为重要。
如何保障各种关键应用持续运营,达到永续经营的良性循环,已成为当今企事业单位和IT领域急需解决的关键问题。
2 软件功能简介 荟萃NEC技术精华的EXPRESSCLUSTER是一款专业的高可用集群软件产品(双机热备集群软件),可为您提供Windows和Linux平台上完整的高可用性解决方案。
当集群中的某个节点由于软件或硬件原因发生故障时,集群系统可以把IP、客户业务等资源切换到其他健康的节点上,使整个系统能连续不间断的对外提供服务,从而为机构24x365的关键业务提供了可靠的保障,达到了系统99.999%的高可用性和可靠性。
NEC ExpressCluster? X 3.0 语言支持:中文、英文、日文。
NEC ExpressCluster? X 3.0 最大节点数:支持2~32节点NEC ExpressCluster? X 3.0 配置信息备份:集群配置信息可以导入、导出。
配置好NEC软件之后可以选择导出配置文件保存,如果出现系统宕机,无需重新配置NEC软件,即可恢复集群,可以通过导入配置文件,快速建立双机系统;对于系统更改主机名,IP地址等相应的信息,只需简单操作就可以完成NEC软件系统的修改。
NEC ExpressCluster? X 3.0 报警功能:不仅有event log输出、AlertView显示、还支持手机短信、Email、旋转灯方式的通报功能。
NEC ExpressCluster? X 3.0 BS架构管理工具:实现了Windows和Linux两个平台上的产品的管理接口的统一。
完全屏蔽了平台差异性。
只要有浏览器和Java运行环境,任何一台机器都可以进行监控,维护和配置操作。
可以在一个页面上同时显示多个集群的状态, 无论是Windows集群还是Linux集群,一目了然。
NEC ExpressCluster? X 3.0 日志收集功能:提供log自动收集工具,可在管理控制台自动收集所有集群服务器的日志信息,并且可供收集的log种类丰富,除了EC本身的内部日志以外,还可收集系统日志、注册表信息、系统诊断报告等等 NEC ExpressCluster? X 3.0 故障监视功能:可以对主机的网卡、本地磁盘、存储、应用程序、进程、服务、操作系统、服务器自我监视等。
当主机发生任何故障后,NEC ExpressCluster? X 3.0将自动、快速的把主服务器上的所有资源切换到备服务器上,确保应用程序持续可用性,保证公司业务的持续运行。
NEC ExpressCluster? X 3.0 的集群结构: 共享磁盘型、数据镜像型、共享磁盘镜像型、虚拟平台集群、无磁盘型、共享和镜像共存型、NAS型。
NEC ExpressCluster? X 3.0 的运行方式支持: Active/Standby 、Active/Active、N+1备份、M+N备份和远程集群:Active/Standby:其中一台服务器作为 Active 主机,运行重要的应用程序,向客户端提供各种应用服务,另一台服务器作为备机,实时监控 Active 主机运行情况,只有当 Active 主机发生故障后,备机才接管 Active 主机上的应用服务。
Active/Active :每台主机上运行各自的应用程序。
服务器在运行自身的应用服务时,同时也是另一台主机的备机,即两台主机互为备机。
N+1备份:有N台主服务器上运行各自的应用程序,1台服务器做为这N台主服务器的备服务器;当有任何一台主服务器发生故障,这台备服务器就会接管此主服务器上的应用程序。
M+N备份:有M台主服务器上运行各自的应用程序,N台服务器做为这M台主服务器的备服务器;当有任何一台主服务器发生故障,这N台备服务器中对应的那台应用服务器就会接管此主服务器上的应用程序。
远程集群:两座城市之间对应用程序做高可用保护,只有一座城市的应用服务器运行此应用程序,当此应用程序出现故障,另一座城市的服务器马上接管此应用程序。
NEC ExpressCluster? X 3.0 解决方案:双机双柜(数据镜像型)、双机单柜(共享磁盘型)、双机无柜(数据镜像型\无磁盘型)、多机单柜(共享型)等等。
NEC ExpressCluster? X 3.0 支持的操作系统:windows、linux等等。
NEC ExpressCluster? X 3.0 支持的数据库:oracle、mssql、sql server、DB2、sybase等等。
NEC ExpressCluster? X 3.0 支持的应用程序:如web、his、lis、pacs、erp、收费、语音、视屏等等,所有的应用程序都支持。
Linux下集群软件哪些比较主流试用
越来越多的企业开始使用Hadoop来对大数据进行处理分析,但Hadoop集群的整体性能却取决于CPU、内存、网络以及存储之间的性能平衡。
而在这篇文章中,我们将探讨如何为Hadoop集群构建高性能网络,这是对大数据进行处理分析的关键所在。
关于Hadoop “大数据”是松散的数据集合,海量数据的不断增长迫使企业需要通过一种新的方式去管理。
大数据是结构化或非结构化的多种数据类型的大集合。
而Hadoop则是Apache发布的软件架构,用以分析PB级的非结构化数据,并将其转换成其他应用程序可管理处理的形式。
Hadoop使得对大数据处理成为可能,并能够帮助企业可从客户数据之中发掘新的商机。
如果能够进行实时处理或者接近实时处理,那么其将为许多行业的用户提供强大的优势。
Hadoop是基于谷歌的MapReduce和分布式文件系统原理而专门设计的,其可在通用的网络和服务器硬件上进行部署,并使之成为计算集群。
Hadoop模型 Hadoop的工作原理是将一个非常大的数据集切割成一个较小的单元,以能够被查询处理。
同一个节点的计算资源用于并行查询处理。
当任务处理结束后,其处理结果将被汇总并向用户报告,或者通过业务分析应用程序处理以进行进一步分析或仪表盘显示。
为了最大限度地减少处理时间,在此并行架构中,Hadoop“movesjobstodata”,而非像传统模式那样“movingdatatojobs”。
这就意味着,一旦数据存储在分布式系统之中,在实时搜索、查询或数据挖掘等操作时,如访问本地数据,在数据处理过程中,各节点之间将只有一个本地查询结果,这样可降低运营开支。
Hadoop的最大特点在于其内置的并行处理和线性扩展能力,提供对大型数据集查询并生成结果。
在结构上,Hadoop主要有两个部分: Hadoop分布式文件系统(HDFS)将数据文件切割成数据块,并将其存储在多个节点之内,以提供容错性和高性能。
除了大量的多个节点的聚合I/O,性能通常取决于数据块的大小——如128MB。
而传统的Linux系统下的较为典型的数据块大小可能是4KB。
MapReduce引擎通过JobTracker节点接受来自客户端的分析工作,采用“分而治之”的方式来将一个较大的任务分解成多个较小的任务,然后分配给各个TaskTrack节点,并采用主站/从站的分布方式(具体如下图所示):Hadoop系统有三个主要的功能节点:客户机、主机和从机。
客户机将数据文件注入到系统之中,从系统中检索结果,以及通过系统的主机节点提交分析工作等。
主机节点有两个基本作用:管理分布式文件系统中各节点以及从机节点的数据存储,以及管理Map/Reduce从机节点的任务跟踪分配和任务处理。
数据存储和分析处理的实际性能取决于运行数据节点和任务跟踪器的从机节点性能,而这些从机节点则由各自的主机节点负责沟通和控制。
从节点通常有多个数据块,并在作业期间被分配处理多个任务。
部署实施Hadoop 各个节点硬件的主要要求是市县计算、内存、网络以及存储等四个资源的平衡。
目前常用的并被誉为“最佳”的解决方案是采用相对较低成本的旧有硬件,部署足够多的服务器以应对任何可能的故障,并部署一个完整机架的系统。
Hadoop模式要求服务器与SAN或者NAS进行直接连接存储(DAS)。
采用DAS主要有三个原因,在标准化配置的集群中,节点的缩放数以千计,随着存储系统的成本、低延迟性以及存储容量需求不断提高,简单配置和部署个主要的考虑因素。
随着极具成本效益的1TB磁盘的普及,可使大型集群的TB级数据存储在DAS之上。
这解决了传统方法利用SAN进行部署极其昂贵的困境,如此多的存储将使得Hadoop和数据存储出现一个令人望而却步的起始成本。
有相当大一部分用户的Hadoop部署构建都是采用大容量的DAS服务器,其中数据节点大约1-2TB,名称控制节点大约在1-5TB之间,具体如下图所示:来源:BradHedlund,DELL公司 对于大多数的Hadoop部署来说,基础设施的其他影响因素可能还取决于配件,如服务器内置的千兆以太网卡或千兆以太网交换机。
上一代的CPU和内存等硬件的选择,可根据符合成本模型的需求,采用匹配数据传输速率要求的千兆以太网接口来构建低成本的解决方案。
采用万兆以太网来部署Hadoop也是相当不错的选择。
万兆以太网对Hadoop集群的作用 千兆以太网的性能是制约Hadoop系统整体性能的一个主要因素。
使用较大的数据块大小,例如,如果一个节点发生故障(甚至更糟,整个机架宕机),那么整个集群就需要对TB级的数据进行恢复,这就有可能会超过千兆以太网所能提供的网络带宽,进而使得整个集群性能下降。
在拥有成千上万个节点的大型集群中,当运行某些需要数据节点之间需要进行中间结果再分配的工作负载时,在系统正常运行过程中,某个千兆以太网设备可能会遭遇网络拥堵。
每一个Hadoop数据节点的目标都必须实现CPU、内存、存储和网络资源的平衡。
如果四者之中的任意一个性能相对较差的话,那么系统的潜在处理能力都有可能遭遇瓶颈。
添加的CPU和内存组建,将影响存储和网络的平衡,如何使Hadoop集群节点在处理数据时更有效率,减少结果,并在...
丶浅陌丶