常用集群软件有哪些?
高性能计算(High performance computing, 缩写HPC) 指通常使用很多处理器(作为单个机器的一部分)或者某一集群中组织的几台计算机(作为单个计 算资源操作)的计算系统和环境。
有许多类型的HPC 系统,其范围从标准计算机的大型集群,到高度专用的硬件。
大多数基于集群的HPC系统使用高性能网络互连,比如那些来自 InfiniBand 或 Myrinet 的网络互连。
基本的网络拓扑和组织可以使用一个简单的总线拓扑,在性能很高的环境中,网状网络系统在主机之间提供较短的潜伏期,所以可改善总体网络性能和传输速率!
什么是Linux集群
集群通信系统是一种计算机系统, 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。
简单地说,集群(cluster)就是一组计算机,它们作为一个整体向用户提供一组网络资源。
这些单个的计算机系统就是集群的节点(node)。
一个理想的集群,用户是不会意识到集群系统底层的节点的。
在他们看来,集群是一个系统,而非多个计算机系统。
并且集群系统的管理员可以随意增加和删改集群系统的节点。
集群已不是一个全新的概念,早在七十年代计算机厂商和研究机构就对集群系统进行了研究和开发。
这些系统不为大家熟知,是因为它主要用于科学工程计算。
直到Linux集群的出现,集群的概念才得以广泛传播。
集群系统主要分为高可用(High Availability)集群,简称HA集群,和高性能计算(High Perfermance Computing)集群,简称HPC集群。
计算机集群的集群分类
集群分为同构与异构两种,它们的区别在于:组成集群系统的计算机之间的体系结构是否相同。
集群计算机按功能和结构可以分成以下几类:高可用性集群 High-availability (HA) clusters 负载均衡集群 Load balancing clusters 高性能计算集群 High-performance (HPC) clusters 网格计算 Grid computing 负载均衡集群运行时一般通过一个或者多个前端负载均衡器将工作负载分发到后端的一组服务器上,从而达到整个系统的高性能和高可用性。
这样的计算机集群有时也被称为服务器群(Server Farm)。
一般高可用性集群和负载均衡集群会使用类似的技术,或同时具有高可用性与负载均衡的特点。
Linux虚拟服务器(LVS)项目在Linux操作系统上提供了最常用的负载均衡软件。
高性能计算集群采用将计算任务分配到集群的不同计算节点儿提高计算能力,因而主要应用在科学计算领域。
比较流行的HPC采用Linux操作系统和其它一些免费软件来完成并行运算。
这一集群配置通常被称为Beowulf集群。
这类集群通常运行特定的程序以发挥HPC cluster的并行能力。
这类程序一般应用特定的运行库, 比如专为科学计算设计的MPI库。
HPC集群特别适合于在计算中各计算节点之间发生大量数据通讯的计算作业,比如一个节点的中间结果或影响到其它节点计算结果的情况。
网格计算或网格集群是一种与集群计算非常相关的技术。
网格与传统集群的主要差别是网格是连接一组相关并不信任的计算机,它的运作更像一个计算公共设施而不是一个独立的计算机。
还有,网格通常比集群支持更多不同类型的计算机集合。
网格计算是针对有许多独立作业的工作任务作优化,在计算过程中作业间无需共享数据。
网格主要服务于管理在独立执行工作的计算机间的作业分配。
资源如存储可以被所有结点共享,但作业的中间结果不会影响在其他网格结点上作业的进展。
Windows HPC Server 2008的Windows HPC Server 2008
Microsoft® Windows® HPC Server 2008(HPCS),下一代高性能计算(HPC),为具有高度生产力的HPC环境提供了企业级的工具、性能和扩展性。
HPCS提供了完整而集成的集群环境,包括操作系统、作业调度、消息传递接口v2(Message Passing Interface v2,MPI2)支持、集群管理和监控组件。
以Windows Server® 2008 64位技术为基础,HPCS能够有效扩展到数千个处理内核,并提供管理控制台,用于主动监控和维护系统健康与稳定。
作业调度的互操作性和灵活性能够实现Windows和Linux的HPC平台之间的集成,并支持批量和面向服务架构(SOA)的工作。
增强的生产力,可扩展的性能,以及易用性,使得Windows HPC Server 2008成为Windows环境同类产品中的最佳产品。
Windows HPC Server 2008的高性能计算(HPC)通过先进的工具来监测和管理大型集群。
Windows HPC Server 2008(HPCS)结合了Windows服务器平台和丰富的现成功能所带来的优势,并帮助提高生产力和降低高性能计算环境的复杂性。
Windows HPC Server 2008可以有效地扩展到几千个处理器内核,并提供一套全面的部署、管理和监测工具使其易于部署、管理,并与您现有的基础设施集成。
Windows HPC Server 2008能够通过更轻松的部署和管理,帮助用户缩短实现HPC工作的时间。
通过使用现有的Windows信息技术(IT)架构,HPCS简化了集群的管理、安全和存储,并提供桌面上的无缝访问。
HPCS采用Windows Server 2008的Windows部署服务(Windows Deployment Services)技术,提供了改进的部署,更加快速的微软消息传递接口(Microsoft Message Passing Interface,MS-MPI)提供了新的NetworkDirect支持,先进的作业调度和基于Microsoft® System Center 2007用户界面(UI)的新管理接口,能支持Windows PowerShell尡为首选的脚本接口。
Windows HPC Server 2008同其他微软产品集成,有助于提高HPC的生产力并改进整体终端用户体验,包括与Microsoft® Office SharePoint® Server 2007和Windows Workflow Foundation的协作,以及与System Center 2007集成以获得改进的管理和效率,通过与Windows Communication Foundation(WCF)的集成,Windows HPC Server 2008允许开发人员采用SOA应用,实现HPC解决方案所提供的强大的并行计算能力。
HPCS使用Windows Server 2008企业版和Microsoft® SQL Server®的容错集群功能,提供HPC集群中头节点的高可用性和冗余性。
Windows HPC Server 2008包括2张DVD光盘,分别是Windows Server 2008 HPC Edition和Microsoft HPC Pack 2008。
Windows Server 2008 HPC Edition第一张DVD包含专门用于HPC工作的64位Windows Server 2008版本的安装文件第二张DVD包含Microsoft HPC Pack 2008,提供以下接口、工具和管理架构:
如何实现 cache数据库集群
集群系统的概要现在的计算机社会中,持续的提供不停止的服务已经成为通往成功的关键。
例如仅由于 1台机器故障或超负荷而宕机就导致对客户的服务全面停止。
这样的话,不但会带来莫大的损失,还会失去客户的信任。
随着集群系统的导入,发生意外事故时会将系统停止时间(宕机时间)降低到最小限度、使负载均衡,提高其可用性。
所谓集群,有“集团”、“团”的意思,顾名思义是“将多个计算机汇集成一群(或者多群),谋求提升可靠性及处理性能的系统”。
集群系统有多个种类,可分为下列3 种。
其中,NEC ExpressCluster 属于High Availability 集群。
HA (High Availability) 集群是平时作为运行服务器作业,在运行服务器发生故障时将业务交接到待机服务器的集群。
是以高可用性为目的的集群。
包括共享磁盘型、镜像磁盘型。
负载均衡集群是将客户端的请求遵从恰当的负荷均衡原则分配给各节点的集群。
是以高扩展性为目的的集群、一般无法进行数据交接。
包括load balance 集群、并列数据库集群。
HPC (High Performance Computing)集群是指计算量非常大的集群。
是为使用超级计算机执行单一业务的集群。
使用所有节点的CPU 来执行单一业务的网格计算技术近年来已成为热点。
如何获得和持续使用足够的集群计算资源
简单说,分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率。
例如: 如果一个任务由10个子任务组成,每个子任务单独执行需1小时,则在一台服务器上执行改任务需10小时。
采用分布式方案,提供10台服务器,每台服务器只负责处理一个子任务,不考虑子任务间的依赖关系,执行完这个任务只需一个小时。
(这种工作模式的一个典型代表就是Hadoop的Map/Reduce分布式计算模型) 而采用集群方案,同样提供10台服务器,每台服务器都能独立处理这个任务。
假设有10个任务同时到达,10个服务器将同时工作,10小后,10个任务同时完成,这样,整身来看,还是1小时内完成一个任务! 以下是摘抄自网络文章: 一、集群概念 1. 两大关键特性 集群是一组协同工作的服务实体,用以提供比单一服务实体更具扩展性与可用性的服务平台。
在客户端看来,一个集群就象是一个服务实体,但事实上集群由一组服务实体组成。
与单一服务实体相比较,集群提供了以下两个关键特性: · 可扩展性--集群的性能不限于单一的服务实体,新的服务实体可以动态地加入到集群,从而增强集群的性能。
· 高可用性--集群通过服务实体冗余使客户端免于轻易遇到out of service的警告。
在集群中,同样的服务可以由多个服务实体提供。
如果一个服务实体失败了,另一个服务实体会接管失败的服务实体。
集群提供的从一个出 错的服务实体恢复到另一个服务实体的功能增强了应用的可用性。
2. 两大能力 为了具有可扩展性和高可用性特点,集群的必须具备以下两大能力: · 负载均衡--负载均衡能把任务比较均衡地分布到集群环境下的计算和网络资源。
· 错误恢复--由于某种原因,执行某个任务的资源出现故障,另一服务实体中执行同一任务的资源接着完成任务。
这种由于一个实体中的资源不能工作,另一个实体中的资源透明的继续完成任务的过程叫错误恢复。
负载均衡和错误恢复都要求各服务实体中有执行同一任务的资源存在,而且对于同一任务的各个资源来说,执行任务所需的信息视图(信息上下文)必须是一样的。
3. 两大技术 实现集群务必要有以下两大技术: · 集群地址--集群由多个服务实体组成,集群客户端通过访问集群的集群地址获取集群内部各服务实体的功能。
具有单一集群地址(也叫单一影像)是集群的一个基本特征。
维护集群地址的设置被称为负载均衡器。
负载均衡器内部负责管理各个服务实体的加入和退出,外部负责集群地址向内部服务实体地址的转换。
有的负载均衡器实现真正的负载均衡算法,有的只支持任务的转换。
只实现任务转换的负载均衡器适用于支持ACTIVE-STANDBY的集群环境,在那里,集群中只有一个服务实体工作,当正在工作的服务实体发生故障时,负载均衡器把后来的任务转向另外一个服务实体。
· 内部通信--为了能协同工作、实现负载均衡和错误恢复,集群各实体间必须时常通信,比如负载均衡器对服务实体心跳测试信息、服务实体间任务执行上下文信息的通信。
具有同一个集群地址使得客户端能访问集群提供的计算服务,一个集群地址下隐藏了各个服务实体的内部地址,使得客户要求的计算服务能在各个服务实体之间分布。
内部通信是集群能正常运转的基础,它使得集群具有均衡负载和错误恢复的能力。
二、集群分类 Linux集群主要分成三大类(高可用集群, 负载均衡集群,科学计算集群)高可用集群(High Availability Cluster)负载均衡集群(Load Balance Cluster)科学计算集群(High Performance Computing Cluster) 具体包括: Linux High Availability 高可用集群 (普通两节点双机热备,多节点HA集群,RAC, shared, share-nothing集群等) Linux Load Balance 负载均衡集群 (LVS等....) Linux High Performance Computing 高性能科学计算集群 (Beowulf 类集群....) 三、详细介绍 1. 高可用集群(High Availability Cluster) 常见的就是2个节点做成的HA集群,有很多通俗的不科学的名称,比如"双机热备","双机互备","双机"。
高可用集群解决的是保障用户的应用程序持续对外提供服务的能力。
(请注意高可用集群既不是用来保护业务数据的,保护的是用户的业务程序对外不间断提供服务,把因软件/硬件/人为造成的故障对业务的影响降低到最小程度)。
2. 负载均衡集群(Load Balance Cluster) 负载均衡系统:集群中所有的节点都处于活动状态,它们分摊系统的工作负载。
一般Web服务器集群、数据库集群和应用服务器集群都属于这种类型。
负载均衡集群一般用于相应网络请求的网页服务器,数据库服务器。
这种集群可以在接到请求时,检查接受请求较少,不繁忙的服务器,并把请求转到这些服务器上。
从检查其他服务器状态这一点上看,负载均衡和容错集群很接近,不同之处是数量上更多。
3. 科学计算集群(High Performance Computing Cluster) 高性能计算(High Perfermance Computing)集群,简称HPC集群。
这类集群致力于提供单个计算机所不能提供的强大的计算能力。
3.1 高性能计算分类 3.1.1 高吞吐计算(High-throughput Computing) 有一类高性...
不同电脑组linux集群
可以做高可用的负载均衡。
请参考LVS和linux-HA的官网文档!你可以根据各PC的具体情况制定策略,LVS不要求均衡的服务器性能!要说难点,就是你需要了解各个机器的性能,制定相应策略!话说P4的已经很不错了,不算老!我2.6羊还在效力!(debian linux)
什么是8点集群
首先我想知道你问的是CPU集群、还是GPU集群、还是GPU与CPU混合集群。
你说的“8点”应该是8个节点吧!若是CPU集群8节点指的是8个cpu server组成的集群。
若是GPU集群8节点指的是8个GPU HPC组成的集群。
若是混合集群8节点指的是X个cpu server和y个GPU HPC,x+y=8.还有其他情况:若是机架式服务器,刀片式服务器,常会听到2U 4节点(X U Y节点),情况又会不一样了。
会涉及里面的cpu数量(几路的CPU)等情况。
重要网站怎么做服务器集群
网站的文件集群跟备份很重要。
首先推荐服务器使用Lnmp环境(linux+nginx+mysql+php),然后在来做集群。
集群分三步走:第一:域名支持智能解析。
第二:组建好主服务器跟分服务器。
第三:安装好自动备份软件,推荐:rsync。
使用增量备份。
设置1分钟自动发送一次。
原理如下:A为主服务器,B为分服务器。
在A服务器上面更新网站的新内容,生成的新文件,在1分钟内,自动检测A服务器文件是否有变动,如果有,自动更新。
以此类推。
组建集群。