集群方案分析

clickhouse集群部署方案分析 常见的三种集群架构方案 阅读详情

集群方案分析

前言

目的

在我司部分项目实施过程中,用户提出了要求采用双机的方案。目前业内双机技术方案比较多,能解决的问题、达到的目标、用户拥有成本也不相同。本文试图给出主要技术方案的比较,供项目选型参考。

集群的概念

计算机集群简称集群是一种计算机系统,它通过一组松散集成的计算机软件/硬件连接起来高度紧密地协作完成计算工作。在某种意义上,他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点,通常通过局域网连接,但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比单个计算机,比如工作站或超级计算机性能价格比要高得多。

按功效,可将集群分为:

Ø  高可用性集群 High-availability (HA) clusters

Ø  负载均衡集群 Load balancing clusters

Ø  高性能计算集群 High-performance (HPC) clusters

Ø  网格计算 Grid computing

高可用性集群提供了尽可能大的平均无故障时间时间、尽可能小的平均故障恢复时间。在集群内部署冗余设备,当系统中某台机器发生故障时,备用机器立刻启动接管任务。我们通常说的双机热备就是一种高可用性集群。

负载均衡集群提供了根据各个节点的闲置能力情况,将并发访问分散到各个节点上的功能,以使得集群整体的处理能力最大化,或当个任务的等待时间最小。

高性能集群、网格计算着眼点在于如何将一个大型任务分解到集群的各个节点中协同处理。主要应用领域包括天气预报、核试验仿真等。在我司目前及未来的主要项目中,一般不包含此类大型任务处理的需求,而主要处理多用户并发的小任务。这些并发小任务处理的性能问题特别适合使用负载均衡集群予以解决。

按照各种集群产品的技术路线,可将集群分为:

Ø  系统层集群

系统层集群是集群平台。在这个平台之上可以部署各个应用。由集群负责管理、监控应用,当节点发生故障时,集群将各种应用转移到后备节点上。Windows 故障转移群集就是其典型代表。

Ø  应用层集群

特定应用所构成的集群。例如,数据库应用集群,web服务器集群。相应的集群只能实现特定应用的故障转移。

 

 

 

 

集群产品分析

Windows server故障转移群集(MSCS->WSFC)

 

概述

Windows Server 故障转移群集提供了各种基础结构功能来支持所承载的服务器应用程序(如 Microsoft SQL Server Microsoft Exchange)的高可用性和灾难恢复方案。如果一个群集节点或服务失败,则该节点上承载的服务可在一个称为故障转移的过程中自动或手动转移到另一个可用节点。

Windows故障转移群集是windowsserver的一个组件。通过该组件将多个计算机构成基于共享存储的集群。WSFC可以管理windows系统中的各种资源、应用程序和服务,为其提供系统层面的故障转移能力。

Windows故障转移群集是一个应用层集群、故障转移集群。

windows server 2003中称为MSCS,在2008中称为WSFC

系统结构图

 

硬件环境

在一个故障转移群集中,需要配备有以下硬件:

1)服务器:建议使用一组包含相同或相似组件的匹配计算机。

注意,仅当所有硬件组件均标记为"Certified for Windows Server 2008"时,Microsoft 才支持故障转移群集解决方案。此外,完整配置(服务器、网络和存储)必须通过"验证配置"向导中的所有测试,该向导包含在故障转移群集管理单元中。

2)网络适配器和电缆(用于网络通信):

3)用于存储的设备控制器或相应适配器:

- 串行连接SCSI 或光纤通道(光纤HBA) iSCSI(以太HBA

(4)SCSI硬盘或SAN

软件环境

一个故障转移群集中的所有服务器必须运行相同版本的 Windows Server 2008。服务器可以运行以下任一版本的操作系统:

- Windows Server 2003 Enterprise SP2

- Windows 2003 Datacenter Server SP2

- Windows Server 2008 Enterprise

- Windows Server 2008 Datacenter

注意:标准版不包含群集组件

功效

1)        故障转移

故障转移功能是通过群集中连接的多个计算机中的冗余实现的,每台计算机都具有独立的故障状态。为了实现冗余,需要在群集中的多个服务器上安装应用程序。但在任一时刻,应用程序只在一个节点上处于联机状态。当该应用程序出现故障或该服务器停机时,此应用程序将在另一个节点上重新启动。

2)        可以实现多节点互备功能。

在集群中部署多个应用(例如数据库、webserver等),正常情况下。各个应用分别在不同节点上运行。当任何一个节点故障时,该节点上运行的应用自动转移到其他节点上,从而实现双机互备。

3)        可扩展性

可在线增加新节点

授权及费用

 

 

 

Oracle clusterware

概述

Clusterwareoracle提供的集群软件。提供系统级的故障转移能力。类似于windows故障转移群集。在其之上可以安装各种应用(如数据库、webserver),可实现各种应用的故障转移。但实际情况是,clusterware往往只被用于oracle RAC方案中。

 

Oracle RAC

概述

Oracle RACoracle数据库提供的数据库集群功能组件。RAC支持一台或多台机器建立数据库集群,可将多个性能一般的设备组成集群,从而提高集群整体的并发处理能力。RAC中的多个节点不分主、备,同时在线,同时对外提供服务。

Oracle标准版包含此组件。Oracle企业版可选择此组件。

系统结构图

硬件环境(Oracle 10.2 for windows

Ø  Physical memory (at least 1 gigabyte (GB) of RAM)

Ø  Swap space (at least 2 GB of available swap space)

Ø  Temporary space (at least 400 megabytes (MB))

Ø  本地存储Diskspace Basic Installation Type total: 3 GB以上

Ø  Processor type (CPU) that is certified with the version of theOracle software being installed

Ø  共享磁盘,3G以上

说明:安装RAC有多种存储部署方案。这里给出的硬件环境是基于这样的存储方案:数据库软件、clusterware软件安装在本地磁盘;votingdiskOCR、数据库文件(控制文件、数据文件、日志文件)

软件环境

1)  操作系统

AIX 5L Based Systems (64-Bit)

Apple Mac OS X (Intel)

hp OpenVMS

HP Tru64 UNIX         

Redis高可用集群主流架构方案分析 【这里想说,因为自己也走了很多弯路过来的,所以才下定决心整理,收集过程虽不易,但想到能帮助到一部分自学java想提升Java架构师技术的,P5-P6-P7-P8 的人,心里也是甜的!类似单实例模式,不同之处在于主节点有备用节点,备用节点会开启一个异步线程同步主节点数据(不保证强一致性,在请求量比较大的情况下会有短暂的时间窗口存在主备数据不一致的情况),主节点磬机后,备用节点升级为主节点对外提供服务(并且数据是热备,避免了持久化方式中缓存数据恢复的过程,主备切换后不会出现大量的缓存穿透现象)。 阅读详情

相关推荐

【K8S系列】K8S 集群 CPU 爆满导致 Pod Pending 状态的分析与解决方案

在 Kubernetes 集群中,CPU 突然爆满可能导致 Pod 状态变为 Pending,影响应用的可用性。本文将深入分析其原因,并附上相关命令及其执行结果,帮助你更好地理解解决此问题。

颜淡慕潇 1968

Windows高性能集群解决方案

Windows高性能集群解决方案Windows高性能集群解决方案

基于hyper-v的故障转移群集

操作系统平台是windows 2012 std版,在此操作系统平台上创建mscs故障转移群集,并创建基于hyperv的角色,也是基于hyperv的故障转移群集。

win2008集群文件服务器,Windows 2008故障转移集群之创建篇

【IT168 专稿】当你的硬件环境完全满足故障转移集群的创建条件,并且已经完成了故障转移集群功能的添加。接下来即可进行故障转移集群的创建。创建新故障转移群集1. 确认已按下列主题所述连接了硬件并且验证了硬件配置:- 验证故障转移群集之前准备硬件- 验证新的或现有的故障转移群集。注:仅当完整配置(服务器、网络存储)可以通过"验证配置"向导中的所有测试时,Microsoft 才支持故障转移群集解决...

weixin_42515842的博客 412

技术架构 - 应用数据分离,应用服务集群架构

应用服务数据库服务使用两台服务器进行分别部署,应用服务就是对外提供服务的,数据库服务就是用来存储数据的。加入了负载均衡技术,应用是以多个服务器的方式(集群)运行,通过负载均衡技术避免单一节点(服务器)负载过大,达到资源利用的最优解。

weixin_64874291的博客 1100

架构:高可用的网站架构——应用层、服务层、数据层。

通常企业级应用系统为提高系统可用性,会采用较昂贵的软硬件设备,如IBM的小型机及至中型机大型机及专有操作系统、Oracle数据库、EMC存储设备等。互联网公司更过的采用PC级服务器、开源的数据库操作系统,这些廉价的设备在节约成本的同时也降低了可用性,特别是服务器硬件设备,低价的商业级服务器一年宕机一次是一个大概率事件,而那些高强度频繁读写的普通硬盘,损坏的概率则要更高一些。

孤芳不自赏 4万+

WSFC基础知识奠基

前面主要大家介绍了一下群集的种类,以及一些群集通用的基本知识,本章开始我们将专注于微软故障转移群集的深入研究与理论解析微软故障转移群集即是我们上篇文章介绍的,一个典型的高可用性群集解决方案,它内置在Windows Server的角色与功能里面,不需要安装额外工具,故障转移群集通常情况下都是主从工作的模式,即一个群集应用同时只有一个节点对外提供服务,然后故障转移...

weixin_34163741的博客 380

Windows上搭建Kubernetes集群

根据你的需求环境选择合适的方案,前三种方案适合开发测试,第四种方案适合生产环境。

temp0504的博客 899

集群中Session共享解决方案分析

集群中Session共享解决方案分析

runwuwushengxiyu的博客 115

redis集群主流架构方案分析

阿伊土鳖小码农 2017-02-10 09:29 Redis在互联网大数据平台有着广泛的应用,主要被用来缓存热点数据,避免海量请求压垮数据库,同时可以提升服务节点的响应速度并发量。随着数据量的增多,由于redis是占用单台物理机或虚机的内存,内存资源是有限的,要动态地扩容缩容,就需要用到redis集群。redis集群的架构方案经历了一系列演变改良的过程,本文介绍了四种主流的redis架构...

varyall的专栏 525

Tiny RDM 在 Redis 集群模式下订阅功能的问题分析与解决方案

Tiny RDM 在 Redis 集群模式下订阅功能的问题分析与解决方案 【免费下载链接】tiny-rdm A Modern Redis GUI Client 项目地址: https://gitcode.com/GitHub_Tr...

gitblog_07006的博客 489

服务器集群配置方法_tomcat

apache,tomcat配置服务器集群

DataStage在Windows2008集群上安装部署

详细介绍了DataStage在Windows 2008集群下的部署流程,来源于实际项目,具有很好的实际操作参考意义。

Redis集群实现方案选型分析

Redis集群方案 1. 客户端分片实现集群 2.中间代理层实现集群 3.Server层面本身支持集群 4.第三方:实际是上述三中的进一步增强 尽管实现方案多样,其实质都是通过底层分片突破Redis单实例内存限制增加可靠性 客户端分片 客户端分片是把分片的逻辑放在Redis客户端实现,通过Redis客户端预先定义好的路由规则,把对Key的访问转发到不同的Redis实例中,最后把返...

FeelTouch Labs 1695

Redis集群扩容数据迁移方案分析

Redis集群从3节点扩容到4节点时,需要迁移约25%的数据以重新平衡槽位分布。迁移方案包括:1.准备工作(环境检查、新节点配置);2.添加新节点并计算槽位迁移计划(每个原节点迁移1365个槽);3.执行迁移(支持自动或手动方式);4.迁移后验证(集群状态、数据一致性检查)。关键点:使用CRC16算法将数据均匀分布在16384个槽位中,迁移过程需监控性能并准备回滚方案。该方案确保扩容后各节点负载均衡,同时最小化对业务的影响。

rchm8519的专栏 700

AI股票分析师Docker集群部署方案

本文介绍了如何在星图GPU平台上自动化部署AI股票分析师daily_stock_analysis镜像,实现股票数据的智能分析与处理。该方案支持高并发请求处理,可自动进行股票趋势预测投资建议生成,帮助投资者快速获取市场洞察,提升决策效率。

weixin_29317963的博客 346

Nacos集群OOM问题分析与解决方案

在生产环境中,Nacos作为服务发现配置管理的核心组件,其稳定性至关重要。某企业在使用Nacos 2.1.1版本集群时遇到了频繁宕机的问题,集群由三台2C4G配置的服务器组成。通过分析系统日志发现,这是由于内存不足导致的OOM(Out Of Memory)问题。 ## 问题现象 从系统日志中可以清晰地看到OOM killer被触发,最终选择了Java进程进行终止。日志中显示: - 系统内存状...

gitblog_00159的博客 510

cat 常用的日志分析架构方案_redis集群主流架构方案分析

点击蓝字“程序员考拉”欢迎关注!Redis在互联网大数据平台有着广泛的应用,主要被用来缓存热点数据,避免海量请求压垮数据库,同时可以提升服务节点的响应速度并发量。随着数据量的增多,由于redis是占用单台物理机或虚机的内存,内存资源是有限的,要动态地扩容缩容,就需要用到redis集群。redis集群的架构方案经历了一系列演变改良的过程,本文介绍了四种主流的redis架构方案。客户端分...

weixin_39714275的博客 168
上一篇: oracle中job长时间执行没有结束
下一篇: sql外连接
fupei
博客等级 码龄20年 29粉丝 56原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值