浅谈软件定义的必要性有哪些?

节点设备太多、设备利用率太低、 应用设备间迁移太困难、存储需求增长得太快……应用的发展,推动了IT基础架构的发展,特别是承载着云计算与大数据应用的规模化数据中心的发展,需要面临的挑战实在太多了。于是虚拟化技术重新回到大众视野中。

图:软件定义的计算演进

在计算机发展的早期(20世纪60年代),虚拟化技术其实就已经出现了,当时是为了能够充分利用昂贵的大型主机的计算资源。数十年后,虚拟化技术再一次变成人们重点关注的对象,依然跟提高资源的利用效率有密不可分的关系。而且这次虚拟化技术不仅在计算节点上被广泛应用,相同的概念被很好地复制到了存储、网络、安全等与计算相关的方方面面。

虚拟化的本质是将一种资源或能力,以软件的形式从具体的设备中抽象出来,并作为服务提供给用户。当这种思想应用到计算节点(计算资源),资源被以软件的形式(各种虚拟机从物理机器中抽象出来),按需分配给用户使用。虚拟化思想应用于存储时,数据的保存和读写是一种资源,而对数据的备份、迁移、优化等控制功能是另一种资源,这些资源被各种软件抽象出来,通过编程接口(API)或用户界面提供给用户使用。网络的虚拟化同样是这样,数据传输的能力作为一种资源,被网络虚拟化软件划分成互相隔离的虚拟网络,提供诸如OpenFlow这样的通用接口给用户使用。

当服务器被软件虚拟化(需要澄清一点:虚拟化有软件与硬件两大类,但是硬件的复杂度过高、灵活度太差,虽然性能更优,但是随着通用硬件的遵循摩尔定律说观察和预言的那样持续快速发展,市场毫不犹豫地选择了软件虚拟化。另外,硬件虚拟化究其本质是对软件虚拟化功能的固化!)之后,计算能力就可以真正做到“按需分配”,而不是必须给每种服务“按业务分配”物理的机器。

过去的IT管理员当然也希望能够做到“按需”而不是“按业务”分配,但是没有虚拟化隔离技术(见图3-18),没有人会愿意冒风险把可能互相影响的系统放在同一台服务器上。而在软件虚拟化实现的场景下,虚拟机可以把在同一台物理设备上部署的多个应用、服务甚至异构的操作系统进行很好的isolation(分隔、隔离,容器计算技术在隔离上仍旧没有VM技术成熟,但是解决这一问题只是个时间问题)。

值得一提的是,存储也通过软件被虚拟化了。用户不用再去关心买了什么磁盘阵列,每个阵列到底能够承载多少业务,因为他们看到的将是一个统一管理的资源池,资源池中的存储按照容量、响应时间、吞吐能力、可靠性等指标被分成了若干个等级。系统管理员可以“按需”从各个资源池中分配和回收资源。虚拟的网络可以“按需”增减和配置,而不需要动手去配置网络设备和连线。能做到这一步,就能够解决以下问题:

·资源的利用效率低下,不能充分利用硬件的能力;
· 资源的分配缺乏弹性,不能根据运行情况调整部署;
·在提供基础设施服务时,必须考虑不同硬件的性能;
· 需要改变配置时,不得不重新连线和做硬件配置的调整。

需要特别注意的是,在虚拟化这一概念中,利用软件来抽象可用的资源这一点尤为重要,因为这样才能实现资源与具体的硬件分离(Decouple)。这也是软件定义的一切(Software Defined Everything)—软件定义的数据中心(SDDC)、软件定义的网络(SDN)、软件定义的存储(SDS)这些技术与实践的由来

当主要的资源都已经虚拟化了,只是实现了“软件定义”的第一步。这是因为虚拟化在解决大量现有问题的同时,也带来一些新的挑战。

虚拟化使得资源管理的对象发生了变化,变得更为复杂(Added Complexity)。传统的数据中心资源管理以硬件为核心,所有的系统和流程根据硬件使用的生命周期来制定。当资源虚拟化之后,系统管理员不仅需要管理原有的硬件环境,而且新增加了虚拟对象的管理。虚拟对象的管理兼有软件和硬件管理的特性(也就是说系统的复杂性从一层变为二层)。从用户的使用体验来说,虚拟对象更像硬件设备,例如服务器、磁盘、网络等;而从具体的实现形式、计费、收费来说,虚拟对象却是在软件的范畴里。为了适应这种改变,资源管理要能够将虚拟对象与硬件环境,甚至更上层的业务结合起来,统一管理。

虚拟化使得资源的划分更细致(Finer Granularity),不仅带来了管理方式上的挑战,被管理对象的数量也上升了至少一个数量级。原本一台服务器作为单独一个管理单位,现在虚拟机变成了计算的基本管理单位。随着多核技术的发展,如今非常普通的一台物理服务器可以有2~4颗CPU,每颗CPU上有8个物理计算核心(Core),每个计算核心借助超线程技术可以运行2个线程,因而也可以被认为是2个vCPU。因此,一台物理服务器之上,往往可以轻松运行15~30个虚拟机实例。

存储的例子更加明显,传统的存储设备为物理机器提供服务,假设每台机器分配2个LUN作为块存储设备,如今在虚拟化了之后需要分配的LUN也需要变成原来的几十倍。不仅如此,因为存储虚拟化带来的资源集中管理,释放了许多原来不能满足的存储需求,因此跨设备的存储资源分配也变成了现实。这使得存储资源的管理对象数量更加庞大。

网络因为软件虚拟化而生成的数量呢?恐怕不用赘述了。想想看为什么大家不能满足于VLAN,而要转向VxLAN吧。一个很重要的因素是VLAN tag对虚拟网络有数量的限制,4,096个网络都已经不够了。要管理数量巨大的虚拟对象,仅仅依靠一两张电子表格是完全应付不了的。连传统的管理软件也无法满足要求。例如,某知名IT管理软件在浏览器页面导航栏中有一项功能,以列表的方式列出所有服务器的摘要信息。在被用于虚拟化环境时,由于虚拟服务器数量过多导致浏览器无法及时响应。

虚拟环境带来的另一个新挑战是安全(Security Challenge)。这里既有新瓶装老酒的经典问题,也有虚拟化特有的安全挑战。应用运行在虚拟机上和运行在物理服务器上都会面临同样的攻击,操作系统和应用程序的漏洞依然需要用传统的方式来解决。好在应用如果在虚拟机上崩溃了,不会影响物理服务器上其他应用继续工作。从这点来看,虚拟化确实提高了应用的安全性。虚拟化的一个重要特点是多用户、多租户都可以共享资源(Multi-Tenancy,多租户),无论是计算、存储、网络,共享带来的好处显而易见,也带来了可能互相影响的安全隐患。例如,在同一台物理服务器上的虚拟机真的完全不会互相影响吗?AWS公有云服务商就出现过某些用户运行计算量非常大的应用,而导致同一台物理机器上的其他虚拟机用户响应缓慢的情况。容器计算则因为潜在的安全、隔离隐患而让很多企业顿足不前。存储的安全性就更关键了,如果你在一个虚拟存储卷上存放了公司的财务报表(有些条目可能会让你吃官司),即使你已经想尽办法删除了数据,你还是会担心如果这个卷被分配给一个有能力恢复被删除数据的人。

由此可见,仅仅将资源虚拟化,只是解决问题的第一步。对虚拟对象的管理是迫切需要完成的任务。新的资源管理和安全并不只是着眼于物理设备,而是把重点放在管理虚拟对象(虚拟对象与物理实体对象之间的关系可以灵活定义,既可能是一台物理设备上面拆分出的多个虚拟设备或服务,也可能是多个物理设备合并构成一个虚拟的组件,Google Spanner中的全球数据中心就是由几个Universe来构成的),使虚拟环境能够真正被系统管理员和用户所接受。

当虚拟资源各就各位了,管理员动动鼠标就能够安全分配、访问、回收任何计算、存储、网络资源的时候,数据中心已经可以算得上是完全被软件接管了。可是这并不意味着软件定义的基础架构,如,数据中心已经能够发挥最大的作用了。因为资源虽然已经虚拟化了,纳入统一管理的资源池了,可以随需调用了,但是什么时候需要什么样的资源还是要依靠人来判断,部署一项业务到底需要哪些资源还是停留在参考、比对技术文档的层面。数据中心的资源确实已经有软件来定义如何发挥作用了,但是数据中心的运行流程还是没有根本的改变。以部署MySQL数据库为例,假如你需要2个计算节点,3个LUN(存储卷)和1个虚拟网络,知道了这些还远远不够,在一个安全有保证的虚拟化环境中,管理员要部署这样一个数据库实例需要完成下图所示的5步流程。

图:数据库部署流程示意图

在这整个过程中,如果需要部署的流程并不需要特殊的参数,而是可以用预设值工作,甚至可以做到真正的“一键部署”,那么做到了这一步,软件定义的架构已经可以显示出强大的优势了。不仅仅资源的利用可以做到按需分配,分配之后如何配置成用户熟悉的服务也能够自动完成了。

如果你需要的是几台虚拟机,现在已经能够轻松做到了;如果你需要的是同时分配虚拟机、存储和网络,现在也能够做到了;如果你还需要把这些资源包装成一个数据库服务,现在也只需要动动手指就能完成了。程序员们应该已经非常满足了,管理员也完全有理由沾沾自喜一下子。毕竟,之前要汗流浃背重复劳动几天的工作,现在弹指间就全部搞定了。可是对于那些要使用成熟应用(SaaS)的终端用户来说,这和以前没有什么区别。例如,等着CRM(Customer Relation Management)系统上线的客户,并不真正在意如何分配了资源(IaaS),如何建立了数据库(PaaS),唯一能让他们感到满意的是能够登录进入CRM系统(SaaS),可以开始使用这个系统管理客户关系。

要解决这个问题,让应用真正能面对客户,可以有几种方法。在这个阶段,数据中心的资源已经不是单纯跟资源管理者有关系了,而是与用户的应用程序产生了交集。建立应用程序的运行环境,必须视应用本身的特性而定,方法有三,见下表:

· 第一种方法是借鉴了自动部署数据库的流程,将其扩展到部署用户的应用,同样还是利用自动化的流程控制来配置用户程序。
· 第二种方法是部署一套PaaS的框架(平台即服务),将用户程序继承并运行在PaaS之上。
·第三种方法是让用户自己设计自动部署的方法,是否集成到数据中心的管理环境中则视情况而定。

每种方法都有其适用的场景,不能一概而论。但应用的自动化部署这一步是数据中心的基础架构面向用户的不可或缺的一步。如果说之前的虚拟化、资源管理、安全设置、自动化流程控制都还是数据中心的管理员关心的话题,那部署应用这一步才是真正贴近用户,直接满足用户的业务需求。在成功部署了应用之后,软件定义的架构(数据中心)才算是真正自下向上完整地建立起来了。

如下图所示,软件定义的数据中心是一个从硬件到应用的完整框架,用户的需求永远是技术发展的原动力。软件定义的数据中心也不例外。软件定义的计算(或称计算虚拟化)作为一种既成熟又新颖的技术,成为解决困局的突破口。随之而来的是软件定义的存储和网络技术。在资源的虚拟化已经完成之后,在虚拟环境中的安全与管理需求变成了第二波创新的主题。在这之后,数据中心的自动化流程控制进一步释放了软件定义技术所蕴含的潜在威力,让管理员能够不踏足机房就能调配成千上万的虚拟机配置成数据库、文件服务、活动目录等服务,甚至可以更进一步,自动部署成熟的用户程序,提供给用户使用。

软件定义的数据中心是应用户需求而发展的,但是并不是一蹴而就地满足了用户初始的需求—“非不为也,实不能也”。软件定义的数据中心是一项庞大的系统工程,基础如果不稳固,仓促提供服务会带来严重的后果。云计算服务就是个很好的例子。云计算服务的后端无疑需要强大的软件定义的数据中心做支撑。国内有多家“学习”AWS的企业,本着“一手抓学习,一手抓运营”的精神,在技术并不成熟的情况下,过度强调运营的重要性仓促上马云计算服务,但是计算的稳定性、存储的可靠性、网络的可用性都暴露出了许多问题,用户体验实在无法让人满意。

当然,并不是任何一个软件定义的数据中心都需要完全如上文所述,搭建从硬件到用户的完整框架,而且也不是所有可以称为软件定义数据中心的计算环境都具备上文所述的所有功能。一切还是应用说了算。例如,用户仅仅需要虚拟桌面服务,可能并不需要复杂的虚拟网络,但是安全和自动控制流程要特别加强;用户需要大规模可扩展的存储做数据分析,那软件定义存储将扮演更重要的角色,计算虚拟化就可以弱化一些。一切以满足用户需求为前提,这是软件定义一切的发展的动力和目标

·END·

相关推荐

一场人工智能革命:Graph XAI图增强智能

中国数据库技术迎来关键转型期。从20世纪60年代美国开发首个网状数据库,到Oracle等传统数据库长期主导市场,当前技术架构正面临智能化时代的全新挑战。传统架构难以满足大数据量、复杂场景和强计算需求,亟需突破性创新。图增强智能(Graph+AI)成为突破方向,通过融合图计算引擎与图算法,构建高维关联数据模型,解决传统数据库的数据孤岛问题和AI模型黑盒化困境。这一创新技术体系为企业提供可解释、低成本、高维度的智能解决方案,推动数据库技术向智能化时代迈进。

Ultipa的博客 677

查询语言的进化:SQL之后,为什么是GQL?数据世界正在改变

摘要:随着数据复杂度提升,ISO于2024年正式发布GQL国际标准,标志着图查询语言进入新时代。由嬴图团队推出的全球首部GQL权威指南《Getting Started with GQL》系统阐述了语法逻辑与实战应用,帮助开发者突破传统表格思维,建立关系导向的图数据思维。该书通过社交网络、智能推荐等场景案例,展现了GQL处理复杂关系的优势,为把握下一代数据技术趋势提供专业指导。GQL的标准化将如同当年SQL推动关系型数据库发展一样,重塑以关系为核心的数据应用生态。

Ultipa的博客 964

图观 | 虚拟币洗钱 170 亿,监管遇挑战?技术破局

在金融科技飞速发展的当下,虚拟货币市场的复杂性与日俱增。早在 2003 年 7 月,山东成功破获一起涉及韩国境内外特大虚拟货币钱庄案,虚拟货币的介入,彻底颠覆了传统地下钱庄的运作模式,凸显了虚拟货币交易的隐蔽性与监管难度。时过境迁,虚拟货币市场持续扩张,其引发的风险也越发受到全球关注。

Ultipa的博客 1345

玩游戏只看打斗?藏在背后的图数据库,才是真・关系网操盘手

家人们,现在游戏行业卷得连数据库都得内卷了!你在《黑神话》里砍的每只怪、捡的每件装备、跟 NPC 唠的每句嗑,背后都有不同数据库在疯狂打工。但今天咱不聊那些听腻了的,来整点冷知识 —— 就拿火到出圈的《黑神话:悟空》来说,你以为那些神仙鬼怪的关系网、任务线的弯弯绕绕是咋捋顺的?这里就得请出 “图数据库” 这位隐藏大佬了!这玩意儿听起来像搞拓扑学的,实际上在游戏里可太有用了:比如悟空跟各路神仙的恩怨情仇、地图里藏着的 N 条隐藏路径、甚至不同怪物之间的仇恨链,全靠它把这些错综复杂的关系网打理得明明白白。

Ultipa的博客 865

揭秘图存储: 从 0 到 1 读懂图存储,它凭什么成了复杂关系的克星

图存储是专门用于存储图结构数据的存储引擎,其核心在于高效管理节点、边及其属性。相比传统SQL数据库,图存储在复杂关系查询方面具有显著优势:SQL处理多层级关系需多次表关联,效率低下;而图存储通过原生结构设计,可直接沿关系链查询,速度提升上千倍。

Ultipa的博客 1478

沸点 | 嬴图参加世界人工智能大会

大会期间,嬴图创始人兼CEO孙宇熙与来自全球的顶尖学者、企业代表共同探讨人工智能的发展趋势与挑战,并现场分享了嬴图-Graph XAI 在提升大模型可解释性、准确性与运行速度上的突破性实践,为行业带来全新解决方向,引发与会者的广泛关注与热烈讨论。数据库技术作为和芯片、操作系统并列的三大基础性技术,是数字化系统的底座,尤其是智能化应用对累积的全量数据的极限需求,在数据的管理、承载、处理、应用,以及在性能、安全、成本、体验等方面都提出了全新的技术要求。大会展览面积突破 7 万平方米,800 余家企业参展。

Ultipa的博客 292

AI Agent 破局点:告别“装懂”,学会真正“思考”

前两年还冷清的赛道,如今被Agent 的热潮彻底点燃:资本的钱袋子如逐浪的鱼群疯狂涌来;各类赛事、论坛也都围绕着它搭台唱戏;搞技术的则像给“新玩具”装零件,忙着套框架、加工具、写 prompt…… 仿佛这不是一个技术概念,而是能打开所有门的万能钥匙,似乎谁慢一步,就要错过下一个技术革命风口……冷热之间,只差一个 Agent 的距离……

Ultipa的博客 729

图计算怎么用?从数据到关系的魔力

传统数据库架构以存储为中心,计算通常是依附存储引擎而存在的;而在图数据库中,因为要解决高性能计算、复杂遍历查询计算的效率问题,所以图计算的重要性不言而喻!

Ultipa的博客 1256

图计算如何为万物互联时代搭建智能 “解码中枢”?

图数据库(图计算)应对的是当今一个宏观商业世界的大趋势,它凭借对海量、复杂、动态的数据的挖掘、分析和关联而获得洞察力。事实上,虽然其本身还无法在短时间内完全替换那些已经被用户充分认识和使用的数据平台,但市场对该技术的需求在不断激发着图数据库(图计算)的内生动力。

Ultipa的博客 871

数据驱动 AI 时代:数据库行业的技术跃迁与生态重构

模型不是重点,数据才是关键

Ultipa的博客 925

云计算与大数据进阶 | 29、一文读懂SOA:像搭乐高一样搭建软件系统

本文介绍了面向服务的体系结构(SOA)的核心概念及其在现代IT架构中的应用。

Ultipa的博客 1628

云计算与大数据进阶 | 28、存储系统如何突破容量天花板?可扩展架构的核心技术与实践—— 分布式、弹性扩展、高可用的底层逻辑(下)

本文深入探讨了存储系统可扩展架构中的SAN系统和统一存储系统的扩展性技术。文章指出这些技术相互协作,为应对云计算、大数据时代的海量数据存储需求提供了坚实基础,未来仍需持续创新以突破存储容量限制。

Ultipa的博客 1766

云计算与大数据进阶 | 27、存储系统如何突破容量天花板?可扩展架构的核心技术与实践—— 分布式、弹性扩展、高可用的底层逻辑(上)

数据中心里,存储系统是至关重要的组成部分。由于相关硬件组件与存储操作系统的多样性和复杂性,如何在保证存储稳定、安全、可靠的同时,实现灵活扩展和自服务,一直是困扰数据中心全面云化的难题。简单来说,现在的难题就在于:硬件和软件的复杂性导致存储系统像一堆零散的积木,拼起来费劲,改起来更麻烦,而云化又需要它像变形金刚一样,既能随时调整结构,又能稳稳当当不出错。那么,如何把这些零散的积木变成一个灵活又可靠的整体,就成了数据中心全面云化必须要跨过的一道坎。

Ultipa的博客 1740

云计算与大数据进阶 | 26、解锁云架构核心:深度解析可扩展数据库的5大策略与挑战(下)

领导者(Leader):唯一写入口,负责生成事务编号(ZXID)、广播消息;跟随者(Follower):接收并执行 Leader 的指令,参与选举。

Ultipa的博客 1390

沸点 | 从 “黑箱” 到 “透明”:嬴图图增强智能技术入榜中关村前沿科技大赛——解码 AI可解释性的产业落地路径

近日,第八届中关村国际前沿科技大赛人工智能领域赛在中关村东升国际科学园圆满收官。在这场汇聚全球顶尖 AI 创新力量的巅峰对决中,嬴图凭借 “图增强智能 XAI 系统” 从 全球 200 余个参赛项目中突出重围,荣膺人工智能领域 TOP10榜单,成为本届大赛国际化舞台上技术创新性与商业化潜力兼具的标杆案例。

Ultipa的博客 806

云计算与大数据进阶 | 26、解锁云架构核心:深度解析可扩展数据库的5大策略与挑战(上)

在云应用/服务的 5 层架构里,数据库服务层稳坐第 4 把交椅,堪称其中的 “硬核担当”。它的复杂程度常常让人望而生畏,不少人都将它视为整个架构中的 “终极挑战”。不过,也有人觉得可扩展存储系统才是最难啃的 “硬骨头”,其实这场关于谁更复杂的争论没有标准答案,很大程度上取决于具体的业务应用模式(就可扩展存储系统,老夫打算在后续的文章中具体再聊)。

Ultipa的博客 2039

回答 | 图形数据库neo4j社区版可以应用小型企业嘛?

此外,系统在运算每一个查询时所需的时间、空间复杂度的问题也是存在的,因为图查询经常是高维的、递归的、单一的复杂查询请求(例如查询某个顶点的全部多步邻居集合,或两个顶点间的全部最短路径数量),如果每一步的复杂度都较高,那么整体的查询复杂度就会呈指数级升高,直至系统失控(内存溢出、死机或无法返回)。这中,还有一个留给大家思考,这也是开源社区都要面对和思考的,一款优异的产品特别是新产品,如果有明确的商业化道路可以遵循,那么还有什么理由去打造一个开源的版本,使其性能、功能与商业版本没有差异呢?

Ultipa的博客 1471

沸点 | 嬴图入选 2025年度 DataTech50 榜单

双年入选,引领科技

Ultipa的博客 517

云计算与大数据进阶 | 25、可扩展系统构建

缓存服务层的扩展性实现在避免出现单点失效的基础之上,单个节点的缓存服务器/应用服务器共享节点的方式在生产环境中都是不可取的,主要问题是如何实现多缓存节点间的负载均衡。需要指出的是,系统扩展性不能是以牺牲性能为前提的,如我们在前面的文章中讨论过的,横向扩展的系统在简单、浅层查询的高并发场景中有优势,但是在复杂、深层查询的场景中,垂直扩展的系统更具优势,因此,系统扩展过程中通常是纵向扩展与横向扩展兼而有之的。此外,还有一个问题是基于纵向扩展设计的系统的瓶颈性显而易见,因此纵向扩展的扩展性能甚为堪忧。

Ultipa的博客 1683

揭秘大数据 | 24、资源管理、高可用与自动化

比资源管理更贴近最终用户的是一系列的服务,正如软件定义数据中心分层模型(见图3-25)所示,这些服务可以是普通的邮件服务、文件服务、数据库服务,也可以是针对大数据分析的Hadoop集群等服务。业界通常将5个9以上的系统称为零死机时间系统——颇具讽刺意味的是,某公有云厂商动辄鼓吹自己的系统和服务达到11个9的可用性,但是一根光纤断了、一个服务接口的故障就可以导致整个机房下线数天。最常见的高可用集群是两节点的集群,包括主节点与冗余节点各一个,也就是100%的冗余率,这也是集群构建的最小规模。

Ultipa的博客 1022

揭秘大数据 | 23、软件定义网络

各种异构的、不同协议的网络设备之间的兼容性和互通性令人望而生畏;通过将网络状态集中到控制层,软件定义网络利用动态和自动的编程方式为网络管理者提供了灵活的配置、管理、保护和优化网络资源的方式,而且管理员可以自己编写这些程序,而不用等待新功能被嵌入供应商的设备和网络的封闭软件环境之中。对网络用户,特别是互联网厂商和电信运营商而言,软件定义网络意味着网络的优化和高效的管理,可以用于提高网络的智能性和管控能力,大幅降低网络建设与运维成本,还可以促进网络运营商真正开放底层网络,大大推动互联网业务应用的优化和创新。

Ultipa的博客 1008

揭秘大数据 | 22、软件定义存储

需要指出的是,无论是安全还是管理与编排,它们整体的发展都是朝着大数据、快数据、流数据的方向进行,相关系统的体系架构也一定是朝着分布式、并行式的云计算架构方向前进,这其中对网络(负责数据的迁移)​、计算(负责通过对数据的计算、分析得出信息与智能)以及存储(负责数据最终的存储与管理)具有天然的需求。主流的软件定义存储技术方案通常对数据管理与数据读写进行分离,由统一的管理接口与上层管理软件交互,而在数据交互方面可以兼容各种不同的连接方式,这种方式可以很好地与传统的软硬件环境兼容,从而避免“破坏性”的改造。

Ultipa的博客 1284

揭秘大数据 | 21、软件定义计算

我们有理由相信,假以时日,容器技术的作为会更大,不过在相当长的一段时间内容器技术更侧重于第三平台的应用,特别是无状态类应用与服务。图8展示了从容器到统一内核的精简过程,很显然,统一内核缩减了操作系统内核的足印,也简化了每个容器化应用对底层的依赖关系,由此带来了更快的部署、更高的迁移运行速度。容器计算是软件定义计算虚拟化的新锐势力,它与虚拟机技术的最大区别在于不需要虚拟化整个服务器的硬件栈,而是在操作系统层面对用户空间进行抽象化,因此我们称其为操作系统级虚拟化,以区别于之前的基于硬件虚拟化的虚拟机技术。

Ultipa的博客 975

揭秘大数据 | 20、软件定义数据中心

还有传统的硬件提供商英特尔公司,作为主要的硬件厂商之一,为了满足巨型的、可扩展的、自动管理的未来数据中心的需要,英特尔公司也提出了自己全新架构的硬件——机柜式架构(Rack Scale Architecture,RSA)。从VMware公司在2006年发布成熟的面向数据中心的VMware Server产品到如今,不仅仅是服务器的虚拟化经历了从全虚拟化到硬件支持的虚拟化,再到下一代可扩展虚拟化技术的发展,软件定义存储、软件定义网络也迅速发展起来,并成为数据中心中实用的技术。接下来,老夫将分三篇文章,就。

Ultipa的博客 1090

揭秘大数据 | 19、软件定义的世界

主要的资源被虚拟化,这只是实现了软件定义的第一步,这是因为虚拟化在解决大量现有问题的同时,也带来了一些新的挑战。

Ultipa的博客 1394

视频 | 对等关税砸盘,全球市场惨跌,图计算暗藏破局密码

比如这次因为关税原因,众多机构都纷纷抛出手中的产品,抛售之后,机构又得补充保证金,于是像黄金、加密货币这类相对值钱的资产也惨遭抛售,以回笼现金,就连原本盈利的品种也被拖入下跌的漩涡……伴随科技领域日新月异,信息流动、物资流动都达到了前所未有的水平,越来越多的企业参与到全球经济循环中,横贯东西方几个世纪的生产力鸿沟,正在被快速填平。然而,我们也看到了硬币的另一面,在构成世界的复杂逻辑中,“戴尔理论”并不灵验,“修昔底德陷阱”并将长期存在。一旦某一品种价格下跌,与之关联的品种也会殃及池鱼,就容易引发连锁反应。

Ultipa的博客 349

揭秘大数据 | 18、关于流数据管理的那些事儿

老夫之前就讲过,大数据一般被分为就是其中之一。感兴趣的朋友,可以点击以下文章进行温故知新:来自这样一个概念:数据的价值随着时间的流逝而降低,所以在事件发生后需要尽快对其进行处理,最好是在事件发生时就进行处理(即实时处理)​,对事件进行一个接一个的处理,而不是缓存起来进行批处理(如Hadoop)​。在数据流管理中,需要处理的输入数据并不被存储在可随机访问的磁盘或逻辑缓存中,它们以数据流的方式源源不断地到达。①实时性:数据流中的数据实时到达,需要实时处理。②无边界:数据流是源源不断的,大小不定。

Ultipa的博客 1011

揭秘大数据 | 17、MPP 那些事儿

Greenplum是业界第一个开源的MPP数据库,对想要实现OLTP和OLAP一体化大数据分析与管理系统的人来说,这是个天大的好消息。例如在大数据分析和处理中,MPP 数据库可以将数据分布在多个节点上进行并行处理,从而提高处理速度和效率。和MapReduce类似,两者都采用大规模并行处理架构对海量数据进行以大数据分析为主的工作,不同之处在于MPP通常原生支持并行的关系型查询与应用(不过这一点,Hadoop阵营也在逐渐通过在HDFS之上提供SQL查询接口来支持查询,甚至包括关系型查询)​。

Ultipa的博客 698

揭秘大数据 | 16、OLAP 那些事儿

第3个指的是Hadoop的HDFS适用于增加−读取−追加−处理(Create-Read-Append Process,CRAP)类型数据集操作,相对于RDBMS时代的增加−读取−更新−删除(Create Read-Update-Delete,CRUD)类型数据集操作而言,CRAP对已建立的数据集主要为读操作,以及在尾部的添加操作,而不是更新与删除操作,其主要原因是更新与删除操作在分布式系统中通常代价比较高。Hadoop MapReduce是用于分析存储在HDFS之上的大数据的编程框架,它包括库与运行时。

Ultipa的博客 1113

揭秘大数据 | 15、OLTP 的那些事儿

数据中的不同记录可能有不同的属性和格式。当插入数据时,并不需要预先定义它们的模式(如MongoDB,后文中将会介绍)​。NoSQL和传统的关系数据库的对比如图1所示。可以看出,NoSQL数据库无数据清洗,无数据转换,无数据加载,并且在数据存储处进行分析。

Ultipa的博客 1097
上一篇: 大数据四大阵营之流数据处理阵营
下一篇: 人人都在谈的图数据库到底是个啥?
XAI嬴图
XAI嬴图 嬴图XAI 嬴图XAI
博客等级 码龄6年 1097粉丝 247原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值