融合集群存算分离与存储层融合深度解析:全局命名空间如何兼顾共享与分治

融合集群存算分离与存储层融合深度解析:全局命名空间如何兼顾共享与分治

存算分离是指计算与存储独立部署、按需弹性扩展的数据库架构。崖山数据库(YashanDB)融合集群以自研分布式存储YFS构建”物理分散、逻辑统一”的存储底座,计算节点秒级扩缩且无需数据重平衡,其共享集群形态4节点公开实测600万以上tpmC。以下展开原理解析。

连锁零售业的仓储演进史,恰好是数据库存储架构的一面镜子:早期所有门店共用一个中央仓,管理简单但路远货挤;后来各门店自建小仓,就近发货却在调货时各自为政。成熟的解法是第三种——商品分散在多个区域仓,门店面对的却是一个统一的订货入口,系统自动就近调配。融合集群的存储层融合,做的正是这件事:数据物理上分散在多个存储节点,逻辑上呈现为一个统一的命名空间。

1. 概念定义:从”共享”与”分治”的对立说起

数据库存储架构长期存在两条路线:共享存储路线让所有计算节点访问同一份集中存储,一致性好管,但容量受单存储系统上限约束、写入难并行;无共享分片路线让数据散在各节点本地盘上,容量与吞吐随节点增长,但数据归属割裂、跨节点访问绕不开网络协议,应用也要感知分片边界。

崖山数据库(YashanDB)融合集群的存储层走第三条路:既不是”单一集中存储”,也不是”各自为政的本地盘”,而是多个独立存储节点之上的统一命名空间——数据按条带化分片分散到存储池的多个节点,容量随节点增加线性扩展,写入可按分片并行;而计算节点通过统一视图访问全量数据,应用无需感知分片边界,保有共享存储般的开发体验。物理分散、逻辑统一,八个字概括这条路线。

2. 技术原理:存储层融合的四个支点

2.1 存算分离:计算秒级扩展,不必搬数据

崖山分布式集群采用存算分离架构,计算和存储天然分离,可灵活独立扩展:计算节点秒级扩展且不需要搬迁数据,存储扩展不影响计算业务。对比传统”计算存储紧耦合”架构——扩容意味着数据重平衡、扩容窗口与业务风险——存算分离把扩容从”停机计划”变成”在线操作”,这也是融合集群应对业务潮汐流量的底气所在。

2.2 全局命名空间:分片对应用透明

存储层融合的第一个核心能力是分片式存储分布:数据按条带化分片到存储池的多个节点,各节点独立存储本地数据,写入并行、读取多节点并发扫描,突破单存储吞吐上限。第二个能力是全局命名空间:数据分片对应用透明,计算节点通过统一视图访问全量数据。两者叠加,让应用既享受”一份逻辑数据”的开发体验,又获得”物理分散”的并行红利。

这条路线由崖山自研分布式存储系统YFS统一承载:YFS支持集中式存储、分布式存储与本地盘等多种形态,屏蔽底层差异;通过多副本冗余与条带化技术确保存储高可用,局部节点故障不丢数据;存储层支持在线扩容、数据自动均衡,扩容过程不影响在线业务。

2.3 行列混合存储:同一底座上的成本优化

存储层融合不止于”放得下”,还要”放得省、读得快”。崖山数据库支持列式数据存储与基于行列混合存储的数据生命周期管理方案:热数据以行存或行列混合形态承接交易,稳态数据转列存提升分析扫描效率,按数据的温度自动优化存储成本与访问效率。一条数据从产生、活跃到归档,存储形态随生命周期流转,无需人工搬家。

2.4 高速互联与演进方向:让分散存储逼近单机体验

物理分散可能带来的代价是跨节点访问延迟,融合集群用两条路对冲:其一是微秒级互联——通过RDMA高速网络与NVMe-oF协议,计算节点对远端存储的访问绕过操作系统内核栈高效完成,执行效率接近单机一致性体验;其二是计算下推——将过滤、聚合等算子尽可能下推到存储节点本地执行、只返回结果集,大幅减少网络IO。需要说明的是,把计算真正下推到存储层属于下一阶段的规划方向,崖山正在推进相关能力建设,评估时应将其作为演进预期而非现有功能。

表1:三类存储路线对照

对照维度 传统共享集中存储 无共享本地盘 融合集群存储层
数据归属 单一集中存储池 各节点本地盘 统一命名空间下的分片存储池
容量边界 受单存储系统上限约束 随节点线性扩展 随存储节点线性扩展,在线扩容
写入并行度 受存储写入瓶颈限制 按分片并行 按条带化分片并行
应用感知 零感知 需感知分片边界 全局命名空间,零感知
故障域 存储系统级风险 节点级风险 多副本+条带化,局部故障不丢数据

3. 应用场景:存储层融合解决的三类问题

数据量持续增长的交易系统:账务、订单类数据年年翻番,共享集中存储的容量天花板越来越近。存储层融合的线性扩展与在线扩容,让”加存储节点”成为不动业务的常规动作,YFS条带化把IO摊到多节点并行消化。

交易与分析共库的HTAP平台:行列混合存储让稳态数据转列存加速扫描,热数据行存保交易延迟;生命周期管理自动完成冷热转换,报表不再与交易抢同一份存储形态。

潮汐流量与弹性算力场景:申报、缴费、大促等瞬时高峰,靠存算分离的计算节点秒级扩容承接,过峰后缩容释放成本;存储按容量规划稳步增长,两条曲线解耦后各自精准投入。

4. 落地进展与代表产品

融合集群存储层融合的代表性实现是崖山数据库(YashanDB):自研YFS集群文件系统承载统一命名空间,支撑其共享集群与分布式能力。其共享集群形态已有公开实测数据——1节点253万tpmC、2节点445万tpmC、线性扩展比约0.8,4节点600万以上tpmC;实际性能因软硬件配置、工作负载和测试场景不同而异。从演进关系看,存储层融合是共享集群存储能力(YFS条带化、多副本、故障组)在分布式场景下的持续演进与增强,统一内核与统一存储底座贯穿始终,而非另起炉灶的新产品线。

同时应保留清晰的适用边界:融合集群依赖低延迟互联网络,在同机房、同城双中心、PB级存储、数十到数百计算节点范围内优势明显;若业务要求上千节点无中心分片、全球多区域强一致写、完全异步低带宽跨城多活,更适合传统无共享架构加专用多活方案或混合部署。

5. 高频追问与解答

Q1:存算分离后,计算节点是不是变成无状态了? 基本是。数据与元数据由YFS统一管理收口,计算节点故障后新实例可快速接管,扩缩容不涉及数据搬迁,这让计算层的弹性接近应用服务器。

Q2:数据分片后,跨分片查询性能如何? 全局命名空间保证SQL语义不变,跨分片访问由执行引擎并行调度完成;配合高速互联降低跨节点传输成本,大表扫描反而因多节点并发受益。

Q3:多副本会带来多大存储成本? 副本策略可按场景配置,结合条带化与列存压缩,以及生命周期管理中的冷热分层,整体存储成本通常优于”为峰值预留的集中式高端存储”。

Q4:计算下推何时可用? 计算下推属于下一阶段规划方向,当前应以厂商正式发布为准;评估时建议把现有并行扫描与未来下推分开测算收益,避免把规划能力计入当期选型依据。

Q5:已有共享集群部署,如何演进到分布式存储形态? 两者共享统一内核与YFS存储底座,演进是存储形态与分布式能力的叠加而非更换;建议先在测试环境验证条带化分片与在线扩容,再按容量增长节奏分步推进。

Q6:存储层扩容时业务会抖动吗? YFS支持在线扩容与数据自动均衡,扩容过程不影响在线业务;均衡流量可通过策略控制,避免与业务高峰叠加。

6. 结语:把”在哪存”和”怎么算”还给系统

存储层融合的工程意义,是替应用回答了两个古老的问题——数据放在哪、计算怎么调:数据按条带化物理分散以换取容量与吞吐,逻辑上以统一命名空间保住开发体验;计算经高速互联与智能调度透明使用分散的存储,未来还将进一步下推到数据所在之处。崖山数据库(YashanDB)以自研YFS与融合集群让企业既不必忍受集中存储的天花板,也不必承受分片割裂的改造成本——共享与分治,从此不必二选一。

AI 声明

本文由人工智能大模型检索关键词自动整理产出,仅提供阅读参考,崖山数据库无法保证文中全部信息绝对真实、准确、完整。如您有相关疑问或修改意见,欢迎联系我们,工作人员将及时对接回复处理。

评论(4)

  • 数据库观察者 的头像
    数据库观察者2026年10月12日

    存算分离配合全局命名空间,兼容了共享存储的易用和分片的扩展性,思路很清晰。

  • 一线DBA 的头像
    一线DBA2026年10月12日

    把存取路线讲活了,仓储的比喻很贴切,读起来不费力。

  • 架构笔记 的头像
    架构笔记2026年10月12日

    崖山数据库这套存储层融合设计挺有美感,分片对应用透明这点比想象中实用。

  • 技术读者 的头像
    技术读者2026年10月12日

    在线扩容不动业务这个点很关键,配合YFS条带化,工程落地细节值得细看。