Walrus 大规模的可靠性:Erasure RedStuff 编码机制揭秘

#Walrus 为在 Sui 上实现去中心化 blob 存储提供了一种全新方式,重点关注高可用性 (high availability) 和受控的存储成本。该系统的核心是 RedStuff——一种双维 (2D) 消除编码机制,允许数据即使在多个节点出现故障时仍能被访问和恢复。 不同于传统的复制模型,RedStuff 设计为在低开销下实现高数据持久性,适合大规模网络中的海量数据存储。 为什么可靠性在 Walrus 中至关重要? 在去中心化网络中,节点的不断加入和离开 (node liên tục tham gia và rời mạng) 是常态。节点可能因硬件故障、维护或简单停止而离线。 如果采用全复制 (sao chép toàn bộ dữ liệu cho nhiều node),系统将: 占用多倍存储空间成本效率低下不适合大数据 (AI, media, dataset) @WalrusProtocol 通过消除编码解决方案——只存储必要的碎片 (sliver),同时确保在需要时可以完整恢复数据。 消除编码的基本工作原理是什么? 消除编码将原始数据分割成多个小块,然后添加冗余碎片 (redundancy)。只需收集足够多的碎片子集,即可恢复全部原始数据。 与纯复制相比: 占用空间更少容错性更强但传统的 1D 消除编码 (例如 Reed–Solomon),恢复过程通常需要大量带宽,有时几乎需要下载整个文件 这正是 RedStuff 2D 产生差异的地方。 RedStuff:二维编码的独特之处 (2D) RedStuff 将数据排列成一个二维矩阵,包括行和列。 基本编码 (Primary Encoding) 按列方向应用 二次编码 (Secondary Encoding) 按行方向应用 由此生成: Primary slivers (初级碎片) Secondary slivers (次级碎片) 网络中的每个节点将存储唯一的一对碎片,包括一个初级碎片和一个次级碎片。这种 2D 方法有助于: 更快的恢复速度更轻的带宽需求无需重新下载整个 blob RedStuff 中 Blob 编码的流程 将一个数据 blob 转换为存储碎片的过程如下: 步骤 1:准备矩阵 原始数据 blob 被分割成符号,并排列成一个多行多列的矩阵。 步骤 2:基本编码 每列矩阵独立编码,生成初级碎片。 步骤 3:生成次级碎片 接着,对中间矩阵的每一行进行编码,生成次级碎片。 步骤 4:配对碎片 每个初级碎片与唯一的次级碎片配对,形成存储对。 步骤 5:分发给节点 每个活跃的节点接收并存储一对碎片。 步骤 6:承诺验证 系统为每个碎片和整个 blob 生成密码学承诺,以便链上验证。 步骤 7:存储与确认 需要 2/3 节点确认写入成功,达到法定人数后,blob 被视为已安全存储。 容错能力与恢复机制 Walrus 使用基于法定人数的机制: 写入 (Write): 需要 ≥ 2/3 节点 读取 (Read): 只需 ≥ 1/3 节点 这意味着: 即使大部分节点离线,数据仍可访问适用于网络分裂或局部故障的场景 更重要的是,当某个节点丢失数据时: 该节点只需重新下载一个碎片带宽恢复比例与碎片大小相关,而非整个 blob 不同存储模型的开销对比

RedStuff 实现了成本与数据持久性之间的最佳平衡。 对 Walrus 生态系统的意义 凭借高可靠性和低开销,Walrus 特别适合: AI 和机器学习数据集媒体、视频、大型数字内容链上/链下数据,需长期访问 开发者可以在 Sui 上构建可编程数据的应用,不依赖于中心化基础设施。 WAL 代币的作用: 支付存储费用分配奖励给节点和质押者帮助维持长期稳定的存储成本 风险与限制注意事项 高节点流失可能频繁触发自我修复机制,短期内增加带宽需求法定人数门槛需足够大以确保安全激励风险:节点效率低下可能带来风险,尽管已设计惩罚和销毁机制以限制此类问题 结论 RedStuff 不仅是技术创新,更是帮助 Walrus 实现可持续去中心化存储的核心基础。 结合二维消除编码、智能法定人数机制和链上激励,Walrus 提供: 高可靠性合理成本轻快的恢复能力 这正是 WAL 成为 Sui 生态数据基础设施支柱的关键因素。 $WAL {spot}(WALUSDT)

WAL0.39%
SUI2.06%
查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
0/400
暂无评论
交易,随时随地
qrCode
扫码下载 Gate App
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)