恭喜百度沧海・存储团队与中国科学技术大学、清华大学合作的论文《Mantle: Efficient Hierarchical Metadata Management for Cloud Object Storage Services》已正式被计算机系统领域顶级学术会议 SOSP'25(Symposium on Operating Systems Principles)录用!
SOSP 与 OSDI 并称为操作系统与系统软件领域最具影响力的两大学术会议,是全球计算机领域公认的最高荣誉殿堂。本届 SOSP 共收到 368 篇投稿,最终仅录用 65 篇,录取率低至 17.7%,代表了该领域当前最前沿、最具影响力的研究成果。
该论文详细介绍了百度智能云对象存储 BOS 的分布式层级 Namespace 系统 Mantle 的核心设计。Mantle 成功攻克了困扰业界多年的难题,使得对象存储 BOS 的层级 Namespace 能够同时具备可扩展性与高性能,为 AI 时代的大数据上云彻底扫清了障碍。
注:标 * 为共同一作,其中 Biao Cao 为百度智能云高级架构师
传统对象存储的困境:层级 Namespace 难逃单机瓶颈
多年以来,HDFS 一直是大数据存储的代名词。然而,随着数据规模的日益增大,其固有缺陷愈发凸显:其一,三副本机制导致存储成本高昂;其二,单 Namenode 的设计将文件规模限制在数亿级别,难以满足 AI 时代单桶百亿甚至千亿文件的扩展性需求;其三,复杂的运维工作对技术团队提出了极高要求。
在此背景下,具备「低成本、无限扩展、云原生免运维」等优势的对象存储,迅速成为构建新一代数据湖存储底座的共识,以支撑更大数据规模的大数据计算业务。但一个关键瓶颈横亘眼前:传统对象存储采用的「平坦 Namespace」难以高效支持依赖文件系统语义的大数据计算任务(如目录遍历、递归删除、路径重命名等),导致其在特定场景下的性能远不如 HDFS。
为了弥合这一鸿沟,业界普遍认为,为对象存储增加「层级 Namespace」能力是必然趋势。但遗憾的是,主流云厂商的现有方案始终未能摆脱单机性能瓶颈,其扩展性与 HDFS 相比并无本质飞跃。
两大核心挑战:为何高性能的分布式层级 Namespace 如此难解?
构建一套面向大规模对象存储服务、真正分布式的层级 Namespace,面临着两个长期未被攻克的严峻性能挑战:
长路径解析开销巨大:解析一个深层文件路径,如 /A/B/C/D/file.txt,需要多次网络通信,累积延迟极高,严重拖慢计算效率。传统的客户端缓存,在对象存储基于 Restful API、无状态 Proxy 的架构下难以实施。而简单的并行路径解析方案,在高并发场景下又因线程过度调度而引发资源争抢,适得其反。
分布式事务冲突频发:当数千乃至上万个计算任务并发地对同一目录进行创建、删除或重命名操作时,传统分布式事务机制会产生海量的读写冲突与重试,导致系统吞吐量断崖式下跌。即便放宽隔离级别等缓解手段,也难以根治跨目录重命名等复杂操作带来的根本性冲突问题。
正因为如此,业界一直缺乏一种既能发挥对象存储成本与扩展性优势,同时又能媲美 HDFS 性能的真正可扩展、高性能的层级命名空间解决方案,导致「对象存储成为数据湖存储底座」的愿景,在实际落地中屡屡受阻。
Mantle:全球首个破局者 —— 融合文件和对象存储的优势,构建数据湖坚实底座
百度沧海・存储研发的 Mantle,正是全球范围内第一个公开的、完整解决上述两大难题,并成功经受了超大规模生产环境长期检验的「分布式层级 Namespace 系统」。
Mantle 创新性地将传统文件系统的强大语义优势,与新型对象存储的低成本、可扩展、云原生易运维特性完美融合,实现了革命性的突破,为 EB 级别的新一代数据湖打开了前所未有的想象空间。
此次入选 SOSP'25 的论文,所阐述的正是这套兼具扩展性与卓越性能的方案,它标志着对象存储真正成为云原生数据湖的坚实底座。
卓越性能:延迟降低最高 99.1%,吞吐提升最高 115 倍
分布式层级 Namespace 系统 Mantle 不仅解决了理论难题,更在实践中创造了令人惊叹的性能表现:
极致性能:与 Tectonic、InfiniFS 和 LocoFS 等业界最新进展相比,Mantle 将元数据访问延迟降低了 6.6% 至 99.1%,吞吐量提高了 0.07 倍至 115.00 倍。
业务加速:在交互式 Spark 分析场景,作业完成时间缩短了 63.3% 至 93.3%。在 AI 驱动的音频预处理任务中,作业完成时间缩短了 38.5% 至 47.7%。
目前,Mantle 已在百度智能云对象存储 BOS 的生产环境中大规模上线超过两年,提供了成熟可靠的服务。它为云上众多客户的大数据分析、人工智能、自动驾驶等关键业务提供了坚实、高效的存储底座。
不止于论文:百度沧海·存储元数据面架构的创新故事
关于 Mantle 论文技术解读,以及百度沧海·存储元数据面架构的创新故事,后续将在微信公众号百度智能云技术站首发,敬请期待!
A5创业网 版权所有