青云QingCloud 非结构化数据存储 U10000 在海量小文件场景的应用

来源:互联网 时间:2023-08-30

青云科技(qingcloud.com)QingStor U10000作为一款分布式存储,在支持线性扩展上表现不俗。U10000最低3节点起步,随着节点数量的增长,存储容量和存储集群的性能都会线性增长。

U10000的存储效率比较高。通过可灵活配置的EC纠删码,能让整个集群的物理磁盘可用空间达到90%以上,存储效率对于U10000这种超大容量存储来说,经济意义特别大。

U10000在支持线性扩展和EC纠删码技术的基础上,能为海量小文件提供高性能读写,单桶单目录能支持百亿级小文件存储,并且能做到性能不衰减。

海量小文件的性能表现受到越来越多关注,比如,在机器学习场景中,就需要大量小文件,一些训练需要几亿甚至十几亿的文件,存储性能问题会严重影响训练效率。U10000基于Rust语言编写,在性能和安全性上有较大提升。

在数据安全性机制方面,数据层面采用的是多副本技术,而元数据则进行了强一致性处理,元数据和存储数据进行了分层设计。此外,U10000还有多重访问安全机制、智能预警机制。

在运维管理方面,提供了友好的可视化管理界面,可以更好地对存储集群进行各种配置、操作和监控。

U10000 其实已经在非结构数据存储场景上有不少创新实践。

慈铭体检医疗集团的体检服务从预约阶段到报告获取都转到了线上,体检报告除了可以查看体检数据,还可以查看健康态势,背后依靠的是一套数据分析平台。

青云帮助该医疗集团构建了业务承载平台,使用了青云云易捷超融合平台,存储部分则是将数据与U10000对象存储做对接后,实现了对PACS系统的影像数据进行实时调取和长期存储,其中就用到了U10000协议互通的特性,实现了对象和文件互通,为AI医疗相关的创新应用提供了便利。

某智能驾驶科技公司,其自动驾驶研究业务的开展离不开高精度地图,高精度地图需要采集大量图片和视频数据,采集而来的数据需要经过多重处理,需要与各种数据分析和数据存储平台交互,在这种场景下,U10000协议互通的优势也能得到充分发挥。

在早期,其所有业务都运行在公有云上,处于安全方面的考虑,开始构建私有化的集群,由于该公司的规模比较大,对于服务提供商的能力要求也很高,青云的方案基本解决其高精度地图从数据采集、生产、训练整个生命周期的存储和算力需求。

苏州华兴源创是一家工业自动测试设备与整线系统解决方案提供商,主要测试产品用于LCD、柔性OLED、半导体、新能源汽车电子等行业的生产厂家,以及为行业提供定制化的数据融合软件平台。

华兴源创的数据挑战来自自有数据中心的中台、上层工厂流程再造、供应链优化以及安全保障四个方面,涉及到上百套业务系统,有各种各样类型的数据,业务平台对存储的需求也各不相同。

比如,关键业务数据需要有更多副本的存储,对性能要求高的应用需要全闪存的存储配置,数据增长快的应用需要扩展能力更强的存储,而这些需求,绝大部分都由QingStor U10000来满足,其余需求由NeonSAN块存储系统来满足。

清华大学天津电子信息研究院是清华大学电子信息学科的 “产学研一体化”的成果转化基地,其中的高端光电子芯片创新中心,从事芯片设计和开发方面工作,有许多EDA(电子设计自动化)设计需求,需要反复运算、验证,所以,他们对于数据存储系统的要求也很高。

EDA的前端设计阶段会出现大量的随机读写操作,后端设计阶段需要大量顺序读写操作,这对存储系统的综合能力要求很高,非常考验分布式存储架构的设计能力,实际上,U10000也能很好地满足其需求。

相关文章

标签:

A5创业网 版权所有