深信服统一存储EDS 520 版本,是一款专为AI大模型打造的统一存储平台,可以实现数据采集、标记、训练、推理和归档的全流程承载。
一套存储满足AI大模型开发全流程的数据需求
基于NFS+技术优化的存储系统,通过RDMA技术、多路径并行访问以及多级缓存机制,在4K小文件混合读写IOPS和1M大文件混合读写吞吐方面,分别达到行业领先水平的1.7 倍和5.7倍,3节点吞吐达到120GB/s,RDMA多路径带宽性能比TCP单路径提升将近50倍,将训练阶段GPU平均利用率从传统存储的30%提升至70%。
这样的设计不仅提高了大模型处理数据的效率,结合更高的读写速度和OPS,让大模型在读取或输出视频数据时能达到更快速度;而且增强了系统的灵活性和扩展性,使大模型应用可以应对各种类型和规模数据的处理需求,让大模型训练可以更高效地管理和存储数据。
此外,在高性价比上,深信服EDS存储实现了单TB可用容量成本降低50%,帮助用户降低了AI模型训练的总体成本。实现硬件成本降低的同时,还基于深舟数据管理平台对数据的高效压缩和管理能力,64GB可以承载亿级以上规模小文件的高速读写。