“人工智能应用落地的'头奖”，是那些在'负重前进“的人。王博士（化名）是清华大学智能产业研究院自动驾驶团队的一员，负责车路协同数据集的训练工作。在这项研究中，王博士需要在计算机上处理数千张图像：每张图像、道路轨迹、建筑物形状都不一样，图像可以分解成多个标签，这是他每天面临的“复杂”标签问题。“一旦你有了这些文件，你就可以挖掘出大量的信息，继续贴上标签。我们需要确保标签的效率和质量，以便我们可以训练更精确的AI模型。”
图片来源：清华大学智能产业研究院官网自动驾驶是清华大学智能产业研究院的研究课题之一。作为面向第四次工业革命的国际性、智能化和工业化研究机构，它汇集了世界级的科学家、产业转型领导者和世界级的研发团队。他们站在国际科技的前沿，引领中国科技创新，探索无人驾驶、生物计算、绿色计算等领域的未解之谜。人工智能“更好地了解”人类的背后，是大量数据训练的结果。2022年9月，清华大学智能产业研究院的多项科研工作正在与时间赛跑。此时，清华大学智能产业研究院的十多个研究小组都感受到了人工智能研究的“阻力”。“当我标记图像时，图像将无法加载。要获得图像，系统需要很长时间。最初训练AI数据集需要存储大量数据，数据量很快就达到了100TB，但由于传统存储阵列在面对海量数据量时“不堪重负”，未能展现出最佳性能、可扩展性等功能，科研人员在实际操作中遇到了卡速问题。针对存储性能提升的问题，云EDS为清华大学智能工业研究院设计了一套高性能文件存储解决方案。配置完480TB的存储空间后，就有足够的存储空间，让科研人员高枕无忧地进行AI培训。可以享受“骑”的存储基地，在它的背后是云EDS的“刚性和刚性”的力量。在硬件方面，Cloud EDS使用NVMe固态硬盘和通用X86服务器组合构建了高性能存储层，允许训练集群访问数据时优先考虑高性能层缓存加速，与传统磁盘阵列相比，存储性能有了显著的提升。在软件方面，云EDS通过自研分布式高性能文件系统，利用小文件合并、phxkv分布式元数据库、智能预载等自研技术，提高KB级小文件元数据和数据处理效率，有效保证了AI训练过程中数据访问的效率。这将大大减少人工智能在科学研究中的训练时间。对于清华大学智能工业研究院来说，性能是选择存储产品时最关心的问题。由于科研人员对数据进行注释，需要不断地读取文件和创建文件，频繁的操作无疑会增加元数据访问时间，CPU运算能力也会受到影响，云EDS将文件读写性能彻底告别卡慢。
事实上，云EDS和用户之间的双向旅程远不止于此。产能和性能的同步扩展，见证了数千个行业的起飞和发展。“目前，我们的正常运行时间超过了90%，但性能没有受到影响。除了提供稳定和一致的性能外，Cloud EDS的灵活扩展能力也在不断更新用户的期望值。考虑到实验室数据量的增加，云EDS将同时扩展容量和性能，打破传统存储架构的限制。
在传统的存储架构中，即使容量增加了一定程度，性能的增长也不会相应增加，甚至会出现性能下降。云EDS提供了容量和性能的同步扩展，在容量扩展的同时，存储性能也呈线性增长。如果将集群大小扩展到8个节点，则混合磁盘配置的4KB随机读取可以达到120万IOPS。故障闭环处理的设计是保证可靠运行的基础。在注重高性能的同时，业务连续性和数据可靠性也不容忽视。为此，CloudEDS构建了一个完整的故障闭环处理框架。在故障发生前，通过硬件亚健康预测、检测、多拷贝数据、删除、代码纠正等机制，帮助用户提前预防故障。亚健康可视化监控使用户能够了解硬盘的健康状况，并提前购买备件或准备更换。在发生故障时，通过亚健康硬件自动隔离、智能数据修复、I/O路径自动切换等机制，自动处理问题，最大限度地减轻运营维护压力，同时保证业务连续性和数据可靠性。当出现超出人为错误删除、恶意删除或冗余机制范围的故障时，可以通过快照备份或回收站等机制快速检索数据。这些可靠的设计是用户信任Cloud EDS的原因之一。截至目前，TrueCloud EDS已参与客户超过20，000家，交付300多个PB级项目，在AI培训、卫星遥感、医学成像、动画制作、软件开发等场景中得到用户的广泛认可。从蒸汽技术革命到信息技术革命，技术一次又一次地改变了世界。这一次，AI的想象力是无限的。这些对于未来交通、医疗、绿色发展的问题，正在被清华大学智能产业研究所的科学家们一步一步地“赢”。发布全球首个真实场景车辆道路协调数据集，开发全球首个自动蛋白质结构预测平台，绿色计算5G网络智能减碳技术荣获吴文军人工智能科技进步奖，并获得“观星”。在科技先锋的探索下，智能时代正以前所未有的清晰度呈现在我们面前。在这个伟大的时代，Cloud EDS汇集了独特的优势，满足了用户的需求，并帮助科学研究人员在广阔的数据空间中自由飞行。