据IDC称，2018年全球数据量为33ZB，到2025年将达到175ZB，其中80%为非结构化数据。宏观数据的趋势令人惊讶，存储供应商的反应更加现实。在过去的十年中，国内存储供应商纷纷涌现，大多数都瞄准了非结构化数据的市场机遇，以应对互联网、大数据、物联网和机器学习等技术带来的数据浪潮。从竞争的角度来看，传统的经典SAN块存储创新空间越来越小，市场已被一些成熟的存储厂商牢牢占据，而以对象存储和文件存储为代表的非结构化数据存储则有更大的创新空间。本文将结合QingStor的存储产品线，了解国内市场在非结构化数据存储技术和应用方面的创新。对象存储和文件存储的整合Qingun在成立之初主要提供公有云服务，而在存储方面，主要的就是云上的对象存储。随着2014年进入私有云市场，青云同步本地存储布局。QingStor Neon SAN块存储于2017年推出，2018年又推出了文件存储。到目前为止，我们已经拥有了三种存储类型，并凭借QingStor产品线成为企业存储市场的专业参与者。正如任何熟悉存储市场的人都知道的那样，Gartner为分布式文件和对象存储提供了一个魔力象限。这是因为文件存储和对象存储中的数据有一些相似之处，它们都是非结构化数据，并且使用方式相似，所以很多人不知道两者之间的根本区别是什么。2022年，QingStor将对象存储和文件存储两大产品线在产品层面进行了整合，并推出了名为QingStor U10000的非结构化存储产品。QingStor存储产品总监冯Xandong表示，整合后，QingStor对象存储或QingStor文件存储将不会单独出售，只提供QingStor U10000。但是，用户可以单独购买QingStor U10000对象存储或文件存储服务的许可证，也可以选择其中之一。从实际应用的角度来看，这种调整似乎更符合用户的实际需求，不仅可以降低产品选择的难度，还可以降低IT架构管理的复杂性。如果您希望为数据库和虚拟化场景购买存储，那么您应该选择QingStor NeonSAN块存储。Neon SAN的I/O延迟可以控制在50微秒左右，三个Neon SAN节点可以稳定输出100万IOPS，而QingStor Neon SAN支持众多金融企业稳定运行Oracle RAC集群。此外，图像数据、音视频数据、数据湖、大数据、物联网等存储需求都可以通过U10000来满足。U10000遵循独特的研究策略，并不是为了整合和集成，而是在产品层面深入整合对象存储和文件存储，并开发了一些新功能，特别是多协议无损互操作性。这使得U10000能够更好地满足一些新兴场景的需求。什么是U10000？QingStor U10000提供对象存储（S3）、文件存储（NFS/SMB）和大数据（HDFS）存储接口，与某些方案不同，U10000可以实现不同协议之间无数据丢失的访问互操作性，但大多数存储产品并不支持这一点。
U10000还通过统一索引体系结构实现了多协议无损互操作性。冯Xandong表示，多协议无损互操作性是指存储在对象中的数据通过格式转换进行存储，并可通过文件存储进行访问，或者存储在文件存储中的数据可通过对象存储进行访问。在存储和读取数据之间不需要格式转换，从而避免了性能和语义损失。此外，多协议无损互操作性提高了数据分析的效率。冯Xandong解释说，在业务场景中，数据需要多次使用，如果没有协议的互操作性，数据就需要多次复制。例如，如果A的业务空间已经处理完毕，然后将其复制到B的存储空间并使用不同的存储协议访问，则不仅需要数据迁移，还需要额外的存储空间。据报道，越来越多的场景需要在多个链路上处理这类数据，例如自动驾驶和基因测序。在自动驾驶场景中，数十辆道路测试车辆每天产生约1PB的道路测试数据，通常需要四个处理。第一步是上载和导入，通常使用S3和NFS协议。第二个环节是数据预处理，主要采用HDFS大数据分析相关技术。第三个环节是基于NFS协议的AI训练。第四个环节是基于NFS和SMB协议的仿真测试。自动驾驶全数据链的处理需要通过不同的数据访问协议来访问数据，并对接不同的计算框架，协议的互操作性明显提高了数据分析的效率。QingStor U10000是一种分布式存储，具有分布式存储所需的所有功能。它支持线性扩展。U10000至少从3个节点开始，随着节点数量的增加，存储容量和存储群集性能呈线性增长。U10000存储效率更高。灵活可配置的EC删除码，可以使整个集群的物理磁盘可用空间达到90%以上，存储效率对于U10000这样的大容量存储具有特别的经济意义。U10000的性能也很好，基于线性缩放和EC删除技术的支持，可以为大的小文件提供高性能读写，单桶单目录可以支持数十亿的小文件存储，性能不会下降。例如，在机器学习场景中，需要大量的小文件，一些训练可能需要数亿甚至数十亿的文件，存储性能问题会严重影响训练效率。Feng表示，U10000是用Rust语言编写的，在性能和安全性方面有了很大的改进。在数据安全机制方面，数据层采用多拷贝技术，元数据处理高度一致，元数据和存储数据都是分层设计的。此外，U10000还具有多访问安全机制和智能警报机制。在运维管理方面，提供友好的可视化管理界面，可以更好地对存储集群进行各种配置、操作、监控。U10000在非结构化数据存储方案中具有许多创新实践。慈明健康检查医疗集团的健康检查服务已经从预约阶段向网上转移，健康检查报告除了查看健康检查数据外，还可以依靠一系列数据分析平台来检查健康状况。Qingun帮助医疗集团构建业务运营商平台，采用Qingun Cloud Easy Jet超融合平台，存储部分实现PACS系统图像数据的实时采集和长期存储，数据与U10000对象存储对接后，利用U10000协议互操作功能。实现对象和文件的互操作性，促进人工智能医疗相关的创新应用。智能驾驶技术公司，其自动驾驶研究业务离不开高精度地图，高精度地图需要采集大量的图像和视频数据，采集到的数据需要多次处理，需要与各种数据分析和数据存储平台进行交互，在这种情况下，..。U10000协议的互操作性优势也得到了充分发挥。在早期阶段，出于安全考虑，所有业务都在公共云上运行，并开始构建私有集群。由于公司规模比较大，对服务商的能力要求也很高，而青云的解决方案基本上从数据采集、生产、培训等方面解决了其高精度地图。苏州华兴源创是一家工业自动化测试设备及系统解决方案的供应商，不仅为LCD、柔性OLED、半导体、新能源汽车电子等行业制造商提供主要测试产品，还为行业提供定制的数据融合软件平台。华星源的数据挑战来自于自身的数据中心、上层工厂流程再造、供应链优化、安全保障四个方面，拥有数百个业务系统、不同类型的数据，对业务平台的存储需求也不同。例如，关键业务数据需要有更多副本，性能要求较高的应用程序需要全闪存配置，数据快速增长的应用程序需要更可扩展的存储，这些需求大多由QingStor U10000满足。其余部分由NeonSAN块存储系统填充。清华大学天津电子信息研究院是清华大学电子信息领域“产研一体化”成果转化基地，其中高端光电芯片创新中心从事芯片设计开发，有很多EDA（电子设计自动化）设计需求，需要反复计算、验证。对数据存储系统的要求也很高。在EDA的前端设计阶段，有大量的随机读写操作，在后端设计阶段，对存储系统的综合能力要求很高，分布式存储架构的设计能力受到了很大的考验，实际上U10000也可以满足它的需求。当然，Qingun并不是一家纯粹的存储公司，它拥有公共云、私有云、容器平台、边缘计算等多种解决方案，Qingun的存储平台不仅仅是存储，还可以对接各种计算平台。经过验证的存储平台。正如Qingun产品技术解决方案总监张忠华所说，存储场景不能单独谈论，因为今天的企业用户越来越喜欢集成解决方案，而不是组装解决方案。换句话说，用户可能不关心存储，但他们关心的是解决方案给他们带来的东西。这也是Qingun作为存储公司的优势，而不是纯粹的。