7月5日，商汤智能产业研究院发布了《AI传感器智能手机影像新核心》白皮书，在智能手机市场缓慢进入瓶颈期的趋势下，影像功能成为产业颠覆的焦点，人工智能软件与CMOS影像传感器硬件的融合，提出了智能手机影像能力持续提升的重要支撑。作为全球领先的人工智能软件公司，商汤科技将开展多元化的智能视频布局，通过AI算法SDK、AI传感器、AI ISP三位一体的智能视频解决方案，为智能手机视频技术的发展创造新的突破口和竞争点。商汤科技共同创始人、首席科学家王晓刚说：“过去几年，AI算法的广泛应用突破了智能手机影像能力的硬件限制，未来，AI传感器将再次定义和引领智能手机影像发展的新趋势。通过成熟的AI算法固化，Sense汤在AI传感器领域率先进行。我们将AI传感器的应用从智能手机扩展到自动驾驶、元宇宙、智慧城市等更多领域，开辟坡长雪厚蓝海市场，使AI传感器成为感知物理世界、构建数字世界的核心感觉。”
智能手机增长放缓，视频技术成为下一代手机产品差异化竞争力的新突破口今年以来，受核心零部件短缺和疫情反复影响，智能手机市场表现相对低迷。根据韩国通信研究院的数据，2022年4月，国内手机市场整体出货量为1808万台，同比下降34.2%。与此相对，许多手机厂商在体验方面开始选择“药药”，在手机外观、处理器、画面显示、快速充电、游戏体验、存储等能力逐渐发展的背景下，智能手机的影像能力成为的核心因素，以及人们所做的重要因素。智能手机正在进入“视频为王”的时代。CMOS图像传感器和ISP图像信号处理器是影响智能手机视频能力的两个重要部件，前者是进一步塑造手机视频竞争力的核心。随着智能手机多摄像头配置的普及、5000万？1亿像素的应用以及非图像传感器需求的旺盛，图像传感器得到了前所未有的发展。很多手机厂商开始寻求与传感器厂商进行定制化合作，打造差异化竞争力。图像传感器的尺寸是图像质量的关键因素之一，但智能手机的纤薄外形自然会对手机图像传感器的尺寸有物理上限。根据白皮书，智能手机的图像功能在过去几年中不断得到改善，这要归功于人工智能算法驱动的计算摄影、更强大的处理器、特殊的图像信号和神经处理单元。然而，在传统解决方案中，图像传感和AI算法的执行是在不同的硬件上进行的，图像传感器提供图像信号，处理器或AI加速芯片执行人工智能算法。白皮书指出，这种方法对于注重低功耗和能源效率的移动设备来说，很难处理能源资源浪费和需要始终开机的几个应用场景。在这一趋势下，支持AI的图像传感器成为将CMOS图像传感器带入AI时代的解决方案。凭借最先进的原创人工智能技术和硬件和软件的集成能力，固定了“神奇的时刻”，使人工智能传感器能够将手机变成“个人智能视频工作室”，商宇在超分辨率、人工智能超高质量、夜景视频、高动态范围、超清晰肖像、视频模糊等方面取得了突破性进展。它不仅在RGB ToF3D等关键视频场景上积累了大量的算法能力，而且在2019年已经与世界领先的图像传感器厂商展开了紧密合作，将AI算法与传感器硬件直接融合在一起。它将CMOS图像传感器的发展推向人工智能软件定义时代，将成像系统的整体能力推向新的高度。
在人工智能技术的帮助下，SenseTime AI传感器可以最大限度地提高原始光信号的价值。人工智能传感器可以在终端设备获得视觉信号后立即对其进行优化和处理，增强对现实世界的感知，提高图像和视频质量，丰富内容细节，同时最大限度地减少设备功耗并增强数据安全性。在提高图像质量的前提下，SenseTime的AI传感器支持硬化算法的可控调整，快速适应不同规格和工艺制作的传感器和ISP芯片平台，实现高效轻量化部署。通过人工智能算法、人工智能传感器和人工智能ISP的三位一体，SenseTime将人工智能技术整合到智能手机的整个智能视频系统中。另一方面，利用AI技术充分发掘镜头模块、各种新型传感器等硬件的潜力，最大限度地利用摄像装置的底层特性，实现最佳的摄像质量;另一方面，利用AI技术有机地结合摄像系统中的各独立部件，充分联动。将本来独立工作的摄像模块作为协同合作的摄像平台。由于人工智能软件和硬件的紧密结合，用户将获得拍摄质量的全面提升和拍摄场景的全面扩展。例如，人工智能通过学习多种光源的时域、空域和频域的不同特性，了解自然光谱特性，并根据实际应用场景，带来人工智能降噪、人工智能超分辨率，以提高图像质量;特殊拍摄模式，人工智能夜景增强、人工智能肖像增强，甚至给智能手机带来多样化的“魔术场景”。通过这些体验，配备人工智能传感器的智能手机将成为任何人都可以使用的“个人智能视频工作室”，消费者可以在日常使用时轻松拍摄与专业视频设备相媲美的高质量作品。
超分辨率（Super-Resolution）
（AI超是商汤能）
夜景影像效果对比全球40亿手机用户庞大的情况下，AI传感器的广泛应用，大大降低了世界建模成本，成为连接物理世界和虚拟世界的桥梁，加速了“元宇宙”的进程。AI传感器在新兴应用场景中也将发挥重要作用。例如，在智能汽车领域，人工智能传感器将成为车辆感知世界的核心部件。在智慧城市领域，人工智能传感器将在释放视频信息价值方面发挥关键作用。根据Gartner的数据，到2022年CMOS图像传感器出货量将超过84亿个，到2026年将超过107亿个，成长为100亿个出货量规模的半导体细分市场。秉承在AI传感器技术领域的长期布局，商汤科技将与合作伙伴紧密合作，加速AI传感器的市场渗透，用AI软件重新定义图像传感器的趋势，赋予硬件更多创新可能。获取“人工智能传感器智能手机视频新核心”白皮书，请关注《商汤科技公报》。