专题丨面向智能图像传感系统的感内计算技术发展趋势分析

面向智能图像传感系统的感内计算技术发展趋势分析

周正¹  丛瑛瑛²  冯玉林³

（1.北京大学集成电路学院，北京 100871；2.中国信息通信研究院信息化与工业化融合研究所，北京 100191；3.北京信息科技大学仪器科学与光电工程学院，北京 100192）

摘要：物联网大数据时代，图像传感系统的端侧智能应用大规模部署，催生了传感器向智能化、高集成度和低功耗的趋势发展。感内计算技术利用像素层级的感算、感存算一体化功能，实现了二维空间感知信息的高精度、高并行模数混合运算。感内计算技术结合近感计算和感外计算技术的研究成果，将为面向端侧智能应用的新型图像传感系统提供一系列低成本、多元化解决方案。

关键词：物联网；图像传感系统；感内计算技术

0  引言

随着物联网和大数据时代的到来，图像传感系统面临端侧智能应用大规模部署以及多元化场景应用等需求，推动着传感器向智能化、高集成度、低功耗方向发展。感内计算技术作为一种新型计算范式，涵盖感、算融合和感、存、算融合的研究范畴，旨在通过传感器像素基本单元的设计和像素级运算功能的定义，在二维空间实现高精度、高并行的模数混合运算。同时，结合近感计算和感外计算技术的研究成果，构建一种面向端侧智能传感应用的先进图像传感系统解决方案。

根据实际应用和场景需求，本文通过探究图像处理流水线改进优化、深度学习定制化系统设计以及生物视觉系统启发等当前研究热点，重点阐述和分析了感内计算技术的多元化发展趋势。此外，将围绕感内计算技术在智能图像传感系统中的应用，针对其研究现状、发展趋势和面临的挑战展开讨论。

1  智能图像传感系统

自1839年达盖尔发明第一台银版照相机以来，图像和视频逐渐成为人类记录信息和传递知识的重要媒介。现代数字图像传感系统起源于20世纪60年代的电荷耦合器件（Charge Coupled Device，CCD）技术。该技术利用PN结光电效应和电荷耦合技术，通过光学信息捕捉、电荷迁移、信号读取和模数信号转换的信息处理流程，获取现实世界中的光学信息并记录保存为数字格式。20世纪90年代后期，半导体工艺技术和集成电路得到迅速发展，互补金属氧化物半导体（Complementary Metal Oxide Semiconductor，CMOS）图像传感器技术应运而生，由于其具有高集成度、低功耗、制造工艺简单和功能兼容性强等优势，已逐步成为图像传感器的主流技术之一^[1]，并推动数字图像传感系统成为现代电子产品中不可或缺的核心部分。数字图像传感系统架构由光学模块、图像传感器模块、信号处理模块和控制模块组成，其核心评价指标是成像质量，主要包含分辨率、信噪比、动态范围、帧率、快门和色彩还原度等方面。

伴随现代工业技术的进步，数字图像传感系统不断追求更高的成像质量和更强的感知能力，8K分辨率、140 dB动态范围、1 000 fps帧率等实际需求被相继提出。与此同时，随着细分市场需求的增加，数字图像传感系统也呈现出多元化发展趋势，专业摄影、视频安防、自动驾驶、移动电子、工业相机、医疗影像等细分领域逐步形成，结构光传感、红外传感、事件触发等功能需求也由此衍生^[2]。为满足不同领域的应用需求，工业界先后实现了诸如列并行模数转化电路、背照式曝光、深槽隔离、3D堆叠结构和Cu-Cu互联等关键技术。同时，全局曝光、自动对焦、四拜尔编码、专用高速接口等设计方案也被相继提出并应用。此外，前沿研究先后将InAs/GaSb超晶格、量子点、二维材料等新型感光材料，以及多色域通道像素处理、多维度图像融合、智能图像压缩等新型图像处理算法和全像素对焦、自动白平衡等系统控制方法纳入当前数字图像传感系统的研究范畴。

值得重点的是，随着人工智能（Artificial Intelligence，AI）和大数据时代的来临，适用物联网终端大规模部署的智能图像传感系统已成为当前重要的发展趋势和研究课题。该研究领域面临的矛盾主要表现为以下两个方面：一方面，物联网时代迫切需要图像传感系统实现低功耗、低成本及其在终端设备的大规模部署，为获取更大范围、更多维度的传感信息，采用常规图像传感系统势必导致信息的过采样和冗余搬运等问题，从而因能耗、算力等客观原因限制其普及度；另一方面，以深度学习为代表的AI算法的兴起显著提升了图像、视频等非结构信息的处理能力，但新引入的智能算法也带来了端侧硬件加速需求，严重挑战着传统图像传感系统的架构和功能。这些矛盾共同推动图像传感系统向着智能化、多功能集成、低功耗设计的方向发展，并带来了从底层基本器件到顶层系统架构的多层次技术变革需求。

2  感内计算技术

感内计算技术是一种新型的传感器计算范式^[3]，包括感、算和感、存、算一体等技术内涵。区别于传统图像传感系统中感知模块和处理模块分离的结构，感内计算技术通过在传感器内部构建新型感知运算功能模块，在感知的同时原位提取有效特征信息，从信息采集的源头实现智能化信息预处理，以减少数据传输规模，简化后处理系统流程，从而提高系统的综合性能指标。同时，相较于在传感阵列外部进行逐行、逐列信息预处理的近感计算技术，感内计算技术着重强调像素内和像素之间的信息处理，并基于传感阵列在二维空间上进行拓扑，由此形成了原位预处理、像素级高数据通量和二维空间整合的本征特点。因此，感内计算技术在诸如原位冗余信息压缩、像素信息模拟域预处理和空间信息特征提取等方面具备天然优势。

如图1所示，感内计算与近感计算、感外计算并非互斥性技术，三者具备各自的性能特征与优势。感外计算技术通常采用工作在数字域内的专用图像信号处理器（Image Signal Processing，ISP），以独立模块外置或集成在图像传感阵列后端，以帧为单位对阵列输出的原始图像进行处理，具备较为灵活的功能配置和算力空间。近感计算技术通过设计传感阵列附近的专用电路，同时在模拟域和数字域进行运算，在不干扰传感阵列工艺加工方案的前提下，可以完成前后帧或行列信息的预处理功能，缩短了原始信息的传输路径。感内计算技术通过引入新型传感器件、像素电路等方式，在二维空间上进行像素级信息处理，能够利用器件、电路的物理效应，在模拟域内完成时空信息的处理，在像素层面实现冗余信息的过滤。由此可见，感内计算、近感计算和感外计算技术可以分工协作，并依据实际应用需求进行协同设计与优化。值得注意的是，即使在Cu-Cu互联、3D堆叠、单片集成等先进半导体工艺技术^[4]的支持下，感内计算技术的像素级设计方案的实现仍严重受限于传统图像传感器阵列的工艺加工和集成能力，并有损当前传感器技术在像素密度、填充因子、量子效率等方面取得的成效。新材料、新结构、新器件^[5]的研究将是推动感内计算技术应用落地的重要推手。

本文刊于《信息通信技术与政策》2023年 第6期

主办：中国信息通信研究院