清华大学电子工程系微纳光电子学实验室欢迎您! English
返回

博士生饶世杰关于物谱芯片的论文在期刊Nature Communications发表

算力是智能时代最重要的基石和引擎,而视觉是人类和机器感知世界最重要的途径。电子计算平台的能耗大且计算速度有限,而光神经网络具有计算速度快、并行性高、功耗低的明显优势,被认为是最有前途的下一代并行计算方案。在此,我们提出新的感算一体式解决思路“物谱芯片”——光谱成像芯片2.0,即物质成像光谱卷积神经网络(Spectral Convolutional Neural Network)芯片。通过在图像传感器(CMOS image sensor, CIS)表面大规模集成光谱调制结构,便能够在光谱维度实现向量内积的大规模并行计算。将集成了光谱调制结构的图像传感器视为输入层及第一卷积层,结合后续的小规模电计算卷积层,便能构成一个光电混合的神经网络。物谱芯片突破了现有光神经网络大多都难以落地到实际应用的困境,真正实现真实世界的复杂视觉计算任务。作为应用,我们用同一个物谱实现了病理诊断和人脸鉴伪两个完全不同的现实世界复杂任务,均达到了超过96%的准确率,展现出了物谱芯片在边缘终端设备上进行实际应用的巨大潜力。

该工作于2025年1月2日以“Spectral convolutional neural network chip for in-sensor edge computing of incoherent natural light”为题发表在期刊Nature Communications上(https://doi.org/10.1038/s41467-024-55558-3)。博士生饶世杰与崔开宇老师是共同第一作者,崔开宇老师和黄翊东老师是论文通讯作者。

图片1.png

2025年01月16日