清华大学电子工程系微纳光电子学实验室欢迎您! English
返回

基于深度学习的高空间分辨率片上快速光谱成像论文在期刊Chip上发表

博士生杨家伟的论文“Deep-learning-based on-chip rapid spectral imaging with high spatial resolution”于2023年4月7日在期刊Chip(DOI: 10.1016/j.chip.2023.100045)在线发表。

光谱成像扩展了传统彩色相机的概念,可以在多个光谱通道捕获图像,在遥感、精准农业、生物医学、环境监测和天文学等领域得到了广泛应用。传统的基于扫描方式的光谱相机存在采集速度慢、体积大、成本高等问题。基于超表面宽带调制和计算光谱重建的片上光谱成像为实现消费级的便携式光谱相机提供了一种很有前景的方案,但现有的逐点迭代光谱重建算法存在计算耗时长和重建图像存在马赛克现象的问题。

本工作提出将深度展开神经网络ADMM-net与基于自由形状的超表面光谱成像芯片相结合,实现高空间分辨率的片上快速光谱成像,并将其用于实际场景的光谱图像重建,重建大小为256×256×26的数据立方仅需18毫秒,重建速度相比于传统的逐点迭代光谱重建算法提升了约5个数量级,并有效消除了光谱图像的马赛克现象。进一步,在驾驶场景下实现了视频级的动态光谱成像,成像速率达到36帧/秒,有望解决自动驾驶场景中的同色异谱识别问题,并展现出在机器视觉、工业过程控制等领域的应用潜力。

 图片11.jpg


Jiawei Yang, Kaiyu Cui,* Yidong Huang,* Wei Zhang, Xue Feng, and Fang Liu, Deep-learning-based on-chip rapid spectral imaging with high spatial resolution. Chip 2023, 100045. 

https://doi.org/10.1016/j.chip.2023.100045

2023年04月30日