研究人员使用喷墨打印技术制造了一款紧凑型多光谱版的光场相机。这款相机可以放在手掌中，可用于许多应用，包括自动驾驶、回收材料分类和遥感。
3D 光谱信息可用于对物体和材料进行分类;但是，从场景中捕获 3D 空间和光谱信息通常需要多个设备或耗时的扫描过程。新型光场相机通过在单个快照中同时获取 3D 信息和光谱数据解决了这一挑战。
“据我们所知，这是多光谱光场相机的最先进和集成版本，”德国卡尔斯鲁厄理工学院的研究团队负责人Uli Lemmer说。“我们将其与新的人工智能方法相结合，以重建场景的深度和光谱属性，以创建一个用于获取3D信息的先进传感器系统。”
在Optica出版集团的期刊《光学快报》上，研究人员报告说，新的相机和图像重建方法可用于根据光谱特性区分场景中的物体。使用喷墨打印来制造相机的关键光学元件，可以很容易地进行定制或大批量制造。
“从相机图像中重建的3D数据在虚拟现实和增强现实，自动驾驶汽车，机器人技术，智能家居设备，遥感和其他应用中得到广泛应用，”研究团队成员Michael Heizmann说。“例如，这项新技术可以让机器人更好地与人类互动，或者提高回收材料分类和分离的准确性。它也可能用于对健康和患病组织进行分类。
使用喷墨打印添加颜色
光场相机，也称为全光相机，是捕获光线方向和强度的专用成像设备。图像采集后，利用计算处理从采集的数据中重建3D图像信息。这些相机通常使用与高分辨率相机芯片的像素对齐的微透镜阵列。
为了创建多光谱光场相机，研究人员使用喷墨打印将单个材料滴沉积在超薄显微镜载玻片的一侧形成每个单独的透镜，然后在显微镜载玻片的另一侧打印完全对齐的彩色滤光片阵列。由此产生的光学元件直接集成到CMOS相机芯片上。喷墨打印方法允许光学元件之间精确对准，显着降低了制造复杂性并提高了效率。
由于这种设置产生的光谱和深度信息交织在相机图像中，研究人员开发了分离每个组件的方法。他们发现，基于深度学习的方法最适合直接从采集的测量中提取所需信息。
基于光谱的物体检测
该论文的第一作者张巧双说：“只有结合制造、系统设计和基于人工智能的图像重建的最新进展，才能应对创建多光谱光场相机的挑战。“这项工作突破了喷墨打印的界限，喷墨打印是一种具有高精度和工业可扩展性的通用方法，用于制造光子元件。
研究人员通过记录一个测试场景来测试相机，该场景包含不同距离的多色3D物体。图像重建算法在许多合成和真实的多光谱图像上进行了训练和测试。结果表明，原型相机可以同时获取三维空间和光谱信息，并且可以在一张快照中通过不同的光谱组成和深度信息对不同的物体进行成像和区分。
现在他们已经完成了第一个概念验证，研究人员正在探索各种应用，在这些应用中，能够获取多光谱信息的光场相机可能是有用的。
