激光网3月8日消息，在过去的几十年里，机器学习技术和传感设备的快速发展为物体、动物和人的检测和跟踪开辟了新的可能性。视觉目标的准确和自动检测，也称为智能机器视觉，可以有多种应用，从增强安全和监控工具到环境监测和医学成像数据的分析。
虽然机器视觉工具已经取得了非常有希望的结果，但在光线不足或能见度有限的情况下，它们的性能通常会下降。为了有效地检测和跟踪暗目标，这些工具应该能够可靠地从图像中提取边缘和角落等特征，而基于互补金属氧化物半导体技术的传统传感器通常无法捕获这些特征。
南京大学和中国科学院的研究人员最近推出了一种新方法来开发传感器，该传感器可以更好地检测复杂环境中的暗淡目标。在Nature Electronics中概述的方法依赖于传感器内动态计算的实现，从而将传感和处理能力合并到单个设备中。
“在低对比度的光学环境中，对弱目标的智能感知一直面临着精度低和鲁棒性差的严峻挑战，”该论文的资深作者Shi-Jun Liang告诉Tech Xplore。“这主要是由于目标光信号和背景光信号之间的强度差异很小，目标信号几乎淹没在背景噪声中。”
传统的图像中目标静态像素无关光电检测技术依赖于基于CMOS技术的传感器。虽然其中一些技术比其他技术表现得更好，但它们通常无法准确区分目标信号和背景信号。
因此，近年来，计算机科学家一直在尝试设计新的硬件开发原理，这些硬件基于使用成熟的生长和加工技术创建的低维材料，这些材料也与传统的硅基CMOS技术兼容。这些研究工作的主要目标是在低对比度光学环境中实现更高的鲁棒性和精度。
“我们一直在研究传感器内计算技术，并发表了一些关于光电卷积处理的有趣作品，这些工作基本上基于静态处理，”Liang解释说。“我们扪心自问，是否可以将动态控制引入传感器内光电计算技术，以增强传感器的计算能力。基于这一理念，我们提出了传感器内动态计算的概念，通过以相关方式操作相邻像素，并展示了其在复杂照明环境中的应用前景。
在他们最近的论文中，Feng Miao，Liang和他们的同事介绍了一种新的传感器内动态计算方法，旨在检测和跟踪不利照明条件下的昏暗目标。这种方法依赖于基于石墨烯/锗混合维异质结构的多端光电器件，这些器件组合在一起以创建单个传感器。
“通过动态控制光电传感器中相邻器件之间的相关强度，我们可以实现基于局部图像强度梯度的卷积核权重的动态调制，并实现适应图像内容的传感器内动态计算单元，”苗说。
“与设备独立操作的传统传感器不同，我们的传感器内动态计算技术中的设备是相互关联的，以检测和跟踪昏暗的目标，从而能够在复杂的照明环境中超精确和稳健地识别对比度变化的目标。”
Miao，Liang和他们的同事首次引入了一种传感器内计算范式，该范式依赖于基于多端混合维异质结构的互连和相邻光电器件之间的动态反馈控制。初步测试发现，他们提出的方法非常有前途，因为它能够在不利的照明条件下对昏暗跟踪进行稳健的跟踪。
“与传统的光电卷积相比，无论光学图像输入如何，核权重都是恒定的，我们的'动态核'的权重与局部图像内容相关，使传感器更加灵活、适应性和智能，”苗说。“动态控制和相关编程还允许将卷积神经网络反向传播方法整合到前端传感器中。”
值得注意的是，Miao，Liang及其同事用于实现其方法的设备基于石墨烯和锗，这两种材料与传统的CMOS技术兼容，并且可以轻松大规模生产。将来，研究人员的方法可以在各种现实世界中进行评估，以进一步验证其潜力。
“这项研究的下一步将是通过大规模的片上集成来验证传感器内动态计算的可扩展性，许多工程和技术问题仍然需要解决，”Liang补充道。
“将探测波长扩展到近红外甚至中红外波段是未来的另一个研究方向，这将扩大对各种低对比度场景的适用性，如遥感、医学成像、监测、安全和低能见度气象条件下的预警。”
