多伦多大学的计算成像研究人员制造了一种相机，可以捕捉从镜子反射的光线到篮球场上弹跳的球的一切——所有这些都在一次拍摄中完成。
这种成像技术被一位研究人员称为“时间显微镜”，可以改善从医学成像到手机和自动驾驶汽车中使用的LIDAR技术等方方面面。
“我们的工作引入了一种独特的相机，能够捕捉视频，这些视频可以以从标准的每秒30帧到每秒数千亿帧的速度回放，”博士后研究员Sotiris Nousias说，他正在与Kyros Kutulakos合作，他是艺术与科学学院的计算机科学教授。
“有了这项技术，你不再需要预先确定你想要捕捉世界的速度。
多伦多计算成像小组成员的研究——包括计算机科学博士生 Mian Wei、电气和计算机工程校友 Rahul Gulve 和计算机科学助理教授 David Lindell——最近在 2023 年计算机视觉国际会议上发布，并获得了两个最佳论文奖之一。
“我们的相机速度足够快，甚至可以让我们看到光线在场景中移动，”Wei说。“这种慢速和快速成像，我们可以在如此大的时间尺度范围内捕获视频，这是以前从未做过的。”
Wei 比较了在智能手机上组合各种视频模式的方法：慢动作、正常视频和延时摄影。
“在我们的案例中，我们的相机只有一种录制模式，可以同时记录所有时间尺度，然后，我们可以决定[我们想要查看的内容]，”他说。“我们可以看到每一个时间尺度，因为如果某物移动得太快，我们可以放大到该时间尺度，如果某物移动得太慢，我们也可以缩小并看到它。
虽然传统的高速摄像机可以在没有专用光源的情况下录制高达每秒约100万帧的视频 - 速度足以捕捉超速子弹的视频 - 但它们太慢了，无法捕捉光线的运动。
研究人员表示，在没有频闪灯或激光等同步光源的情况下，捕获图像的速度比超速子弹快得多，这带来了挑战，因为在如此短的曝光时间内收集的光非常少，并且需要大量的光来形成图像。
为了克服这些问题，研究小组使用了一种特殊类型的超灵敏传感器，称为自由运行的单光子雪崩二极管。该传感器通过对单个光子的到来进行时间戳来工作，精度低至万亿分之一秒。为了恢复视频，他们使用一种计算算法来分析光子何时到达，并估计在任何给定时刻入射到传感器上的光量，无论这些光是来自室内灯、阳光还是来自附近操作的激光。
重建和播放视频是检索与每个视频帧相对应的光照级别的问题。
研究人员将这种新方法称为“无源超宽带成像”，它能够在时间上重新聚焦捕获后 - 从瞬态到日常时间尺度。
“你不需要知道场景中发生了什么，或者那里有什么光源。你可以记录信息，你可以重新关注任何现象或任何你想要的时间尺度，“Nousias解释道。
该团队使用使用多个外部光源和旋转风扇的实验装置，展示了他们的方法允许捕获后时间刻度选择的能力。在他们的演示中，他们使用自由运行的SPAD相机捕获的光子时间戳数据，以每秒1000帧和每秒2500亿帧的速度播放快速旋转的风扇的视频。
