ChatGPT 能够根据一些简单的询问生成精美的文章、电子邮件和代码,这一能力引起了国际关注。麻省理工学院的研究人员报告了一种方法,该方法有可能为机器学习程序铺平道路,其能力比负责 ChatGPT 的程序强很多倍。此外,他们的技术可能比为当今机器学习模型提供动力的最先进的超级计算机消耗更少的能源。
该团队报告了新系统的首次实验演示,该系统使用数百微米级激光器基于光而不是电子的运动来执行计算。新系统的能效比当前最先进的机器学习数字计算机高出 100 倍以上,计算密度高出 25 倍。
此外,他们还指出“未来的改进还需要大幅提高几个数量级”。科学家们补充说,这“为大规模光电处理器开辟了一条途径,以加速从数据中心到分散边缘设备的机器学习任务。” 未来,像手机这样的小型设备可能能够执行只能在大型数据中心计算的程序。
模仿大脑信息处理的大规模机器学习模型是深度神经网络 (DNN) 的基础,例如为 ChatGPT 提供动力的神经网络。尽管机器学习正在不断扩展,但为当今 DNN 提供支持的数字技术却处于停滞状态。此外,由于其极端的能源需求,它们通常只出现在非常大的数据中心中。这正在推动计算架构的创新。
由于深度神经网络(DNN)的兴起,数据科学学科正在不断发展。为了应对这些 DNN 的指数级扩展,这对传统计算机硬件的能力造成了负担,光学神经网络 (ONN) 最近已经发展到以高时钟速率、并行地执行 DNN 任务,并且数据丢失最少。电光转换效率低、器件占用空间大和通道串扰导致 ONN 计算密度低,而缺乏内联非线性会导致显着的延迟。研究人员通过实验展示了一种时空复用 ONN 系统,可以同时解决所有这些问题。他们使用微米级垂直腔表面发射激光器(VCSEL)阵列进行神经元编码,这些阵列是大批量生产的,并具有出色的电光转换能力。
研究人员首次提供了一种小型设计,可以同时解决这三个问题。现代 LiDAR 遥感和激光打印都使用这种架构,该架构基于垂直表面发射激光器 (VCSEL) 阵列构建。这些措施似乎在不久的将来会有两个数量级的改进。光电处理器为加速集中式和分布式基础设施中的机器学习过程提供了新的机会。
查看论文 和 博客。这项研究的所有功劳都归功于该项目的研究人员。另外,不要忘记加入 我们的 27k+ ML SubReddit、 Discord Channel和电子邮件新闻通讯,我们在这里分享最新的 AI 研究新闻、 酷炫 的 AI 项目等等。