微软推出了一套四个新的人工智能编译器,旨在优化各种人工智能模型的性能。
尖端编译工具的“重金属四重奏”以夯锤、滚轮、焊机和磨床的名字命名。
这些工具由微软研究与许多学术机构合作开发。
它们为编译提供了先进的解决方案——基本上是从源代码到机器代码的转换——主流人工智能模型,并在 GPU 等硬件加速器上更有效地运行它们。
在一篇文章中,该公司表示,编译器建立在微软在人工智能方面的广泛研究和开发的基础上。
“我们开发的人工智能编译器已经证明了人工智能编译效率的大幅提高,从而促进了人工智能模型的训练和部署,”MSR Asia首席研究员薛继龙写道。
“在未来,这些大型模型本身可能本质上有助于实现优化和编译。
这四个新编译器分别解决了优化人工智能工作负载的不同挑战。
Rammer 专注于最大化硬件并行性,即硬件以模拟方式执行不同操作的能力。
这是性能的关键因素,Rammer 通过提高并行资源的利用率来最大限度地减少运行时调度开销。
Roller 采用不同的方法来加速编译,使用快速构建算法来查找解决方案,最终在几秒钟而不是几小时内生成优化的内核。
换句话说,Roller通过简化设计过程来帮助更快地为AI创建高效的计算机程序。
焊机通过在集中管道中连接操作员来减少昂贵的内存访问流量。
它将内存优化统一到单个框架中,以提高效率。
最后,Grinder 通过将加速器与数据流集成,在加速器上实现控制流执行。
这允许跨控制流边界进行优化。
把它想象成一个专家指导学徒的步骤,告诉他们该怎么做才能更快地完成工作。
作为领先的科技巨头之一,微软一直处于人工智能进步的最前沿。
该公司与人工智能研究公司OpenAI密切合作,开发GPT-3.5和GPT-4等大型语言模型,为ChatGPT和Bing Chat提供支持。
最近,微软与Meta合作,将LLaMA-2集成到其云计算解决方案中,并引入了一种称为思想算法的技术,以增强ChatGPT等模型中的推理能力。
测试发现编译器在基准测试中明显优于现有解决方案。
Rammer在GPU上比其他编译器高出20倍。
Roller 达到或超过了最先进的性能,同时将编译时间缩短了几个数量级。
Welder 在 GPU 上比 PyTorch 等框架高出 21 倍。
磨床将模型与控制流量加速高达 8 倍。
重金属四重奏展示了微软在设计突破性人工智能系统方面的持续领导地位,并为其产品提出了有趣的名称。
虽然像OpenAI这样的微软领域的大型合作伙伴关系占据了头条新闻,但该公司还积极开发重要的软件基础设施,以在幕后增强人工智能的能力。
与现有解决方案相比,夯锤、滚轮、焊机和磨床的性能有了相当大的提升,随着更复杂的人工智能工作负载的出现,夯锤、滚轮、焊机和磨床可以提供关键的竞争优势。