微软通过其最新的创新再次突破了人工智能的界限:名为Rammer,Roller,Welder和Grinder的四重人工智能编译器。
这些编译器是与受人尊敬的学术机构合作开发的,有望彻底改变人工智能模型的性能优化。
从本质上讲,编译是将人类可读的源代码转换为计算机可以理解的机器代码的过程。
微软的新编译器旨在简化主流人工智能模型的这一过程,使它们在GPU等硬件加速器上更有效地运行。
Microsoft Research最近的博客文章强调了这些编译器为人工智能世界带来的重大进步。
MSR Asia首席研究员薛继龙表示:“我们开发的人工智能编译器在人工智能编译效率方面有了实质性的提高,从而促进了人工智能模型的训练和部署。Xue还暗示了这些编译器在未来人工智能模型优化中发挥作用的可能性。
这四个编译器中的每一个都解决了优化人工智能工作负载的特定挑战:
夯:通过最小化运行时调度开销并通过高效利用并行资源来提高性能,从而最大限度地提高硬件并行性。
辊:使用快速构建算法加速编译,在几秒钟内生成优化的内核,显著缩短设计时间。
焊工:通过简化的连接运算符流水线减少内存访问流量,从而提高内存优化效率,从而解决内存访问瓶颈。
磨床:通过将加速器与数据流集成来优化加速器上的控制流执行,从而提高整体效率。
这些编译器已经过严格测试,在各种基准测试中优于现有解决方案。
Rammer 在 GPU 上展示了高达 20 倍的性能提升。
滚轮匹配或超过最先进的性能,同时大大减少编译时间。
Welder 在 GPU 上的性能比 PyTorch 等框架高出 21 倍。
磨床将模型与控制流量加速高达 8 倍。
微软对人工智能创新的承诺,通过与OpenAI等研究巨头的合作,是显而易见的。