微软最近宣布正式发布 Azure Managed Lustre,这是一个用于高性能计算和人工智能工作负载的托管文件系统。
早些时候,该公司发布了该服务的预览版,作为其客户的托管产品,使他们能够更专注于他们的业务目标,例如预测天气模式,研究疾病的基因组序列和药物发现。随着 GA 版本的发布,客户拥有了托管平台服务,允许他们使用 Lustre 文件系统,这是一个开源并行文件系统,于 1999 年作为研究项目诞生于高性能计算。它提供具有数百GBps存储带宽和固态磁盘延迟的高性能分布式并行文件系统。此外,它还与Azure HPC Compute,Azure Kubernetes Service和Azure Machine Learning等Azure服务集成。
Wolfgang De Salvador是EMEA GBB HPC和微软的人工智能高级专家,他在Azure高性能计算博客文章中解释说:
Azure Managed Lustre 提供 Lustre 的所有性能和可伸缩性优势,而无需管理底层基础结构。此外,它还具有通过Lustre HSM与Azure Blob Storage集成的功能,用于数据检索和存档。这允许 HPC/人工智能 工作负荷在热层上访问工作数据集,将剩余数据保留在 Azure Blob 中,以最大程度地降低运营成本。
Azure Managed Lustre 以托管代表订阅的形式提供,可通过客户虚拟网络中的简单界面进行访问,客户无需担心部署、管理和操作 Lustre 文件系统、管理服务器/目标和对象存储服务器/目标的复杂性。
Azure Storage产品管理副总裁Jurgen Willis在公告博客文章中解释了Azure中对托管服务的需求,允许客户利用Lustre:
Lustre 是 HPC 世界中最受欢迎的分布式并行文件系统之一,长期以来一直部署在本地,以满足 HPC 工作负载的可扩展和高吞吐量存储需求。作为一个开源解决方案,它享有一个蓬勃发展的用户和开发人员生态系统。随着最近生成式人工智能的爆炸性增长以及对高吞吐量存储的需求,以防止昂贵的GPU内核等待数据,Lustre的采用率重新增长。
该服务提供两个基于固态硬盘的持久持久实例,这些实例通过为预置的 TB 级容量提供的性能选项进行区分:
Azure Managed Lustre File System Standard – 125 MB/s
AMLFS Premium – 250 MB/s
Azure Managed Lustre 的用户可以从 packages.微软.com 下载 Lustre 客户端包,以获取所需的 Linux 分发版和内核版本。此外,微软还提供对使用 Ubuntu 的 Lustre 客户端包预构建的 HPC 映像的支持。
最后,有关该服务的更多详细信息可通过文档登录页面获得。此外,定价和可用性详细信息位于定价页面上。