激光网
当前位置: 首页 > 人工智能 > 正文

面向高性能计算和人工智能工作负载的Azure托管Lustre 现已正式发布微软

2023-07-21 18:02:23  来源:激光网原创    

  微软最近宣布正式发布 Azure Managed Lustre,这是一个用于高性能计算和人工智能工作负载的托管文件系统。

  早些时候,该公司发布了该服务的预览版,作为其客户的托管产品,使他们能够更专注于他们的业务目标,例如预测天气模式,研究疾病的基因组序列和药物发现。随着 GA 版本的发布,客户拥有了托管平台服务,允许他们使用 Lustre 文件系统,这是一个开源并行文件系统,于 1999 年作为研究项目诞生于高性能计算。它提供具有数百GBps存储带宽和固态磁盘延迟的高性能分布式并行文件系统。此外,它还与Azure HPC Compute,Azure Kubernetes Service和Azure Machine Learning等Azure服务集成。

  Wolfgang De Salvador是EMEA GBB HPC和微软的人工智能高级专家,他在Azure高性能计算博客文章中解释说:

  Azure Managed Lustre 提供 Lustre 的所有性能和可伸缩性优势,而无需管理底层基础结构。此外,它还具有通过Lustre HSM与Azure Blob Storage集成的功能,用于数据检索和存档。这允许 HPC/人工智能 工作负荷在热层上访问工作数据集,将剩余数据保留在 Azure Blob 中,以最大程度地降低运营成本。

  Azure Managed Lustre 以托管代表订阅的形式提供,可通过客户虚拟网络中的简单界面进行访问,客户无需担心部署、管理和操作 Lustre 文件系统、管理服务器/目标和对象存储服务器/目标的复杂性。

  Azure Storage产品管理副总裁Jurgen Willis在公告博客文章中解释了Azure中对托管服务的需求,允许客户利用Lustre:

  Lustre 是 HPC 世界中最受欢迎的分布式并行文件系统之一,长期以来一直部署在本地,以满足 HPC 工作负载的可扩展和高吞吐量存储需求。作为一个开源解决方案,它享有一个蓬勃发展的用户和开发人员生态系统。随着最近生成式人工智能的爆炸性增长以及对高吞吐量存储的需求,以防止昂贵的GPU内核等待数据,Lustre的采用率重新增长。

  该服务提供两个基于固态硬盘的持久持久实例,这些实例通过为预置的 TB 级容量提供的性能选项进行区分:

  Azure Managed Lustre File System Standard – 125 MB/s

  AMLFS Premium – 250 MB/s

  Azure Managed Lustre 的用户可以从 packages.微软.com 下载 Lustre 客户端包,以获取所需的 Linux 分发版和内核版本。此外,微软还提供对使用 Ubuntu 的 Lustre 客户端包预构建的 HPC 映像的支持。

  最后,有关该服务的更多详细信息可通过文档登录页面获得。此外,定价和可用性详细信息位于定价页面上。

免责声明: 激光网遵守行业规则,本站所转载的稿件都标注作者和来源。 激光网原创文章,请转载时务必注明文章作者和来源“激光网”, 不尊重本站原创的行为将受到激光网的追责,转载稿件或作者投稿可能会经编辑修改或者补充, 如有异议可投诉至:Email:133 467 34 45@qq.com