两项新的谷歌云Platform存储服务为支撑人工智能和机器学习应用程序的文件系统提供了更高的速度和数据访问,这是下周谷歌云 Next会议的主要焦点。
Google Storage Fuse现已推出,使应用程序能够将谷歌云对象存储桶作为客户文件系统中的文件进行访问,无需重构应用程序代码。
Parallelstore以个人预览版提供,为希望在开发机器学习应用程序或高性能计算时最大程度地减少存储IOPS影响的客户提供托管并行文件系统。
这家超大规模企业还将销售谷歌云 NetApp Volumes作为传统企业文件存储工作负载的托管服务。该服务现已推出,并得到谷歌的支持。它取代了 NetApp 支持的 谷歌云 上的托管文件服务。
Google Storage Fuse和Parallelstore针对的是开发人员,这是谷歌的主要受众,NAND Research的分析师兼创始合伙人Steve McDowell说。
“谷歌一直是为技术受众服务的,”他说。“[这些观众]正在做人工智能和分析。
将存储与人工智能并行融合
Google Storage Fuse建立在Userspace中的开源文件系统项目之上,该项目允许开发人员在Linux 中为应用程序创建文件系统。Google Fuse作为托管或非托管服务提供,在客户的Linux环境中充当应用程序,并提供Google Kubernetes Engine集成。该应用程序支持机器学习框架PyTorch和TensorFlow。
根据谷歌云发言人的说法,通过文件存储系统访问云对象存储使人工智能和ML开发人员能够通过使用成本较低的对象存储来节省开发成本。如果访问速度不是重中之重,开发人员也可以使用更便宜的冷存储层。
其他云存储供应商,如Nasuni,已经提供了允许对象存储充当本地化文件存储的功能,Forrester Research分析师Naveen Chhabra说。他说,提供云对象存储,就好像它在本地可用于寻求文件系统的应用程序一样,是其他超大规模企业尚未构建的有用的新功能。
“如果这可以提供可访问性,就好像存储是本地的一样,那将改变游戏规则,”他说。“你不会听到很多超大规模企业谈论这种表现。
Parallelstore 为开源分布式异步对象存储带来了企业功能和托管功能,后者在NVMe存储支持的商品硬件上创建并行文件系统。英特尔以前将DAOS用于其现已停产的傲腾NVMe存储产品。
并行文件系统旨在实现高IOPS和快速读取速度,不太可能用于许多传统的企业工作负载,而是针对希望维护高利用率GPU进行数据处理的客户。谷歌声称该服务将优于Lustre,Lustre是AWS等竞争云中可用的另一种并行分布式文件系统。
Chhabra说,并行文件系统可以适用于需要快速读取数据的ML应用程序,但像这样的用例仍然是一个小型的新兴市场,因此发布了个人预览版。
“这更像是一种优化架构,”他说。
NetApp中立性
谷歌云NetApp Volumes完成了NetApp的三巨头,成为唯一一家分别由谷歌、AWS和Microsoft Azure管理文件存储服务的存储提供商。
NetApp的文件存储管理工具和OnTap混合云功能连接现在作为由谷歌云管理的服务提供。谷歌发言人表示,谷歌对该服务的管理将把计费、审计和其他企业要求与客户的谷歌账户联系起来,而不是单独与NetApp合作。现有的NetApp云卷服务客户可以选择过渡到 NetApp 卷。
McDowell说,虽然超大规模企业提供存储服务和功能,但很少有人能够提供像NetApp这样的全面产品,其中包括快照和重复数据删除等功能。NetApp在云中和本地的互操作性也使混合云工作负载更易于管理。