宁德生活圈

网站首页 科技 > 正文

为什么对象存储可能是人工智能和机器学习工作负载的最佳选择?

2021-09-21 22:43:20 科技 来源:
导读 如果是电视节目,那就是“Ho累加器”。组织每天都在创建和存储越来越多的数据,他们很难找到一种有效的方法来放置所有数据。事实上,根据ID

如果是电视节目,那就是“Ho累加器”。组织每天都在创建和存储越来越多的数据,他们很难找到一种有效的方法来放置所有数据。

事实上,根据IDC的研究,到2020年,我们将达到44 ZB的大关,大约80%的数据不在数据库中。随着这种前所未有的数据增长,信息技术团队正在寻找灵活、可扩展和可管理的方法来保存和保护数据。这是对象存储的亮点。

对象存储(也称为基于对象的存储)是一种将数据作为对象进行管理的存储体系结构,这与其他存储体系结构(例如,将数据作为文件层次结构进行管理的文件系统和将数据作为扇区内的块进行管理的块存储)相反。每个对象通常包括数据本身、可变数量的元数据和全局唯一标识符。

专门从事(至少提供)对象存储选项的公司包括Cloudian、Pure Storage、Digital Ocean、IBM/Cisco、Dell EMC Virtustream、Spectra Logic、SwiftStack、Qumulo、Minio、NetApp、日立数据系统公司、coherence和Veritas等。

Cloudian的CEO兼联合创始人Michael Tso是一个非常了解市场的人。他向eWEEK提供了一些行业信息,这也正是他认为对象存储系统对于大数据类型工作负载(包括运行机器学习和数据存储的工作负载)最有效的原因。人工智能用例已经变得越来越普遍。

以下是这些数据集的八个特定存储要求,以及为什么AI和ML应用程序需要企业对象存储解决方案提供的数据管理功能。

存储需求1:可扩展性。

人工智能系统可以在短时间内处理大量数据。此外,更大的数据集可以提供更好的算法。这种组合带来了巨大的存储需求。微软教计算机使用五年的连续语音记录进行语音对话。特斯拉正在教汽车以13亿英里的速度行驶。管理这些数据集需要一个可以无限扩展的存储系统。

对象存储有什么帮助:对象存储是唯一可以在单个命名空间内无限扩展的存储类型。此外,模块化设计允许随时添加存储,因此您可以根据自己的需求进行扩展,而不是在此之前。

存储要求2:成本效益。

一个有用的存储系统必须具有可扩展性和可负担性,这在企业存储中并不总是并存的。历史上,基于成本/容量的高度可扩展系统更昂贵。

对象存储如何帮助:对象存储构建在业界成本最低的硬件平台上。加上低管理开销和节省空间的数据压缩,成本比传统企业磁盘存储低70%。

存储要求3:软件定义的存储选项。

庞大的数据集有时需要具有专用服务器架构的超大型数据中心。其他配置可能受益于预配置设备的简单性。

如何帮助实现对象存储:对象存储使您能够选择存储设备或软件定义的存储,从而保持部署选项的开放。

存储需求4:混合架构。

不同的数据类型有不同的性能要求,硬件必须反映出来。该系统必须包含存储技术的正确组合,以同时满足规模和性能要求,而不是同类通用方法。

对象存储如何帮助:对象存储采用混合架构,其中旋转磁盘用于存储用户数据,而固态硬盘用于存储对性能敏感的元数据,从而优化成本和性能。

存储需求5:并行架构。

对于无限数据集,并行访问架构非常重要。否则,系统将产生限制增长的瓶颈。

对象存储如何帮助:对象存储采用无共享集群架构,这意味着系统的所有部分都可以并行工作。随着系统的扩展,数据吞吐量不断增加。

存储需求6:数据持久性。

备份多PB训练数据集是不可行的。这通常受到成本和时间的限制。然而,你不能让它不受保护。相反,存储系统需要自我保护。

如何帮助对象存储:对象存储具有内置冗余设计,因此无需单独的备份过程即可保护数据。此外,您可以选择每种数据类型所需的数据保护级别,以优化效率。系统可以配置为容忍多个节点故障,甚至容忍整个数据中心的丢失。

存储要求7:数据局部性。

尽管一些培训数据将驻留在云中,但由于各种原因,大多数培训数据将保留在数据中心:性能、成本和法规遵从性是其中三个原因。为了具有竞争力,本地存储必须提供与同类基于云的存储相同的成本和可扩展性优势。

对象存储有什么帮助:对象存储就是云的存储。许多云提供商将其用作公共云基础设施。云的可扩展性和经济性现在可以在本地使用。

存储需求8:云集成。

无论数据位于何处,云集成仍将是一项重要要求,原因有二。首先,许多AI/ML创新都发生在云中。与云集成的本地系统将为使用云原生工具提供最大的灵活性。其次,随着信息的生成和分析,我们很可能会看到进出云的数据流。本地解决方案应该简化流程,而不是限制流程。

对象存储怎么样?

提供帮助:对象存储应通过三种方式与云集成:首先,解决方案可以采用S3 API,这是事实上的云存储标准语言。其次,它们可以促进与Amazon,Google和Microsoft公共云之间的分层,并允许您在单个命名空间中查看本地和基于云的数据。第三,应该直接从基于云的应用程序访问存储到云的数据。这种双模式访问使您可以交替使用云资源和本地资源。

要充分发挥AI / ML的潜力,就需要支持创新的基础架构。当今的对象存储解决方案应提供可扩展性,成本效率和互操作性,从而增强这些新兴技术的功能。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

免责声明: 本文由用户上传,如有侵权请联系删除!


标签: