[大带宽]计算存储将以新颖的方式重振存储

来源: 作者: 发布时间:2022-04-25 10:18:52

数据中心68

在一次专访中,SNIA计算存储(CS)工作组讨论了SNIA计算存储(CS)工作组自成立以来的技术进步。Scotshade不仅担任NGl存储副总裁,还担任存储网络行业协会(SNIA)的董事会成员。

标准组织推出的新技术获得官方定义很少见。但是要得到这样的定义,这项技术需要相当大的突破。因此,希望正式引入计算存储(CS)这是一种淘汰传统计算机存储技术的存储架构,以提供更快、更经济、更省电的方式存储和分析PB字节数据。

企业存储的发展

简而言之,计算存储是一种IT架构,其中数据处理在存储设备级别,以减少存储和计算平台之间必须移动的数据量。因此,该技术提供了一种更快、更有效的方法来应对数据密集型世界的独特挑战,通过减少数据移动,并允许对分析的响应速度达到20到40倍,以满足多余带宽的减少,并提供非常低的延迟响应时间。

考虑到企业存储的发展历史,计算存储的发展速度是合适的。由于NVE和NVS辅助brfeaich存储技术,该技术发展越来越快。今天的数据中心(包括大型数据中心)主要依赖于使用冯和midot;传统服务器硬件硬件和midot;诺曼系统结构适用于几乎所有的通用服务器,是一个有70年历史的计算机系统结构,多年来从未经历过太多变化。

一些新的方法并没有取得太大的成功。现在有了人工智能和机器学习等应用程序,它们需要大量的原始数据(结构化和非结构化),这些数据需要高计算能力学习,因此计算能力已成为瓶颈。在传统的横向扩展模型中,通过添加节点来解决这个问题,以获得更多的分布式计算能力和更多的内存。不幸的是,从投资成本和运营成本的角度来看,添加服务器节点的成本非常高。添加更多的节点也增加了连接的长度,从而增加了数据移动和分析所需的时间。

计算和存储该技术可以巧妙地将传感器(如自动驾驶汽车、视频监控摄像头和交通信号灯)中的原始信息组织成有意义的数据,因为缺乏移动性可以促进实时数据分析,从而通过减少输入来提高输出瓶颈。随着人工智能、机器学习和物联网工作负载的出现,惊人的数据量(ID公司的研究表明,到2025年,数据总量将超过16%,其中95%是由互联网生成的)。这项新技术确实缺失。

研究机构Dion,当esearc公司最近对0多名计算机存储专业人员进行的调查揭示了这一挑战,表明存储瓶颈可能发生在1时to面以下。这样,计算存储可以提供更强的处理能力来帮助每个主机CPU,使组织能够提取所有可生成的数据,并只提供真正需要的数据,从而使管道尽可能保持开放。这样,就可以收集更多分析所需的原始数据,并为组织提供只从数据中提取实现价值所需的自由。在比较中,当组织必须处理数据集时,就会延迟增值。这样,可以最大限度地提高效率,降低消耗,降低运行成本。

计算存储的官方定义只花了一年时间,这是一个非常快速的过程,证明了对这种完全不同的计算机存储技术的迫切需求。一年多前,存储网络行业协会(SNIA)召开会议,研究如何定义和制定计算存储技术的标准。SNIA是一个由198家信息技术领域的成员公司组成的非营利组织。经过几个月的会议和一些辩论,他们现在已经制定了官方定义:

计算存储系统结构可以通过集成计算资源(直接与存储、存储附近或主机与存储之间)来提高应用程序性能和/或基础设施效率。这些计算资源不超过传统的计算和内存系统结构。

这些系统结构的目标是启用并行计算;减少I/O流量;减少对现有计算、内存、存储和I/O的其他限制。

受益于计算存储的行业

当计算存储应用于多个用例时,它将变得更容易理解。计算存储技术强大高效的行业示例是新的智能汽车和即将推出的自动驾驶汽车必须处理数据负载(每天高达28TB)进行分析,否则可能会影响驾驶员的安全。一些设计和计算存储架构的公司已经能够提供使用小型技术的技术,可以与SSD硬盘一起使用,以处理数据负载。这在有限的空间边缘(如汽车)中非常有效。然而,尽管外观尺寸很大,但计算存储解决方案仍然可以将功能提高20倍以上,使支持人工智能的系统以前所未有的方式读取和分析数据。

运行在数千台物理服务器和数百万台虚拟机上的超大型数据中心(如AWS数据中心基础设施)必须并行执行各种工作负载。这些超大型数据中心开始使用计算存储驱动器(CSD)来处理PB级数据,但也带来了体积小、功耗低但计算能力仍然巨大的更小尺寸的优势。这样,小而强大的计算存储驱动器(CSD)可以帮助提高超大型架构的计算能力,将机器用于人工智能(人工智能)和机器学习(ML)应用程序,通常需要实时、复杂和平行索引的操作和模式匹配。

例如,为了欺骗和测试目的,需要实时分析大量数据以获取销售点数据的零售企业也可能受益于计算存储响应时间。Stora公司发布的调查报告指出,这些应用程序必须在执行分析请求之前扫描大量数据,以识别与查询相关的信息子集。实时分析应用程序无法承受将大量数据移出存储系统、跨网络和主机内存的损失。

内容交付网络(CDN)是使用计算存储技术的另一个市场。该技术有助于加密/数字版权管理(验证用户访问内容)。在这种情况下,计算存储提供更好的数据管理,以安全地解锁内容而不共享密钥。这种能力将每个服务器机架的密钥匹配提高40倍,只是这项工作的开始。

总结

事实上,在当今拥有密集数据的世界里,更少的数据移动是至关重要的。数据移动的成本不仅是时间,而且是资源,有时还会浪费分析资源。现在是时候采取下一步来存储和实施NVME计算存储驱动器了。按照数据步骤操作,注意硬盘驱动器中的数据移动时间,提高效率,减少主机CPU和内存负载的使用。