AI对数据的无止境需求暴露出一个日益严重的问题:存储基础设施跟不上。从培训基础模型到运行实时推理,AI工作负载需要对分布在云、边缘和prem环境上的大量数据进行高吞吐量、低延迟的访问。传统存储系统常常在这些需求的重压下挣扎,造成瓶颈,从而大大推迟了人工智能领域的创新。
由此,DDN发布了Infinia 2.0,这是对其专注于AI的软件定义数据存储平台的重大更新,旨在消除AI存储和数据管理中的低效性。该公司称Infinia 2.0是一个统一的智能数据层,可以动态优化AI工作流。DDN首席执行官Alex Bouzari说:“Infinia 2.0不仅仅是一个升级,它是AI数据管理的一个范式转变。”他强调Infinia如何利用公司在HPC存储方面根深蒂固的专业知识为下一代AI驱动的数据服务提供动力。
从DDN的Beyond人工虚拟事件渲染大型Infinia 2.0配置。
随着人工智能应用的增长,规模、速度和效率的挑战变得越来越明显。LLM、生成性AI应用程序和推理系统不仅需要海量数据集,而且需要比以往更快地访问和处理这些数据集的能力。传统的存储解决方案难以解决性能瓶颈问题,使得GPU很难足够快地接收到所需的数据,从而限制了总体培训效率。同时,组织必须跨多个位置导航数据碎片,从结构化数据库到非结构化视频和感官数据。在这些环境之间移动数据会导致效率低下,推高运营成本,并造成延迟问题,从而降低AI应用程序的速度。
DDN声称Infinia 2.0通过集成实时AI数据管道、动态元数据驱动的自动化和多云统一解决了这些挑战,所有这些都是专门针对AI工作负载进行优化的。Infinia 2.0引入了数据海洋(data Ocean),这是一个统一的全局视图,它消除了冗余拷贝,使企业能够在数据驻留的任何位置处理和分析数据,而不是强迫企业使用断开连接的数据湖。此解决方案旨在减少存储扩展,并允许AI模型使用高级元数据标记系统更高效地搜索和检索相关数据。由于具有几乎无限的元数据功能,AI应用程序可以将大量元数据与每个对象关联起来,从而大大加快搜索和检索操作。
Infinia 2.0集成了TensorFlow和PyTorch等框架,该公司表示,这消除了复杂格式转换的需要,允许AI执行引擎直接与数据交互,从而显著加快处理速度。该平台还具有极高的可扩展性,支持从数TB到数EB的存储部署,使其足够灵活,可以满足初创企业和企业级AI运营的需要。
性能是Infinia 2.0可能取得突破的另一个领域。该平台的元数据处理速度快100倍,查找时间从10毫秒缩短到1毫秒。AI管道执行速度快25倍,而系统每秒可以处理多达600000个对象列表,甚至超过AWS S3的限制。通过利用这些能力,DDN断言AI驱动的组织可以确保以最小的延迟和最大的效率对其模型进行培训、改进和部署。
AI工作流示例(来源:DDN)
Beyond Artificial的虚拟发布活动中,DDN的声明得到了Nvidia首席执行官Jensen Huang等行业领导者的大力支持,他强调了Infinia重新定义AI数据管理的潜力,强调了Infinia等元数据驱动架构如何将原始数据转化为可操作智能。企业计算领导者联想(Lenovo)也对该平台表示赞赏,强调其在prem和云数据上进行合并的能力,以实现更高效的AI部署。
DDN的另一个合作伙伴Supermicro也支持Infinia:“在Supermicro,我们很荣幸与DDN合作,转变企业如何利用数据推动业务成功。”Supermicro的创始人、总裁兼首席执行官Charles Liang说。“通过将Supermicro的高性能、节能硬件与DDN革命性的Infinia平台相结合,我们为客户提供了加速AI工作负载、最大化运营效率和降低成本的能力。Infinia跨云、edge和on-prem环境的无缝数据统一使企业能够更快地做出数据驱动的决策,并实现可衡量的结果,完全符合我们提供优化、可持续的基础架构解决方案的承诺。”
在Beyond人造活动上,Bouzari和Huang坐下来在炉边聊天,反思2017年与Nvidia会面时产生的一个想法是如何演变成Infinia平台的。
DDN被要求帮助建立一个人工智能计算的参考架构,但Bouzari看到了一个更大的机会。如果黄的人工智能愿景要实现,世界将需要一个全新的数据架构,一个能够扩展人工智能工作负载、消除延迟并将原始信息转化为可操作智能的架构。
在Beyond人工活动中,黄和Bouzari坐下来聊了聊存储和AI的大局。
Infinia不仅仅是储存,Bouzari说,它为人工智能系统提供能量,就像为大脑提供能量一样。黄认为,这种区别是至关重要的。“人们忘记的最重要的事情之一是数据的重要性,这在应用过程中是必要的,而不仅仅是在培训过程中,”黄指出。您希望在大量数据上进行训练以进行预训练,但在使用过程中,AI必须访问信息,AI希望访问信息,而不是以原始数据形式,而是以信息流形式。
CEO们说,这种从传统存储到AI原生数据智能的转变具有深远的意义。DDN和Nvidia不再将存储视为被动存储库,而是将其转变为主动智能层,使AI能够立即检索洞察。“这就是为什么将对象和原始数据的存储重新构造为数据智能是DDN的一个新机会,为世界上所有的企业提供数据智能,因为AIs运行在这种信息结构之上,”黄说,并称之为“对计算和存储的非凡重构。”
随着人工智能的不断发展,重构显然是必要的,因为支持它的基础设施也必须不断发展。DDN的Infinia 2.0可能代表着企业处理AI存储方式的重大转变,它不是作为被动存档,而是作为实时为AI系统提供支持的主动智能层。Infinia 2.0通过消除传统瓶颈、统一分布式数据并与AI框架无缝集成,旨在重塑AI应用程序访问、处理和处理信息的方式。
凭借英伟达、超微和联想等行业领袖的支持,以及最新一轮3亿美元、估值50亿美元的融资,DDN正将自己定位为人工智能领域的关键参与者。Infinia 2.0能否兑现其雄心勃勃的承诺还有待观察,但有一点很清楚:人工智能的下一个前沿不只是模型和计算,而是重新思考数据本身。通过这次发布,DDN证明了人工智能的未来取决于新的数据管理模式。