戴尔扩展AI数据平台,新增搜索分析功能

戴尔AI数据平台新增基于Elastic的数据搜索引擎和Starburst构建的数据分析引擎,同时加入数据分析引擎代理层、MCP服务器及英伟达cuVS集成。该平台分离存储与计算,专为AI训练、微调、检索增强生成和推理等工作负载设计,旨在简化数据复杂性、统一管道并大规模交付AI就绪数据。

戴尔AI数据平台新增了基于Elastic的数据搜索引擎和基于Starburst构建的数据分析引擎,同时还配备了数据分析引擎智能体层和MCP服务器,以及Nvidia cuVS集成功能。

AI数据平台是戴尔AI工厂中的一组组件,提供基础设施部分。该平台包含四个核心要素:存储引擎(PowerScale和ObjectScale)、用于分析、处理和搜索的数据引擎组、网络安全防护,以及帮助实施部署的专业服务。该平台实现了存储与计算的分离,并与Nvidia的AI数据平台参考设计完全集成。它专为AI工作负载而设计,包括训练、微调、检索增强生成和推理等。

戴尔基础设施解决方案集团总裁Arthur Lewis表示:"戴尔AI数据平台专门构建,旨在简化数据复杂性、统一管道并大规模交付AI就绪的数据。从医疗保健领域的实时诊断到制造业的预测性维护,戴尔科技与Nvidia、Elastic和Starburst等值得信赖的合作伙伴正在帮助各行业更快速、更低风险地从AI试点转向生产应用。"

底层PowerScale横向扩展集群文件+对象系统存储支持Nvidia Blackwell GB200和GB300 NVL72集成以及其他软件更新。戴尔表示,与VAST Data和Pure Storage相比,PowerScale所需的网络交换机数量减少多达8倍,用电量减少多达72%,机架空间需求减少多达80%。

特别是PowerScale F710,已获得Nvidia云合作伙伴认证,可提供16k+GPU级扩展,与这两个竞争对手相比,机架空间减少5倍,网络交换机减少88%,功耗降低多达72%。

戴尔正在进行Lightning项目,为PowerScale增加并行处理能力以提高数据传输带宽。戴尔告诉我们:"团队在PowerScale OneFS软件方面做了大量工作,以更好地并行化IO——从锁定到协议工作再到后端并行性。团队还提供了优化的客户端驱动程序,为能够支持400+Gbps的客户端推送更多吞吐量。最后,我们一直有计算/网络专用'加速器'节点的概念,随着PA110的推出,这些性能加速器在不增加更多存储的情况下释放了更多流媒体和元数据性能。请关注这个领域,很快会有更多进展。"

戴尔的云原生S3 ObjectScale存储获得了S3 over RDMA支持,可实现更低延迟的对象数据访问、大小对象工作负载的性能调优、高容量元数据密集型工作负载的减少IO,以及带有高容量驱动器的全闪存配置,以提升每个节点的容量。

ObjectScale可作为设备提供,也可通过戴尔PowerEdge服务器上的新软件定义选项提供,速度比上一代全闪存对象存储快8倍。该产品还具有更深入的AWS S3集成和存储桶级压缩功能。

数据引擎

数据搜索引擎项目最初于8月由戴尔透露。它与Elastic合作开发,用于索引和搜索,并与MetadataIQ数据发现软件集成,使用精细元数据搜索PowerScale和ObjectScale上的数十亿文件。

戴尔表示,它专为检索增强生成等工作负载而设计,使"客户能够像提问一样自然地与数据交互"。开发人员可以使用该引擎在LangChain等工具中构建检索增强生成应用程序,仅摄取更新的文件以节省计算时间并保持向量数据库的最新状态。

向量搜索得到了Nvidia cuVS集成的帮助,cuVS是一个可从Github下载的库,用于GPU上的向量搜索和聚类。它利用并行管道来减少语义搜索时间。

数据分析引擎与Starburst合作开发,其技术使用Trino开源分布式SQL来查询和分析分布式数据源。它支持跨电子表格、数据库、云仓库和湖仓的数据查询。组件引擎智能体层在几秒钟内转换原始数据,"使用大语言模型自动化文档编制、获取洞察并将AI嵌入SQL工作流程"。

它拥有超过50个数据源连接器,"统一了对向量存储的访问,支持跨Iceberg、戴尔数据搜索引擎、PostgreSQL + PGVector等的检索增强生成和搜索任务"。

数据分析引擎支持MCP服务器和智能体API,可进行多智能体和AI应用程序开发。

评论

戴尔正在构建AI数据管道堆栈以支持大语言模型和智能体。它认为在这个生成式AI时代,仅提供基础存储,无论多快多大,都是不够的。仅支持外部AI管道组件也是不够的。戴尔希望支持整个管道,从多源摄取、选择、过滤、转换和搜索到分析和智能体。所有主要的企业存储供应商都在意识到并响应这一观点,戴尔不会在这方面落后。

还有更多功能即将推出,更快的PowerScale存储只是其中一个例子。

可用性

PowerScale GB200和GB300 NVL72集成以及NCP验证现已可用。

ObjectScale S3 over RDMA将于2025年12月在技术预览版中提供,以及其他软件更新。

戴尔数据分析引擎智能体层和数据分析引擎MCP服务器的首个版本将于2026年2月推出。

数据搜索引擎和cuVS集成将于2026年上半年推出。

Q&A

Q1:戴尔AI数据平台是什么?它能做什么?

A:戴尔AI数据平台是戴尔AI工厂中的一组组件,提供基础设施支持。它包含存储引擎、数据引擎组、网络安全防护和专业服务四个核心要素,专为AI工作负载如训练、微调、检索增强生成和推理而设计,能够简化数据复杂性、统一管道并大规模交付AI就绪的数据。

Q2:PowerScale相比竞争对手有什么优势?

A:与VAST Data和Pure Storage相比,PowerScale所需的网络交换机数量减少多达8倍,用电量减少多达72%,机架空间需求减少多达80%。特别是PowerScale F710已获得Nvidia云合作伙伴认证,可提供16k+GPU级扩展,机架空间减少5倍,网络交换机减少88%,功耗降低多达72%。

Q3:戴尔数据搜索引擎什么时候可以使用?

A:戴尔数据搜索引擎和cuVS集成将于2026年上半年推出。该引擎与Elastic合作开发,专为检索增强生成等工作负载设计,能够使用精细元数据搜索PowerScale和ObjectScale上的数十亿文件,让客户能够像提问一样自然地与数据交互。

来源:BLOCKS & FILES

0赞

好文章,需要你的鼓励

2025

10/23

07:53

分享

点赞

邮件订阅