VMware和英伟达为企业解锁生成式AI

与英伟达合作成立的VMware私有AI基金会帮助企业为生成式AI做好准备;进一步支持数据隐私、安全和控制的平台

VMware公司(纽约证券交易所代码:VMW)和英伟达(纳斯达克代码:NVDA)宣布扩大双方的战略合作伙伴关系，为数十万在VMware云基础设施上运行的企业做好准备，迎接生成式人工智能时代。

与英伟达合作的VMware私有AI基金会将使企业能够定制模型并运行生成式AI应用程序，包括智能聊天机器人、助手、搜索和摘要。该平台将是一个完全集成的解决方案，具有英伟达的生成式人工智能软件和加速计算，基于VMware Cloud Foundation并针对人工智能进行了优化。

VMware首席执行官Raghu Raghuram表示:“生成式人工智能和多云是完美的结合。客户数据无处不在——在他们的数据中心，在边缘，在他们的云中。与英伟达一起，我们将使企业能够自信地在其数据附近运行生成式人工智能工作负载，同时解决其企业数据隐私、安全和控制问题。”

英伟达创始人兼首席执行官黄仁勋表示:“各地的企业都在竞相将生成式人工智能整合到自己的业务中。我们与VMware的扩大合作将为数十万客户提供金融服务、医疗保健、制造业等领域的全栈软件和计算，他们需要使用基于自己数据构建的定制应用程序来释放生成式人工智能的潜力。”

全栈计算增压生成AI

为了更快地实现商业效益，企业正在寻求简化生成式人工智能应用程序的开发、测试和部署。麦肯锡估计，生成式人工智能每年可为全球经济带来高达4.4万亿美元的收入。

与英伟达合作的VMware私有AI基金会将使企业能够利用这一功能，定制大型语言模型;为内部使用提供更安全、更私密的模型;为用户提供生成式人工智能服务;并且，更安全地大规模运行推理工作负载。

该平台预计将包括集成的人工智能工具，使企业能够以经济高效的方式运行基于其私人数据训练的经过验证的模型。该平台将基于VMware Cloud Foundation和英伟达 AI Enterprise软件构建，预计将带来以下好处:

• 隐私——将使客户能够轻松地在他们拥有数据的任何地方运行人工智能服务，其架构可以保护数据隐私并实现安全访问。
• 选择-企业在构建和运行模型方面将有广泛的选择——从英伟达NeMo™到Llama 2及更高版本——包括领先的OEM硬件配置，以及未来的公共云和服务提供商产品。
• 性能-在英伟达加速基础架构上运行将提供等同于甚至超过裸机的性能，在某些用例中，最近的行业基准测试证明了这一点。
• —虚拟化环境中的GPU扩展优化将使AI工作负载能够在单个虚拟机中扩展多达16个vgpu /GPU，并跨多个节点扩展，以加速生成AI模型的微调和部署。
• 更低成本-将最大限度地利用gpu、DPUs和cpu之间的所有计算资源，以降低总体成本，并创建一个可以在团队之间有效共享的池化资源环境。
• 加速存储- VMware vSAN Express存储架构将提供性能优化的NVMe存储，并通过RDMA支持GPUDirect®存储，允许从存储到gpu的直接I/O传输，而无需CPU参与。
• 加速网络- vSphere和英伟达NVSwitch™技术之间的深度集成将进一步使多gpu模型能够在没有gpu间瓶颈的情况下执行。
• 快速部署和时间价值- vSphere深度学习虚拟机映像和映像存储库将通过提供稳定的交钥匙解决方案映像(包括预安装的框架和性能优化库)来实现快速原型功能。

该平台将采用英伟达 NeMo，这是一个包含在英伟达 AI Enterprise (英伟达 AI平台的操作系统)中的端到端云原生框架，允许企业在几乎任何地方构建、定制和部署生成式AI模型。NeMo结合了定制框架、护栏工具包、数据管理工具和预训练模型，为企业提供了一种简单、经济、快速的方式来采用生成式人工智能。

为了在生产中部署生成式人工智能，NeMo使用TensorRT For Large Language Models (TRT-LLM)，它可以在英伟达 gpu上最新的llm上加速和优化推理性能。通过NeMo, VMware私有AI基金会和英伟达将使企业能够利用自己的数据在VMware的混合云基础设施上构建和运行自定义生成AI模型。

在VMware Explore 2023大会上，英伟达和VMware将重点介绍企业内的开发人员如何使用新的英伟达 AI Workbench来提取社区模型，如在hug Face上提供的Llama 2，远程定制它们，并在VMware环境中部署生产级生成AI。

广泛的生态系统支持VMware私有AI基金会与英伟达

与英伟达合作的VMware私有人工智能基金会将得到戴尔科技、惠普企业和联想的支持，这将是首批提供系统的公司之一，该系统采用英伟达 L40S gpu、英伟达 BlueField®-3 dpu和英伟达 ConnectX®-7 smartnic，可增强企业LLM定制和推理工作负载。

与英伟达 A100 Tensor Core GPU相比，英伟达 L40S GPU可实现高达1.2倍的生成式AI推理性能和高达1.7倍的训练性能。

英伟达 BlueField-3 dpu可以加速、卸载和隔离来自GPU或CPU的虚拟化、网络、存储、安全和其他云原生AI服务的巨大计算负载。

英伟达 ConnectX-7 smartnic为数据中心基础设施提供智能、加速的网络，以提升世界上一些最苛刻的人工智能工作负载。

VMware私有AI基金会与英伟达建立了长达十年的合作伙伴关系。他们的协同工程工作优化了VMware的云基础设施，以运行英伟达 AI Enterprise，其性能可与裸机媲美。共同客户进一步受益于VMware Cloud Foundation提供的资源和基础设施管理以及灵活性。

可用性

VMware计划在2024年初与英伟达一起发布VMware私有AI基金会。

英伟达

自1993年成立以来，英伟达(NASDAQ: NVDA)一直是加速计算领域的先驱。该公司在1999年发明的GPU引发了PC游戏市场的增长，重新定义了计算机图形，点燃了现代人工智能时代，并推动了整个市场的工业数字化。英伟达现在是一家全栈计算公司，其数据中心规模的产品正在重塑行业。更多信息请访问https://英伟达news.英伟达.com/。

VMware

VMware是为所有应用程序提供多云服务的领先提供商，通过企业控制实现数字创新。作为加速创新的可靠基础，VMware软件为企业提供了构建未来所需的灵活性和选择。VMware总部位于加利福尼亚州帕洛阿尔托，致力于通过公司的2030议程建设更美好的未来。欲了解更多信息，请访问www.vmware.com/company。