VMware和英偉達為企業解鎖生成式AI
與英偉達合作成立的VMware私有AI基金會幫助企業為生成式AI做好準備;進壹步支持數據隱私、安全和控制的平臺
VMware公司(紐約證券交易所代碼:VMW)和英偉達(納斯達克代碼:NVDA)宣布擴大雙方的戰略合作夥伴關系，為數十萬在VMware雲基礎設施上運行的企業做好準備，迎接生成式人工智能時代。
與英偉達合作的VMware私有AI基金會將使企業能夠定制模型並運行生成式AI應用程序，包括智能聊天機器人、助手、搜索和摘要。該平臺將是壹個完全集成的解決方案，具有英偉達的生成式人工智能軟件和加速計算，基於VMware Cloud Foundation並針對人工智能進行了優化。
VMware首席執行官Raghu Raghuram表示:“生成式人工智能和多雲是完美的結合。客戶數據無處不在——在他們的數據中心，在邊緣，在他們的雲中。與英偉達壹起，我們將使企業能夠自信地在其數據附近運行生成式人工智能工作負載，同時解決其企業數據隱私、安全和控制問題。”
英偉達創始人兼首席執行官黃仁勛表示:“各地的企業都在競相將生成式人工智能整合到自己的業務中。我們與VMware的擴大合作將為數十萬客戶提供金融服務、醫療保健、制造業等領域的全棧軟件和計算，他們需要使用基於自己數據構建的定制應用程序來釋放生成式人工智能的潛力。”
全棧計算增壓生成AI
為了更快地實現商業效益，企業正在尋求簡化生成式人工智能應用程序的開發、測試和部署。麥肯錫估計，生成式人工智能每年可為全球經濟帶來高達4.4萬億美元的收入。
與英偉達合作的VMware私有AI基金會將使企業能夠利用這壹功能，定制大型語言模型;為內部使用提供更安全、更私密的模型;為用戶提供生成式人工智能服務;並且，更安全地大規模運行推理工作負載。
該平臺預計將包括集成的人工智能工具，使企業能夠以經濟高效的方式運行基於其私人數據訓練的經過驗證的模型。該平臺將基於VMware Cloud Foundation和英偉達 AI Enterprise軟件構建，預計將帶來以下好處:
- 隱私——將使客戶能夠輕松地在他們擁有數據的任何地方運行人工智能服務，其架構可以保護數據隱私並實現安全訪問。
- 選擇-企業在構建和運行模型方面將有廣泛的選擇——從英偉達 NeMo™到Llama 2及更高版本——包括領先的OEM硬件配置，以及未來的公共雲和服務提供商產品。
- 性能-在英偉達加速基礎架構上運行將提供等同於甚至超過裸機的性能，在某些用例中，最近的行業基準測試證明了這壹點。
- —虛擬化環境中的GPU擴展優化將使AI工作負載能夠在單個虛擬機中擴展多達16個vgpu \GPU，並跨多個節點擴展，以加速生成AI模型的微調和部署。
- 更低成本-將最大限度地利用gpu、DPUs和cpu之間的所有計算資源，以降低總體成本，並創建壹個可以在團隊之間有效共享的池化資源環境。
- 加速存儲- VMware vSAN Express存儲架構將提供性能優化的NVMe存儲，並通過RDMA支持GPUDirect®存儲，允許從存儲到gpu的直接I\O傳輸，而無需CPU參與。
- 加速網絡- vSphere和英偉達 NVSwitch™技術之間的深度集成將進壹步使多gpu模型能夠在沒有gpu間瓶頸的情況下執行。
- 快速部署和時間價值- vSphere深度學習虛擬機映像和映像存儲庫將通過提供穩定的交鑰匙解決方案映像(包括預安裝的框架和性能優化庫)來實現快速原型功能。
該平臺將采用英偉達 NeMo，這是壹個包含在英偉達 AI Enterprise (英偉達 AI平臺的操作系統)中的端到端雲原生框架，允許企業在幾乎任何地方構建、定制和部署生成式AI模型。NeMo結合了定制框架、護欄工具包、數據管理工具和預訓練模型，為企業提供了壹種簡單、經濟、快速的方式來采用生成式人工智能。
為了在生產中部署生成式人工智能，NeMo使用TensorRT For Large Language Models (TRT-LLM)，它可以在英偉達 gpu上最新的llm上加速和優化推理性能。通過NeMo, VMware私有AI基金會和英偉達將使企業能夠利用自己的數據在VMware的混合雲基礎設施上構建和運行自定義生成AI模型。
在VMware Explore 2023大會上，英偉達和VMware將重點介紹企業內的開發人員如何使用新的英偉達 AI Workbench來提取社區模型，如在hug Face上提供的Llama 2，遠程定制它們，並在VMware環境中部署生產級生成AI。
廣泛的生態系統支持VMware私有AI基金會與英偉達
與英偉達合作的VMware私有人工智能基金會將得到戴爾科技、惠普企業和聯想的支持，這將是首批提供系統的公司之壹，該系統采用英偉達 L40S gpu、英偉達 BlueField®-3 dpu和英偉達 ConnectX®-7 smartnic，可增強企業LLM定制和推理工作負載。
與英偉達 A100 Tensor Core GPU相比，英偉達 L40S GPU可實現高達1.2倍的生成式AI推理性能和高達1.7倍的訓練性能。
英偉達 BlueField-3 dpu可以加速、卸載和隔離來自GPU或CPU的虛擬化、網絡、存儲、安全和其他雲原生AI服務的巨大計算負載。
英偉達 ConnectX-7 smartnic為數據中心基礎設施提供智能、加速的網絡，以提升世界上壹些最苛刻的人工智能工作負載。
VMware私有AI基金會與英偉達建立了長達十年的合作夥伴關系。他們的協同工程工作優化了VMware的雲基礎設施，以運行英偉達 AI Enterprise，其性能可與裸機媲美。共同客戶進壹步受益於VMware Cloud Foundation提供的資源和基礎設施管理以及靈活性。
可用性
VMware計劃在2024年初與英偉達壹起發布VMware私有AI基金會。
英偉達
自1993年成立以來，英偉達(NASDAQ: NVDA)壹直是加速計算領域的先驅。該公司在1999年發明的GPU引發了PC遊戲市場的增長，重新定義了計算機圖形，點燃了現代人工智能時代，並推動了整個市場的工業數字化。英偉達現在是壹家全棧計算公司，其數據中心規模的產品正在重塑行業。更多信息請訪問https:\\英偉達news.英偉達.com\。
VMware
VMware是為所有應用程序提供多雲服務的領先提供商，通過企業控制實現數字創新。作為加速創新的可靠基礎，VMware軟件為企業提供了構建未來所需的靈活性和選擇。VMware總部位於加利福尼亞州帕洛阿爾托，致力於通過公司的2030議程建設更美好的未來。欲了解更多信息，請訪問www.vmware.com\company。
