NVIDIA宣布Hopper架構，下一代加速計算
作為全球人工智能基礎設施的新引擎，NVIDIA H100 GPU實現了數量級的性能飛躍
gtc -為了推動下一波人工智能數據中心的發展，英偉達近日宣布了其采用NVIDIA Hopper™架構的下一代加速計算平臺，該平臺的性能比其前身有了一個量級的飛躍。
以美國計算機科學家先驅格雷斯•霍珀(Grace Hopper)的名字命名的新架構接替了兩年前推出的英偉達(NVIDIA)安培架構。
該公司還發布了首款基於hopper的GPU NVIDIA H100，配備了800億個晶體管。H100是世界上最大、最強大的加速器，具有突破性的功能，如革命性的Transformer引擎和高度可擴展的NVIDIA NVLink®互連，用於推進巨大的人工智能語言模型、深度推薦系統、基因組學和復雜的數字雙胞胎。
英偉達創始人兼首席執行官黃延森表示:「數據中心正在成為人工智能工廠——處理和提煉堆積如山的數據以產生智能。」「NVIDIA H100是全球AI基礎設施的引擎，企業利用它來加速AI驅動的業務。」
H100技術突破
NVIDIA H100 GPU在加速大規模人工智能和高性能計算方面樹立了新標準，提供了6項突破性創新:
世界上最先進的芯片——由800億個晶體管組成，采用先進的臺積電4N處理器，用於NVIDIA的加速計算需求。H100在加速人工智能、高性能計算、內存帶寬、互連和通信方面具有重大進展，包括近5tb / s的外部連接。H100是第一個支持PCIe Gen5的GPU，也是第一個使用HBM3的GPU，內存帶寬可達3TB/s。20個H100 gpu可以支持相當於整個世界的互聯網流量，使客戶能夠交付先進的推薦系統和大型語言模型，對數據進行實時推理。
新的Transformer引擎——現在是自然語言處理的標準模型，Transformer是迄今為止發明的最重要的深度學習模型之一。與上一代相比，H100加速器的Transformer引擎可將這些網絡的速度提高6倍，同時不降低精度。
第二代安全多實例GPU——MIG技術允許單個GPU被劃分為七個更小的、完全隔離的實例，以處理不同類型的任務。Hopper架構通過在雲環境中跨每個GPU實例提供安全的多租戶配置，將MIG的能力比上一代擴展了7倍。
機密計算——H100是世界上第一個具有機密計算能力的加速器，可以在處理人工智能模型和客戶數據時保護它們。客戶還可以將機密計算應用於對隱私敏感的行業(如醫療保健和金融服務)的聯合學習，以及共享雲基礎設施。
第四代NVIDIA NVLink——為了加速最大的AI模型，NVLink結合了一個新的外部NVLink Switch，將NVLink擴展為服務器以外的擴展網絡，與上一代使用NVIDIA HDR Quantum InfiniBand相比，以更高的9倍帶寬連接最多256 H100 gpu。
DPX指令——新的DPX指令可加速動態編程——可用於多種算法，包括路由優化和基因組學——與cpu相比可提高40倍，與上一代gpu相比可提高7倍。這包括在動態倉庫環境中為自主機器人艦隊尋找最佳路線的Floyd-Warshall算法，以及用於DNA和蛋白質分類和折疊的序列比對的Smith-Waterman算法。
H100結合的技術創新擴展了英偉達的人工智能推理和培訓領導能力，以實現使用大規模人工智能模型的實時和沈浸式應用。H100將使聊天機器人使用世界上最強大的單片變壓器語言模型，威震天530B，具有比上一代高30倍的吞吐量，同時滿足實時對話AI所需的亞秒延遲。H100還允許研究人員和開發人員訓練大型模型，如具有3950億個參數的Mixture of Experts，速度快9倍，將訓練時間從幾周縮短到幾天。
廣泛采用NVIDIA H100
NVIDIA H100可以部署在任何類型的數據中心，包括內置、雲、混合雲和邊緣。預計今年晚些時候，全球領先的雲服務提供商和電腦製造商以及英偉達(NVIDIA)將直接提供這一服務。
NVIDIA的第四代DGX™系統DGX H100，擁有8個H100 gpu，以新的FP8精度提供32千萬億次的AI性能，提供的規模，以滿足大型語言模型、推薦系統、醫療保健研究和氣候科學的大規模計算需求。
DGX H100系統的每個GPU都通過第四代NVLink連接，提供900GB/s的連通性，比上一代多1.5倍。NVSwitch™使所有8個H100 gpu通過NVLink連接。在下一代NVIDIA DGX SuperPOD™超級計算機中，一個外部NVLink Switch可以連接多達32個DGX H100節點。
Hopper獲得了業界領先的雲服務提供商阿裏巴巴雲、亞馬遜網絡服務、百度AI雲、谷歌雲、微軟Azure、甲骨文雲、騰訊雲等計劃提供基於h100的實例的廣泛支持。
全球領先的系統製造商，包括源訊、BOXX科技、思科、戴爾科技、富士通、GIGABYTE、H3C、惠普企業、浪潮、聯想、Nettrix和Supermicro等，預計將推出一系列配備H100加速器的服務器。
NVIDIA H100的每個級別
H100將以SXM和PCIe形式出現，以支持廣泛的服務器設計需求。還將提供融合加速器，將H100 GPU與NVIDIA ConnectX®-7 400Gb/s InfiniBand和以太網SmartNIC配對。
NVIDIA的H100 SXM將在HGX™H100服務器板上提供4路和8路配置，適用於應用程序可擴展到一個服務器中的多個gpu或跨多個服務器的企業。基於HGX h100的服務器為AI訓練和推理以及數據分析和HPC應用提供最高的應用性能。
H100 PCIe支持2個gpu NVLink連接，帶寬達到PCIe 5.0的7倍以上，在主流企業服務器上的應用中具有卓越的性能。它的形狀因素使得它很容易集成到現有的數據中心基礎設施中。
H100 CNX是一款新型融合加速器，將H100與ConnectX-7 SmartNIC結合在一起，為企業數據中心的多節點人工智能培訓和5G信號處理等I/ o密集型應用提供突破性的性能。
基於NVIDIA Hopper架構的GPU也可以與NVIDIA Grace™CPU配對，具有超快的NVLink-C2C互連，CPU和GPU之間的通信速度比PCIe 5.0快7倍以上。這一組合——Grace Hopper超級芯片——是一個集成模塊，旨在服務於大規模的高性能計算和人工智能應用。
英偉達軟件支持
NVIDIA H100 GPU由強大的軟件工具支持，使開發者和企業能夠構建和加速從人工智能到高性能計算的應用程序。這包括對NVIDIA用於語音、推薦系統和超尺度推理等工作負載的AI軟件套件的重大更新。
NVIDIA還發布了超過60項CUDA-X™庫、工具和技術的更新，以加速量子計算和6G研究、網絡安全、基因組學和藥物發現方面的工作。
可用性
NVIDIA H100將從第三季度開始上市。
欲了解更多關於NVIDIA Hopper和H100的信息，請觀看黃仁勛的GTC 2022主題演講，並免費註冊GTC 2022，參加與NVIDIA和行業領袖的會議。
