NVIDIA 打造即时对话式 AI 在语言理解领域获得众多突破

破纪录在 53 分钟内完成 BERT 模型训练并大幅缩短推论时间至 2 毫秒，协助 Microsoft 等客户将顶尖语言理解技术导入超大规模应用

NVIDIA (辉达) 今日宣布在语言理解领域获得多项突破，让企业透过即时对话式 AI 能更自然地与顾客互动。

NVIDIA 的 AI 平台率先训练当今最先进的 AI 语言模型之一 BERT (Bidirectional Encoder Representations from Transformers)，用不到一小时就完成训练，并在 2 毫秒内完成 AI 推论。突破性的效能协助开发者将顶尖语言理解技术导入在各种提供给全球数百万消费者的超大规模应用。

率先採纳 NVIDIA 先进效能成果的业者包括 Microsoft 与许多全球最具创新力的新创公司，透过 NVIDIA 平台著手为其客户开发能即时反应的高度直觉化语言服务。

虽然有限度的对话式 AI 服务已存在多年，然而发展至今，包括聊天机器人、智慧个人助理与搜寻引擎等服务想要以人类理解力的水准运作仍极为困难，主要原因是无法即时部署超大规模的 AI 模型。NVIDIA 透过在其 AI 平台导入多项关键的优化技术藉以解决这项问题，不仅在 AI 训练与推论方面刷新速度纪录，同时也建构出至今最大的语言模型。

NVIDIA 深度学习应用研究部门副总裁 Bryan Catanzaro 表示：「超大语言模型彻底颠覆自然语言 AI。因为它解决许多极为困难的语意问题，往真正的对话式 AI 迈进一步。NVIDIA 的突破性成果除了加快这些模型，还让组织建构新型顶尖服务，以未曾想像的方式协助与满足客户。」

最快训练、最快推论与最大模型
以自然语言理解技术运行的AI服务预计在未来几年呈现指数成长。根据 Juniper Research 的报告，光是数位语音助理市场规模预计在未来 5 年内将从 25 亿美元成长到 80 亿美元。此外， Gartner 也预测 2021 年，15% 的客服互动将完全由 AI 执行，与 2017年相比增加400%。1

NVIDIA 力助迈入新时代，藉由多项关键优化微调其 AI 平台，创下三项新的自然语言理解效能纪录：

• 最快训练：採用内建由 1,472 个 NVIDIA V100 GPU 组成 92 个 NVIDIA DGX-2HTM系统的 NVIDIA DGX SuperPODTM，执行全球最先进的 AI 语言模型之一 BERT 的大型版本，成功把 BERT-Large 的训练时间从先前的数日大幅缩短至仅 53 分钟。此外，NVIDIA 也能透过仅一台 NVIDIA DGX-2 系统在 2.8 天内就完成 BERT-Large 的训练，展现 NVIDIA GPU 在对话式 AI 领域的扩充性。
• 最快推论：NVIDIA 以 NVIDIA T4 GPU 运行 NVIDIA TensorRT™，在 BERT-Base SQuAD 资料集上仅用 2.2 毫秒就完成推论，不仅远低于许多即时应用要求的　10 毫秒的处理门槛，也大幅领先以高度优化 CPU 程式码执行的 40 毫秒。
• 最大模型：针对开发者对于更大模型永无止境的需求，NVIDIA Research 在 Transformers 的基础上著手建构与训练全球最大的语言模型，并导入 BERT 採用的技术元件，以及许多其他自然语言的 AI 模型。NVIDIA的客製化模型拥有 83 亿个参数，数量足足比 BERT-Large 多出 24 倍。

产业生态系的广泛支持
全球数百名开发者正运用 NVIDIA AI 平台推动语言理解的研究并开发新服务。

Microsoft Bing 正运用其 Azure AI 平台与 NVIDIA 技术执行 BERT，藉以获得更精准的研究成果。

Microsoft Bing 小组计画经理 Rangan Majumder 表示：「Microsoft Bing 仰赖最先进的 AI 模型与运算平台，为顾客提供最好的全球搜寻体验。我们与 NVIDIA 紧密合作，透过 Azure AI 内建的 NVIDIA GPU，针对热门的自然语言模型 BERT 进一步优化推论作业，在排名搜寻品质方面，获得从去年部署以来最大幅度的改善。在 Azure 环境中执行推论，NVIDIA GPU 相比 CPU平台在延迟缩短幅度超过 2 倍，吞吐量更提高 5 倍，让 Bing 为全球顾客提供更具相关性、低成本与即时的搜寻体验。」

多家参与 NVIDIA Inception 计画的新创公司包括 Clinc、Passage AI 与 Recordsure，也正运用 NVIDIA AI 平台为包括银行、汽车製造商、零售商、医疗机构、旅游住宿等业者提供顶尖对话式 AI 服务。

Clinc 透过 NVIDIA GPU 建构多款对话式 AI 解决方案，提供给全球超过 3,000 万名客户，其中包括顶尖车厂、医疗机构与全球领导金融机构包括 Barclays、USAA、以及土耳其最大银行 Isbank。

Clinc 执行长 Jason Mars 表示：「Clinc 顶尖 AI 平台能瞭解複杂的问题并将其转化为有利的情资，提供给全球顶尖品牌进行行销。NVIDIA AI 平台的突破性效能让我们突破对话式 AI 的疆界，提供各种革命性服务，协助顾客运用科技，以更有意义的有效方式和顾客进行互动。」

优化方案即日释出
NVIDIA即日起将用来达成对话式 AI 突破成就的软体优化方案全面释出给开发者：

NVIDIA GitHub BERT 模型的训练程式码与 PyTorch 学习框架*
 NGC 模型 Scripts与 TensorFlow 的 check-points
 GitHub 上针对 TensorRT 优化的BERT 范例
 Faster Transformer： C++ 语言 API、TensorRT 外挂与 TensorFlow OP
 MXNet Gluon-NLP 包含 AMP 对 BERT 的支援方案(训练与推论)
 AI Hub 上针对 TensorRT 优化的BERT Jupyter 软体说明注记
 Megatron-LM：用来训练超大型 Transformer 模型的 PyTorch 程式码。

*NVIDIA BERT建置方案是热门 Hugging Face repo程式库的优化版本

更多资讯
 NVIDIA 影片: 对话式 AI 的下一步
 NVIDIA 开发者部落格：NVIDIA 达成全球史上最快 BERT 训练时间与最大 Transformer 模型，为先进对话式 AI 铺路
 NVIDIA 开发者部落格：运用 TensorRT 训练 BERT 模型发展即时自然语言理解系统
 NVIDIA 深度学习应用部落格：MegatronLM: 运用 GPU 模型平行处理技术训练数十亿参数语言模型

掌握NVIDIA最新动态
请订阅NVIDIA官方部落格或追踪Facebook、Twitter、LinkedIn与Instagram。浏览 NVIDIA 相关影片及图片，请至YouTube或Flickr。

关于NVIDIA (辉达)
NVIDIA (辉达)自1999年发明GPU起，成功促进PC电竞市场的成长并重新定义现代电脑显示卡产品，掀起电脑平行运算革命。近年来GPU深度学习也促发被视为下一个运算时代的人工智慧，透过GPU以类人脑方式运作于电脑、机器人与自驾车等，来感知并解读真实世界。欲瞭解更多资讯，请浏览http://nvidianews.nvidia.com/。

来源：NVIDIA