NVIDIA Metropolis为Jetson提供微服务
NVDIA 宣布为Jetson提供NVIDIA Metropolis微服务，用于快速边缘AI开发
为边缘构建视觉人工智能应用程序通常伴随着众所周知的漫长和昂贵的开发周期。与此同时，快速开发云原生、灵活和安全的边缘人工智能应用程序从未像现在这样重要。现在，一个强大而简单的api驱动的边缘AI开发工作流程可以使用新的NVIDIA Metropolis微服务。
NVIDIA Metropolis微服务是一套可定制的云原生构建模块，用于开发视觉AI应用程序和解决方案。此版本在NVIDIA Jetson平台上引入了一组扩展的api和微服务，以进一步加速边缘视觉AI应用程序的开发和部署。
这些新的Jetson微服务使开发人员能够使他们的AI应用程序堆栈现代化，简化流程，并为未来保护应用程序。您可以通过api和微服务(如视频存储和管理、预构建的AI感知管道、跟踪算法、系统监控、用于安全边缘到云连接的物联网服务等)轻松整合最新的生成式AI进展。
这张图表对比了使用自己动手的方法(开发者必须从头开始创建所有部件)和使用预构建的NVIDIA Metropolis微服务(将开发时间从几年减少到几个月)的情况。
图1所示。使用NVIDIA Metropolis微服务更快地开发边缘AI应用程序
发布的重点内容：
- 生产就绪的边缘人工智能应用需要许多组件，包括人工智能模型、优化的处理和推理管道、粘合逻辑、安全措施、云连接等等。NVIDIA Metropolis微服务通过使用云原生、模块化和可扩展架构为最普遍的组件提供预构建的微服务，简化了应用程序开发过程。
- 平台的灵活性提高了开发效率，标准api与其他应用程序和服务无缝集成。该平台还提供物联网、安全和监控等基本服务，为生产应用程序提供即用型核心组件。
- 通过访问超过15个跨应用程序、平台服务和云服务的微服务，开发人员可以自由地专注于构建知识产权并在市场中实现差异化。
NVIDIA的合作伙伴正在将NVIDIA Metropolis微服务整合到他们的产品中，包括AAEON、Aetina、Advantech、Allxon、CRG、CVEDIA、Namla、Rebotnix、RidgeRun、Seeed Studio和Silicon Highway。每天都有更多的人加入。
参考工作流程和应用程序
包含两个参考应用程序，以帮助您开始使用NVIDIA Metropolis微服务:支持AI的网络视频录像机(AI- nvr)和具有零拍摄检测的生成AI应用程序。这些工作流程展示了微服务和api如何结合在一起构建完整的应用程序，从视频摄取、人工智能推断、分析和监控到安全连接到云。
支持ai的网络视频录像机
AI-NVR参考工作流将几乎所有的微服务整合到一个全面的应用中。它包括:
- 视频摄取和存储使用视频存储工具包(VST)微服务
- 使用NVIDIA DeepStream的人工智能感知服务进行人员检测和跟踪
- 使用Analytics服务的线交叉和感兴趣区域(ROI)洞察和警报
- 提供了一个Android参考移动应用程序来演示如何使用api构建客户机应用程序。要了解更多信息，请查看NVIDIA点播播放列表，为Jetson设计的AI-NVR使用Metropolis微服务
图形显示AI- nvr应用的完整云原生架构，包括VST、AI感知服务、分析服务以及所有其他平台服务。
图2。AI-NVR (network video recorder)应用架构
使用生成式AI的零样本检测
Jetson的Metropolis微服务使开发人员能够为边缘构建原型并将生成式AI应用程序产品化。生成式AI参考应用程序可以对直播流数据进行零样本检测。模型可以检测用提示符指定的任何对象。
提示可以通过REST api远程发送给AI感知服务，以动态更改要检测的类。生成式AI为边缘提供了新型AI驱动的应用程序。要了解有关Metropolis微服务的生成AI的更多信息，请参阅使用NVIDIA Metropolis微服务将生成AI带到边缘。
图形显示了使用视觉提示代理进行零样本检测的生成AI参考应用程序的云原生架构。
图3。零样本检测生成AI参考应用
强大的微服务和api
Jetson的Metropolis微服务是一个功能丰富的微服务和api的集合，包括应用服务、平台和主板支持包(BSP)服务以及云服务。模块化和可扩展的微服务使得为边缘构建现代云原生应用程序变得容易。
作为开发人员，您可以根据产品的成熟度灵活地选择一种、几种或所有服务。
从参考AI工作流、应用微服务、平台和BSP服务到云服务的完整软件堆栈图。
图4。Jetson软件栈的Metropolis微服务
应用程序服务
- Video Storage Toolkit:用于视频摄取和存储的服务
- 使用NVIDIA DeepStream的AI感知服务:用于AI推理、对象跟踪和元数据创建
- 用于零射击检测的AI感知服务:使用NanoOWL模型和视觉提示进行生成式AI推理
- 分析服务:对象计数分析，如线交叉，兴趣区域和视野
平台服务
- Redis:用于进程间通信的全局消息总线
- API网关:将传入的API请求映射到后续服务
- 监控:监控和可视化边缘设备状态，如利用率和应用程序kpi
- 物联网网关:安全的边缘和云之间的双向通信
云服务
物联网云:创建从云到边缘的安全连接，包括身份验证和授权
