NVIDIA Metropolis為Jetson提供微服務
NVDIA宣布為Jetson提供NVIDIA Metropolis微服務，用於快速邊緣AI開發
為邊緣構建視覺人工智能應用程序通常伴隨著眾所周知的漫長和昂貴的開發周期。與此同時，快速開發雲原生、靈活和安全的邊緣人工智能應用程序從未像現在這樣重要。現在，壹個強大而簡單的api驅動的邊緣AI開發工作流程可以使用新的NVIDIA Metropolis微服務。
NVIDIA Metropolis微服務是壹套可定制的雲原生構建模塊，用於開發視覺AI應用程序和解決方案。此版本在NVIDIA Jetson平臺上引入了壹組擴展的api和微服務，以進壹步加速邊緣視覺AI應用程序的開發和部署。
這些新的Jetson微服務使開發人員能夠使他們的AI應用程序堆棧現代化，簡化流程，並為未來保護應用程序。您可以通過api和微服務(如視頻存儲和管理、預構建的AI感知管道、跟蹤算法、系統監控、用於安全邊緣到雲連接的物聯網服務等)輕松整合最新的生成式AI進展。
這張圖表對比了使用自己動手的方法(開發者必須從頭開始創建所有部件)和使用預構建的NVIDIA Metropolis微服務(將開發時間從幾年減少到幾個月)的情況。
圖1所示。使用NVIDIA Metropolis微服務更快地開發邊緣AI應用程序
發布的重點內容：
l生產就緒的邊緣人工智能應用需要許多組件，包括人工智能模型、優化的處理和推理管道、粘合邏輯、安全措施、雲連接等等。NVIDIA Metropolis微服務通過使用雲原生、模塊化和可擴展架構為最普遍的組件提供預構建的微服務，簡化了應用程序開發過程。
l平臺的靈活性提高了開發效率，標準api與其他應用程序和服務無縫集成。該平臺還提供物聯網、安全和監控等基本服務，為生產應用程序提供即用型核心組件。
l通過訪問超過15個跨應用程序、平臺服務和雲服務的微服務，開發人員可以自由地專註於構建知識產權並在市場中實現差異化。
NVIDIA的合作夥伴正在將NVIDIA Metropolis微服務整合到他們的產品中，包括AAEON、Aetina、Advantech、Allxon、CRG、CVEDIA、Namla、Rebotnix、RidgeRun、Seeed Studio和Silicon Highway。每天都有更多的人加入。
參考工作流程和應用程序
包含兩個參考應用程序，以幫助您開始使用NVIDIA Metropolis微服務:支持AI的網絡視頻錄像機(AI- nvr)和具有零拍攝檢測的生成AI應用程序。這些工作流程展示了微服務和api如何結合在壹起構建完整的應用程序，從視頻攝取、人工智能推斷、分析和監控到安全連接到雲。
支持ai的網絡視頻錄像機
AI-NVR參考工作流將幾乎所有的微服務整合到壹個全面的應用中。它包括:
- 視頻攝取和存儲使用視頻存儲工具包(VST)微服務
- 使用NVIDIA DeepStream的人工智能感知服務進行人員檢測和跟蹤
- 使用Analytics服務的線交叉和感興趣區域(ROI)洞察和警報
l提供了壹個Android參考移動應用程序來演示如何使用api構建客戶機應用程序。要了解更多信息，請查看NVIDIA點播播放列表，為Jetson設計的AI-NVR使用Metropolis微服務
圖形顯示AI- nvr應用的完整雲原生架構，包括VST、AI感知服務、分析服務以及所有其他平臺服務。
圖2。AI-NVR (network video recorder)應用架構
使用生成式AI的零樣本檢測
Jetson的Metropolis微服務使開發人員能夠為邊緣構建原型並將生成式AI應用程序產品化。生成式AI參考應用程序可以對直播流數據進行零樣本檢測。模型可以檢測用提示符指定的任何對象。
提示可以通過REST api遠程發送給AI感知服務，以動態更改要檢測的類。生成式AI為邊緣提供了新型AI驅動的應用程序。要了解有關Metropolis微服務的生成AI的更多信息，請參閱使用NVIDIA Metropolis微服務將生成AI帶到邊緣。
圖形顯示了使用視覺提示代理進行零樣本檢測的生成AI參考應用程序的雲原生架構。
圖3。零樣本檢測生成AI參考應用
強大的微服務和api
Jetson的Metropolis微服務是壹個功能豐富的微服務和api的集合，包括應用服務、平臺和主板支持包(BSP)服務以及雲服務。模塊化和可擴展的微服務使得為邊緣構建現代雲原生應用程序變得容易。
作為開發人員，您可以根據產品的成熟度靈活地選擇壹種、幾種或所有服務。
從參考AI工作流、應用微服務、平臺和BSP服務到雲服務的完整軟件堆棧圖。
圖4。Jetson軟件棧的Metropolis微服務
應用程序服務
lVideo Storage Toolkit:用於視頻攝取和存儲的服務
l使用NVIDIA DeepStream的AI感知服務:用於AI推理、對象跟蹤和元數據創建
l·用於零射擊檢測的AI感知服務:使用NanoOWL模型和視覺提示進行生成式AI推理
l分析服務:對象計數分析，如線交叉，興趣區域和視野
平臺服務
lRedis:用於進程間通信的全局消息總線
lAPI網關:將傳入的API請求映射到後續服務
l監控:監控和可視化邊緣設備狀態，如利用率和應用程序kpi
l物聯網網關:安全的邊緣和雲之間的雙向通信
雲服務
物聯網雲:創建從雲到邊緣的安全連接，包括身份驗證和授權
