新的人工智能研究預示着自主機器人手術

外科醫生在常規手術中經常使用並手動操作的機器人現在可以像人類一樣自主地完成關鍵的手術任務。

約翰霍普金斯大學和斯坦福大學的研究人員透露，他們已經將視覺語言模型（VLM）與廣泛使用的達芬奇機器人手術繫統集成在一起，VLM是通過數小時的手術視頻訓練出來的。

一旦與VLM連接，達芬奇的小抓手，或“手”，可以自主執行三個關鍵的手術任務：小心地抬起身體組織，使用手術針，縫合傷口。

傳統的機器人訓練方法需要對機器人運動的每個組成部分進行詳細的編程，而改進後的達芬奇機器人隻使用模仿學習來完成零射擊手術任務。僅依靠其視覺語言模型，機器人模仿手術視頻中的醫生所做的事情。

研究結果讓我們得以一窺未來完全由自主機器人進行的手術可能是什麼樣子。

“這些機器人現在可以自主執行這些非常複雜的任務，這太神奇了，”約翰霍普金斯大學的博士後研究員吉雄“佈萊恩”金（Ji Woong“Brian”Kim）説。“對機器人進行編碼，這樣它們就可以從模仿學習中進行操作，這是機器人技術的一個重大轉變，我認爲，這是自主手術機器人的未來所在。”

爲了訓練他們的模型，研究人員使用了NVIDIA GeForce RTX 4090 gpu、PyTorch和NVIDIA CUDA-X人工智能庫。

研究人員於11月在慕尼黑舉行的機器人學習會議上公佈了他們的研究結果。爲了進行他們的研究，機器人專家使用了達芬奇機器人手術繫統，該繫統可以配備多達四個機械臂，並被全球外科醫生用於各種腹腔鏡手術。

爲了訓練他們的VLM， Kim和他的同事們將微型攝像機連接到約翰霍普金斯大學擁有並藉給研究人員進行實驗的三個達芬奇機器人的手臂上。

金和他的同事們使用醫生通常用來練習手術技術的小矽墊，像外科醫生在腹腔鏡手術中做的那樣操縱機器人。

金錄製了大約20個小時的視頻，視頻中他操縱達芬奇的夾持器（合在一起大約有一美分硬幣那麼大）執行三個程序：取出人體組織的複製品，操縱手術針，用手術線打結。

他還記錄了與手動操作夾持器相關的運動學數據。運動學數據包括金在每次手術中操作機器人時使用的角度和壓力的精確信息。

在用手術視頻和運動學數據訓練他們的VLM之後，研究人員將他們的模型與達芬奇機器人連接起來，並指示機器人執行三個手術任務。

研究人員在機器人從未接觸過的雞肉和豬肉上進行了實驗，這些肉模仿了人類組織的外觀和感覺。

令他們高興的是，它在零射擊環境中幾乎完美地完成了手術過程。

據Kim説，其中一個驚喜是機器人如何自主解決意想不到的挑戰。

有一次，機械手不小心掉了一根手術針頭，儘管從未受過明確的訓練，但它還是撿起了針頭，繼續執行手術任務。

Kim説：“我們從來沒有在豬或雞的組織上訓練過這個模型，也沒有訓練它撿起掉在地上的針。”“我們很高興它能在培訓分髮之外的全新環境中工作，並能自主運行。”

Kim已經在撰冩一篇新論文，概述了最近在動物屍體上部署機器人的實驗結果。他還在開髮額外的訓練數據，可用於擴展達芬奇機器人的能力。

來源:NVDIA