新的人工智能研究预示着自主机器人手术

外科医生在常规手术中经常使用并手动操作的机器人现在可以像人类一样自主地完成关键的手术任务。

约翰霍普金斯大学和斯坦福大学的研究人员透露，他们已经将视觉语言模型（VLM）与广泛使用的达芬奇机器人手术系统集成在一起，VLM是通过数小时的手术视频训练出来的。

一旦与VLM连接，达芬奇的小抓手，或“手”，可以自主执行三个关键的手术任务：小心地抬起身体组织，使用手术针，缝合伤口。

传统的机器人训练方法需要对机器人运动的每个组成部分进行详细的编程，而改进后的达芬奇机器人只使用模仿学习来完成零射击手术任务。仅依靠其视觉语言模型，机器人模仿手术视频中的医生所做的事情。

研究结果让我们得以一窥未来完全由自主机器人进行的手术可能是什么样子。

“这些机器人现在可以自主执行这些非常复杂的任务，这太神奇了，”约翰霍普金斯大学的博士后研究员吉雄“布莱恩”金（Ji Woong“Brian”Kim）说。“对机器人进行编码，这样它们就可以从模仿学习中进行操作，这是机器人技术的一个重大转变，我认为，这是自主手术机器人的未来所在。”

为了训练他们的模型，研究人员使用了NVIDIA GeForce RTX 4090 gpu、PyTorch和NVIDIA CUDA-X人工智能库。

研究人员于11月在慕尼黑举行的机器人学习会议上公布了他们的研究结果。为了进行他们的研究，机器人专家使用了达芬奇机器人手术系统，该系统可以配备多达四个机械臂，并被全球外科医生用于各种腹腔镜手术。

为了训练他们的VLM， Kim和他的同事们将微型摄像机连接到约翰霍普金斯大学拥有并借给研究人员进行实验的三个达芬奇机器人的手臂上。

金和他的同事们使用医生通常用来练习手术技术的小硅垫，像外科医生在腹腔镜手术中做的那样操纵机器人。

金录制了大约20个小时的视频，视频中他操纵达芬奇的夹持器（合在一起大约有一美分硬币那么大）执行三个程序：取出人体组织的复制品，操纵手术针，用手术线打结。

他还记录了与手动操作夹持器相关的运动学数据。运动学数据包括金在每次手术中操作机器人时使用的角度和压力的精确信息。

在用手术视频和运动学数据训练他们的VLM之后，研究人员将他们的模型与达芬奇机器人连接起来，并指示机器人执行三个手术任务。

研究人员在机器人从未接触过的鸡肉和猪肉上进行了实验，这些肉模仿了人类组织的外观和感觉。

令他们高兴的是，它在零射击环境中几乎完美地完成了手术过程。

据Kim说，其中一个惊喜是机器人如何自主解决意想不到的挑战。

有一次，机械手不小心掉了一根手术针头，尽管从未受过明确的训练，但它还是捡起了针头，继续执行手术任务。

Kim说：“我们从来没有在猪或鸡的组织上训练过这个模型，也没有训练它捡起掉在地上的针。”“我们很高兴它能在培训分发之外的全新环境中工作，并能自主运行。”

Kim已经在撰写一篇新论文，概述了最近在动物尸体上部署机器人的实验结果。他还在开发额外的训练数据，可用于扩展达芬奇机器人的能力。

来源:NVDIA