从手术动作到整体阶段的层级化识别
肝切除手术视频识别准确率达58%
一种人工智能(AI)技术已研发成功。它不仅能识别手术器械和医护人员的动作,还能判断手术进行到哪个阶段、当前正在发生什么情况。这项技术能够理解手术过程的上下文,预计未来可用于开发与医护人员协作的智能手术辅助机器人。
三星首尔医院17日表示,该院智能医疗机器人研究中心主任Jeong Gyuhwan、研究员Jeon Yongjun,以及移植外科教授Oh Namgi组成的研究团队,开发出人工智能系统“CurConMix+”。该系统可同时分析手术影像的空间信息和时间上下文,从细节动作到整个手术阶段进行层级化理解。
以往的手术影像人工智能主要致力于识别单个画面中的手术器械或医护人员动作。相比之下,CurConMix+会综合分析影像中的空间特征和随时间变化的手术进程。它不仅能识别某一时刻发生了什么动作,还能判断该动作在整个手术过程中的意义。
这被视为手术辅助机器人与医护人员协作的核心技术。机器人若要根据手术情况主动提供辅助,就必须实时理解手术目前处于哪个阶段,以及医护人员正在做什么。
性能评估结果也优于现有模型。研究团队基于全球研究人员按照同一标准进行评测的公开手术影像基准数据集CholecT45进行测试,结果显示,CurConMix+的平均精度(AP_IVT)为42.2%,高于此前性能最佳模型的41.5%。在肝切除手术影像中,该系统的平均精度达到58.4%,比现有模型提高了10多个百分点。平均精度越高,意味着系统越能准确识别手术影像中的器械、动作和对象等。
尤其是对于训练数据中相对少见的罕见手术动作,其识别性能也有所提升。例如,在胆囊切除术中,为防止胆汁渗漏而使用夹子的操作等罕见动作,其平均精度在胆囊手术影像中从33%升至39%,在肝脏手术影像中则从43%升至56%。
研究团队还新建了肝切除术影像数据集“LLS48”。该数据集涵盖2020年2月至2022年3月期间在三星首尔医院实施的48例腹腔镜肝切除术,共约52小时的影像;团队依据国际手术影像标准分类,将影像细分为5个手术阶段、18项细分任务和195种动作。2名肝胆胰外科专家及3名拥有10年以上经验的专业人员参与了影像场景分类和验证工作。
研究团队还证实,学习细节动作的人工智能有望掌握更高层级的手术流程。在胆囊切除术的手术阶段预测中,该系统的准确率超过93%。研究团队表示,这表明人工智能有可能超越对单个动作的识别,学会手术过程的层级结构。
中心主任Jeong Gyuhwan表示:“手术机器人若要与医护人员自然协作,不能仅仅识别手术器械或器官,还必须理解当前正在进行什么手术,以及医护人员在做什么。这项研究的意义在于提出了一种能够从单个手术动作到整个手术流程进行综合识别的人工智能技术。”
Oh Namgi教授表示:“可以说,人工智能学会了指尖动作后,也读懂了整个手术流程。它经过手术过程自动记录、术后复盘和住院医师培训等应用后,最终还有望用于在手术过程中实时感知情况的人形手术辅助机器人。”
这项研究获得了韩国保健福祉部下属韩国保健产业振兴院的韩国版ARPA-H项目、科学技术信息通信部韩国研究财团资助项目、三星首尔医院“未来医学2030项目”及医院研究经费的支持。研究成果已发表于医学影像领域国际学术期刊《IEEE医学影像学汇刊》。
版权所有 © 阿视亚经济。未经许可不得转载,禁止用于AI训练及使用。