提升AI虚拟患者评估的准确性与可靠性
计划精细化回答质量及自动评分标准
"积极应对实习教学需求增长"
檀国大学8日表示，该校医学系教授Lee Yongjin的研究团队已建立一套评估系统，可从多个角度分析并验证主要大语言模型（LLM）生成的虚拟患者回答。
这项研究入选机器学习领域国际顶级学术会议“NeurIPS 2026”的数据集与基准测试专题，预计将于下月在澳大利亚悉尼发布。
研究团队对GPT-4o、Claude 3.5 Sonnet、Llama 3.1 70B和HyperCLOVA X等4种主要大语言模型进行了性能评估。
17名高年级医学生在不知道受评模型信息的盲测状态下，将模型回答与专家标准答案进行对比分析。研究团队共收集7480条评估数据，并按照11类病史采集类别和3种语言形式进行了分析。
分析结果显示，AI虚拟患者在基于医学事实的信息准确性方面表现出色，接近专家答案。但在需要实际对话流畅自然的领域，如把握患者核心症状的“主诉识别”、说明疾病及治疗方案的“患者教育”，以及作出诊断的“临床推理”等方面，仍存在局限。研究还发现，面对韩语否定式提问时，其语言流畅度有进一步下降的趋势。
研究团队计划将这套评估体系应用于目前实际运行的网络诊疗实习平台，持续优化AI虚拟患者的回答质量和自动评分标准。
Lee Yongjin教授表示：“由医学教育工作者主导的评估体系获得了国际顶级AI学术会议的认可。我们将积极应对医学院扩招及培养地方医疗人才所带来的实习教学需求增长。”
本报道由人工智能(AI)翻译技术生成。
版权所有 © 阿视亚经济。未经许可不得转载，禁止用于AI训练及使用。
