이용진 단국대 교수팀, AI 가상 환자 평가체계 개발…호주서 발표

AI 가상 환자 평가 정확도·신뢰성 강화
답변 품질, 자동 채점 기준 정밀화 계획
"실습 교육 수요 증가에 적극 대응"

단국대학교는 이용진 의학과 교수 연구팀에서 주요 대형언어모델(LLM)이 생성한 가상 환자의 답변을 다각도로 분석·검증하는 평가 시스템을 구축했다고 8일 밝혔다.

이번 연구는 머신러닝 분야 세계 최고 권위 학술대회인 'NeurIPS 2026'의 데이터셋 및 벤치마크 트랙에 채택돼 다음 달 호주 시드니에서 발표될 예정이다.

AI 가상 환자 평가 체계를 개발한 단국대 이용진 교수. 단국대학교

연구팀은 GPT-4o, 클로드 3.5 소네트, 라마 3.1 70B, 하이퍼클로바X 등 4개 주요 LLM을 대상으로 성능 평가를 진행했다.

고학년 의대생 17명이 평가 모델 정보가 가려진 블라인드 상태에서 전문가 모범 답안과 비교 분석했으며 총 7480건의 평가 데이터를 확보해 11개 병력 청취 범주와 3가지 언어 형식으로 분석했다.

분석 결과 AI 가상 환자는 의학적 사실 기반의 정보 정확도 면에서는 전문가 답안에 근접한 높은 성과를 거뒀다. 하지만 환자의 핵심 증상을 파악하는 '주호소 파악', 질환 및 치료를 설명하는 '환자 교육', 진단을 내리는 '임상 추론' 등 실제 대화의 유창성과 자연스러움이 요구되는 영역에서는 한계를 보였다. 특히 한국어 부정형 질문에 대해 언어적 유창성이 추가로 떨어지는 경향이 확인됐다.

연구팀은 이번 평가 체계를 실제 운영 중인 웹 기반 진료 실습 플랫폼에 적용해 AI 가상 환자의 답변 품질과 자동 채점 기준을 지속적으로 정밀화할 계획이다.

이용진 교수는 "의학교육자가 주도한 평가 체계가 세계적인 AI 학술대회에서 인정받은 것"이라며 "의대 정원 확대 및 지역의료 인력 양성에 따른 실습 교육 수요 증가에 적극 대응하겠다"고 말했다.

박재현 기자 now@asiae.co.kr