스탠퍼드대·시카고대 등 공동연구
문제 낸 뒤 교수들이 채점하니
가짜 판례, 법리 오독, 논리 오류 …
“경쟁 상대 아닌 보조 도구”
인공지능(AI)이 미국 로스쿨 계약법 교수들과의 블라인드 테스트에서 75%가 넘는 승률을 기록하면서 AI가 대학교수를 대체할지 모른다는 가능성도 제기되고 있지만 아직은 성급한 예상으로 보인다. 다른 연구 결과에 따르면 AI가 교재에 있는 지식을 검색하는 데는 뛰어날지 몰라도, 고도의 법적 추론이나 가상 사례 적용 영역에서는 오히려 학습을 방해할 정도로 교묘한 오답을 양산하는 것으로 나타났다. 한국 법조 역시 AI가 인간 교수를 대체할 수 있을지에 대해 회의적인 시각을 보이며 인간과 AI의 '공존론'에 무게를 싣고 있다.
학생 실제 질의 기반 실험
'AI가 오피스 아워를 대체할 수 있을까?(Can AI hold Office Hours?)'
스탠퍼드대·시카고대·로욜라대·위스콘신대 로스쿨 공동 연구진이 2026년 3월 발표한 논문의 제목이다. AI가 학생들의 복잡한 법률 질문에 답하는 교수와의 면담(오피스 아워)을 대체하기에는 기술적 한계가 뚜렷하다는 결론이었다. 그럴듯한 답변 사이에 치명적인 오답이나 가짜 판례를 교묘하게 끼워 넣어 오히려 학생들의 학습을 방해할 수 있는 것으로 조사됐다.
연구진은 미국 내 75개 이상 로스쿨에서 채택한 특허법 교재를 AI에 학습시킨 뒤, 실제 학생들이 던진 질문과 교재 수록 문제, 연구진 출제 문제 등 185개 문항을 입력해 교수들이 직접 채점했다.
질문은 AI의 추론 능력을 다각도로 시험하고자 ▲교재 내 직접 해답 존재 ▲교재 내 정보 종합 필요 ▲심층 법리와 정책적 함의 추론 ▲가상 사례 적용 ▲잘못된 전제가 포함된 오류 유도형 ▲교재 범위 외 질문 등의 유형으로 분류했다. 평가 모델은 챗GPT(GPT-4o), 클로드 3.5 소넷, 노트북LM 등 3종을 사용했다.
답변은 우수(Good), 용인 가능(Acceptable), 불가(Unacceptable) 3단계로 평가됐다. 이 중 '불가'는 잘못된 정보로 학습에 해를 끼치는 수준을 뜻한다. 실험 결과 클로드가 유일하게 과반(56%)의 '우수' 등급을 받아 가장 뛰어난 성능을 보였다. 반면 챗GPT는 네 번 중 한 번꼴(26%)로 치명적 오답(불가)을 냈고 우수 답변은 49%에 그쳤다. 노트북LM은 '불가' 판정이 31%에 달해 가장 부진했으며 우수 답변도 37% 수준에 머물렀다.
연구진이 우려한 대목은 AI가 매끄러운 문장 사이에 오답을 교묘히 끼워 넣는 행태였다. 학생들 눈에는 정답처럼 보이지만, 실제 채점 결과 ▲가짜 판례 인용(할루시네이션) ▲기본 법리 오독 ▲결론은 맞췄으나 도달 과정의 논리 오류 ▲질문의 핵심 취지 오인 등 치명적 결함이 무더기로 발견됐다.
AI와 교수는 상호 보완 관계
'AI와 인간 교수 중 누가 더 나은가'를 두고 한국 법학 교육계에서도 논의가 활발하다. 앞서 진행된 계약법 블라인드 테스트 연구에서는 교수들이 "어떤 답변이 유익한가"라는 '선호도'를 기준으로 AI와 교수들이 각각 답변한 것을 비교 평가한 것으로 제미나이 2.5 프로(75.92%) 등 AI가 압승을 거둔 바 있다. 반면 이번 특허법 연구는 비교 평가가 아니라 AI 모델들을 대상으로만 '정답성과 교육적 유용성'을 평가했다.
최경진 한국인공지능법학회장은 "AI와 인간 교수 중 누가 더 낫다고 일방적으로 평가하기보다는 공존의 지혜가 필요하다"며 "창의적인 통찰은 인간이 담당하고, 시간 단축이 가능한 단순 처리는 AI를 활용하는 조화가 점차 중요해질 것"이라고 평가했다. 그는 이미 공존의 시대가 왔다고도 분석했다.
손형섭 인공지능산업법학회장은 "AI를 법학 교수의 생존을 위협하는 경쟁 상대로 볼 것이 아니라, 더 나은 솔루션을 도출할 수 있도록 돕는 보조 도구로 인식해야 한다"고 덧붙였다.
꼭 봐야 할 주요 뉴스
"화장실 두 번 다녀오더니 답을 술술"…스마트 안경 숨긴 수험생 결국
김지수 법률신문 기자
※이 기사는 법률신문에서 제공받은 콘텐츠로 작성되었습니다.
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제. 무단전재 배포금지, AI 학습 및 활용 금지>