변별력 잃은 각종 시험·자기 소개서
감독 강화 아닌 선별 시스템 고민을
최근 우리 학과 학생들에게 물었다. "인공지능(AI)을 능숙하게 써서 A+를 받는 것이 공정한가?" 대다수 학생은 아니라고 답했다. AI를 쓰지 말자는 말이 아니었다. 성적은 그 학생이 무엇을 알고 무엇을 할 수 있는지를 보여 줘야 하는데, AI가 대신 쓴 답안은 그것을 보여 주지 못한다는 뜻이었다. 학생들은 경제학자들이 '신호'라고 부르는 것의 본질을 이미 정확히 이해하고 있었다.
수능을 앞두고 AI 안경이 주목받고 있다. 노벨상 수상자 마이클 스펜스의 신호 이론에 따르면, 시험 점수가 실력을 보여 주는 신호로 작동하려면 조건이 하나 필요하다. 실력 있는 사람과 없는 사람이 같은 점수를 얻는 데 드는 비용이 달라야 한다. 그러나 AI는 바로 이 비용 차이를 지운다. 실력이 없는 사람도 AI를 이용해 실력 있는 사람을 쉽게 흉내 낼 수 있기 때문에 시험 점수의 변별력이 사라진다.
이 현상은 이미 노동시장에서 확인됐다. 예일대 연구진은 한 온라인 구직 플랫폼에 AI 자기소개서 작성 도구가 도입된 이후 어떤 변화가 일어났는지 분석했다. 이전에는 자기소개서의 완성도가 높을수록 고용주로부터 연락이 더 자주 왔었는데, 도입 이후 그 상관관계가 절반 넘게 떨어졌다. 누구나 매끈한 글을 쓰게 되자 자기소개서만으로는 구직자의 능력을 가늠하기 어려워진 것이다. 고용주들은 곧 다른 신호를 찾아 나섰다.
사실 선별 제도는 늘 이렇게 무너지고 다시 만들어져 왔다. 학교마다 기준이 제각각인 내신만으로는 학생을 가려내기 어려워 전국 공통 시험이 생겼다. 그 시험이 암기력만 가려낸다는 비판이 커지자, 미국 SAT를 참고해 사고력을 묻는 수능으로 재설계했다. 미국도 비슷한 길을 걸었다. 계산기가 보급돼 계산 능력이 더 이상 수학 실력의 신호가 되지 못하자, SAT는 1994년부터 계산기 사용을 허용하고 문제를 추론 중심으로 바꿨다. 새로운 기술을 막는 대신 신호 체계를 다시 설계한 것이다.
미국 대학에서도 비슷한 문제에 직면하고 있다. AI가 에세이의 질과 학생 실력 사이의 연관성을 떨어뜨리자 일부 명문대는 에세이를 없애고, 감독관이 지켜보는 표준화 시험을 다시 요구하기 시작했다. 그런데 그 마지막 보루인 감독형 시험마저 AI 안경이라는 하드웨어 앞에서 무용지물이 될 처지에 놓여 있다. 올해 수능이 바로 그 대표적인 예다. 미국에서 AI 안경이 큰 논쟁거리가 되지 않는 것은 입시 선별 기준이 내신, 에세이, 시험으로 분산돼 있기 때문일 것이다. 하루 시험에 모든 것이 걸린 수능에서는 부정행위의 유인도 그만큼 크다.
결국 장기적인 답은 평가 방식을 다시 설계하는 데 있다. 필자를 예로 들자면, 학생들에게 리포트와 함께 AI와 나눈 대화 기록을 모두 제출하게 한다. 그리고 리포트와 대화 기록을 바탕으로 학생마다 다른 맞춤형 문제를 낸다. AI의 도움을 받았더라도 스스로 생각했다면 쉽게 풀 수 있지만, AI에 전부 맡겼다면 답하기 어려운 문제를 냄으로써 학생이 정말 수업에서 배운 내용을 이해하고 활용할 수 있는지 가려낸다.
언뜻 보면 이런 방식에는 시간과 비용이 훨씬 많이 들 것 같지만, 그렇지만도 않다. 필자도 맞춤형 문제를 만드는 데 AI의 도움을 받는다. 미국 뉴욕대의 한 교수는 AI 음성 에이전트로 구술시험을 치렀는데, 학생 한 명당 비용이 42센트에 불과했다. 비싸서 엄두를 못 내던 개별 평가가 AI 덕분에 거의 공짜가 된 것이다. 즉, AI는 기존 신호를 속이는 비용만 낮춘 것이 아니라 개별 실력을 검증하는 비용도 함께 낮췄다.
물론 올해 수능에 당장 이 방식을 그대로 옮길 수는 없다. 선별 제도는 결국 AI 시대에 맞게 바뀌겠지만, 전환 비용은 과도기를 지나는 세대가 고스란히 떠안게 된다. 필자 역시 한국에서 교육받고 대입을 치른 사람으로서 올해 수능을 코앞에 둔 수험생들이 느낄 불안과 억울함에 깊이 공감한다. 과도기 세대가 겪을 비용을 최소화하려면 지금 선택해야 한다. 감독관에게 더 좋은 돋보기를 쥐여 줄 것인가, 부정행위에 대한 처벌을 강화할 것인가, 아니면 AI 시대에 무엇이 사람의 능력을 가려낼 수 있는지부터 다시 물을 것인가.
서보영 미국 인디애나주립대 교수
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제. 무단전재 배포금지, AI 학습 및 활용 금지>