화려한 성적표에 가려진 현장 능력
인력 감축 전 '협업 선별' 삭업부터
사람 잘 다루는 기업이 AI도 잘 써
인공지능(AI)은 세상에 나온 이후 줄곧 성적표가 화려했다.
지난해 7월 구글의 딥마인드, 오픈AI의 모델은 국제수학올림피아드에서 금메달 수준에 해당하는 점수를 받았다. 두 달 뒤 오픈AI가 내놓은 평가 'GDPval'에서는 "실제 직업 과제의 절반 가까이에서 전문가와 대등하거나 더 나은 수준을 보였다"는 판정을 받았다. 'GDPval'은 미국 국내총생산(GDP) 기여도가 큰 9개 산업, 44개 직업의 대표 업무로 AI의 수행 능력을 재는 시험이다.
하지만 미국의 반도체·AI 분석기관 '세미애널리시스'가 지난 2일 공개한 새 평가 'GDPx'에서의 성적표는 이와 사뭇 달랐다. 앤스로픽·구글·오픈AI가 자랑하는 최상위 모델들이 여기에 나섰다. 모델들은 과제마다 세 번씩 도전할 수 있었다. 끝까지 해내면 100점, 못 해내면 0점. 과목은 총 11개. 이들 과목의 평균을 낸 뒤에 다시 이들을 평균으로 계산해서 최종 점수를 매겼다. 그 결과 앤스로픽 모델은 12점, 구글은 10.9점, 오픈AI는 9.6점을 기록했다. 만점인 평균 100점에 크게 미치지 못하는 수준이었다.
왜 이런 차이가 났을까. 세미애널리시스에 따르면, GDPx는 이론보다 실무과제를 수행하는 쪽에 더 가깝게 운영됐다. 실제 GDPx는 AI들을 단서부터 직접 찾아야 하는 복잡한 업무 현장으로 보냈다. 과목별 전문 스타트업 14곳과 함께 반도체 설계, 생물학, 금융, 법률, 수학 모형으로 투자하는 퀀트 트레이딩 등 11개 과목에서 과제 206개를 꾸리고 이들마다 실제와 비슷한 일터를 차렸다. 금융 분야의 경우, 실제 거래를 바탕으로 했다. 구체적으론 사모펀드가 제과업체(가족 기업)의 지분 약 62%를 사들이되, 경영 실적에 따라 대금을 더 얹어 주는 거래를 다뤘다. 여러 모델이 25번 도전했지만, 끝까지 해낸 경우는 한 번도 없었다. 그중 15번은 거래가 성사되면 투자은행에 주는 성공 보수를 회사가 갚아야 할 부채로 잘못 분류했다. 인수계약서에는 "이 보수를 빚이 아닌 거래 비용으로 따로 처리하라"고 적혀 있었음에도 이를 따르지 못했다. 17번은 단 한 시간도 근무한 적 없는 가족에게 준 급여를 회사 운영비로 인식했다.
시험 문제는 풀이에 필요한 정보를 다 담고 있고 정답도 하나다. 하지만 실무는 다르다. 문서 수천 개 가운데 무엇이 중요한지 스스로 골라야 하고 거래 상대방이 어떤 수를 둘지도 내다봐야 한다. 이번 평가가 드러낸 AI의 약점은 바로 여기에 있었다. 특히 AI는 어느 문서가 최종 기준인지보다 어느 문서에 숫자가 더 또렷하게 적혀 있는지를 보고 믿을 정보를 선별한 게 패착이었다. 자문사가 만든 옛 집계표를 양측이 서명까지 마친 계약서보다 더 믿는 방식이다. 즉, 노련한 회계사는 급여 명세 안에서 수상한 한 줄을 알아채고 어느 서류가 효력이 있는지부터 확인한다. 그 눈썰미가 아직 AI에는 없는 것이다.
물론 평가의 점수가 곧 성능을 완전히 반영한 결과라 보긴 어렵다. AI도 분명한 강점이 있고 평가 중 수학 등 일부 과제에선 놀라운 해결 능력을 보였다. 결국 문제는 활용이란 결론에 이른다. 오픈AI의 창립 멤버 '안드레이 카르파티'는 AI를 "들쭉날쭉한 지능(Jagged Intelligence)"이라 불렀다. 잘하는 일과 못하는 일이 뚜렷하다는 의미다. 이는 AI를 통째로 믿거나 버릴 게 아니라, 가려 써야 한다는 메시지로 여겨진다. 기업들이 새겨야 할 교훈이다.
AI가 이미 많은 일을 하고 앞으로 더 많은 일을 맡을 테니 사람을 덜 뽑거나 내보내겠다는 판단은 아직 성급하다. 일의 선별부터 이뤄져야 한다. AI에 맡길 일과 사람이 해야 하는 일, 둘이서 함께 할 일부터 가려내야 한다. 그다음 사람이 해야 하는 일을 중심으로 직무를 넓히고 다시 짜야 한다. 인재 육성 계획도 여기에 맞춰야 할 것이다. AI는 단순 작업을 맡을 수 있고, 이로 인해 사람은 여유가 생긴다. 이를 활용해 사람은 업무 수행력을 높이는 데 매진하고, AI가 갖지 못한 눈썰미를 발휘할 수 있는 인재를 키우거나 발굴하는 것이 기업에는 이롭다. 결국 사람을 잘 다루는 기업이 AI도 가장 잘 쓰게 된다. 이를 명심해야 할 것이다.
꼭 봐야 할 주요 뉴스
"수능 시험 시작도 전에 눈물바다"…울먹이던 수험생 앞에 나타난 '뜻밖의 구세주'
박종성 작가·AI 컨설팅 리더
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제. 무단전재 배포금지, AI 학습 및 활용 금지>