SKT 3위·LG AI연구원 4위…2차평가 결과는 무관
벤치마크 성능만 끌어올리는 '벤치맥싱' 논란도

정부의 독자 인공지능(AI) 파운데이션 모델(독파모) 프로젝트 2차 평가에 참가하는 스타트업 2곳이 글로벌 기관의 성능 벤치마크에서 대기업 2곳을 앞서는 이변을 낳았다.


13일 글로벌 AI 성능 평가 기관 아티피셜 애널리시스에 따르면 이 기관이 산출하는 '아티피셜 애널리시스 인텔리전스 지수(AAII)'에서 모티프테크놀로지스의 거대언어모델(LLM) '모티프3'는 47점을 받았다. 이는 독파모 2차 평가 참가사들이 내놓은 모델 중 가장 높은 점수다. AAII는 이번 2차평가의 평가 잣대 중 하나다.

독파모 참여 기업 글로벌 벤치마크서 모티프·업스테이지 모델 1·2위
AD
원본보기 아이콘

2위는 업스테이지가 차지했다. 업스테이지가 2차 평가를 위해 내놓은 '솔라 오픈2'는 37점을 받았다. 이어 SK텔레콤의 '에이닷엑스(A.X)-K2'가 35점, LG AI연구원 'K-엑사원(EXAONE) 2.0'이 31점 순이었다. LG AI연구원은 1차 평가 당시 벤치마크 종합 33.6점으로 1위에 올랐지만, 2차 평가에서 내놓은 모델이 아티피셜 애널리시스의 평가에서 국내 모델 중 가장 낮은 점수를 받았다.


다만 이번 AAII 점수가 독파모 2차 평가의 최종 결과와 직결되지는 않는다. 이 기관이 내놓는 AAII는 지식·추론·코딩 등 영역별 개별 벤치마크 여러 개를 묶어 단일 점수로 환산하는 종합 지수 방식이다. 어떤 벤치마크를 묶느냐에 따라 점수 변동이 큰 구조다. 여기에 실제 모델 성능과 무관하게 벤치마크 점수만을 끌어올리는 이른바 '벤치맥싱' 논란도 있다.

실제 독파모 2차 평가에서 벤치마크 평가는 총 100점 만점 중 40점을 차지하며, 이 중 AAII가 25점, 한국지능정보사회진흥원(NIA) 벤치마크 평가가 15점을 담당한다. 나머지 배점은 전문가 평가(35점)와 사용자 평가(25점)로 구성된다.


특히 독파모 2차평가 주요 평가 요소인 한국어 성능을 반영하지 않는다는 점도 한계점으로 꼽힌다. 실제 한국어를 포함한 다국어 이해 능력이나 특정 산업 과업에서의 성능, 운영 효율 등은 AAII만으로 가늠하기 어렵다는 것이다.

AD

정부는 12일 마감한 국민 평가를 마지막으로 독파모 2차 평가 결과를 조만간 발표할 예정이다. 이번 평가에서는 4개 참여사 중 1개 팀이 탈락하고 3개 팀이 생존해 다음 단계로 진출한다.


이명환 기자 lifehwan@asiae.co.kr

<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제. 무단전재 배포금지, AI 학습 및 활용 금지>

함께 보면 좋은 기사

새로보기

내 안의 인사이트 깨우기

취향저격 맞춤뉴스

많이 본 뉴스

당신을 위한 추천 콘텐츠

놓칠 수 없는 이슈