정부 "독파모 2차 평가서 업스테이지·SKT·LG…벤치마크 이변 모티프 고배"

"3개팀에 엔비디아 B200 1000장 지원"

류제명 과학기술정보통신부 차관은 18일 서울 종로구 정부서울청사에서 독자 AI파운데이션 모델 프로젝트 2차 평가 결과를 발표하고 있다. 2026.8.18 조용준 기자

과학기술정보통신부의 독자 인공지능(AI) 파운데이션 모델(독파모) 2차 단계평가에서 업스테이지, SK텔레콤 , LG AI연구원(가나다 순)이 최종 3개 모델에 선정돼 다음 단계에 진출한다. 이번 평가에 뒤늦게 합류한 모티프테크놀로지스(모티프)는 최근 AI 성능 평가기관 아티피셜 애널리시스 인텔리전스 지수(AAII) 종합지표 1위를 기록하며 이변을 일으켰지만 최종 모델에 합류하지는 못했다.

과기정통부는 18일 정부서울청사에서 브리핑을 열고 독파모 2차 단계평가에서 4개 참여사 중 SKT, LG AI연구원, 업스테이지 3개팀이 생존해 다음 단계로 진출한다고 밝혔다. 과기정통부는 "2차 평가에서 벤치마크 평가(배점 40점), 전문가 평가(배점 35점), 사용자 평가(배점 25점)를 종합한 결과 근소한 차이로 모티프가 탈락했다"고 발표했다.

전문가위원회 평가 의견에 따르면 업스테이지는 개발 성과를 국민이 체감할 수 있도록 포털 '다음'과 '타임리' 플랫폼과 연계를 추진하고, 퓨리오사AI 신경망처리장치(NPU) 협업을 통해 외산 하드웨어 종속성을 완화한 점에서 호평을 받았다. SKT는 수리 추론과 한국어 영역에서 비교군 최상위 성능을 확보하였고, 대규모 상용 서비스에 실제 탑재돼 사용성·실용성 측면에서 높은 평가를 받았다. LG AI연구원은 글로벌 파급력을 높일 수 있도록 글로벌 국제기구 등과 협업 전략을 수립한 점과 에이전틱 AI에 대한 차별성을 인정받았다.

벤치마크 1등 모티프, 사용성 점수 낮아 탈락

모티프가 2차 단계평가에서 내놓은 '모티프 3'는 벤치마크 평가에서 높은 점수를 얻었지만, 종합평가에서 고배를 마시면서 독파모 추가 선정 6개월여 만에 경쟁에서 하차하게 됐다. 모티프는 지난 2월 독파모 프로젝트에 추가 합류했다. 모티프는 경쟁 컨소시엄보다 준비 시간이 부족했음에도 거대언어모델(LLM) 모티프3를 밑바닥부터 다지는 '프롬 스크래치'로 개발해냈다. 매개변수 314B(3140억개) 규모의 모티프3는 아키텍처 설계부터 구현까지 독자 개발했는데, 전문가 혼합(MoE) 구조를 채택해 실제 작동 시 132억개의 매개변수만 동작해 효율성을 높였다. 동급 중국 오픈소스 모델보다 전체·활성 매개변수 규모가 작은 구조에서도 비슷한 성능을 구현했다는 것이 모티프의 설명이다.

모티프는 글로벌 평가기관의 벤치마크에서 독파모 2차 평가 기업 중 가장 높은 점수를 받는 이변도 일으켰다. 글로벌 AI 성능 평가 기관 아티피셜 애널리시스가 산출하는 '아티피셜 애널리시스 인텔리전스 지수(AAII)'에서 모티프3는 47점을 받으면서 솔라 오픈 2(37점·업스테이지), 에이닷엑스-K2(35점·SK텔레콤), K-엑사원 2.0(31점·LG AI연구원)을 모두 제쳤다.

다만 벤치마크 점수가 실제 모델의 성능을 보여주지는 못했다. 이번 독파모 2차 평가에서 벤치마크 평가는 총 100점 만점 중 40점을 차지했다. 이 가운데 모티프가 고득점한 AAII가 25점을, 한국지능정보사회진흥원(NIA) 벤치마크가 15점을 차지했다. 전문가 평가(35점)와 사용자 평가(25점)가 평가의 60%를 차지했다.

AAII 벤치마크의 한계도 영향을 미쳤다. AAII는 지식·추론·코딩 등 영역별 개별 벤치마크 여러 개를 묶어 단일 점수로 환산하는 종합 지수 방식인데, 어떤 벤치마크를 묶느냐에 따라 점수 변동이 크다. 이에 또다른 벤치마크 평가 요소인 NIA 벤치마크에서는 NIA 한국어·한국적 맥락에서의 성능과 안전성·신뢰성까지 종합 평가해 벤치마크만으로는 검증하기 어려운 국내 AI 모델의 경쟁력을 평가했다.

류제명 과학기술정보통신부 차관은 18일 서울 종로구 정부서울청사에서 독자 AI파운데이션 모델 프로젝트 2차 평가 결과를 발표하고 있다. 2026.8.18 조용준 기자

과기정통부 "3개 컨소시엄 대상 최종 단계 평가"

과기정통부는 이번 2차 단계평가의 모델별 벤치마크 득점 순위를 공개하지는 않았다. 벤치마크 평가에서 4개 정예팀 전체 평균은 22.5점으로 1위와 4위 간 점수 격차는 4.0점에 불과하다. 또 과기정통부 류제명 차관은 사용자 평가는 이번 평가에서 당락 여부를 결정하지 않았다고 언급했다.

정부는 모티프가 이번 평가에서는 탈락했지만, 에이전트·코딩 등의 고난도 벤치마크 분야에서 글로벌 빅테크들과 대등한 높은 수준을 내는 성과를 거뒀다고 설명했다. 류 차관은 "모티프는 작은 규모의 연구개발(R&D) 조직임에도 뛰어난 성과를 보여줬다"면서 "2차 평가에서 모티프가 탈락한 이유는 사용성 측면의 점수가 타사에 비해 상대적으로 낮았던 것으로 파악된다"고 말했다.

정부는 다음 단계에 진출한 3개팀에 고성능 그래픽처리장치(GPU·B200) 지원을 확대할 계획이다. 당초 768장 수준이었던 GPU 지원 규모를 1000장 수준으로 늘린다. 류 차관은 "최상위급 독자 AI모델 개발 필요성을 깊이 인식하고, 기존 방식을 뛰어넘는 새로운 지원체계를 관계부처와 논의 중"이라며 "추후 구체적 내용을 준비해 발표할 계획"이라고 말했다.

이명환 기자 lifehwan@asiae.co.kr
서소정 기자 ssj@asiae.co.kr