모티프, '국가대표 AI' 2차 탈락에 이의제기…"평가점수 상세 공개해야"

"AAII 벤치마크 최고점인데 탈락…평가 근거 이해 어려워"

정부가 추진하는 독자 인공지능(AI) 파운데이션 모델 프로젝트의 2차 단계평가에서 탈락한 모티프테크놀로지스가 평가 기준과 항목별 세부 점수를 공개하라며 정식으로 이의를 제기했다.

모티프는 27일 입장문을 내고 "이번 독자 AI 파운데이션 모델 사업 2차 단계 선정 결과와 관련해 정식으로 이의 제기를 신청했다"고 밝혔다.

모티프는 과학기술정보통신부에 ▲평가 결과와 상세 평가 내용 ▲벤치마크 평가 배점 산정 방식의 근거 ▲전문가 평가의 상세 기준과 결과 ▲사용자 평가의 방법론, 상세 기준, 결과 등에 대해 공개해달라고 요구했다.

앞서 모티프가 2차 평가를 앞두고 공개한 AI 모델인 '모티프 3'는 글로벌 평가기관의 벤치마크에서 독파모 2차 평가 기업 중 가장 높은 점수를 받은 바 있다. 이 모델은 아티피셜 애널리시스 인텔리전스 지수(AAII)에서 47점을 받으면서 솔라 오픈 2(37점·업스테이지), 에이닷엑스-K2(35점·SK텔레콤), K-엑사원 2.0(31점·LG AI연구원)을 모두 제쳤다.

AAII는 100점 만점인 2차 평가에서 40점을 차지하는 벤치마크 평가의 주요 지표로 활용됐다. 구체적으로 AAII가 25점, 한국지능정보사회진흥원(NIA) 벤치마크가 15점을 차지했다. 모티프는 AAII 벤치마크 평가 환산점수에서 11.9점의 최고점을 받았다. 하지만 종합 순위에서는 가장 낮은 점수를 받아 탈락했다.

모티프는 이 같은 벤치마크 배점 산정 방식에 의문을 제기했다. 모티프는 AAII에서 모티프(47점)와 LG AI연구원(31점) 간 상당한 차이에도 불구하고 글로벌 주요 벤치마크 결과와 전문가 평가가 상반된 결과가 발생한 이유와 배경에 대해 구체적으로 설명될 필요가 있다고 했다.

전문가 평가의 판단 근거를 공개해달라고도 요구했다. 전문가 평가 과정에서 '컨소시엄의 주관, 참여기업 중 외국계 자본이나 해외 법인이 의결권 있는 주요 주주로 참여하고 있는 기업이 있느냐'와 같은 질문을 요청받았다는 게 모티프의 주장인데, 이 같은 질문들이 어떤 평가 목적과 기준에 따라 활용됐는지에 대해 설명이 필요하다는 것이다.

모티프는 "언론을 통해 과기정통부는 모티프 3가 AAII 벤치마크 점수만 높았을 뿐 전문가 평가와 사용자 평가에서 문제가 있었다고 설명한 것으로 보도됐다"면서 "과기정통부 고위 관계자 발언에서는 모티프 3가 벤치마크 점수에 비해 실제 추론 성능이 미흡하고 사용성과 활용성이 떨어진다는 평가까지 언급됐다"고 주장했다.

이어 "이러한 내용은 단순히 어떤 업체가 선정되고 어떤 업체가 탈락했느냐의 차원을 넘어, 독파모 사업의 본질과 향후 나아가야 할 방향에 대한 근본적인 의문을 제기한다"면서 "우리가 추구해 온 기술적 방향성과 그 결과물에 대해 일부 오해가 있을 수 있다고 생각하게 됐고, 이러한 문제의식에서 평가점수의 상세한 공개와 재심의를 정중히 요청한다"고 했다.

다만 이번 이의제기가 향후 진행될 예정인 독파모 3차 평가에 참여하기 위한 의도는 아니라는 게 모티프의 설명이다. 회사 측은 "이의 제기 결과와 관계없이 독파모 3차에는 참여하지 않겠다. 이의 제기는 저희가 독파모에 선정돼야 한다는 주장을 위한 것이 아니다"라며 " 이번 이의 제기가 독파모가 무엇을 위한 것인지 합의를 이끌어내고 우리와 다른 경쟁 업체들이 모두 동의하고 개선할 방향을 찾아가는 과정이 되기를 바란다"고 전했다.

이명환 기자 lifehwan@asiae.co.kr