독자 AI 모델, 한국적 평가 거친다…성능 평가 데이터셋 구축사 모집

정부가 '독자 인공지능 기초 모형(독자 AI 파운데이션 모델)' 사업에 참여할 정예팀이 개발한 AI 모델의 성능을 평가하기 위해 '성능 평가 데이터셋 구축 사업' 수행기관을 다음 달 7일까지 공개 모집한다.

과학기술정보통신부와 한국지능정보사회진흥원(NIA)이 주최하는 이 사업은 국내 AI 모델에 대한 성능평가에 활용할 데이터셋을 구축하는 것을 목표로 한다.

그간 글로벌 빅테크 기업을 필두로 다양한 생성형 AI 서비스가 등장했으나, 대부분의 성능 평가에서 영어권의 평가 지표가 활용돼 국내의 서비스 이용환경 등을 충분히 반영하지 못한다는 한계가 있었다.

이에 우리나라의 문화, 사회적 가치 등을 반영하고, 국내외 다양한 AI 모델의 성능을 객관적으로 진단하기 위해 총 24억원(총 3개 과제, 과제별 8억원)을 투입해 고품질 성능 평가 데이터셋 구축을 추진한다.

올해에는 우선적으로 ▲LLM의 수학 풀이 능력 평가 데이터(수학 분야) ▲한국형 지식을 평가하기 위한 주제별 질의-정답 및 추론 데이터(지식 분야) ▲장문 문맥에서 다양한 과업에 대한 성능평가 데이터(장문이해 분야) 등 3개 분야의 데이터셋을 구축한다. 향후에는 멀티모달, 에이전트 등 생성형 AI 모델의 다양한 영역을 평가하기 위한 데이터셋을 구축해 나갈 계획이다.

참여 희망 기업·기관은 초거대 AI 또는 자연어처리, 멀티모달 AI 등 대규모 데이터셋 기반의 인공지능 개발 역량을 갖춘 기업·기관이 1개 이상 수행기관 컨소시엄에 포함돼야 한다.

과기정통부 김경만 인공지능기반정책관은 "국민이 체감할 수 있는 고성능 국내 독자 AI 파운데이션 모델을 확보하기 위해서는 그 성능을 평가하는 데이터셋도 국내 사회·문화 환경 등이 반영돼야 한다"라며 "이번 사업을 통해 구축한 성능 평가 데이터셋은 정예팀 뿐만 아니라 향후 국내 AI 개발기관이 활용 할 수 있도록 공개할 계획"이라고 밝혔다.

김보경 기자 bkly477@asiae.co.kr