비투엔, ‘AI 학습용 데이터 구축사업’ 성공적 마무리

?인공지능(AI) 전문 기업 비투엔 (대표이사 안태일)이 과학기술정보통신부가 주관하고 한국지능정보사회진흥원(NIA)이 추진하는 ‘2023년 AI 학습용 데이터 구축 사업’을 성공적으로 끝마쳤다고 4일 밝혔다.

‘AI 학습용 데이터 구축 사업’은 ChatGPT로 대표되는 초거대 AI의 등장에 따라 국가적 차원에서 대규모 고품질 데이터 구축을 지원하는 정부 주도 사업이다.

비투엔은 이번 사업에서 ▲음성인식에 의한 영상 요약 데이터 ▲만화 웹툰 데이터 ▲건물 균열 탐지 이미지(고도화) 등 3개 컨소시엄의 AI 학습용 데이터 품질관리 전담기업 및 품질관리 용역기업으로 참여했다. 더 나아가 솔트룩스, 피씨엔, 팀벨 등 다양한 AI 관련 전문 기업들과 긴밀하게 협업해 체계적인 품질관리체계를 구축했다.

비투엔이 지난해 AI 학습용 데이터 구축사업에서 품질 점검한 AI 학습용 데이터는 총 4종, 66만건이다. 세부 수량은 이미지 63만건, 서브 라벨링(초거대AI 말뭉치, 이미지 캡션) 3만건과 음성 3000시간이다. AI 학습용 데이터 품질관리 기술의 정확성과 안정성을 바탕으로 한국어, 재난안전환경, 문화관광 등 여러 분야의 품질 관리를 성공적으로 수행했다.

특히 이번 사업에서 AI 최신기술인 초거대AI 지원을 위한 언어모델로 활용 가능한 고품질의 말뭉치 데이터에 대한 품질 검증도 함께 진행했으며 구축 완료된 말뭉치 데이터 총 186만 문장, 1744만 토큰(어절 단위)에 대한 품질 검사도 완전하게 수행했다.

또한 프로젝트 목표와 요구사항을 바탕으로 데이터의 품질을 관리하기 위한 계획 수립 및 실행, 단계별 품질관리 활동 점검, 한국정보통신기술협회(TTA) 품질 검증 전담 지원 등 컨소시엄 내 품질관리 전반의 업무를 수행하며 데이터 신뢰성을 높였다.

비투엔 박순혁 AIX 그룹장은 “수년간 축적된 경험과 전문성을 바탕으로 AI 학습용 데이터 구축 사업 수행 능력을 다방면에서 인정받아 올해 2024년 초거대AI 데이터 구축 사업에서 멀티모달 데이터와 생성형AI 데이터 등 구축을 계획하는 여러 기관 및 기업의 문의가 이어지고 있다”고 말했다.

이어 “올해 고품질의 초거대AI 데이터 구축을 위해 대규모 말뭉치 데이터의 내용 유사성, 중복성, 유해성 등에 대해 품질 관리를 확대할 예정이다”며 “기존 ‘SDQ for AI’를 활용한 구문적 정확성, 통계적 다양성 검사 외에도 AI 학습용 데이터 통합 플랫폼인 ‘라플로(Laflow)’를 통해 의미적 정확성 검사에 대해서도 함께 지원할 예정이다”고 전했다.

한편 비투엔은 2020년부터 2023년까지 4년 연속으로 AI 학습용 데이터 구축 컨소시엄 내 품질 검사 도구를 확보하고 있지 않은 과제들을 대상으로 ‘SDQ for AI’ 도구 및 품질 검증 서비스를 제공하는 등 다양한 형태로 AI 학습용 데이터 구축 사업에 참여하고 있다.

장효원 기자 specialjhw@asiae.co.kr