KT 토큰팩토리서 500여개 AI 모델 쓴다…토큰 사용량은 25% 절감

AI 토큰수요 대응…하나의 플랫폼서 모델 선택·관리
프롬프트 압축 기술로 토큰 사용량 최대 25% 절감
데이터 주권·안전성 모두 갖춰…B2C까지 확대 예정
국내 최초 글로벌 최대 라우팅사 '오픈라우터' 협력

#. 임직원 500명 규모의 한 글로벌 연구·개발(R&D) 기업은 최근 고민에 빠졌다. 업무 효율을 높이기 위해 단일 인공지능(AI) 모델을 도입했으나, 직원들이 부서별 특성에 맞춰 다양한 AI 모델을 개별 구독하기 시작했기 때문이다. 회사 입장에서는 어떤 AI 모델이 얼마나 쓰이는지 파악하고, 각기 다른 토큰 사용량과 비용을 한눈에 관리해야 하는 과제를 안게 됐다.

박상원 KT AX사업부문장(전무)이 27일 서울 종로구 광화문 웨스트빌딩에서 열린 기자간담회에서 KT의 AI 사업 방향성에 대해 설명하고 있다. 노경조 기자

KT 가 국내·외 500개 이상의 AI 모델을 통합 제공하는 동시에 AI 토큰 사용량을 최대 25% 절감할 수 있는 통합 플랫폼 '토큰팩토리'를 전격 공개했다.

KT는 27일 서울 종로구 광화문 웨스트빌딩에서 기자간담회를 열고 오는 30일 토큰팩토리를 정식 출시한다고 밝혔다. 글로벌 AI 중개 플랫폼 오픈라우터와 협력해 기업 간 거래(B2B) 서비스를 시작으로 향후 기업-소비자 간 거래(B2C) 영역까지 사업을 확장할 계획이다.

토큰팩토리는 단일 플랫폼에서 복수의 AI 모델을 통합 제공하는 AI 추론 플랫폼이다. 이용자 질문의 의도와 난이도를 실시간으로 분석해 높은 추론이 필요한 작업에는 프리미엄 모델을, 단순 요약·번역 등에는 실속형 거대언어모델(LLM)을 자동으로 연결한다. 여기에는 KT가 자체 개발한 AI 모델 라우팅 기술인 '오토 모델 라우터'가 적용됐다.

KT는 자동 라우팅 기술을 통해 AI 서비스 운영에 드는 토큰 사용량을 최대 25% 절감할 수 있다고 했다. 수십 년간 축적한 통신 과금·정산 시스템을 결합해 실제 이용한 토큰 수만큼 비용을 지불하도록 해 비용 부담을 낮췄다.

이진형 AX사업본부장(상무)은 "프롬프트 압축 기술을 고도화해 불필요한 반복 표현을 제거, 질문 의미와 응답 품질을 유사하게 유지하면서 입력 토큰 수를 줄여 처리 효율을 높였다"며 "해외 AI 서비스 의존에 따른 데이터 주권 상실 우려를 줄이기 위해 국내 KT 데이터센터에서 직접 AI 추론 서비스를 제공한다"고 설명했다.

이진형 KT AX사업본부장(상무)이 27일 서울 종로구 광화문 웨스트빌딩에서 열린 기자간담회에서 AI 플랫폼 'KT 토큰팩토리'에 대해 설명하고 있다. 노경조 기자

글로벌 오픈라우터와의 파트너십을 통해 플랫폼 확장성도 확보했다. 토큰팩토리를 국내·외 AI 모델과 이용자를 연결하는 'AI 허브'로 발전시킬 예정이다.

오픈라우터는 하나의 응용프로그램인터페이스(API)로 수백개의 글로벌 AI 모델을 연결해 주는 서비스다. KT는 추후 AI 코딩·에이전트 분야에 특화된 유라클과 CAST AI, 기업용 AI 워크스페이스 전문기업인 타임리 등 국내외 기술 기업들과 협력을 넓힐 계획이다. 업스테이지, 다음 등 '모두의 AI' 컨소시엄 참여사들과 공조도 강화한다.

박상원 AX사업부문장(전무)은 "AI 시장은 이제 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환되고 있다"며 "KT는 통신 사업에서 축적한 연결·과금·보호 역량을 AI 서비스로 확장한 토큰팩토리를 기반으로 고객의 AX 전환을 지원하고, 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다"고 말했다.

노경조 기자 felizkj@asiae.co.kr