"토큰 총 비용 낮출 것"…LGU+ 토큰 최적화로 기업 고객 공략

코딩 AI 운영비 최대 90% 절감
모델 라우팅·경량화로 처리 효율 개선
익시오·사내AX 토대로 사업화

LG유플러스 가 인공지능(AI) 에이전트의 운영 비용을 최대 90% 이상 줄이는 '토큰 최적화' 기술을 앞세워 내년 기업간거래(B2B) AI 시장 공략에 나선다. 토큰당 단가 인하 경쟁을 넘어 AI로 업무를 완결하는 데 드는 총비용을 낮추겠다는 구상이다.

이상엽 LG유플러스 CTO(전무)가 지난 12일 'AI 토큰 최적화'에 대해 설명하며 AI 에이전트의 운영 비용을 최대 90% 이상 줄일 수 있다고 말했다. LG유플러스 제공.

LG유플러스는 지난 12일 기자 설명회를 통해 AI 통화 에이전트 '익시오', AI컨택센터(AICC), 사내 AI 전환 등 실제 서비스 운영 과정에서 축적한 경험을 토큰 최적화 사업에 활용할 계획이라고 밝혔다. 올해 말 카카오와 협력하는 '모두의 AI' 서비스에서는 AI 모델 운영을 담당하며 대규모 서비스 운영 역량을 강화한다.

LG유플러스는 대규모 트래픽을 운영하며 고객의 이용 패턴과 업무 특성에 맞춰 체득한 AI 모델 운영 레시피를 강조했다. 일례로 익시오는 출시 초기 LG AI 연구원의 온디바이스 모델과 구글 제미나이를 병행했지만, 실전 튜닝을 거쳐 서비스 품질과 비용 효율을 높였다. 고성능 AI가 필요한 작업과 가벼운 작업을 구분해 처리하는 방식이다.

사내 인공지능 전환(AX)에서도 개발자들이 사용하는 AI 코딩 도구에 자체 AI 모델을 활용해 기존 업무 환경을 유지하며 이용 비용을 줄이고 있다.

이를 위한 핵심 기술로 이용자의 질문에 따라 적합한 AI 모델을 자동으로 배정하는 '모델 라우팅'을 소개했다. 단순한 질문은 경량 모델이 처리하고, 복잡한 추론은 고성능 모델에 맡기는 방식이다. 특히 코딩 영역에서는 타 모델 대비 운영 비용을 90% 절감했다. LG유플러스 내부 기술 검증에서는 일반 질문 처리 비용은 25%, 코딩 에이전트 비용은 30% 이상 줄였다고 설명했다.

AI 모델 자체를 가볍게 만드는 경량화 기술에서도 성과를 냈다. 2.4~3GB에 달하는 기존 온디바이스 AI 모델 크기를 약 800MB로 줄이면서 비교 대상 클라우드 모델 대비 95% 이상의 성능을 확보했다. 작은 모델이 답변을 빠르게 생성하고 큰 모델이 이를 검증하는 '추측 디코딩' 기술로 토큰 생성 속도를 2배 이상 높였다. 이런 연구 성과는 세계 최고 권위 AI 학술대회인 뉴립스에 논문 2편이 동시 채택되기도 했다.

인프라 단에서는 작업 특성에 따라 칩을 조합하는 전략을 추진하고 있다. 엔비디아와 AMD의 그래픽처리장치(GPU), 퓨리오사 AI의 신경망처리장치(NPU)를 활용해 작업을 분산 처리하는 구조다. LG유플러스는 협력사와의 제휴형 모델과 자체 인프라 구축 방식을 통해 내년부터 B2B 기업 고객들의 AI 비용 고민을 해결하는 토큰 사업을 전개할 예정이다.

이상엽 LG유플러스 CTO는 "글로벌 수준의 모델 경량화·추론 기술과 AI 업무 수행 궤적을 반영한 운영 레시피를 결합해 내년부터 기업 고객들이 가장 합리적인 비용으로 최고의 AI 성과를 낼 수 있도록 시장을 주도하겠다"고 말했다.

이은서 기자 libro@asiae.co.kr