LGU+, 옵트에이아이와 AI 토큰 최적화 기술 개발 나선다

LG유플러스 가 인공지능(AI) 모델 최적화 전문기업 옵트에이아이와 손잡고 AI 운영 효율을 높이는 토큰 최적화 기술 개발에 나선다고 2일 밝혔다.

이상엽 LG유플러스 CTO(전무, 왼쪽)와 이재호 옵트에이아이 대표가 토큰 최적화 협력과 관련해 기념촬영을 하는 모습. LG유플러스.

토큰 최적화는 AI 모델을 가볍게 만들거나 연산 과정을 효율화해 같은 자원으로 더 많은 요청을 처리할 수 있도록 하는 기술이다.

LG유플러스는 실제 AI 서비스 운영 경험을 바탕으로 기술 검증과 적용을 담당한다. 옵트에이아이는 AI 모델을 더 가볍고 빠르게 구동하는 기술을 연구·개발한다.

앞서 양사는 '엑사원' 기반 소형언어모델(sLM)에 경량화 기술을 적용해 스마트폰의 AI 전용 반도체인 신경망처리장치(NPU)에서 구동할 수 있도록 했다. 기존 중앙처리장치(CPU) 방식과 비슷한 성능을 유지하면서 전력 소모량은 78%, 모델 크기는 82% 줄였다.

양사는 서버 그래픽처리장치(GPU) 환경까지 공동 연구 범위를 확대할 계획이다. 특히 AI 모델이 답변을 생성하는 연산 과정을 실제 서비스 환경에 맞게 개선해 같은 GPU에서 처리할 수 있는 토큰량을 기존보다 최대 4배 높였다.

이상엽 LG유플러스 CTO는 "옵트에이아이를 비롯한 다양한 파트너들과 협력해 토큰 최적화 기술 연구를 확대하고 실제 서비스에 적용할 수 있는 성과를 만들어 나가겠다"고 말했다.

이은서 기자 libro@asiae.co.kr