화웨이, AI 추론 가속 솔루션 검증 성과…토큰 처리량 372%까지 향상
MWC 상하이 2026서 공개
화웨이가 중국 통신업계 최초로 상용망에서 장문 인공지능(AI) 추론의 토큰 처리량을 372%까지 끌어올리는 데 성공했다.
화웨이는 지난 24일 중국 상하이에서 열린 'MWC 상하이 2026'에서 차이나모바일 후베이와 공동으로 이같은 검증 성과를 공개했다고 29일 밝혔다.
이번 솔루션은 화웨이의 오션스토어 A800 스토리지와 어센드 A3 슈퍼팟, 통합 캐시 관리자(UCM)를 기반으로 한다. 화웨이는 AI 컴퓨팅 서비스를 효율적으로 배포할 수 있는 핵심 기술 토대를 마련했다고 설명했다.
AI 응용이 AI 비서 중심으로 옮겨가면서 코드 생성과 멀티턴 대화처럼 긴 문맥을 다루는 장문 시나리오가 늘고 있는 가운데, 기존 메모리의 제한된 용량이 데이터 처리의 한계로 꼽혀왔다. 화웨이는 이를 해결하기 위해 외부 고성능 스토리지를 활용하는 UCM을 도입하고 페타바이트(PB)급 KV 캐시를 구현했다.
이번 검증은 차이나모바일 후베이의 상용망 환경에서 미니맥스 M2.5와 GLM 5.1 등 주요 모델을 대상으로 8K부터 190K 토큰에 이르는 장문 입력을 시뮬레이션했다.
검증 결과 GLM 5.1 모델에서는 첫 토큰 생성 시간(TTFT)이 최대 93% 줄었고, 초당 토큰 수(TPS)는 최대 372%까지 향상됐다. 미니맥스 M2.5 모델도 128K 환경에서 TPS가 78%까지 높아졌다.
꼭 봐야 할 주요 뉴스
"좋은 형이었던 만큼, 자수하길 바랐다"…'리트 만점' 이진우 대학 동기들 애도
마이클 추 화웨이 글로벌 데이터 스토리지 마케팅·솔루션 세일즈 부문 사장은 "AI 추론 가속 솔루션은 TTFT를 크게 줄일 뿐 아니라 토큰 비용 절감에도 기여해, 통신사가 효율적이고 친환경적인 AI 컴퓨팅 인프라를 구축하도록 지원한다"고 말했다.
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제. 무단전재 배포금지, AI 학습 및 활용 금지>