AMD 리사 수가 주목한 韓 스타트업…엔비디아 독주에 도전장

망코부스트, 자체 개발 하드웨어 기반 AI 추론 서비스 '망고 인퍼런스' 출시
김장우 대표 "AMD GPU 수급 문제없다"…수만 장 확보 로드맵 마련
오픈웨이트 모델 서비스로 GPU 공급 위주 네오클라우드와 경쟁 예고
국산 AI 모델·NPU도 활용 확대…500㎿ 인프라 구축 추진

김장우 망고부스트 대표가 12일 열린 기자간담회에서 '망고 인퍼런스'에 대해 설명하고 있다. 사진=백종민 테크 스페셜리스트

국내 인공지능(AI) 인프라 기업 망고부스트가 AMD와 손잡고 엔비디아의 독주에 도전한다. AMD 칩을 고객이 바로 쓸 수 있는 AI 서비스로 만드는 기술이 무기다. 안정적인 AMD 반도체 공급을 발판으로 국산 AI 모델까지 활용 범위를 넓혀 한국 AI 산업의 엔비디아 의존을 줄이겠다는 원대한 구상이다.

서울대 교수인 김장우 망고부스트 대표는 12일 열린 기자간담회에서 AI 추론 서비스 '망고 인퍼런스'를 공개하며 "망고부스트는 이제 부품 회사가 아니다"고 선언했다. 네트워크와 저장장치 관련 처리를 맡는 데이터처리장치(DPU)를 넘어 최종 고객에게 AI 추론 서비스를 제공하는 사업자로 전환하겠다는 뜻이다.

망고 인퍼런스는 하드웨어와 소프트웨어를 함께 최적화한 AI 추론 서비스다. 고객이 별도 서버를 구축하지 않고 AI 모델을 이용하도록 하면서 응답 속도와 처리량을 높이고 운영 비용을 줄이는 데 초점을 맞췄다.

코어위브(CoreWeave)와 람다(Lambda) 등 네오클라우드 기업들이 성장하는 가운데, 망고부스트는 AMD 그래픽처리장치(GPU)에 자체 설계한 서버·네트워크와 추론 소프트웨어를 결합하는 기술을 차별점으로 내세운다.

고객은 딥시크·GLM·미니맥스 등 오픈웨이트 모델을 별도 인프라 구축 없이 골라 쓸 수 있다. 이용 기업은 GPU를 구매하거나 모델을 설치할 필요 없이 토큰의 사용량에 따라 비용을 내면 된다.

AMD는 AI용 GPU 시장에서 엔비디아를 추격하고 있지만 격차를 좁히기가 쉽지 않다. AI를 활용하기 위해서는 GPU를 연결하는 네트워크와 저장장치, 소프트웨어가 함께 움직여야 하는데 이 분야에 AMD의 약점이 있기 때문이다.

망고부스트는 이 전체 시스템을 설계하고 최적화하는 역할에 주력하고 있다. AMD도 지난 9일 공식 블로그를 통해 공동 기술 성과와 망고 인퍼런스를 소개했을 정도다. 김 대표는 "우리가 성공해야 엔비디아의 아성을 무너뜨릴 수 있다"며 자신감을 드러냈다.

김 대표에 따르면 지난 7일 방한한 리사 수 AMD 회장은 한국 내 AI 인프라 확대의 핵심 사례로 망고부스트를 꼽았다. 김 대표는 당시 수 회장 바로 옆에 서서 기념사진을 찍었던 일화를 소개하며 긴밀한 관계를 강조했다.

그는 예정했던 수 회장과의 단독 만남이 도널드 트럼프 미국 대통령의 호출에 따른 일정 변경으로 무산된 것이 못내 아쉬웠던 눈치다.

협력의 실익은 GPU 확보에서도 나타난다는 설명이다. 대형 사업자들도 확보가 어려운 게 GPU지만 김 대표는 "다른 회사들이 공급받지 못할 때 우리는 받을 수 있다"고 강조했다.

AMD로부터 최신 GPU를 안정적으로 공급받을 수 있고, 수만 장 단위의 확보 로드맵도 마련했다는 것이다. AMD GPU의 활용처를 넓혀주는 기술력이 반도체를 확보할 협상력으로 이어진다는 논리다.

리사 수 AMD 회장이 지난 7일 서울에서 한국 반도체 스타트업과의 만남 행사 후 기념 촬영을 하고 있다. 왼쪽부터 류제명 과기정통부 2차관, 리사 수 AMD 회장, 김장우 망고부스트 대표. 사진=김장우 대표 제공

김 대표는 망고 인퍼런스 지원 대상을 국산 AI 모델로도 넓힐 계획이다. 국산 신경망처리장치(NPU)도 활용하겠다고 밝혔다.

사용하기 편리해도 서비스 비용이 비싸면 경쟁력이 떨어진다. 이에 대해 김 대표는 하드웨어와 소프트웨어의 동시 최적화로 이용 요금을 낮출 여력이 있다고 자신했다.

망고부스트가 이미 서울 강남에 구축 중인 1㎿ 규모 인프라는 내년 1분기 완성 예정이다. 미국·일본·동남아시아 등의 파트너와 500㎿ 규모로 확대한다는 계획도 구상하고 있다.

김 대표는 초기 증설은 자체 재원으로 추진하고, 이후 대기업과의 합작과 해외 기업과의 공동 구축 등을 활용하겠다는 청사진도 제시했다.

백종민 테크 스페셜리스트 cinqange@asiae.co.kr