"초당 1000토큰 시대 연다"…삼성전자, zHBM으로 AI 반도체 혁신

김진영 기자

입력 2026.09.17 08:32

美AI 인프라 서밋서 3D 적층 아키텍처 제시
HBM5 대비 성능 8배·전성비 3배 돌파

삼성전자가 인공지능(AI) 에이전트 시대를 맞아 AI 가속기 위에 메모리를 3차원(3D)으로 직접 얹는 'zHBM'을 선보이며 기존 AI 시스템의 응답 속도를 10배 이상 끌어올리겠다는 비전을 제시했다.

김인동 삼성전자 미주총괄법인(DSA) 메모리 상품기획 담당 상무는 16일(현지시간) 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 'AI 인프라 서밋' 기조연설에서 AI 메모리 반도체의 패러다임 전환을 강조했다.

김인동 삼성전자 미주총괄법인(DSA) 메모리 상품기획 담당 상무가 16일(현지시간) 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 'AI 인프라 서밋'에서 발표하고 있다. 연합뉴스

김 상무는 "현재 대화형 AI 시스템의 응답 속도는 이용자당 초당 100토큰 수준에 머물러 있다"며 "향후 에이전트형 AI 시대에 대응하기 위해 이를 초당 1000토큰 수준으로 10배 끌어올리는 양자 도약(퀀텀 점프)을 목표로 하고 있다"고 밝혔다.

이 같은 극적인 성능 향상을 위해 삼성전자가 제시한 핵심 돌파구는 'zHBM'이다. 현재 산업계는 AI 가속기 옆에 고대역폭 메모리(HBM)를 평면으로 나란히 배치하는 2.5D 패키징 방식을 주로 채택하고 있으나, 데이터 전송 거리와 통로 제한으로 인한 지연 현상이 병목으로 지목된다. 삼성전자는 가속기 상단에 HBM을 직접 수직 적층하는 3D 구조를 구현함으로써 이 한계를 완벽히 극복한다는 구상이다.

김 상무는 이를 "호텔 객실 내부에서 1층 로비로 직행하는 전용 엘리베이터를 별도로 설치하는 것"에 비유하며, 데이터 이동 거리와 병목에 따른 지연 시간을 극단적으로 줄일 수 있다고 설명했다. 이에 따라 zHBM은 HBM5와 비교해 최대 8배 성능과 3배 이상의 전력 효율을 구현할 수 있다는 것이다. 수직 적층 시 발생하는 가속기의 발열 전달 문제에 대해서는 AI 가속기 고객사들과 초기 제품 설계 단계부터 맞춤형으로 협력하는 공동 설계 시스템을 통해 해결하겠다는 방침이다.

이와 함께 삼성전자는 기기 내장형(온디바이스) AI 시장을 타깃으로 하는 낸드플래시 기반 3차원 저장장치 솔루션 'z낸드-O'의 로드맵도 공개했다.

김 상무는 "2030년이 되면 (대규모 서버가 아닌) AI 워크스테이션 등의 환경에서도 매개변수(파라미터) 1조 개 수준의 거대 AI를 자체 구동하는 사례가 보편화할 것"이라며 "D램만으로 매개변수 1조 개에 맞는 메모리를 구성하려면 상당히 큰 비용이 들지만, z낸드O를 적용하면 6분의 1 비용으로 구현할 수 있다"고 말했다.