"서버에서 데이터센터 전체로" AI 데이터센터 설계 단위 확장

인공지능(AI) 데이터센터의 설계 단위를 개별 서버에서 데이터센터 전체로 확장하는 새로운 접근 방법이 제시됐다. 데이터센터를 '하나의 거대 칩'처럼 설계해 여러 랙(rack, 여러 서버와 장비를 층층이 설치하는 구조)에 분산된 장치가 하나의 칩 안에 있는 것처럼 예측 가능한 속도로 동작할 수 있도록 설계한 것이 핵심이다.

KAIST는 전기 및 전자공학부 정명수 교수와 교원창업기업 팹리스(fabless) 파네시아 연구진이 메타 연구진과 공동으로 국제 학술지 '네이처 리뷰 일렉트리컬 엔지니어링(Nature Reviews Electrical Engineering·NREE)'에 차세대 AI 데이터센터 구조를 제시한 리뷰 논문을 게재했다고 9일 밝혔다.

AI 생성 이미지. KAIST

생성형 AI와 초거대 AI를 실행할 때는 수백~수천 개의 가속기가 동시에 사용된다. 가속기는 AI가 대규모 계산을 신속하게 처리할 수 있도록 지원하는 반도체다.

다만 가속기를 많이 연결한다고 해서 속도가 무조건 빨라지는 것은 아니다. 여러 사람이 한 줄로 물건을 전달할 때 한 사람만 속도가 느려도 전체 작업이 늦어지는 것처럼 일부 가속기의 데이터 전달이 늦어져도 전체 연산 속도가 느려질 수 있는 것이다. 개별 반도체는 물론 수많은 가속기와 메모리가 얼마나 유기적으로 연결돼 연산을 신속하게 처리하느냐가 중요하다.

이를 위해 공동연구팀은 CXL(Compute Express Link)을 활용해 CPU, AI 가속기, 메모리를 하나로 묶어 AI 데이터센터 설계 단위를 데이터센터 전체로 확장하는 구조를 고안해 제시했다. CXL은 CPU·가속기·메모리를 빠르게 연결하고 자원을 공유하는 국제표준 기술이다.

제시된 구조는 서버 간 경계를 허물어 CPU·가속기·메모리를 긴밀하게 연결함으로써 데이터센터 전체가 흡사 '하나의 거대한 컴퓨터'처럼 움직이게 한다. 여러 대의 컴퓨터가 네트워크로 협업하는 기존 데이터센터의 운영 방식과 구별되는 지점이다.

엔비디아가 개발한 'NVLink(고속 GPU 인터커넥트)', 'UALink(가속기 간의 연결 표준)'은 주로 랙 내부 연결에 초점을 맞춰 여러 가속기를 빠르게 연결한다. 이와 달리 공동연구팀이 제시한 구조는 가속기뿐 아니라 CPU와 메모리까지 CXL로 연결하고, 범위를 데이터센터 전체로 확대한 것이 특징이다.

후자의 구조에서는 하나의 연결 영역에 최대 960개의 가속기를 연결할 수 있어 NVLink 기반의 랙보다 규모가 13배가량 커진다. 데이터 이동 시간도 기존 네트워크 기반 구조의 'μs(100만분의 1초)' 수준에서 'ns(10억분의 1초)' 수준으로 줄일 수 있다.

운영에 유연함을 더할 수 있는 것도 장점이다. CPU·가속기·메모리를 각각의 자원처럼 연결하면, 문제가 생긴 부품만 교체하거나 남는 연산·메모리 자원을 필요한 곳에 활용하는 것이 가능하다는 게 공동연구팀의 설명이다.

정명수 교수. KAIST

NREE의 리뷰 논문은 학술지 측이 해당 분야 전문가에게 직접 집필을 요청하는 초청 방식으로 기획된다. 공동연구팀은 메타의 데이터센터 인프라 연구진과 협력해 CXL 기술의 발전 현황을 분석하고, 차세대 AI 데이터센터의 설계 방향을 제시하는 리뷰 논문을 집필했다.

정 교수(파네시아 대표)는 "이번 연구는 AI 인프라의 성능 기준을 개별 가속기에서 데이터센터 전체로 확장해 '얼마나 예측 가능하고, 안정적으로 동작할 수 있는가'에 대한 답을 찾았다는 점에서 의미가 있다"며 "공동연구팀은 앞서 제시한 CXL 기반 구조를 보다 큰 규모의 데이터센터에서 검증하는 한편 CXL-over-Optics 등 광인터커넥트 기술과 결합해 현재의 물리적 거리 한계를 넘어서는 연구를 이어갈 계획"이라고 말했다.

대전=정일웅 기자 jiw3061@asiae.co.kr