"훈련 끝, 핵심은 대량 배포"…젠슨 황의 선물 'AI 팩토리', 데이터센터와 뭐가 다를까[테크토크]

AI 팩토리, '대량 배포' 데이터센터
CPU와 GPU 비율, 거의 동등해져
AI 미세 조정 지원에 특화된 시설

편집자주AI, 반도체, 통신, 바이오에 이르기까지 우리 생활에 꼭 필요하지만 너무나 생소한 기술 이야기를 쉽게 풀어 전해 드립니다.

젠슨 황 엔비디아 최고경영자(CEO)가 이번 방한 일정 도중 '인공지능(AI) 팩토리' 구축 계획을 공개했습니다. 현실화하면 향후 5년간 수백조원에 달하는 데이터센터 투자가 유치됩니다.

젠슨 황 엔비디아 최고경영자(CEO)가 서울 삼성동 거리에서 시민들에게 치킨을 나눠주고 있다. 김진영 기자

AI 팩토리는 얼핏 데이터센터와 크게 달라 보이지 않습니다. 똑같은 그래픽처리장치(GPU), 중앙처리장치(CPU), 메모리 등으로 이뤄진 시설이니까요. 하지만 AI 팩토리는 지금껏 빅테크들이 구축한 컴퓨팅 시설과 중요한 차이가 있습니다. 지금까지 AI 인프라가 연구개발에 집중했다면, AI 팩토리부터는 대량 배포를 준비합니다.

AI 팩토리는 뭐가 다를까…하드웨어 구성 비율이 다르다

AI 팩토리는 엔비디아가 야심 차게 기획한 데이터센터 솔루션입니다. 공식 홈페이지 설명에 따르면 "풀 스택 AI 인프라와 소프트웨어를 가속화"하고 "(AI를) 배포하는 것"이 목적입니다.

서버 랙(Rack)을 조정하고 있는 엔비디아 엔지니어. 엔비디아

이 때문에 AI 팩토리는 일반 AI 데이터센터와 '컴퓨터 칩 구성 비율'이 다릅니다. 지금까지 AI 데이터센터는 훈련용 시설이었습니다. 즉, AI 모델에 방대한 데이터셋을 사전 훈련(Pre-training·프리 트레이닝)하는 용도였지요. 훈련 작업을 가속하는 GPU가 CPU보다 훨씬 많이 필요했습니다. CPU 1개당 GPU 4~8개를 붙이는 데이터센터도 흔했습니다.

반면 AI 팩토리는 배포 중심, 즉 AI 에이전트 구동에 초점을 맞춥니다. 엔비디아가 준비한 차세대 AI 팩토리용 루빈 플랫폼은 최신 CPU와 GPU를 1:1, 혹은 1:2 비율로 조절했습니다. 아예 AI 에이전트 구동용 베라(Vera) CPU만 따로 합친 서버 랙(Rack)을 판매하기도 하고요.

AI를 특정 업무 전문가로…'미세 조정'에 특화된 데이터센터

AI 팩토리의 또 다른 특징은 소프트웨어에 있습니다. AI 팩토리는 파인 튜닝(Fine tuning·미세 조정) 지원에 특화된 데이터센터입니다. 일반적인 대형 언어 모델(LLM)은 방대한 데이터셋을 학습한 척척박사이지만, 까다로운 전문 지식이 필요한 분야에 투입하기는 어렵지요. 이 때문에 특정 전문 분야에 AI를 최적화하려면 파인 튜닝을 거쳐야 합니다.

엔비디아의 차세대 베라 루빈 플랫폼의 핵심인 베라 CPU와 루빈 GPU 및 기타 구성 칩들. 엔비디아

일례로 의료 AI는 일부 병원만 보유하고 있는 민감한 환자 데이터에 접근할 수 있어야 안정적인 의료 조언을 건넬 수 있을 겁니다. 법률 AI, 제조업 AI도 각각 판례 데이터, 제조 공정 수치 등을 학습해야 합니다. 이처럼 파인 튜닝 AI는 특정 기업이나 전문가만 보유하고 있는 '고유 데이터'를 기반으로 훈련합니다.

황 CEO가 한국을 "피지컬 AI 중심지"로 낙관한 이유이기도 합니다. 제조업이 발달한 한국에는 제조 공정을 반복하며 누적된 수많은 이미지·수치 자료들이 있습니다. 해당 자료를 고품질 데이터셋으로 가공해 AI 팩토리로 훈련하면, 향후 다양한 제조 업무를 수행할 AI를 완성할 수 있겠지요.

한편 황 CEO는 지난 8일 SK하이닉스, SK텔레콤, SK 그룹 등과 함께 향후 5기가와트(GW)급 AI 팩토리를 구축하겠다는 구상을 발표했습니다. 1GW급 전력을 소모하는 AI 팩토리 한 채당 약 600억달러(약 91조원)의 시설 비용이 투입될 것으로 예상됩니다. 해당 구상을 완료하려면 최대 3000억달러(약 457조원)의 자본을 지출해야 하는 셈입니다.

임주형 기자 skepped@asiae.co.kr