"생성형 AI의 최대 136배" AI 에이전트 '전력 비용' 정량화

'인공지능(AI) 에이전트'가 활성화되면서 데이터센터의 전력 소비가 앞으로 풀어가야 할 과제로 부각된다. AI 에이전트는 생성형 AI처럼 '단순히 받은 질문에 답을 내놓는 수준'을 넘어 다단계 추론이 가능하다. 다만 외부 도구를 활용하는 까닭에 전력 소비량이 상대적으로 크다. 하지만 그간 AI 에이전트의 전력비용을 수치화한 사례는 없었다. 국내 연구진이 AI 에이전트의 숨은 전력비용을 정량화한 결과를 내놔 눈길을 끈다.

KAIST는 전기 및 전자공학부 유민수 석좌교수 연구팀이 실제 서비스 상황에서 AI 에이전트가 사용하는 계산 자원과 전력량을 세계 최초로 분석했다고 5일 밝혔다.

(왼쪽부터) 신병준 석사과정, 정진하 석박통합과정, 김지인 박사과정, (우상단) 유민수 석좌교수. KAIST

AI 에이전트는 여러 도구를 스스로 활용해 목표를 수행하는 차세대 AI로 발전하고 있다. 챗GPT가 대표적인 예다. 챗GPT 등 거대언어모델(Large Language Model·LLM) 기반의 어플리케이션은 질문에 단순히 답을 하는 수준에 머물지 않고, 스스로 계획을 세워 계산기·인터넷 검색·코드 실행 등 외부 도구로 복잡한 문제를 해결한다.

이 같은 이점으로 AI 에이전트는 소프트웨어 개발과 연구, 업무 자동화 등 다양한 분야에서 활용성이 커지고 있다. 하지만 AI 에이전트를 운영하는 데 필요한 전력과 비용을 정량화한 수치는 제대로 파악되지 않고 있다.

연구팀은 AI 에이전트를 단순 프로그램이 아니라 데이터센터 서버, 대규모 AI 계산을 수행하는 고성능 반도체(GPU)가 지속해 처리하는 새로운 형태의 작업(워크로드, 컴퓨터가 수행하는 전체 계산 작업)으로 정의해 실제 실행 과정에서 발생하는 계산량과 에너지 소비량을 분석했다.

이 결과 AI 에이전트는 기존 단계별 추론(Chain-of-Thought, 사람처럼 생각 과정을 개별적으로 전개해 답을 찾는 방식)과 다르게 반복적으로 LLM 호출(답변 생성을 요청하는 계산 과정)을 수행하는 것으로 확인됐다.

LLM 호출이 늘어날수록 AI 에이전트가 응답하는 시간도 최대 153.7배 길어졌다. 문제는 AI 에이전트가 답변하는 시간이 길어진 사이(외부 도구를 이용한 작업 수행)에 GPU는 전체 실행 시간의 최대 54.5%를 대기만 했다는 점이다. 바꿔 말해 AI가 복잡한 일을 수행하면 할수록, 고가의 GPU는 충분히 활용되지 못하고 방치되는 비효율이 발생하는 구조다.

AI 생성 이미지. KAIST

연구팀은 데이터센터 규모에서 AI 에이전트가 사용하는 전력량도 분석했다. 이 결과 현재 상용 AI 서비스 수준인 700억개 매개변수(Parameter, AI가 학습한 지식과 능력을 저장하는 값)를 가진 LLM을 사용하는 AI 에이전트는 질문 1건을 처리하는 데 평균 348.41Wh(전기를 얼마나 사용했는지를 나타내는 에너지 단위)의 전력을 소비, 기존 생성형 AI의 단순 질의응답 방식보다 최대 136.5배 높은 수준을 기록했다.

이를 토대로 하루 137억건의 AI 에이전트 요청이 발생하는 환경을 가정했을 때는 데이터센터 전력 수요가 198.9GW(국가 단위 전력망에서 사용하는 규모와 맞먹는 전력 용량)에 이르는 것으로 추정됐다. 이는 현재 세계 각국이 추진하는 수 GW 규모의 AI 데이터센터를 웃도는 수준으로, 미국 전체 평균 전력 소비량의 절반에 해당한다는 게 연구팀의 설명이다.

연구는 앞으로 AI 모델의 발전과 맞물려 AI 반도체, 데이터센터, 전력 인프라를 동시에 최적화하는 '공동 설계(Co-design)'가 필수 전략이 될 것이라는 점을 시사한다. AI 서비스의 운영비용을 낮추고, 지속가능한 AI 인프라를 구축하는 것이 핵심 기술이 된다는 이야기다.

유 석좌교수는 "연구팀은 정확도에 치중해 온 그간의 AI 에이전트 연구의 벽을 허물어 실제 서비스 환경에서 요구되는 계산 비용과 인프라 부담을 함께 고려할 수 있는 새로운 기준을 제시했다"며 "AI 에이전트 사용이 보편화된 미래 사회에는 AI 데이터센터 인프라와 AI 에이전트 모델, 전력 인프라를 아우르는 공동설계 방식으로 최적화를 꾀하는 접근법이 중요해질 것"이라고 말했다.

한편 이번 연구에는 KAIST 전기 및 전자공학부 김지인 박사과정 학생이 제1 저자로 참여했다. 연구 결과는 최근 컴퓨터 시스템 설계 분야 국제학회 'IEEE HPCA(International Symposium on High-Performance Computer Architecture)'에서도 발표됐다.

대전=정일웅 기자 jiw3061@asiae.co.kr