JP모건, 값비싼 최신 모델 단순 업무 자제령
BofA 직원 20만명…하루 프롬프트 40만개
"AI로 생산성 올랐지만 지출도 그만큼 늘어"

월가가 인공지능(AI) 비용 관리에 나섰다. 보고서 요약 같은 단순 업무에까지 비싼 최신 모델을 붙이지는 말자는 것이다.


생성형 AI 툴인 챗GPT, 클로드, 제미나이 앱 모습. 로이터연합뉴스

생성형 AI 툴인 챗GPT, 클로드, 제미나이 앱 모습. 로이터연합뉴스

AD
원본보기 아이콘

연합뉴스는 14일(현지시간) 블룸버그통신을 인용해 JP모건체이스가 고성능 AI 모델을 어디에 투입할지를 놓고 "전략적 접근"을 하고 있다고 보도했다. 금융업계 전반으로 AI 활용이 번지면서 비용 문제가 함께 불거진 데 따른 것이다.

제레미 바넘 JP모건 최고재무책임자(CFO)는 이날 2분기 실적 발표 뒤 열린 애널리스트 콜에서 "애널리스트 보고서를 요약하려고 최첨단 값비싼 모델을 사용할 필요는 없다"며 "핵심은 목적에 맞는 적절한 AI 모델을 사용하는 것"이라고 했다.

미국 뉴욕의 월스트리트 모습. 로이터연합뉴스

미국 뉴욕의 월스트리트 모습. 로이터연합뉴스

원본보기 아이콘

비용 관리는 지출 규모가 그만큼 커진 데 따른 것이다. JP모건이 올해 기술 분야에 쓰기로 한 돈은 약 198억달러(약 29조 4000억원)로, 지난해보다 20억달러(약 3조원) 가까이 늘었다. 은행권 최대 규모다. 이 가운데 12억달러(약 1조 8000억원)는 고객 서비스와 소프트웨어 엔지니어링 등 AI 사업을 포함한 신규 투자에 배정됐다.


바넘 CFO는 "(회사가 쓴 토큰 비용이) 올 상반기에는 경미한 수준이었으나 하반기에는 의미 있게 늘어날 수 있다"고 내다봤다. 다만 연간 기준으로는 여전히 작은 규모에 머물 것으로 예상했다. '토큰'은 AI 모델이 문장을 잘게 쪼개 처리하는 최소 단위로, 주고받는 양이 많을수록 요금이 올라간다. 성능이 높은 최신 모델일수록 토큰당 단가도 비싸다. 긴 문서를 비싼 모델에 통째로 넣으면 그만큼 청구서가 불어나는 구조다.

"단순 요약에 비싼 최신 모델 왜 쓰나"…월가, AI 청구서 손본다 원본보기 아이콘

이와 유사한 고민은 다른 대형 은행에서도 나왔다. 브라이언 모이니한 뱅크오브아메리카(BofA) 최고경영자(CEO)는 컨퍼런스 콜에서 회사가 기술 분야에 "상당한 비용을 지출한다"며, 은행 전반에 걸쳐 AI 프로젝트를 어디에 도입할지 따지는 데 많은 시간을 쓰고 있다고 밝혔다.


BofA가 올해 기술 분야에 잡아둔 예산은 140억달러(약 20조 8000억원)다. 이 회사에서는 20만명이 넘는 직원이 AI에 매일 40만개 이상의 프롬프트를 입력하는 것으로 알려졌다. 모이니한 CEO는 "(AI 사용으로 인한) 생산성 향상이 있지만 그만큼 지출도 많이 늘었다"고 말했다.


데이비드 솔로몬 골드만삭스 CEO는 "토큰 사용과 기술 비용에 대한 얘기가 많다"며 "아직 초기 단계지만 사람들이 AI 기술과 AI 기업들에 대한 궁극적 수요가 무엇인지 이해하는 과정에서 시행착오와 재조정이 불가피할 것"이라고 주장했다.

AD

AI에 쏟은 돈이 실제 성과로 이어지는지에 대한 의문은 꾸준히 제기돼 왔다. 지난해 미국 매사추세츠공대(MIT) 미디어랩 연구진 보고서에 따르면 기업이 진행한 생성형 AI 시범 사업 가운데 95%가 손익에 잡히는 효과를 내지 못한 것으로 조사됐다.


김성욱 기자 abc123@asiae.co.kr

<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제. 무단전재 배포금지, AI 학습 및 활용 금지>

함께 보면 좋은 기사

새로보기

내 안의 인사이트 깨우기

취향저격 맞춤뉴스

많이 본 뉴스

당신을 위한 추천 콘텐츠

놓칠 수 없는 이슈