"당장 큰돈 안 되는데"…AI 도입 기업은 왜 매년 늘어날까[글로벌 포커스]

맥킨지 '2025 AI 현황' 보고서
글로벌 임원 대상 설문조사 진행
응답자 88% "AI 1개 이상 사용"

메르세데스-벤츠 차량 내부. 메르세데스-벤츠 코리아

#. 독일 자동차 기업 메르세데스-벤츠는 운전자와 대화를 나눌 수 있는 '음성 인식 AI 비서'를 탑재한 모델들을 선보이고 있다. 기존에는 "날씨 알려줘" 등 명령형 음성제어 방식이었다면, 생성형 AI를 탑재한 후에는 "날씨가 궂으니 가장 적합한 주차장 찾아줘"까지 개별 운전자에 특화된 자연스러운 대화가 가능해졌다.

#. 카메라를 비추기만 하면 상품 등록이 끝나고, 대화 한 번으로 원하는 물건을 찾아주는 '제로 탭(Zero-tap)' 경험. '일본판 중고나라'를 운영하는 중고 플랫폼 1등 기업 메루카리가 그리는 미래다. 2000여명이 근무하는 12년차 기업 메루카리는 인공지능(AI) 기술을 기반으로 일하는 방식과 제품 구조를 통째로 재창조하고 있다.

AI 쓰는 기업 88%…생성형 AI 도입도 급증

전 세계적으로 'AI와 함께 일하는(Working with AI)' 기업들이 빠르게 늘고 있다. 글로벌 컨설팅사 맥킨지앤드컴퍼니가 최근 발표한 '2025년 AI 현황(The State of AI in 2025)' 보고서에 따르면, 응답자의 무려 88%가 조직 내 1개 이상 기능에서 AI를 사용한다고 답했다. 응답률은 2023년 55%, 2024년 78%, 그리고 올해 88%까지 3년간 꾸준히 늘었다. 이번 설문은 북미·유럽·아시아·중동·남미·아프리카 등 6개 지역에서 2000명 이상의 글로벌 대기업 임원을 대상으로 이뤄졌다.

이보다 더 빠른 성장세를 보이는 것은 생성형 AI(Gen AI)다. 2022년 11월 오픈AI가 공개한 대화형 AI 챗봇인 '챗GPT'의 등장 이후 전 세계 기업들이 가장 적극적으로 검토하는 영역이 바로 이 기술이다. 생성형 AI를 사용한다고 답한 비중은 올해 79%로, 지난해 71%보다 또다시 증가했다. 2023년 33%에서 불과 2년 만에 도입률이 두 배 이상 늘었다. 단순 자동화나 효율화 중심의 기존 AI와 달리, 보고서 작성·코드 생성·제품 기획·고객 상담 등 비정형 업무까지 AI와 협업하는 시대가 현실로 다가왔다는 의미다.

대다수 응답자는 단순 AI를 비롯해 생성형 AI가 향후 조직 경쟁력에 결정적일 것이라고 믿고 있다. 실제 답변자 중 68%는 "AI를 도입하고 확장하지 못한 조직은 향후 3년 내 경쟁에서 뒤처질 것"이라고 답했다. 이런 긴박감은 AI가 더 이상 단순한 기술 투자가 아니라 전략적 필수 요소로 인식되고 있음을 의미한다.

"아직 돈 안 된다"…재무적 성과 미비

숫자만 보면 'AI 만능주의'처럼 보이는 이 흐름에는 넘어야 할 산도 많다. 맥킨지 분석에 따르면, AI를 사용한다고 답한 기업 중 62%가 여전히 '실험적 단계' 및 '파일럿 단계'에 머무르고 있었다. 전사적 재무성과(EBIT) 개선을 체감한다는 답변도 39%에 그쳤다. 정성적 효과는 분명한 듯 보이나, 실제 수익성은 아직 길게 봐야 한다는 말이다. 고객 만족도 개선·브랜드 차별화 등은 눈에 띄지만, 당장 눈에 보이는 현금 흐름 개선은 제한적이라는 것이 공통된 반응이다.

개별 지역별로 봐도 비슷한 추세가 감지된다. 최근 AI 열기가 뜨거운 중동에서도 똑같이 관찰된다. 바레인·쿠웨이트·오만·카타르·사우디아라비아·UAE 등 6개국 조사 결과, 84%가 AI를 활용하고 있다고 답했지만, 맥킨지는 "3분의 2 이상이 여전히 파일럿 단계"라고 지적했다. 투자 규모나 열기는 뜨거워도, 기술을 어디까지 깊게 쓰고 있느냐는 완전히 별개의 문제라는 뜻이다.

한국 기업들도 비슷한 상황에 놓여 있다. 아마존웹서비스(AWS)가 지난 7월 발표한 한국 기업 분석 보고서에 따르면, 한국 기업의 AI 도입률은 48%로 비교적 높은 편이지만, 도입 목적을 들여다보면 대부분 효율화·비용 절감 중심이었다. AI를 도입해 신사업을 만들거나 기존 비즈니스를 뒤흔드는 근본적 혁신에 도전하는 비율은 7%에 그쳤다.

이같은 흐름은 올해 중순부터 이미 감지됐다. 매사추세츠공과대(MIT)의 난다(NANDA) 이니셔티브가 지난 8월 발표한 보고서가 그 촉매다. 보고서는 "AI를 도입한 기업 중 95%가 재무적으로 유의미한 성과를 얻지 못했다"고 직설했다. 생성형 AI 파일럿 프로젝트가 우후죽순 생기고 있는 현실에서 이는 날카로운 경고에 가까웠다.

해당 보고서는 발표 직후 AI 시장에 찬물을 끼얹었다. AI 반도체 강자 엔비디아는 주가가 3%대 낙폭을 기록했고, 빅테크(대형 정보기술기업) 전반에서 주가 조정이 이어졌다. 특히 'AI 거품론'이 퍼지는 시점에 샘 올트먼 오픈AI 최고경영자(CEO)가 "AI 투자 열기에는 분명히 거품 조짐이 있다"고 공개 발언한 직후라 시장 불안은 더 컸다.

AI 활용 고성과 기업 6%의 비밀은

그렇다면 회사가 생성형 AI를 제대로 쓰려면 어떻게 해야 할까. 맥킨지는 그 단서를 '고성과 AI 기업'들에서 찾았다. 전체 기업 중 단 6%뿐인 이들 기업은 AI를 단순 효율화 도구로 쓰지 않는다. 비용 절감이 아니라 사업 성장·신제품 개발·운영 혁신을 목표로 AI를 도입한다. 이들은 기존 조직 프로세스 위에 AI를 덧붙이는(add-on) 방식이 아니라, 프로세스 자체를 재설계하는(re-design) 방식을 택한다. 다시 말해, AI를 개발 부서에만 국한하지 않고, 전략·영업·재무·인사 등 전사에 걸쳐 '업무수행 방식 자체를 다시 만드는' 접근을 한다는 의미다.

타라 발라크리슈난 맥킨지 어소시에이트 파트너는 "고성과 기업의 가장 큰 특징은 '야망의 크기'라며 "이들은 AI를 통해 단순한 효율성 개선 수준을 넘어 사업 자체를 근본적으로 재설계하려는 목표를 세운다"고 짚었다. 이런 야망이 조직 내에서 중요한 차별화 요소가 될 뿐 아니라 변화의 촉매제 역할을 한다는 설명이다.

특히 이 과정에서 최고경영자(CEO)를 비롯한 핵심 경영진의 리더십은 무엇보다 중요하다. 그는 "리더들이 AI로의 전환에 대한 비전을 명확히 제시하면 조직 전체는 방향성과 투자, 에너지 측면에서 하나로 결집된다"며 "이를 통해 (AI를 활용한) 선도 기업들은 자동화 개선에 그치지 않고 업무 흐름과 고객 경험을 재설계해 새로운 가치를 창출하고 있다"고 짚었다.

답변자 3분의 1 "조직 인력 감소할 것"

한편, AI가 가져올 미래가 누구에게나 긍정적인 것만은 아니다. 실제 최근 AI 확산으로 미국 주요 기업들이 줄줄이 구조조정에 나서고 있다. IBM은 소프트웨어와 서비스 부문에 집중하기 위해 4분기 인력 조정에 나설 계획이다. 지난달 아마존은 AI 혁신에 대응하기 위해 조직 군살을 뺀다며 1만4000명을 감원하겠다고 밝혔다. 메타도 지난달 조직 비대화 문제를 해결하기 위해 AI 부문에서 600명을 감원했다.

맥킨지 조사에서도 응답자 중 3분의 1은 향후 1년 내 조직 인력이 감소할 것이라고 전망했다. IT·공급망·영업 등 일부 부문은 AI 도입 이후 오히려 채용이 늘었다는 답변도 있었지만, 개별 노동자 관점에서도 고용시장 변화를 예의주시해야 한다는 의미다.

차민영 기자 blooming@asiae.co.kr