- 웹 새창 이동 없이 카카오톡 대화창에서 바로 생성형 AI 상담…대화 기록 그대로 보존
- 카드사별 등록 조건·요일별 요금 등 복잡한 규정 이해…일할 계산·조건별 판단까지 수행

국내 대표 대중교통 결제 플랫폼에 카카오톡 대화창에서 바로 이용할 수 있는 생성형 인공지능(AI) 챗봇 서비스가 도입됐다. 규정이 복잡하고 개인별 상황에 따라 답이 달라지는 공공서비스 영역에 생성형 AI를 본격 적용한 사례로, 카카오톡 대화창에서 직접 생성형 AI 답변을 주고받는 이른바 '네이티브' 방식은 교통·항공·모빌리티 업계에서는 처음이다.


AI 챗봇 전문기업 메이크봇(대표이사 김지웅)은 국내 최대 규모의 교통 결제 플랫폼 카카오톡 챗봇에 LLM(대규모 언어모델) 기반 생성형 AI 상담 기능을 적용했다고 29일 밝혔다. 이번 고도화에는 메이크봇이 지난해 이탈리아 파도바에서 열린 세계 최고 권위의 AI 학술대회 'SIGIR 2025'에서 발표한 'HybridRAG' 기술이 함께 탑재됐다.

웹 이동 없는 '카카오톡 네이티브' 생성형 AI…대화가 끊기지 않는다

생성형 AI와 LLM 기반 챗봇 도입은 전 산업으로 확산되고 있지만, 대부분은 카카오톡에서 진입한 뒤 별도의 웹 브라우저 창이나 앱으로 이동시키는 방식이었다. 웹 창으로 넘어가면 창을 닫는 순간 대화가 사라져 앞선 답변을 다시 확인할 수 없고 중도 이탈도 발생한다.


이번 챗봇은 이용자가 늘 사용하는 카카오톡 채팅창에서 질문하고 답변받는다. 대화가 채팅방에 그대로 남아 며칠 뒤에도 확인할 수 있고, "그럼 후불은 어떻게 되나요"처럼 앞선 대화를 전제로 한 후속 질문이 이어지는 멀티턴(Multi-turn) 응대가 가능하다. 메신저 챗봇은 응답 시간과 메시지 구조에 제약이 있어 실시간으로 긴 문장을 생성하는 LLM을 그대로 얹기 어려웠는데, 메이크봇은 HybridRAG 방식으로 이 제약을 해결했다.

단순 검색 아닌 '추론'…LLM이 복잡한 요금 체계 직접 계산

이번 생성형 AI 챗봇의 가장 두드러진 특징은 정보를 찾아주는 데 그치지 않고 이용자의 상황에 맞춰 판단하고 계산하는 추론 능력이다. 이용자가 "7월 15일에 후불 기후동행카드를 등록하면 첫 달 청구금액이 얼마인가요"라고 물으면, 챗봇은 7월이 31일까지인 점과 기본 월 부담한도, 미등록 기간만큼의 일할 차감액을 순차 적용해 첫 달 부담한도를 직접 계산해 안내한다. "한강버스를 2회 이용하면 월 부담한도에 얼마가 추가되나"라는 질문에도 30일 기준 6만 2,000원에 5,000원이 더해져 6만 7,000원까지 적용된다는 계산 결과를 함께 제시한다.


지역·조건별 판단도 가능하다. "부산에서도 사용 가능한가요"라는 질문에는 선불과 후불 기후동행카드의 사용 가능 지역 기준을 구분해 안내한다. 단정할 수 없는 질문에는 무리하게 답하지 않고, 특정 오류 코드 문의에는 서비스별 가능한 원인을 나눠 설명한다. 할루시네이션(환각) 제거 기술이 적용된 결과로, '기동카' 같은 축약 표현도 정확히 인식한다.

사진: 메이크봇이 구축한 카카오톡 네이티브 생성형 AI 챗봇의 답변 화면. 후불 기후동행카드의 첫 달 월 부담한도를 일할 계산해 안내하고(왼쪽), 한강버스 이용에 따른 월 부담한도 변동을 계산해 제시하고 있다(오른쪽). (사진 제공=메이크봇)

사진: 메이크봇이 구축한 카카오톡 네이티브 생성형 AI 챗봇의 답변 화면. 후불 기후동행카드의 첫 달 월 부담한도를 일할 계산해 안내하고(왼쪽), 한강버스 이용에 따른 월 부담한도 변동을 계산해 제시하고 있다(오른쪽). (사진 제공=메이크봇)

AD
원본보기 아이콘

NLP+생성형 AI 하이브리드…LLM 호출 30%로 낮춰 토큰 비용 절감

또 다른 핵심은 모든 질문을 생성형 AI에 맡기지 않는 하이브리드 구조다. 학습이 완료된 NLP(자연어처리) 인텐트 질문은 LLM 호출 없이 곧바로 답변하고, 인텐트에 없는 질문만 생성형 AI가 처리한다. 이때 챗봇은 "답변을 생성중입니다"라는 안내 메시지를 먼저 띄워 이용자의 대기 부담을 줄인다.


효과는 오픈 첫날 데이터에서 확인됐다. 처리한 974건 가운데 NLP 인텐트가 즉시 답변한 건이 685건(70.3%), 생성형 AI가 답변을 생성한 건이 289건(29.7%)이었다. 전부 LLM으로 처리했을 때와 비교하면 토큰 비용을 3분의 1 수준으로 줄인 셈이다. 생성형 AI는 답변 생성 시마다 토큰 비용이 발생해 이용자가 늘수록 운영비가 불어난다는 점이 그동안 도입의 걸림돌이었으나, 하이브리드 구조는 반복 문의를 NLP가 흡수해 도입 단계에서 연간 운영 예산을 산정할 수 있게 한다. 예산 제약이 뚜렷한 공공기관에 특히 의미가 큰 대목이다.


적용된 HybridRAG는 김지웅 대표가 연구를 주도해 한양대학교와 공동 개발한 LLM·RAG 결합 기술로, 기존 RAG 대비 정확도 26.6% 향상, 응답속도 6.2% 개선이라는 검증 결과를 기록했다. 표나 도표가 포함된 복잡한 문서도 정확히 해석해 교통 결제 도메인에 최적화됐다는 평가다.


오픈 반나절 만에 974건 처리…상담 인력 64.9시간분 대체

이번 생성형 AI 챗봇은 지난 28일 오후 1시 42분 정식 서비스를 시작해 반나절 만에 974건의 문의를 처리했다. 상담 인력 약 64.9시간 분량으로, 연장·휴일근로 가산수당 기준(근로기준법 제56조)을 반영하면 약 165만 원의 인건비 절감 효과가 발생한 것으로 산출됐다.


메이크봇은 해당 플랫폼의 교통카드·모바일 충전·간편결제 등 6개 서비스 고객센터를 단일 카카오톡 챗봇으로 통합 구축해 운영해 왔으며 월간 수십만 명이 이용한다. 이번 생성형 AI 도입으로 상담 인력을 늘리지 않고도 야간·주말 응대 공백을 메울 수 있게 됐다.


이는 향후 교통뿐만 아니라 통신, 금융 등 복잡한 요금제와 약관을 다루는 타 산업군의 생성형 AI 도입을 가속화 할 것으로 전망된다.


"민원의 핵심은 '내 경우엔 어떻게 되나'…지능적인 생성형 AI가 답하기 시작했다"

메이크봇 김지웅 대표는 "지방세 감면 대상에 해당하는지, 신청 기한이 며칠 남았는지, 내 조건에서 지원금이 얼마인지, 공공 민원의 상당수는 규정을 읽어주는 것만으로 해결되지 않는다"며 "이번 프로젝트는 LLM이 실제 업무 문서를 이해하고 계산과 판단까지 수행할 수 있다는 것을 대중교통이라는 대규모 공공서비스에서 입증한 사례"라고 밝혔다. 이어 "그동안 공공기관이 생성형 AI 도입을 망설인 이유는 성능이 아니라 운영비였다"며 "지자체 민원, 공공요금, 자격 심사처럼 규정이 복잡하고 개인별 상황이 제각각인 영역이라면 어디든 같은 방식을 적용할 수 있다"고 덧붙였다.

AD

한편 메이크봇은 대한항공, 한국공항공사, 카카오T, SRT 등 교통·항공 기업과 청주시, 부천시 등 수십여 지자체, 한국관광공사, 한국부동산원, 서울주택도시공사 등 공공기관 챗봇을 구축해 왔다. 정부의 '초거대 AI 생태계 구축' 사업 공급기업으로 선정됐으며 LLM·RAG 분야 특허 수십여 건을 출원했다.


최봉석 기자 mail00@asiae.co.kr

<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제. 무단전재 배포금지, AI 학습 및 활용 금지>

함께 보면 좋은 기사

새로보기

내 안의 인사이트 깨우기

취향저격 맞춤뉴스

많이 본 뉴스

당신을 위한 추천 콘텐츠

놓칠 수 없는 이슈