BC카드, 혁신AI로 소상공인 디지털격차 해소지원

국내 금융사 최초 양자화 초거대 언어모델 18종
허깅페이스에 공개…중저가 GPU 구동 가능

BC카드는 국내 금융사 최초로 양자화된 초거대언어모델(LLM) 18종을 글로벌 인공지능(AI) 플랫폼인 허깅페이스에 공개했다고 9일 밝혔다.

서울 중구 을지로 BC카드 본사. BC카드

이번에 공개된 LLM 18종은 고가의 그래픽처리장치(GPU) 없이도 누구나 초거대 AI를 활용할 수 있도록 동적 양자화 기술을 적용한 것이 특징이다.

동적 양자화는 AI 모델이 사용하는 수치를 압축해 배포한 뒤 실제 활용 시점에 이를 복원해 연산 성능과 효율성을 동시에 높이는 기술이다. 기존 양자화 기술은 모델 내부의 수치를 일부만 보존해 정확도가 낮아질 우려가 있었다. BC카드는 자사 기술을 통해 수치 손실 없이 기존 정확도를 유지하는 '손실률 0%' 양자화를 구현했다.

GPU 사용량 감소에 따른 처리 속도 향상은 물론 산출 결과물의 품질 저하 없이 안정적인 AI 모델 구동이 가능해져 고비용 인프라에 대한 의존도를 획기적으로 낮출 수 있는 전환점이 마련됐다.

실제로 글로벌 기업의 최신형 GPU에서 BC카드의 양자화 LLM을 실행한 결과 AI 연산 속도는 최대 3.5배 빨라졌다. 4000만원대 고가 GPU에서만 구동 가능했던 320억개 파라미터(매개변수) 규모 모델도 300만원대 GPU에서 가동할 수 있을 정도로 높은 성능을 입증했다.

이 같은 변화는 단순한 기술 혁신을 넘어 AI 서비스 진입 장벽을 낮추는 중요한 계기가 되고 있다. 고가 장비 도입에 부담을 느꼈던 중소기업, 스타트업, 소상공인들도 보다 저렴한 환경에서 초거대 AI 기술을 실질적으로 활용할 수 있게 됐다.

BC카드는 이 기술을 자사 서비스에도 적극 도입하고 있다. 현재 BC카드 AI 에이전트인 '모아이(MoAI)'를 통해 사내 지식 질의 응답, 가맹점 심사 자동화, 고객 민원에 대한 분류 및 처리 등 직원들 반복 업무를 줄이고 있다.

개인 맞춤형 마케팅 서비스 '페이북 AI핫딜', 생활 콘텐츠 추천 서비스 '리빙+' 등을 통해 결제 기능을 넘어 소비생활을 지원하는 AI 서비스로 확장하고 있다.

BC카드는 올해 안에 소상공인 가맹점주를 위한 AI 기반 가맹점 추천 및 마케팅 캠페인 기획 등 가맹점 지원 서비스를 출시할 계획이다.

AI에 익숙지 않은 사용자도 손쉽게 활용할 수 있도록 MCP 기반의 다양한 기능들을 간편한 인터페이스로 제공하는 통합 솔루션도 함께 선보일 예정이다.

조명식 BC카드 상무는 "이번 LLM 모델 공개는 고가 장비 없이도 다양한 산업 현장과 금융 업무에서 AI를 효율적으로 적용할 수 있는 기반을 마련한 것"이라며 "앞으로도 누구나 쉽게 활용할 수 있는 AI 기술을 통해 기업과 개인 모두가 혜택을 누릴 수 있는 서비스를 선보이겠다"고 말했다.

문채석 기자 chaeso@asiae.co.kr