금융보안원, 금융권 AI 안전성 평가체계 개발…내년 본격 가동

국내 첫 금융 특화 평가 프레임워크
환각·편향·보안공격 등 10개 항목 점검
14일 설명회·9월 수요조사 거쳐
하반기 시범검증

금융보안원이 인공지능(AI)의 환각과 오작동, 보안사고 등 금융회사의 AI 활용 과정에서 발생할 수 있는 위험을 종합적으로 점검하는 평가 체계를 마련했다. 올해 금융회사를 대상으로 시범검증을 진행한 뒤 2027년부터 본격적인 평가 업무에 나설 계획이다.

박상원 금융보안원장이 서울 여의도 금융보안원 집무실에서 아시아경제와 인터뷰하고 있다. 2026.6.18 김현민 기자

금융보안원은 금융산업에 특화된 국내 최초의 '금융 AI 안전성·신뢰성 평가 프레임워크'를 개발했다고 12일 밝혔다.

이번 프레임워크는 금융당국의 망분리 규제 완화 등으로 금융권의 인공지능 전환(AX)이 빨라지는 가운데 AI 활용에 따른 새로운 위험을 체계적으로 관리하기 위해 마련됐다. 금융회사의 AI 활용 범위가 핵심 업무로 확대되면서 환각과 오작동, 보안사고 등에 대응할 수 있는 금융 특화 평가 기준이 필요해졌다는 설명이다.

금융보안원은 금융위원회의 '금융분야 인공지능 가이드라인'과 금융감독원의 '금융분야 AI 위험관리 프레임워크(RMF)', AI 기본법 등 국내 제도를 비롯해 국제표준화기구(ISO)의 AI 경영시스템 표준인 'ISO/IEC 42001'과 영국 AI안전연구소(AISI)의 평가 도구 '인스펙트(Inspect)' 등 국내외 평가 체계를 분석해 세부 기준을 마련했다.

평가 체계는 AI 신뢰성과 안전성 등 2개 분야의 총 10개 항목으로 구성됐다. 신뢰성 분야에서는 ▲모델 성능 관리 ▲데이터 품질 관리 ▲공정성·편향성 ▲설명가능성을 평가한다. AI 모델의 성능지표와 허용 기준이 적절하게 설정됐는지, 환각과 성능 저하를 지속해서 점검하는지 등을 살핀다. 데이터의 정확성과 완전성, 정합성뿐 아니라 모델 운영 과정에서 편향을 관리하는지, 이용자에게 AI 활용 사실과 의사결정 과정을 설명하고 이의제기·구제 절차를 마련했는지도 점검한다.

안전성 분야는 ▲AI 특화 보안위협 ▲AI 특화 공격 탐지·대응 ▲AI 자산 보호·관리 ▲외부 모델·데이터 검증 ▲보안관리 체계의 확장 적용 ▲보안 검증 및 운영관리 등 6개 항목으로 이뤄졌다.

입력값에 대한 검토와 필터링을 통해 적대적 공격을 탐지·차단하는지, AI 모델과 관련 자산 및 오픈소스의 보안위험을 관리하는지 등을 평가한다. 외부에서 도입한 모델과 데이터의 안전성, 공급망 보안위험, 내부정보 유출 방지 체계와 데이터 국외 이전 제한 준수 여부도 평가 대상이다.

금융보안원은 오는 14일 금융회사를 대상으로 온라인 설명회를 열고 9월 중 수요조사를 진행한다. 하반기에는 시범검증을 통해 프레임워크의 실효성을 점검하고 평가 기준을 보완할 예정이다. 내년부터는 금융보안원 대의원사를 대상으로 평가 업무를 우선 실시하고, 운영이 안정되면 전체 금융회사로 확대하는 방안을 검토한다. 이번 프레임워크가 AI 기본법에 따른 AI 안전성·신뢰성 검증·인증 체계로 활용될 수 있도록 하는 방안도 추진한다.

이은주 기자 golden@asiae.co.kr