생성형 인공지능(AI)의 '안전성 검증' 능력을 향상할 핵심기술이 개발됐다.


대규모 언어모델(LLM)의 일상화로 생성형 AI의 안전성 확보가 중요 과제로 부각된다. '레드팀(Red-Teaming)'이 생성형 AI에 필수 요소로 자리 잡아 가는 것도 이와 무관하지 않다. 레드팀은 AI가 사용자에게 유해하거나, 위험한 답변을 하지 않도록 한다. AI에 유해 또는 위험한 질문을 던져 사전에 안전성을 검증하는 방식이다.

이 기능을 효과적으로 활용하기 위해선 AI 스스로 '공격 프롬프트'를 생성하는 학습과정이 중요하다. 공격 프롬프트가 다양해질수록 기존에 발견하지 못했던 취약점을 찾아낼 가능성도 커진다. 이를 통해 안전성 검증 범위를 넓히고, 안전학습을 거쳐 위험요인도 차단할 수 있다.


개발된 기술은 기존 방식보다 AI의 숨은 취약점을 7배 더 많이 찾아내 생성형 AI의 안전성을 효과적으로 검증할 수 있게 한다.

AI 생성 이미지. KAIST

AI 생성 이미지. KAIST

AD
원본보기 아이콘

KAIST는 전기 및 전자공학부 김준모 교수 연구팀이 기존 방식보다 AI의 숨은 취약점을 7배 더 많이 찾아내 생성형 AI의 안전성을 효과적으로 검증할 수 있는 '스테이블-지플로우넷(Stable-GFlowNet)' 프레임워크를 개발했다고 30일 밝혔다.


레드팀은 다양한 공격 방법을 찾아 보다 많은 취약점을 사전에 제거해야 효과가 있다. 공격 성공률과 공격 다양성이 모두 중요하다는 의미다. 이를 위해 기존에는 보상을 최대화하도록 학습하는 AI 기법인 '강화학습'으로 공격 프롬프트를 생성하는 방식이 주로 사용됐다.


하지만 강화학습은 성공률이 높은 1~2개 공격 방법을 반복적으로 생성하는 '모드 붕괴(Mode Collapse)' 현상이 빈번하게 발생해 다양한 유형의 취약점을 찾는 데 한계를 드러냈다. 모드 붕괴는 다양한 결과 대신 일부 결과에 치우치는 현상을 말한다.


연구팀은 이러한 문제를 해결하기 위해 ▲대조 궤적 균형(Contrastive Trajectory Balance·CTB) ▲노이즈 경사 가지치기(Noisy Gradient Pruning·NGP) ▲최소-K 유창성 안정화 장치(Min-K Fluency Stabilizer·MKS) 등 핵심기술을 개발했다.


CTB는 계산이 복잡한 과정을 줄여 학습을 안정화하고, NGP는 불필요한 잡음을 제거해 중요한 정보만 학습하도록 한다. 또 MKS는 사람이 실제 사용할법한 공격 프롬프트를 생성하도록 유도하는 역할을 한다.


(왼쪽부터) 김준모 교수, 권민찬 박사과정. KAIST

(왼쪽부터) 김준모 교수, 권민찬 박사과정. KAIST

원본보기 아이콘

3개 핵심 기술을 접목한 스테이블-지플로우넷은 기존 생성형 AI가 찾아낸 고유 공격유형(17개)보다 7배 많은 134개 공격 유형을 발굴한 동시에 공격 성공률 92%를 유지했다.


스테이블-지플로우넷으로 학습한 방어 모델은 서로 다른 공격 기법을 이용해 평가하는 '교차 공격(Cross Attack)' 시험에서도 다양한 공격을 효과적으로 막아내는 성능을 보였다.


특히 연구팀은 스테이블-지플로우넷이 신약 후보 물질을 생성하는 분자 생성(Molecular Generation) 등 분포 매칭(Distribution Matching) 문제에서도 '빠르고 안정적'인 성능을 나타내 향후 범용적 활용 가능성을 엿볼 수 있었다고 강조했다.

김 교수는 "연구팀은 학습 불안정성과 모드 붕괴를 해결해 적은 데이터와 잡음이 많은 현실적 환경에서도 AI의 다양한 취약점 발굴을 가능케 했다"며 "이는 생성형 AI가 사용자에게 답을 내놓기 전 위험을 사전에 점검하고, 방어할 수 있도록 함으로써 AI의 신뢰성과 안전성을 높이는 데 기여할 것"이라고 말했다.

AD

한편 이번 연구에는 KAIST 전기 및 전자공학부 권민찬 박사과정이 제1 저자로 참여했다. 연구 결과는 '국제머신러닝학회(ICML) 2026'에서 상위 2.2%에 해당하는 스포트라이트(Spotlight) 논문으로 선정됐다.


대전=정일웅 기자 jiw3061@asiae.co.kr

<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제. 무단전재 배포금지, AI 학습 및 활용 금지>

함께 보면 좋은 기사

새로보기

내 안의 인사이트 깨우기

취향저격 맞춤뉴스

많이 본 뉴스

당신을 위한 추천 콘텐츠

놓칠 수 없는 이슈