GIST, 자율주행 AI 오류 짚어내는 신기술 개발

'잠재 공간' 주목… LSAA 공격 적용

광주과학기술원(GIST·지스트)은 AI학과 김승준 교수 연구팀이 인공지능(AI)의 시각 인식 취약점을 효과적으로 찾아내는 새로운 적대적 공격 기법 'LSAA(Latent Space-Aware Adversarial Attack)'를 개발했다고 20일 밝혔다.

LSAA를 이용한 AI 취약점 진단 과정. GIST 제공

'적대적 공격'은 영상 데이터 등에 미세한 변형을 줘 AI의 오판을 유도하는 기법이다. 실제 현장에선 AI 시스템이 어떤 조건에서 오류를 일으키는지 사전에 점검하는 '모의 해킹' 성격의 안전성 검증 도구로 활용된다.

자율주행차는 도로와 보행자, 장애물 등을 구별하기 위해 픽셀 단위로 대상을 판별하는 '의미 분할' AI 기술을 쓴다. 그러나 기존의 취약점 검증 방식은 사람이 정의한 유사성을 바탕으로 공격을 설계해 AI 내부의 실제 인식 메커니즘을 온전히 반영하지 못했다. 특히 사물 종류가 늘어날수록 적용이 어렵다는 한계에 부딛쳤다.

연구팀은 AI가 사물의 특징을 수치화해 정렬하는 내부 공간인 '잠재 공간'에 주목했다. AI가 잠재 공간에서 서로 비슷하게 분류해 헷갈리기 쉬운 대상을 찾아낸 뒤 미세한 변화를 가하고, 영상이 변할 때마다 공격 대상을 실시간으로 갱신해 오인식을 극대화하는 방식이다.

검증 결과, 도심 주행 영상에서 정상 상태일 때 68.35%였던 AI의 사물 영역 일치도(mIoU)는 LSAA 공격을 적용하자 0.41%로 급감했다. 150종의 다양한 사물 데이터세트 실험에서도 일치도가 0.6% 이하로 떨어지며 범용적인 성능을 확인했다.

김승준 교수는 "AI가 무엇을 헷갈리는지는 학습 과정에서 형성된 내부 잠재 공간에 답이 있다"며 "이번 기술은 자율주행차와 지능형 로봇에 탑재되는 시각 AI의 취약점을 사전에 정밀 진단하고 안전성을 높이는 데 크게 기여할 것"이라고 말했다.

김광빈 박사과정생이 제1저자로 참여한 이번 연구는 과기정통부와 국토교통부의 지원을 받아 수행됐으며, 최근 미국 피츠버그에서 열린 로봇 분야 최고 권위 학술대회인 'IROS 2026'에서 발표됐다.

호남취재본부 민찬기 기자 coldair@asiae.co.kr