생성형 AI 정보 유출 막는다…서울시립대 논문 국제학회 채택

AI 안전성 연구성과 국제무대서 인정

서울시립대학교 연구팀이 생성형 인공지능(AI)의 정보 유출 방지와 안전장치 취약점을 다룬 연구 성과를 국제학술대회에서 발표했다.

12일 서울시립대에 따르면 황원석 인공지능학과 교수 연구팀의 논문 2편이 자연어처리 분야 국제학술대회 'EMNLP 2026'의 메인 학회와 파인딩스(Findings) 트랙에 각각 채택됐다. EMNLP 2026은 지난달 24일부터 29일까지 헝가리 부다페스트에서 열렸다. 올해는 총 1만7669편의 논문이 접수됐으며, 메인 학회 2719편과 파인딩스 2533편이 채택됐다.

(왼쪽부터) 강주헌 석박사통합과정생, 김예은 KT AX미래기술원 선임연구원(서울시립대 석사 졸업), 최은경 석박사통합과정생, 황원석 교수. 서울시립대학교

메인 학회에 선정된 'Q-CAT' 연구는 기업이 거대언어모델(LLM)을 사용하는 과정에서 계약 조건이나 급여 정보 등 민감정보가 유출되는 것을 방지하는 기술을 다뤘다.

연구팀은 보안 규칙이 변경될 때마다 AI 모델을 재학습하는 대신, 금지·허용 질문을 데이터베이스로 관리해 사용자의 요청을 실시간으로 판별하는 시스템을 개발했다.

실험 결과 기존 LLM 기반 분류 방식보다 높은 정확도를 보였으며, 유사한 성능의 추론 모델과 비교해 최대 수백 배 빠른 처리 속도를 기록했다.

파인딩스 트랙에 채택된 연구는 AI가 유해한 요청을 거절할 때 사용하는 언어적 패턴을 분석했다. 연구팀이 공개 AI 모델 11개를 조사한 결과, 거절 응답의 평균 88%가 영어 단어 'I'로 시작하는 것으로 나타났다. 이를 바탕으로 특정 응답 패턴을 회피하도록 학습시켜 AI 안전장치를 우회하는 공격 기법 'ACHILLES'를 제안했다. 일부 실험에서는 안전성이 강화된 추론 모델에서도 공격 성공률이 90%를 넘었다.

연구팀은 대응 방안으로 안전 학습 데이터셋 'THETIS'를 구축했다. 이를 적용한 모델은 실험에서 해당 공격을 비롯한 여러 우회 공격의 성공률이 0%에 가까운 수준으로 낮아졌다.

황 교수는 "이번 연구는 실무 환경에서 생성형 AI를 안전하고 신뢰성 있게 활용하기 위해 반드시 해결해야 할 실질적인 보안 문제와 구조적 취약점을 다각도로 분석한 결과"라며 "앞으로도 인공지능 안전성과 정렬 기술 분야에서 실효성 있는 대안을 제시하는 연구를 지속해 나가겠다"고 밝혔다.

박호수 기자 lake@asiae.co.kr