가짜 문서 따라가다 엉뚱한 답변…AI 검색·추론의 허점 찾았다[과학을읽다]

고려대, 외부 문서로 AI 판단 경로 조작하는 공격 기법 개발
실험서 최대 78% 공격 성공…AI 에이전트 보안 취약성 확인

인공지능(AI)이 스스로 인터넷에서 자료를 찾고 분석하는 과정에서 외부에 게시된 조작 문서만으로 검색 방향과 최종 답변까지 바꿀 수 있다는 연구 결과가 나왔다. AI 시스템 내부에 침입하지 않고도 검색과 추론 과정을 단계적으로 왜곡할 수 있다는 점에서 AI 에이전트의 새로운 보안 위협으로 주목된다.

고려대학교는 장부루 컴퓨터학과 교수 연구팀이 AI의 검색·추론 과정을 조작하는 공격 기법 '키드냅랙(KidnapRAG)'을 개발하고, 이를 통해 AI 에이전트의 보안 취약점을 확인했다고 28일 밝혔다.

기존 공격은 AI가 조작된 정보의 오류를 발견하고 정상적인 추론으로 복귀할 수 있지만, 키드냅랙은 이러한 오류 교정 과정까지 방해해 잘못된 판단을 이어가도록 유도한다. 연구팀 제공

최근 챗GPT와 제미나이의 '딥 리서치'처럼 AI가 필요한 정보를 여러 차례 검색하고 분석해 답변을 생성하는 서비스가 확산하고 있다. 이러한 기술은 AI가 외부 자료를 검색해 답변에 활용하는 검색증강생성(RAG)을 발전시킨 '에이전트형 RAG(Agentic RAG)'에 기반한다.

문제는 AI가 검색한 자료에 공격자가 의도적으로 조작한 정보가 포함될 경우다. 기존에도 외부 문서에 악의적인 지시문을 삽입해 AI의 답변을 바꾸는 '프롬프트 인젝션' 공격이 알려져 있었다. 이번 연구는 한 단계 더 나아가 여러 차례 이어지는 검색과 추론의 경로 자체를 공격자가 유도할 수 있다는 점을 보여줬다.

검색할 때마다 조작 문서 노출…AI 판단 단계적으로 왜곡

연구팀이 개발한 키드냅랙은 AI 시스템 내부에 접근하지 않고 외부에 조작된 문서를 게시하는 방식으로 작동한다. AI가 처음 검색한 문서에서 공격자가 원하는 방향으로 추가 검색을 유도하고, 이후 검색 단계에서도 조작된 문서가 다시 등장하도록 설계하는 것이다.

AI가 어떤 정보를 검색하고 어떤 판단을 내리는지 보여주는 중간 과정도 공격에 활용된다. 공격자는 이를 토대로 AI가 다음에 찾을 만한 정보를 예상하고, 해당 검색 단계에 맞춰 문서를 배치한다. 이 과정이 반복되면 AI는 원래 질문에 대한 답을 찾는 대신 공격자가 의도한 방향으로 정보를 수집하고 결론을 내릴 수 있다.

연구팀의 실험에서 키드냅랙은 최대 78%의 공격 성공률을 기록했다. 다만 이는 연구진이 설정한 실험 조건에서 얻은 최고 수치로, 모든 AI 서비스에서 같은 확률로 공격이 성공한다는 의미는 아니다. 챗GPT나 제미나이 등 특정 상용 서비스가 실제로 공격당했다는 사실도 이번 보도자료에서는 확인되지 않았다.

연구팀 사진. (좌측부터) 장부루 고려대 컴퓨터학과 교수(교신저자), 최찬우 석박통합과정(공동제1저자), 김은태 석박통합과정(공동제1저자), 이규호 석사과정(공동제1저자). 고려대 제공

이번 연구는 AI가 검색한 개별 문서의 신뢰성을 확인하는 것뿐 아니라 검색과 추론이 이어지는 전체 과정을 보호해야 한다는 점을 시사한다. 연구팀은 공격 기법을 분석한 결과가 향후 AI 에이전트의 검색 경로 조작을 탐지하고 차단하는 보안 기술 개발에 활용될 것으로 기대했다.

장 교수는 "이번 연구는 에이전트형 RAG가 빠르게 확산하는 시점에서 실제 서비스 환경에 가까운 조건에서 검색·추론 경로가 공격받을 수 있음을 밝힌 연구"라며 "향후 검색과 추론 전 과정을 검증하고 보호하는 방어 기술로 확장돼 보다 안전하고 신뢰할 수 있는 AI 에이전트 개발에 기여하길 기대한다"고 말했다.

이번 연구는 KT 프론티어랩과 공동으로 수행했으며, 연구 결과는 24~29일 헝가리 부다페스트에서 열리는 자연어처리 분야 국제학술대회 'EMNLP 2026'에 채택됐다.

김종화 기자 justin@asiae.co.kr