UNIST, '스스로 일하는 AI' 사고 치기 전에 막는다… ‘에이전틱 AI’ 보안기술 개발

과기정통부 ‘AI 스타 펠로우십’ 학제연계형 선정, 5년 6개월간 110억원 지원

모델·인터페이스·실행환경 통합 방어… 성균관대·보안 전문기업 3곳과 협력

스스로 판단하고 업무를 수행하는 에이전틱 AI의 보안 위협을 막기 위해 UNIST가 110억원 규모의 원천기술 개발에 나선다

AI의 판단 과정뿐 아니라 외부 입력과 실제 실행 단계까지 연결해 공격을 차단하는 것이 핵심이다.

UNIST는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 '2026년도 AI최고급신진연구자지원 사업(AI 스타 펠로우십)' 학제연계형 과제에 선정됐다고 18일 전했다.

성균관대와 컨소시엄을 구성해 2031년 12월까지 5년 6개월간 연구를 진행한다. 정부 지원금은 총 110억원이다.

연구책임자는 문현곤 UNIST 컴퓨터공학과 교수가 맡는다. UNIST에서는 위성일·박민경·박새롬·나형호 교수가 참여한다.

UNIST 연구진, 문현곤·위성일·박민경·박새롬·나형호 교수. UNIST 제공

성균관대 박은일·황성재·김형식 교수와 보안 기업 시큐레이어, S2W, 라온데이터도 연구에 합류한다.

성균관대 연구진, 박은일·황성재·김형식 교수. UNIST 제공

에이전틱 AI는 거대언어모델(LLM)을 기반으로 문서를 분석하고 웹을 검색한다. 외부 도구를 활용해 실제 업무까지 처리한다. 문제는 악의적인 입력이 AI의 판단을 흐릴 경우 피해가 실행 단계로 이어질 수 있다는 점이다.

연구팀은 이를 막기 위해 '계층 간 안전 공동설계' 방식을 적용한다. AI 모델과 인터페이스, 실행환경을 각각 따로 보호하는 데 그치지 않고 하나의 보안 체계로 묶는다.

한 계층의 방어가 뚫리더라도 다음 계층에서 공격을 차단하는 구조다. 이를 위해 계층별 핵심 보안 난제를 해결하는 3개 프로젝트를 추진한다.

개발한 기술은 협력기업의 실제 서비스에 적용해 검증할 계획이다. 연구 결과가 실제 AI 에이전트 서비스의 보안 수준을 높이는 데 활용될 수 있을지 검증하는 과정이다.

문 교수 연구팀은 신뢰실행환경(TEE)과 형식 검증 등 시스템 보안 분야를 연구해 왔다. USENIX Security와 IEEE 보안·프라이버시 심포지엄(S&P) 등 국제 보안 학회에서도 연구 성과를 발표했다.

AI 분야에서는 모델의 지식을 다른 모델로 전달하는 증류 기술과 딥페이크 방어 기술의 성능·한계를 검증하는 평가 기법 등을 연구했다. 이번 과제는 이 같은 AI와 보안 연구를 결합하는 데 의미가 있다.

UNIST는 이번 연구를 통해 보안 문제로 AI 에이전트 도입이 쉽지 않았던 분야에서도 안전한 활용 기반을 마련한다는 계획이다. AI와 보안을 함께 연구할 신진 인재를 양성하고 비수도권 AI 연구 기반을 확대하는 것도 목표다.

문현곤 교수는 "에이전틱 AI는 모델 하나만 안전해서는 안 되고 입력이 들어오는 경로와 실행환경까지 함께 지켜야 한다"며 "세 계층을 아우르는 핵심 보안 기술을 개발하고 안전한 AI 활용에 기여할 인재를 양성하겠다"고 말했다.

영남취재본부 김수로 기자 relationship6007@asiae.co.kr