'나만의 AI' 맞춤형 성능 유지·안전성 확보…KAIST "핵심 기술 개발"
대형언어모델(LLM)은 사용자의 위험한 요청에 답하지 않도록 설계(안전 정렬)된다. 하지만 최근 개인과 기업이 개별적으로 문서·데이터를 인공지능(AI)에 학습시켜 '나만의 AI'를 만드는 사례가 빠르게 확산되면서, 기존 안전 정렬이 무너질 수 있다는 우려도 커진다. 맞춤형 성능과 안전성 확보가 AI 개인화 시대의 핵심 과제로 부각되는 이유다. '나만의 AI' 시대, 맞춤형 성능을 유지하면서, 안전성을 높이는 AI 핵심 기술이 국내에서 개발됐다.
KAIST는 전기 및 전자공학부 김창익 교수 연구팀이 챗GPT 등 LLM을 개인과 기업별 데이터에 맞춰 추가 학습시키는 '파인튜닝(Fine-tuning)' 과정에서 안전성이 훼손되는 문제를 해결할 '버퍼 앤드 리인포스(Buffer-and-Reinforce)' 학습 프레임워크를 개발했다고 15일 밝혔다.
연구팀은 위험한 요청에도 거부 없이 응답하는 '탈옥(Jailbreak)' 상태의 AI를 맞춤형으로 학습시킬 때 안전성은 오히려 크게 훼손되지 않는다는 기존 연구 결과에 주목해 새로운 접근법을 고안했다.
탈옥 상태를 실제 서비스에 사용하는 게 아니라 완충 모듈인 '버퍼로라(BufferLoRA)'를 활용해 맞춤형 학습 과정에서만 일시적으로 적용한 뒤 제거하는 게 핵심이다.
이를 통해 탈옥 상태의 AI는 위험한 정보에는 영향을 받지 않고, 사용자가 원하는 새로운 업무 능력을 효과적으로 학습하는 것을 확인했다. 위험한 정보는 추가로 학습하지 않고, 필요한 지식만 지속해 학습하는 원리다.
연구팀은 이 같은 원리를 토대로 '완충(Buffer)'과 '안전성 강화(Reinforce)'를 이용한 2단계 학습 기법도 개발했다.
먼저 완충 모듈인 '버퍼로라(BufferLoRA)'를 AI에 임시로 적용해 맞춤형 학습 과정에서 악성 데이터가 AI 본체에 직접 영향을 주지 못하게 막는 일종의 보호막 역할을 하도록 하고, 맞춤형 학습이 종료되면 모듈이 제거될 수 있게 했다.
이어 안전성 강화 모듈인 '리인포스로라(ReinforceLoRA)'로 AI의 안전성을 다시 높였다. 서로 다른 정보를 분리해 필요한 정보를 선택적으로 반영하는 수학적 기법인 'QR 분해(QR Decomposition)'로, 사용자가 학습시킨 새로운 기능을 유지하면서 AI가 안전성만 선택적으로 강화할 수 있도록 하는 방식이다.
종합하면 AI 본체에 임시 보호막(BufferLoRA)을 씌워 악성 데이터가 직접 영향을 주지 못하도록 막은 후 필요한 업무만 AI에 학습시키고, 이후 보호막이 제거됐을 때 안전성 강화 모듈(ReinforceLoRA)이 AI의 안전 정렬을 다시 강화하는 것이 큰 틀이다.
실험 결과 이 같은 과정을 거친 LLM은 사용자 데이터가 모두 위험한 질문과 답변으로 구성된 극단적 환경에서도 높은 안전성을 유지했다.
특히 재학습 후 위험한 답변을 생성한 비율은 8%로, 재학습을 하지 않은 기존 LLM모델(18%)보다도 낮은 비율을 나타냈다.
연구팀은 별도의 안전성 재학습이나 추가적 계산 비용 증가 없이 맞춤형 성능과 최고 수준의 안전성을 동시에 확보함으로써 '버퍼 앤드 리인포스' 학습 프레임워크를 AI의 개인화 서비스에 효율적으로 적용할 수 있을 것으로 내다본다.
김 교수는 "연구팀이 개발한 학습 프레임워크의 가장 큰 장점은 LLM을 일시적으로 탈옥시켰을 때 위험한 질문과 응답을 추가로 학습하지 않으면서, 정상적인 사용자 데이터는 학습을 원활하게 진행할 수 있다는 점"이라며 "이는 AI 개인화와 AI 에이전트 시대에 필요한 '신뢰할 수 있는 AI 서비스 환경' 구축에 기여하는 바가 클 것으로 기대된다"고 말했다.
꼭 봐야 할 주요 뉴스
"좋은 형이었던 만큼, 자수하길 바랐다"…'리트 만점' 이진우 대학 동기들 애도
한편 이번 연구에는 KAIST 전기 및 전자공학부 함석일 박사과정이 제1 저자로 참여했다. 연구 결과는 AI 분야 국제학술대회 '국제머신러닝학회'의 스포트라이트 논문으로 채택됐다. 학회는 이달 투고된 전체 논문 중 상위 2.2%를 스포트라이트 논문으로 채택했다.
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제. 무단전재 배포금지, AI 학습 및 활용 금지>