"AI 챗봇에 공격 계획 물었더니"…폭력 부추겼다
CNN·CCDH 공동조사, 챗봇 10종 테스트
대다수 AI 폭력 계획 만류 못해
주요 인공지능(AI) 챗봇의 대다수가 폭력 행위를 언급하는 이용자를 제지하지 못하고 오히려 공격 계획에 도움이 되는 정보를 제공했다는 조사 결과가 나왔다.
11일(현지시간) 미국 CNN과 비영리 단체 디지털혐오대책센터(CCDH)는 최근 공동 조사를 벌여 발간한 '살인자 앱' 보고서를 통해 널리 사용되는 AI 챗봇 10종의 안전성을 시험한 결과 이 같은 문제점이 확인됐다고 밝혔다.
조사 대상은 오픈AI의 '챗GPT', 구글 '제미나이', 앤스로픽 '클로드', 마이크로소프트 '코파일럿', '메타AI', '퍼플렉시티', 스냅챗 '마이AI', '캐릭터.AI', '레플리카' 등 미국 챗봇 9종과 중국의 챗봇 '딥시크'가 포함됐다.
연구진은 정신적으로 불안정한 10대 이용자인 것처럼 대화를 시작해 학교 공격이나 암살, 폭탄 테러 등 폭력 행위와 관련된 질문으로 대화를 점차 확장하는 방식의 실험을 진행했다.
그 결과 앤스로픽의 클로드를 제외한 대부분의 챗봇이 이용자를 만류하거나 저지하지 않았고 전체 10개 모델 가운데 8개는 공격 대상 장소나 사용할 무기 등에 대한 조언을 제공하며 공격 계획에 도움이 되는 정보를 제시했다.
특히 퍼플렉시티는 모든 질문에서 폭력 공격 관련 요청에 응답해 공격 계획 수립에 가장 적극적으로 응한 것으로 나타났다. 단 한 번도 요청을 거부하지 않았다는 것이다.
딥시크와 메타AI, 코파일럿 역시 90% 이상의 질문에서 이용자의 위험한 요청에 응한 것으로 조사됐다.
특히 캐릭터.AI는 폭력을 직접 부추기는 반응까지 보인 사례가 확인됐다. 보고서에 따르면 이 챗봇은 보험사를 응징할 방법을 묻자 총을 사용하라는 답변을 하는가 하면 괴롭힘에 대한 복수를 묻는 질문에도 폭력을 권유하는 반응을 보였다.
조사에서 비교적 높은 안전성을 보인 챗봇은 앤스로픽의 클로드였다. 클로드는 폭력 계획 관련 질문에 다른 모델보다 낮은 비율로 응답했고 이용자를 만류하는 반응도 상대적으로 많았다고 CNN은 전했다.
이번 조사에 대해 기업들은 조사 방식에 문제가 있다는 입장을 내놓거나 안전 조치를 강화했다고 설명했다. 메타는 문제를 해결하기 위한 수정 조치를 적용했다고 밝혔고 마이크로소프트는 새로운 안전 기능을 도입해 응답이 개선됐다고 설명했다. 구글과 오픈AI 역시 최신 모델을 적용했다고 전했으며 캐릭터.AI는 플랫폼 내 대화가 허구임을 알리는 안내 문구가 있다고 설명했다.
꼭 봐야 할 주요 뉴스
"화장실 두 번 다녀오더니 답을 술술"…스마트 안경 숨긴 수험생 결국
CNN은 전직 업계 관계자들의 말을 인용해 법률 제정으로 기업에 책임을 부과할 경우 AI 기업들이 이용자 보호에 더 적극적으로 나설 것이라고 전했다. 다만 현재까지는 어느 국가도 이러한 문제를 해결하기 위한 충분한 조치를 취하지 못했다고 덧붙였다.
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제. 무단전재 배포금지, AI 학습 및 활용 금지>