미국 인공지능(AI) 기업 오픈AI와 앤트로픽이 AI 에이전트의 보안 사고와 이용자 피해 논란으로 규제 당국의 조사를 받게 됐다. 미 연방거래위원회(FTC)가 두 기업에 관련 자료 제출을 요구한 데 이어, 미국 8개 주 정부도 챗GPT의 안전성과 소비자 보호 문제를 제기하며 오픈AI를 상대로 소송을 제기했다.
14일(현지시간) 미 온라인 매체 악시오스에 따르면 FTC는 이날 오픈AI와 앤트로픽에 민사조사요구서(CID)를 발송했다. 각 문서는 50쪽이 넘는 분량으로, 최근 발생한 보안 사고와 기업의 안전장치, 개인정보 보호 정책, 관련 제품의 마케팅 자료 등에 대한 제출을 요구한 것으로 전해졌다.
CID는 당국이 조사에 필요한 자료를 확보하기 위해 발송하는 행정 절차다. FTC는 소비자 보호법 위반 가능성을 살펴보고 있으며, 향후 두 기업의 고위 경영진을 출석시켜 AI 제품이 미국 소비자에게 미치는 영향에 관한 증언도 들을 계획이다. FTC는 지난달부터 오픈AI와 앤트로픽 등 AI 기업의 안전성 문제를 조사해왔다.
이번 조사는 AI 에이전트가 통제 범위를 벗어나 외부 시스템에 접근하거나 의도하지 않은 행동을 수행한 사례가 잇따른 가운데 이뤄졌다.
오픈AI는 지난 7월 내부 사이버보안 평가 과정에서 자사 AI 모델이 격리 환경의 통제를 우회해 외부 AI 플랫폼 허깅페이스의 시스템에 침입한 사실을 공개했다. 오픈AI에 따르면 해당 모델은 탈취한 인증 정보를 이용하고 기존에 알려지지 않은 취약점을 악용해 허깅페이스 서버에 접근했다. 회사는 이후 관련 사고를 조사하고 보안 대책을 강화했다고 밝혔다.
이후 오픈AI는 연구·평가 환경에서 작동하던 AI 에이전트가 챗GPT 이용자가 제공한 이미지 53건을 외부 이미지 호스팅 사이트에 게시한 사례도 공개했다. 해당 이미지들은 공개적으로 목록화되지 않은 링크를 통해 게시됐지만, 링크를 통해 접근할 수 있는 상태였다. 오픈AI는 대부분의 이미지를 삭제했으며 나머지 콘텐츠도 삭제하기 위해 조치하고 있다고 설명했다.
호주에서도 오픈AI 에이전트가 정부의 보건 통계 관련 웹 포털에 의도치 않게 접근한 사실이 알려졌다. 호주 정부는 해당 포털에서 개인 정보가 열람되지는 않았다고 밝혔다. 오픈AI는 자사 모델이 의도하지 않은 행동을 했다고 설명했다.
앤트로픽에서도 AI 모델의 비정상적인 외부 사이트 이용 사례가 확인됐다. 앤트로픽의 모델 '클로드 하이쿠 4.5'는 지난 7월 18일 내부 평가 과정에서 필라델피아 경찰의 장기 미제 살인사건 제보 사이트에 허위 제보를 제출했다. 해당 모델은 실제 사건에 관한 정보를 알고 있는 것처럼 내용을 작성해 양식을 제출했지만, 제보는 스팸으로 분류돼 경찰 수사관에게 전달되지는 않았다. 앤트로픽은 관련 사례를 공개하고 내부 평가 과정의 안전장치를 개선하겠다고 밝혔다.
법적 압박도 확대되고 있다. 로이터통신에 따르면 미국 아이오와·캔자스·애리조나 등 8개 주 정부는 14일 오픈AI를 상대로 각각 소송을 제기했다. 이들은 챗GPT가 청소년을 포함한 이용자에게 자해나 타인에 대한 위해를 부추기고, 제품의 안전성을 홍보하는 과정에서 소비자를 오도했다고 주장했다.
소송을 제기한 주 정부들은 소비자 보호법 위반에 따른 제재와 손해배상을 요구하고 있으며, 일부는 안전성을 입증할 수 있을 때까지 특정 AI 모델의 개발을 제한하는 방안도 요구했다. 다만 이는 원고 측의 주장으로, 법원이 위법성을 확정한 것은 아니다.
AI 에이전트가 이용자 대신 웹사이트에 접속하고 작업을 수행하는 기능이 확대되면서, 기업 내부의 시험 환경을 넘어 실제 이용자와 외부 기관에 영향을 미치는 사례도 잇따르고 있다. 미국 당국의 조사와 주 정부의 소송이 이어지면서 AI 기업의 안전장치와 소비자 보호 책임을 둘러싼 논의도 본격화할 전망이다.
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제. 무단전재 배포금지, AI 학습 및 활용 금지>