성평등부 "AI 캐릭터챗봇, 범죄·불법 조장 확인…청소년 보호 강화"

AI 캐릭터챗봇 생성 대화 응답 점검해보니
성적행위 구체적 묘사, 폭력·잔혹성 등 확인
사업자 협력 강화…안전한 온라인 환경 조성

성평등가족부는 청소년들과 대화하는 생성형 인공지능(AI) 기반 캐릭터챗봇의 응답 일부에서 성적·폭력적 묘사, 자해·자살 및 범죄 조장과 같은 유해 정보가 확인됐다고 15일 밝혔다. 이에 AI 캐릭터챗봇 사업자에게 청소년 보호조치 강화를 위한 자율적인 개선을 요청했다.

AI 챗봇 자료사진. 사진은 기사 내용과 무관.

AI 캐릭터챗봇은 이용자가 다양한 성격과 이야기 설정을 가진 캐릭터를 선택하거나 직접 제작하고, 생성형 AI가 만들어 내는 응답을 통해 대화와 이야기를 이어가는 서비스이다.

일부 AI 캐릭터챗봇 서비스는 성인인증 기능을 운영하고 있으나, 성인인증을 거치지 않은 일반 이용환경에서도 캐릭터와 대화할 수 있어 실제 생성되는 응답의 청소년 유해성을 점검할 필요가 있는 상황이다.

성평등부가 한국청소년상담복지개발원에 위탁해 운영하는 청소년매체환경보호센터는 일부 AI 캐릭터챗봇 서비스의 캐릭터를 대상으로 실제 생성되는 대화 응답을 점검했다.

청소년보호법 제9조 및 같은 법 시행령 별표 2의 청소년유해매체물 심의 기준을 참고해 대화 응답의 내용을 검토한 결과, 일부 캐릭터에서 성적·폭력적 묘사, 자해·자살 및 범죄 조장 등 청소년에게 유해할 우려가 있는 응답이 확인됐다.

주요 확인 사례는 ▲성적 내용과 성적 행위의 구체적 묘사 ▲폭력·잔혹성 ▲자해·자살 및 범죄·불법행위 조장 등으로 나타났으며, 일부 캐릭터에서는 여러 유형의 유해 우려 응답이 함께 확인됐다.

성평등부는 점검 결과를 해당 사업자에 공유하고 청소년 보호조치 강화를 위한 자율적인 개선을 요청했다.

특히 청소년에게 부적절한 대화가 생성될 우려가 있는 캐릭터에 대해선 성인인증 여부에 따라 검색·추천·대화 가능 범위를 조정할 것을 주문했다. 자해·자살 조장이나 구체적인 범죄 실행을 돕는 응답 등 중대한 위해 우려가 있는 내용은 이용자 연령과 관계없이 생성되지 않도록 보호조치를 보완해 줄 것을 요청했다.

앞으로도 사업자와 실무협의를 이어가며 사업자의 자체점검과 보호조치 개선 여부를 지속적으로 확인하고, 청소년 보호체계가 현장에서 실효성 있게 작동하도록 협력을 강화해 나갈 방침이다.

성평등부 관계자는 "청소년보호법상 청소년 유해매체물로 지정되면 해당 콘텐츠에 대해 방송미디어통신심의위원회(방미심의)를 통해 삭제·차단 요청 등을 할 수 있다"면서도 "이용자와 AI 챗봇의 대화로 생성되는 콘텐츠는 대외에 공개되지 않기 때문에 개별적으로 삭제 요청을 하기 어려워서 사업자에게 자율 규제 요청을 한 것"이라고 설명했다. 이어 "자율 개선이 되지 않는다면 이후에 방미심위 등을 통해 삭제 요청 등 후속 조치를 할 계획도 갖고 있다"고 덧붙였다.

윤세진 성평등부 청소년정책관은 "AI 캐릭터챗봇 서비스의 청소년 보호를 위해서는 사업자의 적극적인 개선 노력과 지속적인 관리가 중요하다"며 "사업자와 협력을 강화하고 청소년이 보다 안전하게 이용할 수 있는 온라인 환경을 조성해 나가겠다"고 밝혔다.

김보경 기자 bkly477@asiae.co.kr