이제는 제작을 넘어 '검증의 시대'로
기준 통과했어도 지속성 보장 못해
빅테크부터 로펌까지 '감시자' 자처
새로운 '신뢰의 인프라'가 필요하다
기업들이 인공지능(AI)을 본격적으로 쓰기 시작하면서 예상치 못한 문제가 하나 생겼다. 자기 회사의 AI가 무엇을 어떤 기준으로 결정하는지, 스스로도 명확히 설명하기 어려워졌다는 것이다. 인사관리 시스템으로 유명한 워크데이는 자사 AI 채용 시스템이 나이와 인종에 따라 지원자를 차별했다는 이유로 지난해 전국 단위 집단 소송에 직면했다.
유럽연합(EU)의 AI법은 고위험 AI 시스템에 대해 외부 감사를 의무화했다. 이사회와 주주도 회사가 배포한 AI를 어떻게 통제하고 있는지에 대한 답을 요구하기 시작했다. AI는 이제 만드는 것만이 아니라 검증하는 것도 하나의 중요한 문제가 된 것이다.
이 문제를 풀기 위한 산업이 지금 미국에서 여러 방향에서 동시에 만들어지고 있다. Credo AI, Fiddler, Arthur AI 같은 전문 스타트업들은 AI 시스템의 편향성과 성능, 규제 준수 여부를 실시간으로 감시하는 도구를 제공한다.
아마존, 마이크로소프트(MS), 구글은 자사 클라우드에 배포된 AI를 자동으로 점검하는 거버넌스 기능을 내장하기 시작했다. 로펌들은 AI 관련 규제 자문과 계약 검토를 새로운 수익원으로 키우는 중이다. 컨설팅 회사도 AI 검증 관련 사업부를 확장하고 있다. 서로 다른 산업이 AI 검증이라는 하나의 문제를 저마다의 방식으로 풀려 하고 있다.
이 흐름이 필자에게 흥미로운 이유는 산업이 만들어지는 방식 자체에 있다. 지금까지 신뢰를 만드는 산업은 대체로 하나의 형태를 취해왔다. 특정 자격을 가진 전문가가, 정해진 시점에, 정해진 기준으로 무언가를 검증하고 도장을 찍어주는 방식이다. 자동차 안전 검사가 그렇고, 식품 위생 인증이 그렇고, 재무 감사도 그렇다. 그런데 AI는 계속 변하고 발전하기 때문에 이 방식이 잘 작동하지 않는다.
예를 들어, 자동차 검사는 특정 시점의 상태를 확인하는 일이다. 그 순간 기준을 통과하면 도장을 찍는다. 재무 감사도 마찬가지다. 정해진 시점의 재무 상태를 확인해 인증한다. 그러나 AI 시스템은 데이터가 업데이트되고, 모델이 재학습되며, 사용자 행동에 따라 출력이 달라진다. 어제 통과한 검증이 오늘도 유효하다는 보장이 없다. 그래서 AI 검증은 특정 시점에 한 번 하는 것이 아니라 시스템이 살아있는 동안 계속 이루어지는 방식이어야 한다. 한 번 도장을 찍고 끝나는 방식이 아니라, 계속 돌아가는 감시시스템에 가깝다.
여러 산업이 동시에 이 시장에 뛰어들고 있는 이유도 여기에 있다. 어느 한 산업이 이 문제를 혼자 잘 풀 수 있는 위치에 있지 않기 때문이다. 각 산업은 이 문제의 서로 다른 조각을 들고 있다. 컨설팅 회사에는 규제 대응 경험이 있다. 스타트업에는 실시간 기술 감시 능력이 있다. 클라우드 대기업에는 시스템에 대한 접근성이 있다. 로펌에는 책임소재를 법적으로 다뤄본 경험이 있다. 이 조각들이 어떻게 하나로 이어질지가 앞으로 이 산업의 형태를 결정할 것이다.
그리고 여기에 하나 더 근본적인 질문이 겹친다. AI 검증이 정말로 신뢰를 회복시키느냐는 질문이다. 검증이라는 행위는 결국 검증하는 쪽을 믿을 수 있어야 성립한다. 그런데 AI를 감시하는 도구가 대부분 또 다른 AI로 만들어진다면, 우리는 무엇을 근거로 그 감시자를 믿을 것인가. 이 질문에 대한 답은 아직 없고, 한동안 없을 것이다. 다만 이 질문에 답하려는 진지한 시도들이 새로운 산업의 형태를 결정하게 될 것이다.
결국 지금 만들어야 하는 것은 AI 시대의 신뢰 인프라다. 이 인프라가 어떤 형태로 굳어지는가에 따라 앞으로 어떤 AI가 시장에 살아남을 수 있는지, 어떤 기업이 AI를 배포할 자격을 얻는지가 결정될 것이다. 우리는 AI를 만드는 산업만을 주목해 왔지만, 앞으로 더 중요한 이야기는 AI를 검증하는 산업에서 나올 것이다.
꼭 봐야 할 주요 뉴스
"좋은 형이었던 만큼, 자수하길 바랐다"…'리트 만점' 이진우 대학 동기들 애도
손윤석 미국 노터데임대 교수
<ⓒ투자가를 위한 경제콘텐츠 플랫폼, 아시아경제. 무단전재 배포금지, AI 학습 및 활용 금지>