AI 1만개가 88시간 달렸다…오픈AI "100년 수학 난제 풀었다"[과학을읽다]

김종화 기자

입력 2026.09.09 16:15

나비에-스토크스 밀레니엄 문제 해법 제시
검증 땐 '역사적 성과'…연구윤리·공로 논란도

인공지능(AI)이 인간 수학자들이 수십 년간 풀지 못한 현대 수학의 최대 난제 가운데 하나를 해결했을까.

오픈AI가 차세대 AI 모델을 이용해 유체의 움직임을 설명하는 '나비에-스토크스(Navier-Stokes) 방정식'의 밀레니엄 문제에 대한 해법을 제시했다. 약 1만개의 AI 에이전트가 동시에 문제를 공략해 88시간 만에 증명을 만들어냈다. 증명이 학계의 검증을 통과할 경우 AI가 인간의 연구를 보조하는 수준을 넘어 미해결 수학 난제를 직접 푼 역사적 사례가 될 수 있다.

오픈AI가 공개한 나비에-스토크스 방정식 해법의 유체 흐름 시각화. 소용돌이가 중심으로 말려 들어가면서 축 방향으로 길게 늘어나는 과정을 보여준다. 오픈AI는 이 과정에서 매끄러운 유체가 유한한 시간 안에 특이점을 형성할 수 있음을 증명했다고 밝혔다. OpenAI 제공

9일 과학계에 따르면 오픈AI는 8일(현지시간) 현재 개발 중인 차세대 AI 모델을 이용해 나비에-스토크스 밀레니엄 문제의 해법을 찾았다고 발표했다. 오픈AI는 분석적 증명과 함께 수학적 증명을 컴퓨터가 엄밀하게 확인할 수 있도록 하는 증명 보조 시스템 '린(Lean)'을 이용한 형식화 결과도 공개했다.

나비에-스토크스 방정식은 물이나 공기 등 유체가 어떻게 움직이는지를 기술하는 유체역학의 기본 방정식이다. 문제는 3차원 공간에서 매끄럽게 시작된 유체의 흐름이 시간이 지나도 계속 매끄럽게 유지되는지, 아니면 어느 순간 수학적으로 해가 무너지는 '특이점(singularity)'이 발생할 수 있는지를 증명하지 못했다는 데 있다.

이 때문에 미국 클레이수학연구소(CMI)는 2000년 이 문제를 수학의 7대 '밀레니엄 문제' 가운데 하나로 선정했다. 문제를 해결하면 상금 100만달러가 주어진다.

오픈AI가 제시한 것은 특정 조건에서 특이점이 실제로 발생할 수 있음을 보이는 반례다. 매끄러운 외력이 작용하는 유체에서 소용돌이가 안쪽으로 말려들며 길게 늘어나는 과정에서 유한한 시간 안에 특이점이 형성될 수 있다는 것이다.

이준상 연세대 기계공학부 교수는 "외력을 허용하는 경우도 공식 문제에 포함되므로 독립적인 검증을 통과한다면 매우 중요한 수학적 성과"라면서도 "외력이 없는 경우까지 해결했다는 의미는 아니며 실제 유체에서 속도가 무한대로 발산한다는 의미로 해석해서도 안 된다"고 설명했다.

1만개 AI가 동시에 '수학자'처럼 문제 풀었다

과학계가 결과만큼 주목하는 것은 AI가 문제를 푼 방식이다.

오픈AI는 현재 훈련 중인 미공개 차세대 모델을 이용해 여러 AI 에이전트 그룹이 서로 다른 해결 경로를 동시에 탐색하도록 했다. 나비에-스토크스 문제를 해결한 그룹에는 약 1만개의 AI 에이전트가 투입됐고, 첫 작업을 시작한 지 88시간 만에 해법에 도달했다.

이는 AI 하나에 문제를 입력하고 답을 기다리는 기존 방식과 다르다. 수많은 AI가 서로 다른 가설과 증명 경로를 병렬적으로 탐색하고 유망한 결과를 취합해 하나의 증명으로 발전시키는 방식이다.

박한우 영남대 사회과학대 학장은 이를 "'에이전트 아카데미'라고 표현할 수 있다"며 "AI가 혼자 천재 수학자가 된 것이라기보다 수많은 AI 연구자가 병렬로 움직이는 새로운 연구 조직이 등장한 셈"이라고 평가했다.

UH-60 블랙호크 헬리콥터 로터 주변의 복잡한 공기 흐름을 나비에-스토크스 방정식으로 계산한 시뮬레이션. 로터 끝에서 만들어진 소용돌이가 서로 얽히며 형성하는 3차원 와류와 후류를 보여준다. NASA는 슈퍼컴퓨터를 이용한 전산유체역학(CFD) 계산으로 이 같은 복잡한 유체 흐름을 연구하고 있다. Tim Sandstrom/NASA Ames 제공

배한택 UNIST 수리과학과 교수도 "오픈AI가 발표한 성과는 인공지능이 복잡한 수학 연구를 가속하는 거대한 전기를 마련했다고 판단된다"고 말했다.

다만 오픈AI의 발표만으로 밀레니엄 문제가 공식적으로 해결됐다고 단정하기는 이르다. 증명의 타당성을 독립적인 수학자들이 검증하고 학계가 받아들이는 과정이 필요하다.

임성빈 고려대 통계학과 교수는 "증명이 맞다면 수학적으로는 매우 역사적인 순간"이라면서도 "학계에 진정한 의미를 가지려면 인간에 의한 검증 과정에서 발생하는 병목을 해결하고, 인간이 이해할 수 있는 지식으로 편입하는 작업이 필요하다"고 설명했다.

인간의 아이디어는 누구 것인가…AI 난제 해결 뒤 '공로 논쟁'

이번 성과를 둘러싸고 연구윤리 논란도 불거졌다.

뉴욕대 수학자 트리스탄 벅마스터와 AI 기업 앤스로픽 소속 연구자 레벤트 알푀게는 오픈AI 발표에 앞서 나비에-스토크스 문제와 밀접하게 관련된 연구를 진행하고 있었다. 특히 이들이 연구 과정에서 오픈AI의 AI 도구를 이용한 사실이 알려지면서 미공개 연구 데이터가 오픈AI의 모델 개발이나 문제 해결 과정에 영향을 줬는지를 둘러싼 논란이 제기됐다.

오픈AI는 해당 연구자들의 특정 사용자 데이터를 문제 해결을 위해 직접 열람하지 않았다는 입장이다. 다만 이들의 제품 사용 과정에서 나온 비식별화 데이터가 모델 개선에 간접적으로 영향을 미쳤을 가능성까지 배제할 수는 없다고 밝혔다. 오픈AI는 자사의 증명과 두 연구자의 접근 방식에도 차이가 있다고 주장하고 있다.

공로 배분을 둘러싼 주장도 엇갈린다. 벅마스터 측은 오픈AI가 공동연구자인 알푀게의 이름을 제외하는 방안을 제안했다고 주장했고, 오픈AI 측은 이에 대해 다른 설명을 내놓으면서 논쟁이 이어지고 있다.

배 교수는 "이번 성과를 둘러싸고 제기된 선행 연구 데이터 활용 및 공로 배분 논란은 수학계에 큰 경종을 울렸다"며 "향후 AI 연구윤리와 데이터 주권, 저작권 체계에 대한 논의가 필요하다"고 지적했다.

AI가 인간 연구자의 계산과 문헌검색을 돕는 '연구 보조자'에서 스스로 가설과 증명 경로를 탐색하는 단계로 진입하면서 과학계에는 새로운 질문도 던져졌다. AI가 연구자의 미공개 아이디어를 학습해 새로운 발견을 만들어낸다면 그 발견의 주인은 누구인가라는 문제다.