Claude Opus 4.6이 30년 난제를 풀었다: Donald Knuth가 AI를 다시 보게 된 날

컴퓨터과학 역사에서 가장 상징적인 이름 중 하나인 Donald Knuth가 직접 “충격”이라는 단어를 썼다. 88세의 스탠퍼드 명예교수가 공식 논문에서 AI를 향해 그 단어를 사용한 날, 많은 이들이 그 의미를 되새겼다. 2026년 2월 28일, Knuth는 “Claude’s Cycles”라는 제목의 짧은 논문을 스탠퍼드 컴퓨터과학과 홈페이지에 올렸다.¹ 그 안에는 수십 년에 걸쳐 쌓아온 자신의 조합론 연구 중 하나가 AI에 의해 해결됐다는 고백이 담겨 있었다.

Donald Knuth: 컴퓨터과학의 살아 있는 고전

1938년 1월 10일 미국 위스콘신주 밀워키에서 태어난 Donald Ervin Knuth는 현존하는 컴퓨터과학자 중 가장 영향력 있는 인물로 꼽힌다. 1974년 ACM 튜링상(ACM Turing Award)을 수상했는데, 이 상은 흔히 컴퓨터과학의 노벨상이라 불린다.² 그의 업적은 단순히 알고리즘 이론에 그치지 않는다. 수학 논문 조판을 위해 그가 직접 개발한 TeX 시스템은 오늘날 전 세계 수학·물리·공학 논문 집필의 표준으로 자리 잡았다.

그러나 Knuth를 진정한 전설로 만든 것은 무엇보다 《컴퓨터 프로그래밍의 예술》(The Art of Computer Programming, TAOCP)이다. 1968년 첫 권이 출간된 이 시리즈는 알고리즘과 자료구조를 다루는 방대한 다권 저작으로, 빌 게이츠가 “진짜 훌륭한 프로그래머가 되고 싶다면 이 책을 읽어라”고 말한 것으로도 유명하다.³ 《뉴욕 타임스》는 이를 “해당 직종을 정의하는 논문”이라 표현했다. TAOCP의 4권은 조합 알고리즘을 다루는데, 1권 출간 이후 거의 30년이 지나도록 완성되지 않고 있다. 그만큼 조합론은 무궁무진하고, 그만큼 Knuth는 철저했다.

Knuth는 AI에 대해 오랫동안 신중한 회의론을 견지해 왔다. 생성형 AI 붐에도 쉽게 흔들리지 않는 인물로 알려져 있었다. 그렇기에 이번 그의 반응은 더욱 주목받았다.

문제: 3차원 격자 위의 해밀턴 사이클 분해

Knuth가 TAOCP 신간 집필 작업 중 몇 주째 씨름하던 문제는 조합론과 그래프 이론이 교차하는 영역에 있었다. 문제를 간단히 서술하면 다음과 같다.

좌표 (i, j, k)로 표현되는 m³개의 정점으로 이루어진 방향 그래프를 생각한다. 각 정점에서는 세 가지 이동이 가능하다. i를 1 증가, j를 1 증가, k를 1 증가(모두 mod m). 이렇게 정의된 그래프의 모든 간선을 세 개의 해밀턴 사이클(Hamiltonian cycle)로 분해할 수 있는가? 해밀턴 사이클이란 모든 정점을 정확히 한 번씩 방문하고 출발점으로 돌아오는 경로다.

Knuth는 이미 가장 작은 비자명 사례인 m=3(27개 정점)에 대한 해를 구했다. 동료 Filip Stappers가 브루트 포스 탐색으로 m=16까지 해가 존재함을 전수 검증했고, 이는 일반해가 존재할 것이라는 강한 근거였다.⁴ 그러나 모든 m에 대해 작동하는 구성 법칙을 아무도 발견하지 못했다. 특히 TAOCP 신간에 이 문제를 연습 문제로 수록하고 싶었던 Knuth는, 답을 제시하지 못한 채 해당 섹션을 비워 두어야 하는 상황이었다.

Claude Opus 4.6의 1시간짜리 연구 세션

Anthropic이 Claude Opus 4.6을 출시한 것은 2026년 2월 초였다. 하이브리드 추론 모델로 발표된 이 모델은 복잡한 수학적 추론 능력을 특징으로 내세웠다. 출시 약 3주 후, Stappers는 자신이 씨름하던 문제를 Claude Opus 4.6에게 그대로 던져보기로 했다.

결과는 놀라웠다. Claude는 약 1시간에 걸쳐 31단계의 체계적인 탐색을 수행했다.⁵ 이 과정을 Knuth는 논문에서 꼼꼼히 기록했다. Claude가 선형 공식을 검증하고, 깊이 우선 탐색(DFS)으로 브루트 포스를 시도하고, 새로운 기하학적 프레임워크를 개발하고, 시뮬레이티드 어닐링(simulated annealing)을 적용하는 과정이 단계별로 문서화됐다. 대부분의 시도는 실패로 끝났다. 그러나 Claude는 막힐 때마다 전략을 바꾸며 전진했다.

Knuth가 특히 인상적이라 언급한 순간이 두 가지 있다. 하나는 Claude가 이 문제의 수학적 구조를 케일리 다이그래프(Cayley digraph)로 독자적으로 재정의하며 군론(group theory)의 관점에서 접근을 전환한 것이다. 또 하나는 Claude가 스스로 “사문형(serpentine)“이라 이름 붙인 사이클 패턴이 수학에서 이미 알려진 모듈러 m진 그레이 코드(modular m-ary Gray code)와 동일한 구조임을 인식한 것이다.

flowchart TD
    A["선형 공식 검증"] --> B{"성공?"}
    B -->|"실패"| C["DFS 브루트 포스"]
    C --> D{"성공?"}
    D -->|"실패"| E["기하학적 프레임 전환<br/>Cayley digraph 재정의"]
    E --> F["시뮬레이티드 어닐링"]
    F --> G{"성공?"}
    G -->|"실패"| H["모듈러 그레이 코드<br/>패턴 인식"]
    H --> I["해 발견: s = i+j+k mod m"]
    B -->|"부분 성공"| E
    G -->|"부분 성공"| H

해: s = (i + j + k) mod m

31번의 탐색 끝에 Claude가 제시한 해는 놀랍도록 단순했다. 핵심은 다음 수식이다.

$s = (i + j + k) \bmod m$

각 정점에서 s의 값과 각 좌표가 0 또는 m-1인지 여부에 따라 다음에 어떤 좌표를 증가시킬지 결정하는 규칙 집합이다. 이 규칙을 따르면 하나의 해밀턴 사이클이 만들어진다. 두 가지 추가 규칙을 적용하면 나머지 두 사이클이 생성되고, 세 사이클이 합쳐져 그래프의 모든 간선을 정확히 한 번씩 커버한다. 전체 규칙은 짧은 C 프로그램으로 표현할 수 있었다.⁶

Stappers는 이 구성법이 m=3부터 m=101까지 모든 홀수 값에 대해 정확히 작동함을 전수 검증했다. 2,000개가 넘는 정점을 다루는 m=13 사례부터 약 100만 개의 정점을 다루는 m=101 사례까지 빠짐없이 확인됐다.

단, 짝수 차원은 여전히 미해결이다. Claude는 m=4, 6, 8에 대해 개별 해를 발견했지만 짝수 일반해로 가는 규칙은 찾지 못했다. Knuth는 이 사실을 솔직하게 밝혔다.

Knuth의 증명, 그리고 “Shock! Shock!”

AI가 구성법을 찾아냈다고 해서 수학이 끝난 것은 아니었다. 왜 그 규칙이 작동하는지, 즉 수학적 엄밀성을 갖춘 증명은 Knuth가 직접 작성했다. AI는 답을 찾아냈고, 인간이 그 답이 옳음을 보였다. 역할 분담이 선명했다.

Knuth의 논문은 이렇게 시작한다.

[!QUOTE] “Shock! Shock! I learned yesterday that an open problem I’d been working on for several weeks had just been solved by Claude Opus 4.6 — Anthropic’s hybrid reasoning model that had been released three weeks earlier!”

이어 그는 이 성과를 “자동 연역과 창의적 문제 해결에 있어 극적인 진보”라 표현했다. 그리고 결정적인 한 문장을 남겼다.

[!QUOTE] “It seems that I’ll have to revise my opinions about ‘generative AI’ one of these days.”

수십 년간 컴퓨터과학의 이론적 기반을 쌓아온, 생성 AI에 회의적이었던 88세 거장의 입에서 나온 말이다. 논문은 다음과 같이 끝난다. “Hats off to Claude!” — 그리고 덧붙였다. “Claude Shannon의 영혼이 자신의 이름이 이런 진보와 연결되는 것을 자랑스러워할 것이다.”

AI 연구 협업의 새 지평

이 에피소드를 단순히 “AI가 수학 문제를 풀었다”는 헤드라인으로 처리하기에는 함의가 너무 크다. 과거 AI와 컴퓨터가 수학에 기여한 방식은 주로 세 가지였다. 기호 조작, 브루트 포스 탐색, 증명 검증. 이번에 Claude가 보여준 것은 그와 달랐다. 가설을 세우고, 패턴을 인식하고, 막다른 길을 스스로 파악하고, 완전히 다른 수학적 구조에서 돌파구를 찾아내는 과정이었다. 더 이상 계산기가 아니라 연구 협업자에 가까운 행동이었다.

아래는 이번 사건의 주요 사실 관계를 정리한 것이다.

Knuth가 이 문제를 TAOCP 신간의 연습 문제로 수록하고자 했다는 점도 시사적이다. 수십 년간 미완으로 남아 있던 책의 한 챕터가, 출시 3주 된 AI 모델이 1시간 만에 만들어낸 구성법 덕분에 채워지게 됐다.

그리고 그 사실을 세상에 알린 것은 그 누구도 아닌, Knuth 본인이었다.

[!KEY] AI는 계산기에서 연구 협업자로 진화하고 있다. Claude가 31단계를 탐색하며 보여준 것은 단순한 브루트 포스가 아니라 가설 수립 → 전략 전환 → 패턴 인식으로 이어지는 연구자의 사고 흐름이었다.