테렌스 타오가 말하는 수학의 6가지 기둥과 AI 시대의 증명 | 던스커버리

현대 수학의 가장 뛰어난 석학으로 꼽히는 테렌스 타오(Terence Tao, UCLA 교수)가 지식 플랫폼 Big Think 인터뷰 영상 《The world’s greatest mathematician explains 6 essential concepts of math》 [1]를 통해 수학의 본질과 미래에 대한 깊이 있는 통찰을 전했다.

인류가 수천 년에 걸쳐 발전시켜 온 수학의 거대한 체계는 양, 구조, 공간, 불확실성, 오차, 시간에 따른 변화라는 6가지 필수 개념 위에 서 있다. 그리고 이 기초 개념들은 수백 년 뒤 양자역학, 스마트폰 무선 통신, MRI 압축 센싱, 인공지능 인프라로 이어졌다.

영상에서 타오 교수가 직접 설명한 수학의 6가지 기둥과, 인공지능 시대를 맞아 수학계가 직면한 새로운 화두 증명 소화 불량(Proof Indigestion)의 핵심을 충실하게 정리했다.

1. 수학을 지탱하는 6가지 필수 기둥

수학은 단순히 시험 문제를 풀기 위한 계산 기술이 아니다. 복잡한 현실 현상을 명확하게 사고하고 오해 없이 전달하기 위해 인류가 다듬어온 가장 정밀한 언어다.

                  [수학을 이루는 6가지 기둥]
 ┌──────────┬──────────┬──────────┬──────────┬──────────┬──────────┐
 │  1. 수   │ 2. 대수  │3. 기하학 │ 4. 확률  │5. 해석학 │6. 동역학 │
 │ (Numbers)│ (Algebra)│(Geometry)│(Probab.) │(Analysis)│(Dynamics)│
 └──────────┴──────────┴──────────┴──────────┴──────────┴──────────┘
      양       구조와 규칙    공간과 측정    불확실성    오차와 무한  시간과 변화

1) 수(Numbers): 양을 이동 가능한 정보로 변환하기

수는 문자보다 오래된 인류의 발명이다. 여러 고대 문명이 뼈에 눈금을 새기며 독립적으로 만들어냈다. 수는 현장을 직접 보지 않은 사람에게도 곡물의 양, 교역 규모, 과세 기준을 오차 없이 전달하는 표지자 역할을 했다.

수 체계의 확장: 자연수만으로는 뺄셈을 완벽히 처리할 수 없어 0과 음수가 도입되었다. 나눗셈을 다루며 분수(유리수)가 생겼고, 기하학적 대각선 비율을 표현하기 위해 무리수가 발견되었다.
복소수의 등장: 음수의 제곱근을 다루기 위해 고안된 복소수(Complex Numbers)는 처음에는 순수한 대수적 호기심이었으나, 수백 년 뒤 전자기학과 현대 양자역학을 기술하는 결정적인 물리적 언어가 되었다.

2) 대수(Algebra): 수와 연산의 구조를 추상화하기

구체적인 숫자를 $x, y$ 같은 변수로 대체하고, 덧셈과 곱셈 등 연산 자체의 성질과 대칭성을 다룬다.

교환법칙(Commutativity): 대수학은 연산 순서를 바꾸어도 결과가 같은지 구분한다. 예를 들어 공간을 30도 회전한 뒤 60도 회전하는 것은 순서를 바꾸어도 같지만, 양말을 신고 신발을 신는 것은 순서를 바꾸면 전혀 다른 결과가 된다.
행렬과 AI: 숫자의 격자 구조인 행렬(Matrix)은 수와 유사한 대수적 법칙을 따르며, 대규모 언어 모델(LLM)을 비롯한 현대 AI의 모든 고속 병렬 연산의 뼈대를 이룬다.
케플러의 포도주 통: 천문학자 케플러는 시장에서 상인들이 통의 마개 구멍에 막대를 찔러 넣어 포도주 부피를 재는 모습을 관찰했다. 막대 길이만으로는 부피가 결정되지 않지만, 판매자가 주어진 막대 길이에서 부피와 이익을 극대화하려 한다는 조건을 수식화하여 계산했다. 이 계산은 경험적 통 형태와 정확히 일치했으며, 훗날 뉴턴과 라이프니츠의 미적분학 태동에 중요한 영감을 주었다.

3) 기하학(Geometry): 직접 닿을 수 없는 곳을 측정하기

기하학(Geometry)은 그리스어로 ’땅의 측정’을 뜻한다. 직접 올라갈 수 없는 산의 높이나 닿을 수 없는 별의 거리를 각도와 닮은 삼각형의 비례를 통해 측정하는 현실적 필요에서 출발했다. 고대 그리스인들은 망원경이나 인공위성 없이도 달과 태양까지의 거리를 놀라울 정도로 정밀하게 계산해냈다.

평행선 공준과 비유클리드 기하학: 유클리드의 다섯 번째 공리(평행선 공준)를 변형하자 구면기하학(평행선이 없음)과 쌍곡기하학(한 점을 지나는 평행선이 무수히 많음)이라는 새로운 수학적 우주가 열렸다.
리만 기하학과 일반상대성이론: 휘어진 곡면을 기술하는 리만 기하학(Riemannian Geometry)은 수십 년 뒤 아인슈타인이 “질량과 에너지가 시공간을 휘어지게 만든다”는 일반상대성이론의 중력 방정식을 수립하는 완벽한 수학적 도구가 되었다.

4) 확률(Probability): 불확실성을 빈도로 다루기

동전을 던질 때 작용하는 물리적 힘과 바람을 전부 알면 결과를 계산할 수도 있지만, 현실에서는 계산이 불가능하다. 확률론은 완전한 정보 대신 가능한 결과들의 발생 빈도를 수학적으로 다룬다.

도박사들이 장기적인 손익 배분을 수학자들에게 문의한 편지들이 확률론의 출발점이 되었다.
보편성 법칙(Universality): 완전히 다른 물리적·통계적 무작위 체계에서도 중심극한정리에 의해 정규분포(가우스 종 모양 곡선)라는 동일한 통계적 형태가 자연스럽게 나타난다.

5) 해석학(Analysis): 오차, 극한, 무한을 통제하기

해석학은 측정의 부정확성과 오차 범위(예: $2\text{m} \pm 10\text{cm}$)를 다루며, 무한(Infinity)을 엄밀하게 다루기 위한 학문이다.

마틴게일 베팅의 역설: 도박에서 질 때마다 판돈을 2배씩 늘리면 언젠가 한 번 이길 때 무조건 1달러를 딴다는 전략은 ’무한한 자금’을 암묵적으로 전제한다. 현실의 유한한 자금 환경에서는 결국 파산으로 이어진다.
무한 원숭이 정리와 수학적 이상화: 원숭이가 무작위로 자판을 쳐서 햄릿 한 페이지를 완성하려면 우주의 나이보다 긴 시간이 걸린다. 수학자들은 무한 에너지, 마찰 0과 같은 비현실적인 무한 자원을 먼저 가정하여 문제를 푼 뒤, 현실의 유한 자원으로 돌아오며 깨지는 성질을 분석하는 이상화 기법을 핵심 도구로 활용한다.

6) 동역학(Dynamics): 단순한 국소 규칙과 복잡한 창발

상태가 시간에 따라 변화하는 규칙을 연구한다. 규칙 자체는 매우 단순해도 시간이 흐르면 예측 불가능한 복잡한 창발 현상이 나타난다.

교통 정체 파동: 각 운전자는 앞차와의 간격에 맞춰 속도를 조절할 뿐이지만, 작은 감속이 뒤로 전달되며 도로 전체에 ‘유령 정체’ 압축 파동을 만들어낸다.
삼체 문제(Three-Body Problem)와 혼돈: 두 천체의 궤도는 뉴턴 역학으로 완벽하게 풀리지만(이체 문제), 세 번째 천체가 개입하는 순간 깔끔한 닫힌 해가 존재하지 않으며 미세한 중력 차이가 누적되어 궤도가 튀는 결정론적 혼돈(Chaos)이 발생한다.

2. 순수한 호기심이 현대 산업을 바꾼 순간들

타오 교수는 수학이 당장의 경제적 쓸모보다 형태와 패턴에 대한 순수한 지적 호기심에서 출발한다고 강조한다. 물리학자 유진 위그너(Eugene Wigner)가 말한 ’물리과학에서 수학의 불합리한 효용성’처럼, 수학자들이 연구해 둔 이론은 수십 년 뒤 현실의 공학과 만난다.

[지적 호기심] ──► [추상 수학 이론] ──► [응용과학 / 공학] ──► [글로벌 산업 기술]
(케플러 대포알)     (고차원 구 채우기)     (디지털 비트 배치)     (5G 무선 통신 코딩)
(총변동 최소화)     (압축 센싱 일반론)     (불완전 신호 복원)     (MRI 고속 촬영)

1) 오렌지 쌓기에서 5G 무선 통신까지

케플러는 대포알이나 오렌지를 가장 조밀하게 쌓는 방법(육방 최밀 채우기, 공간 효율 약 74%)을 제시했다. 이 문제는 수백 년간 미해결로 남아있다가 1998년 컴퓨터 보조 증명을 거쳐 2014년 증명 보조기(Formal Verification)로 100% 형식 검증되었다.

이 구 채우기(Sphere Packing) 수학은 4차원 이상의 고차원과 디지털 비트 이산 공간으로 확장되었다. 비트 신호 사이의 거리를 고차원 구 채우기 형태로 배치하여 간섭을 줄이는 방식으로, 현대 무선 통신 프로토콜과 주파수 대역폭 전송 효율을 계산하는 핵심 이론으로 쓰이고 있다.

2) MRI 촬영 시간을 혁신한 압축 센싱(Compressed Sensing)

전통적인 MRI는 환자가 3분 이상 가만히 누워 신호를 받아야 했고, 30초 분량의 적은 데이터로 영상을 복원하면 깨져서 진단이 불가능했다.

에마뉘엘 칸데스(Emmanuel Candès), 데이비드 도노호(David Donoho), 그리고 테렌스 타오 등은 총변동 최소화(Total Variation Minimization)라는 수학적 기법을 통해 적은 측정 횟수만으로도 거의 완벽한 고해상도 영상을 복원해 냈다.
이는 MRI 검사 시간을 획기적으로 줄여 소아 환자나 응급 환자의 진정을 줄였을 뿐 아니라, 지진학, 천문학, 레이더 센서 네트워크 전반을 아우르는 압축 센싱(Compressed Sensing)이라는 새로운 표준 교과서 이론으로 정립되었다.

3) 수학적 발견은 ’실패의 음영 공간’에서 나온다

타오 교수는 수학적 발견이 번뜩이는 유레카가 아니라 수많은 시행착오의 누적이라고 설명한다.

물리학자 닐스 보어(Niels Bohr)의 말처럼, 전문가는 아주 좁은 분야에서 저지를 수 있는 모든 실수를 다 해본 사람에 가깝다. 작동하지 않는 수많은 방법들을 직접 부딪쳐보며 문제의 음영 공간(Negative Space)을 탐색해 나갈 때, 비로소 참된 해결 경로가 선명해진다.

3. AI 시대와 증명 소화 불량(Proof Indigestion)

최근 AI는 올림피아드 수학 문제를 해결하고 프론티어 수학 벤치마크(FrontierMath)에서 대학원 수준의 비공개 문제를 풀어내는 등 빠르게 발전하고 있다. 타오 교수는 이러한 AI의 약진 속에서 수학계의 패러다임 변화를 짚었다.

[전통적 수학 생태계: 증명 희소성 (Proof Scarcity)]
 증명 생성 (극소수) ──► 인간 검증 ──► 인간 소화 / 교과서 편입 / 교육
                                           │ (균형 유지)

[AI 시대의 수학 생태계: 증명 풍요 (Proof Abundance)]
 AI 증명 초고속 대량 생성 ──► AI 초고속 자동 검증 ──► [인간의 소화 병목!]
                                                      (증명 소화 불량 발생)

1) AI의 ‘폭’(Width) vs 인간의 ‘깊이’(Depth)

인간 수학자: 수많은 문제 중 가장 핵심적인 문제 한두 개를 골라 수년간 깊게 파고들며, 문제 해결 과정에서 다른 분야로 확장될 수 있는 구조적 통찰을 남긴다.
AI: 기존 기법이 통하지 않는 극도로 난해한 하나의 문제를 뚫는 데는 취약하지만, 방대한 폭의 탐색(Broad Search)에 강하다. 1,000개의 미해결 문제에 수천 가지 오래된 기법과 논문 조합을 적용해 5%만 풀어내도 단숨에 50개의 문제를 해결해 낸다.

2) 증명의 3단계와 ‘증명 소화 불량’

타오 교수는 수학적 증명이 완전한 지식이 되기까지 3단계를 거친다고 설명한다.

증명 생성(Proof Generation): 문제를 푸는 논리적 증명을 작성함.
증명 검증(Proof Verification): 증명에 오류가 없는지 확인함.
증명 소화(Proof Digestion): 왜 이 증명이 작동하는지 핵심 직관을 이해하고, 불필요한 단계를 쳐내어 읽기 쉽게 다듬고, 교과서에 싣고 차세대를 교육함.

AI는 1단계(생성)와 2단계(검증)를 초고속으로 자동화하고 있다. 하지만 3단계인 증명 소화는 오직 인간 지성의 영역으로 남아있다.

AI가 쏟아내는 증명은 기계적으로 맞아도 수백 페이지에 달할 정도로 길고, 사소한 부분은 장황하게 쓰면서 정작 인간이 궁금해하는 핵심 난관은 불친절하게 넘어가는 경우가 많다. 생성과 검증 속도는 폭발하는데 인간의 소화 속도가 이를 따라가지 못하면서 수학계에 증명 소화 불량(Proof Indigestion)이라는 심각한 체증 현상이 나타나고 있다.

3) 헬리콥터 비유: 과정을 잃어버린 과학의 위험성

타오 교수는 음식과 등산에 빗대어 AI 시대의 과학이 지켜야 할 가치를 경고했다.

“영양분을 가장 효율적으로 섭취하겠다고 음식을 전부 갈아서 튜브로 위장에 주입하면, 음식을 씹고 맛을 느끼는 감각적 즐거움과 소화의 본질을 잃어버린다.”

마찬가지로 AI가 헬리콥터처럼 우리를 산꼭대기의 목적지 폭포에 단숨에 내려다 준다면, 험난한 등산로를 직접 걷고 헤매면서 만들었을 산의 지도와 우연히 마주쳤을 주변의 풍경(인간적 통찰과 차세대 연구자의 성장)은 영영 사라지게 된다.

4. 마치며

테렌스 타오 교수가 들려준 이야기는 수학이 단순히 기호를 조작하는 학문이 아니라, 우리가 살아가는 복잡한 세계를 덜 두렵고 더 명료하게 바라보게 돕는 지적 렌즈임을 보여준다.

AI가 증명을 대신 만들어내는 시대가 오더라도, 그 증명이 왜 중요한지 가치를 선별하고, 원리를 소화하여 다음 세대에 전달하며, 호기심을 바탕으로 새로운 질문을 던지는 일은 여전히 인간의 몫으로 남아있다. 기계의 속도에 압도되기보다 인간 고유의 깊이와 사유의 즐거움을 지켜나가는 것이 AI 시대를 맞이한 수학과 과학이 나아가야 할 길이다.

참고 자료 및 출처

[1] Big Think 인터뷰 영상: Terence Tao. (2025). The world’s greatest mathematician explains 6 essential concepts of math. YouTube 영상 링크
[2] Tao, T. (2025–2026). Reflections on AI, proof digestion, and mathematical discovery. Mathstodon & UCLA Research Notes.