리처드 서튼 – 쓰라린 교훈: LLM이라는 막다른 길 (The Bitter Lesson: LLMs are a Dead End)

원문: Richard Sutton, The Bitter Lesson (Mar 2019) / Richard Sutton, Father of RL thinks LLMs are a dead end (Dwarkesh Podcast, Sep 2025)
전문은 원문에서 확인하실 수 있습니다. 아래 글은 번역이 아니라, 리처드 서튼의 논증을 한국어로 재구성한 정리입니다.

글의 배경과 개요

리처드 서튼(Richard Sutton)은 강화학습(reinforcement learning)의 핵심 기법 상당수를 만든 연구자로, 2024년 튜링상을 앤드루 바토(Andrew Barto)와 함께 받았습니다. 2019년 3월 자신의 개인 사이트에 올린 에세이 「The Bitter Lesson」에서 그는 70년 AI 연구사를 훑으며, 연산을 활용하는 일반적 방법이 사람의 지식을 설계해 넣는 방법을 결국 이겨 왔다는 관찰, 이른바 쓰라린 교훈(bitter lesson)을 내놓았습니다. 이 글은 이후 대규모 언어모델(LLM)을 키우는 노선의 근거로 즐겨 인용되어, 진행자가 AI 역사상 가장 영향력 있는 에세이일 수 있다고 부를 정도가 되었습니다. 그런데 2025년 9월, 서튼은 드와케시 파텔(Dwarkesh Patel)의 팟캐스트에 나와 LLM이 그 교훈을 체득하지 못한 막다른 길이라고 말합니다. 글 전체가 답하려는 질문은, 스케일링의 시대를 정당화하는 근거가 된 에세이의 저자가 왜 정작 그 노선을 교훈의 반례로 보는가입니다. 아래 정리는 에세이의 논증을 먼저 따라간 뒤, 대담에서 서튼이 경험·목표·세계 모델·일반화·승계를 두고 파텔과 부딪히는 과정을 절 단위로 짚습니다.

핵심 내용 정리

70년의 AI 연구사가 주는 가장 큰 교훈은, 연산을 활용하는 일반적 방법이 결국 가장 효과적이고 그 격차도 크다는 것입니다.
사람의 지식을 집어넣는 접근은 단기에는 늘 도움이 되지만 길게 보면 정체하고 오히려 진전을 가로막습니다.
연산이 아무리 커져도 계속 확장되는 방법은 탐색과 학습 둘뿐이며, 체스·바둑·음성인식·컴퓨터 비전이 모두 같은 패턴을 반복했습니다.
서튼은 LLM이 사람을 흉내 낼 뿐 세계 모델도 목표도 없다고 보며, 사람의 지식에 의존하는 한 경험 기반 시스템에 추월당할 것이라고 예상합니다.
지능의 토대는 감각·행동·보상이 평생 이어지는 경험의 흐름이고, 지식이란 그 흐름에 대한 진술이므로 흐름과 대조해 계속 검증할 수 있다고 서튼은 말합니다.
서튼은 동물에게 지도학습이나 모방이라 부를 만한 기본 학습 과정이 없다고 보며, 다람쥐를 이해하면 인간 지능의 거의 전부를 이해한 셈이라고 주장합니다.
디지털 지능이나 증강된 인간으로의 승계는 불가피하며, 서튼은 이를 복제에서 설계로 넘어가는 우주적 전환으로 받아들이자고 권합니다.

1부 에세이: 연산이 이긴다

70년의 교훈

서튼이 70년의 AI 연구사에서 읽어 낸 가장 큰 교훈은 하나입니다. 연산을 활용하는 일반적 방법이 결국 가장 효과적이며, 그 격차도 작지 않다는 것입니다. 그 근본 이유로 서튼이 드는 것은 무어의 법칙(Moore’s law), 더 정확히는 연산 단위당 비용이 계속 지수적으로 떨어진다는 그 법칙의 일반화된 형태입니다.

문제는 대부분의 AI 연구가 에이전트에게 주어진 연산량이 고정되어 있다는 전제 아래 수행되어 왔다는 점입니다. 연산이 고정되어 있다면 성능을 끌어올리는 거의 유일한 길은 사람의 지식을 활용하는 것이 됩니다. 그러나 전형적인 연구 프로젝트의 주기보다 조금만 긴 시간을 놓고 보면, 훨씬 더 많은 연산이 어김없이 가용해집니다. 서튼이 보기에 장기적으로 중요한 것은 연산을 끌어다 쓰는 일뿐입니다.

두 접근이 원리상 서로 배척해야 할 이유는 없습니다. 그런데 실제로는 그렇게 됩니다. 한쪽에 쓴 시간은 다른 쪽에 쓰지 못한 시간이고, 연구자에게는 자신이 택한 접근에 대한 심리적 투자와 헌신이 쌓입니다. 게다가 사람의 지식을 집어넣는 방식은 방법 자체를 복잡하게 만들어, 연산을 활용하는 일반적 방법의 이점을 받아들이기 어려운 구조로 굳어집니다.

체스와 바둑이 보여준 것

1997년 세계 챔피언 개리 카스파로프(Garry Kasparov)를 이긴 방법은 대규모의 깊은 탐색에 기반한 것이었습니다. 당시 컴퓨터 체스 연구자 다수는 이를 낙담하며 바라보았습니다. 그들은 체스 특유의 구조에 대한 사람의 이해를 활용하는 방법을 추구해 왔는데, 전용 하드웨어와 소프트웨어를 쓴 더 단순한 탐색 기반 접근이 압도적으로 효과적임이 드러났기 때문입니다.

서튼은 그들이 좋은 패자가 아니었다고 적습니다. 무차별 대입식 탐색이 이번에는 이겼을지 몰라도 그것은 일반적인 전략이 아니며, 어차피 사람이 체스를 두는 방식도 아니라는 반응이 나왔습니다. 이것이 서튼의 진단입니다. 사람의 입력에 기반한 방법이 이기기를 바랐던 연구자들은 그렇게 되지 않자 실망했다는 것입니다.

바둑에서도 같은 패턴이 20년 늦게 반복되었습니다. 사람의 지식이나 바둑이라는 게임의 특수한 성질을 이용해 탐색을 피하려는 막대한 초기 노력이 있었지만, 탐색이 대규모로 제대로 적용되자 그 노력은 무의미해지거나 오히려 해가 되었습니다. 또 하나 중요했던 것은 자가 대국(self-play)을 통해 가치 함수(value function)를 학습한 일입니다. 서튼은 자가 대국을 통한 학습, 나아가 학습 일반이 탐색과 마찬가지로 막대한 연산을 끌어다 쓸 수 있게 해 준다고 봅니다. 탐색과 학습, 이 둘이 AI 연구에서 대규모 연산을 활용하는 가장 중요한 두 부류의 기법입니다.

해설
서튼이 연도만 언급하고 넘어간 사건들의 배경을 덧붙입니다. 1997년 카스파로프를 이긴 쪽은 IBM의 딥블루(Deep Blue)로, 체스 수 탐색 전용 칩을 대량으로 붙인 기계였습니다. 서튼이 1997년 프로그램에서는 학습이 큰 역할을 하지 않았다고 단서를 단 것은 이 때문입니다.

바둑 쪽의 전환점은 2016년 이세돌과 알파고(AlphaGo)의 대국, 그리고 이듬해 사람의 기보를 전혀 쓰지 않고 자가 대국만으로 학습한 알파제로(AlphaZero)였습니다. 서튼이 가치 함수 학습을 강조한 맥락이 여기에 있습니다.

음성인식과 컴퓨터 비전에서 반복된 패턴

1970년대 미국 국방고등연구계획국(DARPA)이 후원한 초기 음성인식 경진에서도 같은 구도가 나타났습니다. 한쪽에는 단어와 음소, 사람의 성도 구조에 대한 지식을 활용하는 특수한 방법들이 있었고, 다른 쪽에는 더 통계적이고 훨씬 더 많은 연산을 쓰는 새로운 방법, 즉 은닉 마르코프 모델(HMM)에 기반한 접근이 있었습니다. 여기서도 통계적 방법이 사람의 지식에 기반한 방법을 이겼습니다.

이 결과는 수십 년에 걸쳐 자연어 처리 전반을 바꾸었고, 통계와 연산이 분야를 지배하게 됩니다. 서튼은 음성인식에서 최근 일어난 딥러닝(deep learning)의 부상을 이 일관된 방향의 가장 최신 단계로 봅니다. 딥러닝 방법은 사람의 지식에 더 적게 기대고 연산은 더 많이 쓰며, 거대한 학습 데이터에 대한 학습을 결합해 압도적으로 나은 음성인식 시스템을 만들어 냈습니다.

게임에서와 마찬가지로 연구자들은 늘 자기 마음이 작동한다고 스스로 생각하는 방식대로 시스템을 만들려 했고, 그 지식을 시스템에 집어넣으려 했습니다. 무어의 법칙을 통해 막대한 연산이 가용해지고 그것을 잘 쓰는 수단이 발견되자, 그 시도는 결국 역효과를 냈고 연구자의 시간을 엄청나게 낭비한 것으로 판명되었습니다.

컴퓨터 비전에서도 같은 패턴이 있었습니다. 초기 방법들은 시각을 에지를 찾는 일, 일반화된 원기둥을 찾는 일, 또는 SIFT 특징의 관점에서 이해했습니다. 서튼이 글을 쓴 시점에 이것들은 모두 폐기되었습니다. 현대의 딥러닝 신경망은 합성곱(convolution)과 몇 가지 불변성 개념만을 사용하며, 훨씬 더 나은 성능을 냅니다.

쓰라린 교훈의 네 단계

서튼은 이것이 큰 교훈이지만 분야가 아직 제대로 배우지 못했고, 같은 종류의 실수를 계속 저지르고 있다고 말합니다. 이를 알아보고 효과적으로 저항하려면 그 실수가 가진 매력을 먼저 이해해야 합니다. 우리가 생각한다고 생각하는 방식을 시스템에 집어넣는 일은 장기적으로 통하지 않는다는 것, 이것이 배워야 할 쓰라린 교훈입니다.

서튼은 이 교훈을 네 단계의 역사적 관찰로 정리합니다.

연구자의 지식 주입 — AI 연구자들은 자주 자신의 지식을 에이전트에 집어넣으려 해 왔습니다.
단기의 성공 — 이 시도는 언제나 단기적으로 도움이 되고, 연구자 개인에게도 만족스럽습니다.
장기의 정체 — 그러나 길게 보면 성능이 정체하고, 나아가 추가적인 진전을 가로막습니다.
반대 접근의 돌파 — 돌파구는 결국 탐색과 학습으로 연산을 확장하는 반대편 접근에서 나옵니다.

서튼은 이때의 성공이 왜 쓴맛을 동반하는지도 짚습니다. 그 성공은 사람 중심의, 연구자들이 아끼던 접근을 꺾고 거둔 성공이기 때문에 완전히 소화되지 못한 채로 남습니다.

[관점]
이 에세이는 발표 이후 전혀 다른 용도로 소비되어 왔습니다. 파텔이 대담에서 지적했듯, 많은 사람이 이 글을 스케일링 노선을 정당화하는 근거로 썼고, 연산에 베팅하라는 한 문장짜리 투자 명제로 읽히기도 했습니다.

그런데 에세이 자체는 어떤 아키텍처가 옳다는 말을 하지 않습니다. 연산 단위당 비용이 계속 떨어진다는 전제 아래, 연산이 늘어날 때 함께 좋아지는 방법을 고르라는 선택 기준을 제시할 뿐입니다. 비용 곡선이 꺾이거나 특정 접근이 데이터의 한계에 먼저 부딪히면 같은 기준이 정반대의 결론을 가리킬 수 있습니다. 대담에서 서튼 본인이 바로 그 가능성을 꺼내 듭니다.

담아야 할 것은 발견의 결과가 아니라 발견하는 능력

서튼은 쓰라린 교훈에서 배워야 할 첫 번째 일반론으로, 범용 방법이 가진 힘을 꼽습니다. 가용 연산이 아주 커져도 연산 증가와 함께 계속 확장되는 방법의 힘입니다. 그렇게 임의로 확장되는 것처럼 보이는 방법은 탐색과 학습 두 가지입니다.

두 번째 일반론은 더 근본적입니다. 마음의 실제 내용물은 엄청나게, 구제불능으로 복잡하다는 것입니다. 서튼은 공간이나 사물, 다중 에이전트, 대칭성처럼 마음의 내용을 단순하게 사고하는 방식을 찾으려는 시도를 그만두어야 한다고 말합니다. 이것들은 모두 임의적이고 본질적으로 복잡한 바깥 세계의 일부이며, 그 복잡성은 끝이 없기 때문에 시스템에 집어넣을 대상이 아닙니다.

대신 집어넣어야 할 것은 그 임의적 복잡성을 찾아내고 포착할 수 있는 메타 방법뿐입니다. 이런 방법의 핵심은 좋은 근사를 찾아낼 수 있다는 데 있지만, 그 근사를 찾는 일은 우리가 아니라 우리의 방법이 해야 합니다. 서튼이 글을 맺는 요지는 이렇습니다. 우리가 원하는 것은 우리처럼 발견할 수 있는 AI 에이전트이지, 우리가 발견해 놓은 것을 담고 있는 에이전트가 아닙니다. 우리의 발견을 집어넣는 일은 발견 과정 자체를 어떻게 구현할지 보기 어렵게 만들 뿐입니다.

[반론]
에세이가 공개되고 며칠 뒤 로드니 브룩스(Rodney Brooks)가 「A Better Lesson」이라는 짧은 반박문을 올렸습니다. 브룩스는 서튼이 여러 좋은 사례를 들었지만 결론이 틀렸다고 보았고, 70년의 연구사에서 배워야 할 더 나은 교훈은 따로 있다고 주장했습니다.

브룩스의 핵심은 총비용입니다. 어떤 해법이든 그것을 만들고 돌리는 데 드는 비용 전체를 계산에 넣어야 하며, 지금까지의 성공 사례들도 실제로는 상당한 양의 사람의 독창성을 필요로 했다는 것입니다. 연산을 더 쓰면 언제나 이긴다는 식의 주장은 AI와 기계학습을 실용성에서 더 멀어지게 만든다는 지적이었습니다.

2부 대담: LLM은 막다른 길인가

강화학습이 보는 지능과 LLM이 보는 지능

파텔은 자신과 청중이 익숙한 것은 LLM의 사고방식이라고 전제하고, 강화학습의 관점에서 보면 무엇을 놓치고 있는지를 묻습니다. 서튼의 답은 두 관점이 서로 상당히 다르며, 자칫 분리되어 대화 능력 자체를 잃기 쉽다는 것입니다.

서튼은 자신의 분야가 유행과 밴드왜건에 취약하다고 봅니다. 생성형 AI가 워낙 큰 것이 되면서 기본적인 것들을 놓치게 되었다는 진단입니다. 그가 보기에 강화학습은 기본 AI이고, 지능의 문제란 결국 자기 세계를 이해하는 문제입니다.

여기서 서튼은 두 노선을 가르는 한 문장을 내놓습니다. 강화학습은 자기 세계를 이해하는 일에 관한 것인 반면, LLM은 사람을 흉내 내는 일, 사람들이 이렇게 해야 한다고 말한 것을 따라 하는 일에 관한 것입니다. 서튼이 보기에 그것은 무엇을 할지 알아내는 일이 아닙니다.

해설
서튼이 쓰는 강화학습의 기본 어휘를 미리 정리해 두면 이후 절을 따라가기 수월합니다. 에이전트는 상태를 보고 행동을 고르며, 그 결과로 보상이라는 숫자를 받습니다. 어떤 상태에서 무엇을 할지 정하는 규칙이 정책(policy)이고, 지금 상태가 장기적으로 얼마나 좋은지를 숫자로 내놓는 것이 가치 함수입니다.

파텔이 서두에서 서튼의 대표적 기여로 꼽은 것이 시간차 학습(TD learning)과 정책 경사(policy gradient)입니다. 앞의 것은 최종 결과를 기다리지 않고 예측값의 변화만으로 가치 함수를 갱신하는 방법이고, 뒤의 것은 정책 자체를 직접 조금씩 밀어 올리는 방법입니다. 서튼이 10년짜리 목표와 중간 보상을 이야기할 때 다시 등장합니다.

세계 모델이 있다는 말의 뜻

파텔은 반론을 제시합니다. 인터넷 텍스트의 수조 개 토큰을 흉내 내려면 세계 모델(world model)을 만들 수밖에 없고, 실제로 이 모델들은 매우 견고한 세계 모델을 가진 것처럼 보이며 지금까지 AI가 만든 최고의 세계 모델이라는 것입니다.

서튼은 방금 한 말의 대부분에 동의하지 않는다고 답합니다. 사람이 하는 말을 흉내 내는 것은 세계의 모델을 만드는 일이 전혀 아니라는 것입니다. 흉내 내고 있는 대상, 즉 사람이야말로 세계 모델을 가진 존재이고, 모델은 그 존재를 흉내 내고 있을 뿐입니다. 서튼은 적대적으로 접근하고 싶지는 않다고 전제하면서도 이들에게 세계 모델이 있다는 생각 자체에 의문을 제기합니다.

서튼이 제시하는 기준은 단순합니다. 세계 모델이란 무슨 일이 벌어질지 예측할 수 있게 해 주는 것인데, 이 모델들이 예측할 수 있는 것은 사람이 무슨 말을 할지이지 무슨 일이 벌어질지가 아닙니다.

이어서 서튼은 앨런 튜링(Alan Turing)을 인용해, 우리가 원하는 것은 경험으로부터 배우는 기계라고 말합니다. 여기서 경험이란 실제로 자기 삶에서 일어나는 일들입니다. 무언가를 하고, 무슨 일이 벌어지는지 보고, 거기서 배웁니다. 반면 LLM이 배우는 것은 다른 종류의 자료입니다. 여기 어떤 상황이 있었고 어떤 사람이 이렇게 했다는 기록이며, 그 안에 암묵적으로 담긴 제안은 그 사람이 한 대로 하라는 것입니다.

정답 기준이 없으면 사전 지식도 없습니다

파텔은 핵심 쟁점을 짚습니다. 모방 학습(imitation learning)이 이 모델들에게 문제를 다루는 합리적인 방식에 대한 좋은 사전 지식을 주었고, 서튼이 말하는 경험의 시대로 넘어갈 때 그 사전 지식이 토대가 된다는 견해입니다. 사전 지식이 있어야 가끔은 정답을 맞힐 수 있고, 그래야 경험으로 학습시킬 수 있다는 논리입니다.

서튼은 그것이 LLM 진영의 관점임은 인정하면서도 좋은 관점은 아니라고 답합니다. 사전 지식이 성립하려면 실제 지식이 존재해야 하는데 그 틀 안에는 실제 지식의 정의가 없다는 것이 그의 논점입니다. 어떤 행동을 좋은 행동으로 만드는 것이 무엇인지에 대한 답이 없다는 뜻입니다.

서튼은 지속 학습(continual learning)을 끌어옵니다. 계속 학습한다는 말은 세계와의 평범한 상호작용 도중에 학습한다는 뜻이고, 그렇다면 그 상호작용 중에 무엇이 옳은지 알아낼 방법이 있어야 합니다. LLM의 설정에서는 무엇이 옳은 말인지 알아낼 길이 없습니다. 무언가를 말해도 그에 대한 피드백을 받지 못하는데, 애초에 옳은 말이 무엇인지에 대한 정의가 없기 때문입니다. 목표가 없으면 이 말과 저 말이 있을 뿐, 옳은 말이라는 것은 없습니다.

결국 정답 기준(ground truth)이 없다는 것이 서튼의 결론입니다. 사전 지식이란 진실이 무엇인지에 대한 힌트이거나 초기 믿음이어야 하는데, 진실이 없으면 사전 지식도 성립하지 않습니다. 반면 강화학습에는 옳은 행동이 있습니다. 보상을 가져다주는 것이 옳은 행동이기 때문이며, 그 정의가 있으니 사람이 제공한 사전 지식을 넣고 실제 정답과 대조해 확인할 수도 있습니다.

세계의 모델을 만드는 경우는 더 단순합니다. 무슨 일이 벌어질지 예측한 다음 실제로 벌어지는 일을 보면 되므로 정답 기준이 있습니다. 서튼은 LLM에는 이것이 없다고 봅니다. 대화에서 어떤 말을 했을 때 상대가 어떻게 반응할지에 대한 예측이 없다는 것입니다.

파텔은 그 예측이 있다고 반박합니다. 사용자가 뭐라고 답할 것 같으냐고 직접 물어보면 모델이 예측을 내놓는다는 것입니다. 서튼은 그 질문에는 제대로 답하겠지만 실질적인 의미의 예측은 아니라고 선을 긋습니다. 예상과 다른 일이 벌어져도 놀라지 않고, 예상 밖의 일이 일어났다는 이유로 달라지지 않기 때문입니다.

파텔은 사고연쇄 추론(chain of thought reasoning)을 예로 듭니다. 수학 문제를 풀다가 이 접근이 개념적으로 틀렸다는 것을 깨닫고 다른 접근으로 다시 시작하겠다고 말하는 장면입니다. 맥락 안에서는 그런 유연성이 있으니 문제는 그 능력을 더 긴 시간 범위로 늘리는 것 아니냐는 물음입니다. 서튼은 같은 답을 반복합니다. 의미 있는 어떤 의미에서도 다음에 무슨 일이 벌어질지에 대한 예측이 없고, 벌어진 일에 놀라지도 그 때문에 달라지지도 않는다는 것입니다.

파텔이 다음 토큰 예측이 바로 예측하고 놀라움으로부터 갱신하는 일 아니냐고 묻자 서튼은 구분선을 긋습니다. 다음 토큰은 자신이 무엇을 말해야 하는지, 어떤 행동을 해야 하는지이지, 자신이 한 행동에 대해 세계가 되돌려 주는 것이 아니라는 것입니다.

목표 없는 시스템은 지능이 아닙니다

서튼은 논의를 목표의 부재로 되돌립니다. 그에게 목표를 가진다는 것은 지능의 본질이고, 목표를 달성할 수 있으면 지능적인 것입니다. 그는 존 매카시(John McCarthy)의 정의, 즉 지능이란 목표를 달성하는 능력의 계산적 부분이라는 규정을 선호한다고 밝힙니다. 목표가 없으면 그저 행동하는 시스템일 뿐 특별할 것도 지능적일 것도 없다는 것입니다.

파텔은 목표가 있다고 맞받고, 그 목표가 다음 토큰 예측이라고 답합니다. 서튼은 그것은 목표가 아니라고 일축합니다. 세계를 바꾸지 않기 때문입니다. 토큰이 그냥 날아오고, 그것을 맞힌다고 해서 토큰에 영향을 주는 것은 아닙니다. 파텔이 외부 세계에 대한 목표는 아니라고 한발 물러서자, 서튼은 실질적인 목표가 아니며 가만히 앉아 예측하면서 정확히 맞혔다고 자족하는 시스템을 두고 목표가 있다고 말할 수는 없다고 정리합니다.

파텔은 그렇다면 LLM 위에 강화학습을 얹는 방향이 왜 생산적이지 않다고 보는지 묻습니다. 어려운 수학 문제를 풀라는 목표를 줄 수 있고, 실제로 이 모델들은 수학 올림피아드 유형의 문제에서 인간 최고 수준에 이르러 국제수학올림피아드(IMO)에서 금메달 수준을 받았다는 것입니다. 그러니 수학 문제를 맞히겠다는 목표가 있는 것 아니냐는 논리입니다.

서튼의 답은 수학 문제가 다른 종류의 문제라는 것입니다. 물리적 세계의 모델을 만드는 일과 수학적 가정이나 연산의 귀결을 따라가는 일은 매우 다릅니다. 경험적 세계는 학습되어야 하고 그 귀결도 배워야 하지만, 수학은 더 계산적이고 표준적인 계획 수립에 가깝습니다. 그 영역에서는 증명을 찾겠다는 목표가 어떤 식으로든 주어져 있다는 것입니다.

LLM은 쓰라린 교훈의 사례인가

파텔은 2019년의 에세이를 꺼냅니다. 그 글이 AI 역사상 가장 영향력 있는 에세이일 수 있으며, 많은 사람이 그것을 LLM을 키우는 근거로 삼아 왔다는 지적입니다. 그들이 보기에 이것이야말로 세계에 대한 학습에 엄청난 양의 연산을 쏟아부을 수 있는, 우리가 찾아낸 유일하게 확장 가능한 방식이기 때문입니다. 그런데 정작 저자는 LLM이 쓰라린 교훈을 체득하지 못했다고 본다는 점이 흥미롭다는 것입니다.

서튼은 이것이 흥미로운 질문이라고 인정합니다. 이 모델들이 막대한 연산을 쓰는 방식인 것은 분명하고, 인터넷의 한계에 이를 때까지 연산과 함께 확장되는 것도 맞습니다. 그러나 동시에 사람의 지식을 대량으로 집어넣는 방식이기도 합니다. 서튼은 이것을 사회학적 질문, 또는 산업의 질문이라고 부릅니다. 이들이 데이터의 한계에 도달한 뒤, 사람이 아니라 경험으로부터 더 많은 데이터를 얻을 수 있는 것들에 자리를 내주게 될 것인가입니다.

서튼은 어떤 면에서 이것이 쓰라린 교훈의 전형적 사례라고 말합니다. 사람의 지식을 더 많이 넣을수록 성능이 좋아지니 기분이 좋아진다는 것입니다. 그럼에도 그는 경험으로부터 학습하는 시스템이 등장해 훨씬 더 좋은 성능을 내고 훨씬 더 확장 가능할 것이라고 예상하며, 그 경우 이것은 쓰라린 교훈의 또 하나의 사례가 됩니다. 사람의 지식을 쓰던 것들이 경험과 연산만으로 학습하는 것들에 결국 추월당하는 사례입니다.

파텔은 그것이 쟁점이 아니라고 봅니다. 상대편 사람들도 미래의 압도적인 연산이 경험 학습에서 나온다는 데는 동의할 것이며, 다만 그 경험 학습에 연산을 쏟아붓기 위해 출발점으로 삼을 비계 또는 토대가 LLM이라고 생각할 뿐이라는 것입니다. 왜 그것이 완전히 틀린 출발점인지, 왜 경험적·지속적 학습을 시작하는 데 전혀 새로운 아키텍처가 필요한지를 파텔은 거듭 묻습니다.

서튼의 답은 역사에 기댑니다. 쓰라린 교훈의 모든 사례에서 사람의 지식으로 시작한 다음 확장 가능한 것을 해 볼 수는 있었고, 그것이 원리상 나쁠 이유는 없습니다. 그러나 현실에서는 늘 나쁜 것으로 드러났습니다. 사람들이 사람의 지식 접근에 고착되어 버리기 때문입니다. 서튼은 왜 그런지는 자신도 추측일 뿐이라고 단서를 달면서, 다만 늘 그렇게 되어 왔고 그들은 진정으로 확장 가능한 방법들에 점심을 빼앗긴다고 말합니다.

파텔이 그 확장 가능한 방법이 무엇인지 묻자 서튼은 간단히 답합니다. 경험으로부터 배우는 것입니다. 시도해 보고 무엇이 통하는지 봅니다. 누가 알려 줄 필요가 없습니다.

무엇보다 먼저 목표가 있어야 합니다. 목표가 없으면 옳고 그름도, 더 낫고 못함도 성립하지 않습니다. 서튼이 보기에 LLM은 목표도, 더 나음과 못함의 감각도 없이 버텨 보려 하고 있고, 그것은 “정확히 잘못된 자리에서 출발하는 것”입니다.

[관점]
서튼이 이 절에서 던진 질문 하나는 산업 쪽에서 그대로 쟁점이 됩니다. 사람이 만든 텍스트라는 자원이 한정되어 있으면 어떻게 되는가입니다. 이 인식은 이미 업계의 관심을 합성 데이터와 강화학습 환경 구축 쪽으로 옮겨 놓았습니다.

다만 서튼의 질문과 업계의 대응은 같은 결론을 향하지 않습니다. 업계는 기존 모델을 토대로 두고 그 위에 경험 학습을 얹는 쪽으로 움직이고 있고, 서튼은 토대 자체를 바꿔야 한다고 봅니다. 투자자 입장에서 이 차이는 중요합니다. 전자가 맞으면 지금까지 쌓은 사전학습 자산과 추론 인프라가 그대로 이월되지만, 후자가 맞으면 그 자산의 상당 부분이 다음 패러다임으로 넘어가지 못합니다.

[반론]
안드레이 카파시(Andrej Karpathy)는 대담이 공개되고 며칠 뒤 블로그에 「Animals vs Ghosts」를 올려 응답했습니다. 그는 LLM이 쓰라린 교훈에 철저히 부합하지 않는다는 서튼의 비판이 부당하지 않다고 인정합니다. 프런티어 모델은 사전학습 데이터도, 파인튜닝 데이터도, 강화학습 환경의 구성도 모두 사람의 손을 거친 복잡한 산물이기 때문입니다.

그러나 카파시는 경험만으로 배우는 깨끗한 알고리즘이 정말 존재하는지에 의문을 제기합니다. 알파제로의 사례는 바둑이 너무 단순하고 닫힌 환경이라 현실의 지저분함으로 옮기기 어렵고, 동물의 사례는 갓 태어난 얼룩말이 몇십 분 만에 달리는 것처럼 진화가 DNA에 심어 둔 강력한 초기화 위에서 이루어지는 것이라는 이유입니다. 그가 보기에 사전학습은 진화를 다시 돌릴 수 없는 우리가 쓰는 ‘조악한 진화’이며, 출발점 문제를 푸는 한 가지 후보 해법입니다. 그의 결론은 지금의 프런티어 연구가 동물을 짓는 일이 아니라 유령을 불러내는 일이고, 유령과 동물의 관계가 비행기와 새의 관계와 같을 수도 있다는 것입니다.

[이해관계]
서튼은 앨버타대학교(University of Alberta) 컴퓨팅과학과 교수이면서 앨버타 기계지능연구소(Amii)의 최고과학책임자이고, 캐나다 CIFAR AI 석좌입니다. 이 대담 자체도 Amii가 초청해 에드먼턴의 스튜디오에서 녹음된 것이라고 파텔이 밝히고 있습니다.

그는 2017년 구글 딥마인드(Google DeepMind)의 첫 해외 연구소인 딥마인드 앨버타를 공동 설립했다가, 2023년 그 연구소가 문을 닫으면서 알파벳(Alphabet)을 떠났습니다. 같은 해 그는 범용인공지능(AGI)을 목표로 존 카맥(John Carmack)이 2022년에 세운 기업 Keen Technologies에 연구과학자로 합류했고, 비영리 조직 OpenMind Research도 세웠습니다.

즉 서튼은 LLM 노선을 비판하면서, 동시에 그 대안으로 제시하는 경험 기반 접근을 실제로 추진하는 조직에 몸담고 있습니다. 인신공격이 아니라 발화 위치의 확인입니다. 그가 쓰라린 교훈의 다음 사례가 어디서 나올 것이라 말할 때, 그 자신이 그 자리에 서 있습니다.

아기는 흉내로 배우는가

파텔은 논의를 인간으로 옮깁니다. 모방 대 경험이라는 대비와 목표의 문제 모두에서 흥미로운 유비가 성립한다고 보고, 아이들은 처음에 모방으로 배우지 않느냐고 묻습니다. 서튼은 당연히 아니라고 즉답합니다.

파텔은 아이들이 사람을 지켜보면서 같은 말을 하려 하고, 엄마의 입 모양을 보고 같은 소리를 내려 하며, 뜻도 모르는 채로 같은 단어를 따라 한다고 설명합니다. 나이가 들수록 모방의 복잡도가 올라가고, 자기 무리의 사람들이 사슴을 사냥할 때 쓰는 기술을 흉내 내는 단계를 거쳐 비로소 경험 기반 학습의 영역으로 들어간다는 그림입니다.

서튼은 몇 개월짜리 아기부터 따져 보자고 되묻습니다. 그가 아이를 볼 때 보는 것은 이것저것 시도하고, 손을 휘젓고, 눈을 이리저리 움직이는 모습입니다. 눈을 어떻게 움직일지에 대해서도, 아기가 내는 소리에 대해서도 모방이라 부를 것이 없다는 것이 서튼의 관찰입니다. 같은 소리를 내고 싶어 할 수는 있지만, 유아가 실제로 하는 행동 자체에는 목표값도 본보기도 없다는 것입니다.

파텔은 그것이 유아의 모든 행동을 설명하지는 못해도 학습 과정을 안내한다고 봅니다. 학습 초기의 LLM도 다음 토큰을 추측했다가 실제와 다른 결과를 보는데, 어떤 의미에서는 아주 짧은 시간 범위의 강화학습이고 아이가 단어를 말해 보려다 잘못 나오는 것과 비슷하다는 것입니다.

서튼은 선을 긋습니다. LLM이 배우는 대상은 학습 데이터이지 경험이 아닙니다. 그것은 정상적인 삶에서는 결코 주어지지 않는 무언가로부터 배우는 것이며, 평범한 삶 속에서 이 상황에서는 이 행동을 해야 한다고 알려 주는 학습 데이터는 없다는 것입니다.

자연에 지도학습은 없습니다

파텔은 그렇다면 학교는 무엇이냐고 반문합니다. 그것도 학습 데이터 아니냐는 것입니다. 서튼은 학교는 훨씬 나중의 일이라고 답하면서, 결코 없다고 말한 것은 과했다고 한발 물러섭니다. 다만 정규 교육은 예외이므로 그 위에 이론을 세워서는 안 된다고 덧붙입니다.

파텔은 생물학적으로 프로그램된 초기 단계, 즉 아직 쓸모가 없고 세계를 이해하며 상호작용하는 법을 배우는 데 존재 이유가 있는 시기가 있고, 그것이 학습 단계처럼 보인다고 말합니다. 학습에서 배포로 넘어가는 날카로운 단절은 없더라도 초기 학습 단계는 있어 보인다는 것입니다. 서튼은 무엇을 해야 하는지를 가르치는 학습 같은 것은 없다고 답합니다. 일어나는 일들을 볼 뿐, 무엇을 하라고 지시받지는 않는다는 것입니다.

파텔이 사람은 문자 그대로 무엇을 할지 배우며 훈련이라는 단어 자체가 인간에게서 왔다고 맞서자, 서튼은 학습이 훈련에 관한 것이 아니라 능동적인 과정이라고 답합니다. 아이는 이것저것 시도해 보고 무슨 일이 벌어지는지 봅니다. 유아가 자라는 것을 생각할 때 우리는 훈련을 떠올리지 않습니다.

서튼은 여기서 심리학으로 근거를 옮깁니다. 심리학자들이 학습을 어떻게 보는지 들여다보면 모방 같은 것은 없고, 사람이 그렇게 하거나 그렇게 보이는 극단적 사례가 있을지는 몰라도 모방이라 불리는 기본적인 동물 학습 과정은 존재하지 않습니다. 존재하는 것은 예측과 시행착오를 통한 제어입니다.

서튼은 가장 보기 어려운 것이 때로는 가장 명백한 것이라고 말합니다. 우리에게는 바람직한 행동의 본보기가 없고, 있는 것은 일어난 일들의 사례, 하나가 다른 하나 뒤에 왔다는 사례, 무언가를 했더니 결과가 따라왔다는 사례입니다. 지도학습(supervised learning)은 자연에서 일어나는 일이 아니며, 학교가 그런 경우라 해도 사람에게서만 일어나는 특수한 것이니 잊어야 합니다. 서튼이 드는 압축된 예가 다람쥐입니다. 다람쥐는 학교에 가지 않지만 세계에 대해 모든 것을 배울 수 있습니다.

해설
서튼이 모방을 부정하는 대목은 기계학습의 용어 구분을 알아야 정확히 읽힙니다. 지도학습은 입력마다 정답 레이블이 붙은 자료로 학습하는 방식이고, 모방 학습은 전문가의 행동 궤적을 정답으로 삼아 따라 하는 방식입니다. 둘 다 바깥에서 주어진 정답을 전제합니다.

반면 서튼이 동물에게 실재한다고 보는 두 과정은 다른 계열입니다. 예측 학습은 무엇이 무엇 뒤에 오는지를 배우는 것이고, 시행착오 제어는 행동의 결과로 받은 보상을 통해 행동을 조정하는 것입니다. 심리학 용어로는 각각 고전적 조건형성과 도구적 조건형성에 대응합니다. 서튼이 자연에 지도학습이 없다고 말할 때 부정하는 것은 학습 일반이 아니라, 정답이 외부에서 주어진다는 전제입니다.

다람쥐를 이해하면 거의 다 온 것입니다

파텔은 문화적 진화를 연구한 심리학자이자 인류학자 조지프 헨릭(Joseph Henrich)을 언급합니다. 인간을 구별 짓는 것이 무엇이고 인간이 지식을 어떻게 습득하는지에 관한 연구입니다. 서튼은 말이 끝나기 전에 끼어들어, 왜 인간을 구별하려 하느냐고 묻습니다. 인간은 동물이고, 우리가 공유하는 것이 더 흥미로우며 우리를 구별 짓는 것에는 관심을 덜 두어야 한다는 것입니다.

파텔은 우리가 복제하려는 것이 지능이라고 맞섭니다. 인간이 달에 가고 반도체를 만들 수 있게 해 주는 것이 무엇인지 이해하고 싶다면, 그것을 가능하게 한 바로 그것을 이해해야 한다는 논리입니다. 어떤 동물도 달에 가거나 반도체를 만들지 못하므로 인간을 특별하게 만드는 것을 이해해야 한다는 것입니다.

서튼의 답은 정반대입니다. 그는 파텔이 그것을 명백하게 여기는 방식이 마음에 든다고 하면서, 자신은 그 반대가 명백하다고 말합니다. 우리가 어떻게 동물인지를 이해해야 하며, 다람쥐를 이해한다면 인간 지능을 이해하는 데 거의 다 간 셈이라는 것입니다.

언어 부분은 표면에 얇게 덮인 겉칠에 불과합니다. 서튼은 이것이 좋은 대화라고 덧붙입니다. 두 사람이 매우 다르게 생각하는 방식을 발견하고 있는 중이며, 논쟁하는 것이 아니라 서로 다른 사고방식을 공유하려는 것이라는 정리입니다.

파텔은 논쟁도 유용하다고 받아치면서 헨릭의 논지를 마저 풉니다. 인간이 성공하기 위해 익혀야 했던 많은 기술들에 관한 이야기이고, 시간 단위는 지난 1,000년이나 1만 년이 아니라 수십만 년입니다. 세계는 정말 복잡합니다.

파텔이 드는 사례는 북극에서 물범을 사냥하는 일입니다. 미끼를 어떻게 만들고 물범을 어떻게 찾는지, 중독되지 않도록 고기를 어떻게 손질하는지까지 여러 단계가 길게 이어지는데, 이 전체를 머리로 추론해 내는 것은 불가능합니다. 대신 더 큰 과정이 시간을 두고 작동하면서, 강화학습이든 다른 무엇이든 문화 전체가 물범을 찾고 잡고 먹는 법을 알아냈다는 것입니다. 헨릭의 관점에서 이 지식이 세대를 넘어 전달될 때 일어나는 일은, 그 기술을 익히기 위해 윗세대를 모방해야 한다는 것입니다. 생각만으로는 물범을 사냥하고 손질하는 법에 이를 수 없고, 다른 사람을 지켜보고 조금씩 손보는 방식으로 지식이 축적되며, 문화적 축적의 첫 단계는 모방일 수밖에 없다는 논지입니다.

서튼의 답은 의외로 수긍입니다. 자신도 같은 방식으로 생각한다는 것입니다. 다만 그것은 여전히 기본적인 시행착오 학습과 예측 학습 위에 얹힌 작은 것입니다. 어쩌면 그것이 우리를 많은 동물과 구별 짓는 요소일 수는 있지만, 우리는 먼저 동물입니다. 언어와 그 밖의 모든 것을 갖기 전에 우리는 동물이었습니다.

[반론]
인간의 성공을 문화적 학습 능력에서 찾는 헨릭의 논지는 서튼이 언어와 문화를 겉칠이라 부르는 지점을 정면으로 겨냥합니다. 이 방향의 대표적 실험이 2007년 학술지 사이언스(Science)에 실린 에스더 헤르만(Esther Herrmann) 등의 연구로, 문화적 지능 가설(cultural intelligence hypothesis)을 검증했습니다.

연구진은 두 살 반 유아와 침팬지·오랑우탄에게 인지 과제 묶음을 풀게 했습니다. 물리적 세계를 다루는 과제에서는 유아와 침팬지의 기술이 매우 비슷했고, 사회적 세계를 다루는 과제에서는 유아가 두 유인원보다 정교했습니다. 저자들은 이 결과를 인간이 단지 일반 지능이 더 높은 것이 아니라 문화 집단에 참여하고 지식을 주고받는 사회적 인지 기술을 특화해 진화시켰다는 증거로 해석했습니다. 서튼이 동물 일반과의 공통점에서 출발하는 반면, 이 연구 흐름은 바로 그 구별점을 핵심으로 봅니다.

포유류는 다 하는데 AI는 못 하는 것

파텔은 서튼이 매우 흥미로운 지점을 짚었다고 인정합니다. 지속 학습은 대부분의 포유류가, 아마도 모든 포유류가 가진 능력인데 우리의 AI 시스템에는 없다는 것입니다. 반대로 수학을 이해하고 어려운 수학 문제를 푸는 능력은 거의 어떤 동물도 갖지 못했는데 우리의 AI는 가지고 있습니다. 무엇이 어렵고 무엇이 쉬운 것으로 판명되는지가 꽤 흥미롭다는 것이 파텔의 정리입니다.

서튼은 한마디로 답합니다. 모라벡의 역설(Moravec’s paradox)입니다.

해설
모라벡의 역설은 로봇공학자 한스 모라벡(Hans Moravec)이 1980년대에 정식화한 관찰입니다. 추론이나 계산처럼 사람에게 어려워 보이는 과제는 기계에게 상대적으로 쉽고, 보행이나 손의 조작, 지각처럼 사람이 의식하지 않고 해내는 과제는 기계에게 극도로 어렵다는 것입니다.

모라벡의 설명은 진화의 시간 배분이었습니다. 감각과 운동 능력은 수억 년에 걸쳐 다듬어졌고 그래서 공짜처럼 느껴지는 반면, 추상적 추론은 최근에야 얹힌 얇은 층이라 역설적으로 재현하기 쉽다는 것입니다. 서튼이 언어를 겉칠이라 부르고 다람쥐를 이해하면 거의 다 온 것이라 말한 앞의 주장은, 이 역설과 같은 논리 위에 서 있습니다.

흐름에서 배우고 흐름에 대해 배웁니다

파텔이 서튼이 그리는 대안적 패러다임을 꺼내자, 서튼은 곧바로 이름을 붙입니다. 경험 패러다임입니다. 순서를 바로잡아 말하면 감각과 행동과 보상이고, 이것이 평생에 걸쳐 끝없이 이어집니다.

서튼이 말하는 주장은 이 흐름이 지능의 토대이자 초점이라는 것입니다. 지능이란 그 흐름을 받아 행동을 바꿔서 흐름 속의 보상을 늘리는 일이고, 학습은 그 흐름에서 일어납니다.

서튼이 특히 시사적이라고 짚는 것은 두 번째 부분입니다. 학습은 흐름에 대한 것이기도 합니다. 우리가 배우는 지식의 내용이, 어떤 행동을 하면 무슨 일이 벌어질지, 어떤 사건 뒤에 어떤 사건이 따라오는지에 관한 진술이라는 뜻입니다. 지식이 흐름에 대한 진술이기 때문에 그 지식을 흐름과 대조해 검증할 수 있고 따라서 계속해서 학습할 수 있다는 것이 서튼의 논리입니다.

파텔이 이런 미래의 지속 학습 에이전트를 상상할 때라고 운을 떼자 서튼은 즉시 교정합니다. 그것들은 미래의 것이 아니며 언제나 존재해 왔다는 것입니다. 경험으로부터 배우는 것, 그것이 바로 강화학습 패러다임입니다.

보상 함수는 임의적입니다

파텔은 질문을 다듬어, 인간 수준의 일반적인 지속 학습 에이전트를 말한 것이라고 고쳐 묻습니다. 그런 에이전트의 보상 함수는 무엇인지, 세계를 예측하는 것인지 아니면 세계에 특정한 영향을 미치는 것인지를 묻습니다.

서튼의 답은 보상 함수가 임의적이라는 것입니다. 체스를 둔다면 그 게임을 이기는 것이고, 다람쥐라면 아마도 견과를 얻는 일과 관련되어 있을 것입니다. 동물 일반으로 말하자면 고통을 피하고 쾌락을 얻는 것입니다. 서튼은 여기에 하나를 덧붙입니다. 자기 환경에 대한 이해를 늘리는 것과 관련된 구성 요소도 있어야 한다는 것이고, 그것이 일종의 내재적 동기가 됩니다.

파텔은 다음 문제로 넘어갑니다. 많은 사람이 이 AI가 아주 다양한 일을 하기를 원할 텐데, 그것은 사람들이 원하는 과업을 수행하면서 동시에 그 과업으로부터 세계를 배우는 일입니다. 학습 기간과 배포 기간이 나뉘는 패러다임을 없앤다면, 모델과 그 모델의 복사본이 나뉘는 패러다임도 없어지는지, 여러 일을 하는 복사본들이 얻은 지식을 어떻게 모을지를 묻습니다.

서튼은 먼저 용어를 바로잡습니다. 파텔이 쓴 방식의 모델이라는 단어가 마음에 들지 않고, 네트워크라고 부르는 편이 낫다는 것입니다. 그러고 나서 본론에 답합니다. 복사본과 여러 인스턴스를 갖게 될 것이고, 인스턴스 사이에 지식을 공유하고 싶을 것이며, 그렇게 할 방법은 많을 것입니다.

서튼이 여기서 끌어내는 대비는 이렇습니다. 지금은 한 아이가 자라며 세계를 배우고 나면, 새로 태어난 아이마다 그 과정을 처음부터 되풀이해야 합니다. 디지털 지능이라면 한 번 해낸 다음 다음 개체에 출발점으로 복사해 넣기를 기대할 수 있고, 이것은 엄청난 절약이며 사람에게서 배우려 하는 것보다 훨씬 더 중요합니다.

해설
서튼이 모델이라는 말을 거부하고 네트워크라고 부르자고 한 것은 말버릇의 문제가 아닙니다. 업계에서 모델은 학습된 신경망 전체와 그 서비스 인스턴스를 가리키는 말로 굳어졌지만, 강화학습에서 모델은 좁고 특정한 뜻을 가집니다. 행동에 따라 세계가 어떻게 바뀌는지를 담은 전이 모델입니다.

서튼은 뒤에서 에이전트의 네 구성 요소를 설명하면서 그중 하나를 세계의 전이 모델이라고 부릅니다. 모든 것을 모델이라 부르면 그 구분이 사라지기 때문에, 미리 용어를 정리하고 들어간 것입니다.

10년 뒤의 보상을 오늘의 보상으로 바꾸는 법

파텔은 서튼이 말하는 종류의 능력이 LLM에서 출발하든 아니든 필요하다는 데는 동의한다고 말합니다. 인간이나 동물 수준의 지능을 원한다면 이 능력이 있어야 한다는 것입니다. 그러면서 창업을 예로 듭니다.

보상이 10년 단위로 떨어지는 일이고, 10년에 한 번 10억 달러 규모의 엑시트가 있을 수 있는 일입니다. 그런데 사람은 중간 보상을 만들어 내는 능력이 있어서, 보상이 극도로 희박해도 지금 하는 일이 저 큰 목표로 이어진다는 이해 아래 중간 단계를 밟아 갑니다. 이 과정이 AI에서 어떻게 구현될지를 묻습니다.

서튼의 답은 이것이 이미 아주 잘 아는 문제라는 것입니다. 그 기반이 시간차 학습이고, 덜 거창한 규모에서 똑같은 일이 일어납니다. 체스를 배울 때 장기 목표는 게임에서 이기는 것이지만, 상대의 기물을 따내는 것 같은 단기적인 것들로부터도 배우고 싶습니다.

그 일을 해내는 장치가 가치 함수입니다. 장기적 결과를 예측하는 가치 함수를 두면, 상대의 기물을 따냈을 때 장기적 결과에 대한 예측이 바뀝니다. 예측이 올라가고 이길 것 같다고 생각하게 되며, 그 믿음의 증가가 곧바로 기물을 따낸 수를 강화합니다. 창업도 같습니다. 10년짜리 목표를 두고 진전을 이룰 때마다 장기 목표를 달성할 가능성이 더 높아졌다고 판단하고, 그 판단이 중간 단계들에 보상을 줍니다.

큰 세계 가설

파텔은 다른 각도에서 파고듭니다. 인간을 LLM과 꽤 다르게 만드는 것 중 하나가, 새 직장에 적응할 때 엄청난 양의 맥락과 정보를 흡수한다는 점입니다. 고객의 선호부터 회사가 돌아가는 방식까지 모든 것을 배우고, 그래서 그 일에 쓸모 있는 사람이 됩니다. 시간차 학습 같은 절차로 얻는 정보의 대역폭이, 사람이 현장에 투입되었을 때 빨아들이는 맥락과 암묵지의 굵은 관을 감당할 만큼 넓은지를 묻습니다.

서튼은 확신하지 못한다고 전제하면서도, 쟁점의 핵심에 큰 세계 가설(big world hypothesis)이 놓여 있다고 봅니다. 사람이 직장에서 쓸모 있어지는 이유는 세계의 자기 몫에 해당하는 특정한 부분과 마주치기 때문입니다. 그 부분은 미리 예상할 수도 없고 전부 미리 집어넣을 수도 없는데, 세계가 너무나 크기 때문입니다.

서튼은 이것을 LLM이 꿈꾸는 것과 대비시킵니다. 그가 보기에 그 꿈은 에이전트에게 모든 것을 가르칠 수 있다는 것, 모든 것을 알고 있어서 자기 삶을 사는 동안 온라인으로는 아무것도 배우지 않아도 된다는 것입니다. 그런데 파텔이 드는 사례들은 모두 배울 수밖에 없다는 쪽을 가리킵니다. 그들이 이끄는 특정한 삶, 함께 일하는 특정한 사람들, 평균적인 사람이 아니라 바로 그 사람들이 무엇을 좋아하는지 같은 온갖 특이성이 있기 때문입니다. 결국 세계가 정말로 크고, 가면서 배울 수밖에 없다는 말이라는 것입니다.

파텔은 두 가지가 필요해 보인다고 정리합니다. 하나는 장기 목표의 보상을 더 작은 보조적 예측 보상으로 바꾸는 방법이고, 다른 하나는 세계에서 일하며 얻는 이 맥락을 붙들고 있는 방법입니다. 서튼은 그것이 그냥 평범한 학습이라고 답합니다. 파텔이 맥락이라는 단어를 쓰는 이유는 LLM에서 그 모든 정보가 컨텍스트 윈도우(context window)로 들어가야 하기 때문이지만, 지속 학습 설정에서는 그냥 가중치로 들어간다는 것입니다. 서튼은 이를 자신이 처한 환경에 특화된 정책을 학습하는 것이라고 바꿔 말합니다.

파텔은 묻고자 한 바를 다시 벼립니다. 사람이 세계에 나가 있을 때, 슬랙(Slack)으로 고객과 주고받는 것만 해도 초당 몇 비트를 집어 올리는지가 궁금하다는 것입니다. 서튼은 질문의 전제를 되짚습니다. 보상이라는 것이 우리가 해야 할 모든 학습을 감당하기에는 너무 작아 보인다는 뜻일 텐데, 우리에게는 감각이 있고 배울 수 있는 다른 모든 정보가 있다는 답입니다. 우리는 보상에서만 배우지 않고 모든 데이터에서 배웁니다.

[관점]
큰 세계 가설은 추상적으로 들리지만 AI 기업의 수익 모델과 직결됩니다. 세계가 너무 커서 미리 집어넣을 수 없다면, 가치의 상당 부분은 범용 모델 자체가 아니라 특정 조직과 특정 업무에 적응한 상태에 쌓이기 때문입니다.

지금 업계가 이 문제에 대는 처방은 세 가지입니다. 컨텍스트 윈도우를 늘리는 것, 검색증강생성(RAG)으로 외부 지식을 끌어오는 것, 고객별 파인튜닝(fine-tuning)입니다. 서튼이 보기에 앞의 두 가지는 학습이 아니라 임시 보관이고, 세 번째는 별도의 학습 단계를 다시 불러들이는 것입니다. 만약 적응이 가중치 안에서 상시로 일어나는 쪽으로 해결된다면, 기업 고객의 전환 비용은 지금보다 훨씬 커지고 가치는 모델 공급자보다 배치된 에이전트 쪽으로 이동합니다.

[한국 관점]
큰 세계 가설이 맞다면 조직마다 다른 맥락에 얼마나 빨리, 얼마나 싸게 적응하느냐가 AI 도입의 성패를 가르는 변수가 됩니다. 한국 기업 환경에서 이 문제를 사람이 대신 풀어 주는 계층으로는 시스템통합(SI) 업체를 떠올릴 수 있습니다.

적응이 에이전트 안에서 상시로 이루어지는 쪽으로 기술이 간다면 이 중개 계층의 몫은 줄어들고, 적응이 별도의 주입 작업으로 남는다면 그 몫이 유지되는 쪽으로 기울 것입니다. 다만 서튼은 한국이나 특정 산업 구조를 언급하지 않았으며, 이 연결은 큰 세계 가설을 한국의 도입 구조에 대입해 본 추론입니다.

에이전트의 네 구성 요소

파텔이 그 정보를 붙잡게 해 주는 학습 과정이 무엇인지 묻자, 서튼은 에이전트의 기본 공통 모형을 네 부분으로 설명하겠다고 말합니다.

정책 — 지금 처한 상황에서 무엇을 해야 하는지를 정하는 부분입니다.
가치 함수 — 시간차 학습으로 학습되며, 일이 얼마나 잘되어 가는지를 숫자로 내놓고 그 숫자의 등락을 보며 정책을 조정하게 해 줍니다.
지각 — 상태 표현을 구성하는 부분이며, 지금 자신이 어디에 있는지에 대한 감각입니다.
세계의 전이 모델 — 네 번째이자 지금 논의가 가장 투명하게 겨냥하는 부분으로, 어떤 행동을 하면 무슨 일이 벌어질지에 대한 믿음입니다.

서튼은 네 번째 요소를 설명하면서 모든 것을 모델이라 부르기 불편했던 이유를 밝힙니다. 그가 말하고 싶은 것은 세계의 모델, 세계의 전이 모델이기 때문입니다. 자신이 한 행동의 결과가 무엇일지에 대한 믿음이고, 세계의 물리학에 해당합니다.

다만 물리학만은 아니고 추상적인 모델도 포함합니다. 서튼은 파텔이 이 팟캐스트를 위해 캘리포니아에서 에드먼턴까지 이동한 경로를 예로 듭니다. 그것도 하나의 모델이자 전이 모델입니다.

이 모델은 보상에서 학습되는 것이 아닙니다. 무언가를 했고 무슨 일이 벌어지는지를 보았고 그로부터 세계의 모델을 만들었다는 방식으로 학습됩니다. 그 학습은 보상이 아니라 받아들인 모든 감각으로부터 아주 풍부하게 이루어집니다. 보상도 포함되어야 하지만, 보상은 전체 모델에서 작은 부분, 다만 결정적으로 중요한 작은 부분입니다.

하나의 세계에 사는 하나의 에이전트

파텔은 친구인 토비 오드(Toby Ord)가 제기한 관찰을 가져옵니다. 구글 딥마인드가 아타리(Atari) 게임을 학습시키려 배치한 뮤제로(MuZero) 계열 모델을 보면, 그것들 자체가 일반 지능이었던 것이 아니라 특정 게임을 하는 특화된 지능들을 훈련시키는 일반적인 틀이었다는 것입니다. 그 틀로 체스와 바둑과 또 다른 게임을 한꺼번에 하는 정책을 훈련시킬 수는 없었고, 각각을 따로 특화해 훈련시켜야 했습니다.

오드의 의문은 두 갈래였습니다. 강화학습 일반에 정보 제약이 있어서 한 번에 한 가지만 배울 수 있는 것인지, 정보의 밀도가 그만큼 높지 않은 것인지, 아니면 그것이 뮤제로가 설계된 방식에 국한된 문제인지입니다. 후자라면 일반적인 학습 에이전트, 즉 지속 학습하는 AGI가 되기 위해 그 접근에서 무엇이 바뀌어야 하는지를 파텔이 묻습니다.

서튼은 발상 자체는 완전히 일반적이라고 답합니다. 그가 늘 쓰는 표준 예시는 AI 에이전트가 사람과 같다는 것입니다. 사람은 어떤 의미에서 단 하나의 세계를 살며, 체스도 아타리 게임도 다른 세계가 아니라 그 사람이 마주치는 다른 상태일 뿐입니다. 그러니 일반적 발상은 전혀 제약되어 있지 않습니다.

파텔이 그 구조에 무엇이 빠져 있었기에 지속 학습하는 AGI와 달라지는지를 묻자, 서튼은 설계자들이 그렇게 설정했을 뿐이라고 답합니다. 그 게임들을 가로질러 하나의 에이전트를 두겠다는 것이 그들의 목표가 아니었다는 것입니다. 그러면서 논의의 틀을 바꿉니다. 전이를 이야기하려면 게임 사이나 과제 사이의 전이가 아니라 상태 사이의 전이를 이야기해야 한다는 것입니다.

해설
서튼이 과제가 아니라 상태라고 고쳐 말하는 대목은 강화학습 문헌의 오래된 구분을 건드립니다. 전이 학습 연구는 보통 과제 A에서 배운 것을 과제 B로 옮기는 문제로 설정되는데, 이때 과제의 경계는 연구자가 미리 그어 놓은 것입니다. 벤치마크가 게임 단위로 나뉘어 있으니 전이도 게임 단위로 측정됩니다.

서튼은 그 경계 자체가 인위적이라고 봅니다. 평생 하나의 흐름을 사는 에이전트에게 체스판 앞에 앉은 순간과 아타리 화면 앞에 앉은 순간은 서로 다른 세계가 아니라 같은 흐름 위의 서로 다른 상태입니다. 그렇다면 일반화의 단위도 과제가 아니라 상태가 되어야 하고, 좋은 일반화란 한 상태에서 배운 것이 다른 상태에서의 행동을 좋은 쪽으로 바꾸는 일이 됩니다.

전이는 어디에서도 나타나지 않습니다

파텔은 역사적으로 강화학습 기법에서 그런 에이전트를 만드는 데 필요한 수준의 전이가 관찰된 적이 있는지를 묻습니다. 서튼의 답은 짧고 단호합니다. 좋은 질문이라고 두 번 말한 뒤, 우리는 어디에서도 전이를 보고 있지 않다고 답합니다.

서튼의 설명은 이렇습니다. 좋은 성능에 결정적인 것은 한 상태에서 다른 상태로 잘 일반화하는 능력인데, 우리에게는 그 일을 잘하는 방법이 없습니다. 있는 것은 사람들이 이것저것 시도해 보다가 잘 전이되거나 잘 일반화되는 표현에 정착하는 과정뿐입니다. 서튼이 짚는 현실은 전이를 촉진하는 자동화된 기법이 거의 없고 그중 어느 것도 현대 딥러닝에서 쓰이지 않는다는 것입니다.

파텔은 제대로 이해했는지 확인하려고 바꿔 말합니다. 이 모델들에서 일반화가 나타날 때 그것은 누군가 다듬어 놓은 결과라는 뜻이냐는 것입니다. 서튼은 문장을 끝까지 듣지 않고 답합니다. 사람이 한 것이고 연구자들이 한 것이며, 다른 설명이 없다는 것입니다.

서튼이 드는 근거는 경사하강(gradient descent)의 성질입니다. 경사하강은 좋은 일반화를 만들어 주지 않습니다. 문제를 풀게 만들어 줄 뿐이고, 새로운 데이터를 받았을 때 좋은 방식으로 일반화하도록 만들어 주지는 않습니다. 일반화란 한 가지에 대한 학습이 다른 것들에 대한 행동에 영향을 주는 일인데, 딥러닝이 이 일에 매우 서툴다는 것은 알려져 있습니다. 서튼이 드는 예가 새로운 것을 학습시키면 알고 있던 옛것 전부를 파국적으로 간섭해 망가뜨리는 현상, 곧 파국적 간섭(catastrophic interference)이고, 이것이 바로 나쁜 일반화입니다.

서튼은 개념을 정리합니다. 일반화는 어떤 상태에 대한 학습이 다른 상태들에 미치는 일종의 영향이며, 일반화한다는 사실 자체는 좋을 것도 나쁠 것도 없습니다. 잘못 일반화할 수도 있고 잘 일반화할 수도 있습니다. 일반화는 언제나 일어나며, 필요한 것은 그 일반화가 나쁜 쪽이 아니라 좋은 쪽이 되도록 만드는 알고리즘입니다.

수학 올림피아드는 일반화인가

파텔은 자신이 용어를 다르게 쓰고 있을 수 있다며 진심으로 궁금하다고 전제합니다. LLM을 보는 한 가지 방식은 일반화의 범위를 넓혀 왔다는 것입니다. 기본적인 수학 문제조차 풀지 못하던 이전 시스템에서, 수학 올림피아드 유형의 문제라면 무엇이든 풀어내는 지금으로 넘어왔습니다. 처음에는 덧셈 문제들 사이에서 일반화하다가, 서로 다른 수학적 기법과 정리와 개념 범주를 동원해야 하는 문제들 사이에서 일반화하게 되었다는 그림입니다. 그런데 서튼은 그 범주 안의 어떤 문제든 풀어내는 것을 일반화의 사례로 치지 않는 것처럼 보인다는 지적입니다.

서튼의 첫 답은 인식론적입니다. LLM은 너무 복잡해서 그것들이 사전에 어떤 정보를 가졌는지 우리는 알지 못합니다. 너무 많은 것을 먹였기 때문에 추측할 수밖에 없고, 바로 이것이 그것들이 과학을 하기에 좋은 방법이 아닌 이유 중 하나입니다. 너무 통제되지 않았고 너무 알려져 있지 않다는 것입니다.

파텔이 완전히 새로운 것을 가져온다면 어떠냐고 운을 떼자, 서튼은 질문의 구조를 바꿉니다. 그것들이 여러 가지를 맞히고 있을 수는 있는데, 문제는 왜 맞히는가입니다. 어쩌면 맞히기 위해 일반화가 필요하지 않았을 수 있습니다.

그중 일부를 맞히는 유일한 길이 전부를 맞히는 무언가를 형성하는 것뿐이라면 그렇습니다. 답이 하나뿐이고 그것을 찾아냈다면 그것은 일반화가 아니라 그저 그것이 풀 수 있는 유일한 방법이었던 것입니다. 서튼이 보기에 일반화란 이렇게 할 수도 있고 저렇게 할 수도 있는 상황에서 좋은 쪽으로 하는 것입니다.

파텔은 코딩 에이전트를 반례로 듭니다. 라이브러리를 만든다면 같은 명세를 만족시키는 방법이 여럿 있는데, 초기에는 지저분하게 짜는 것이 불만이었다가 시간이 가면서 개발자들이 더 만족스러워하는 설계 구조와 추상을 내놓는 쪽으로 좋아지고 있다는 것입니다. 서튼이 말한 바로 그 사례처럼 보인다는 주장입니다.

서튼은 물러서지 않습니다. 그것들 안에 좋은 일반화를 일으킬 무언가가 없다는 것입니다. 경사하강은 본 적 있는 문제들의 해법을 찾아내게 할 뿐입니다. 푸는 방법이 하나뿐이면 그것을 찾아내지만, 방법이 여럿이고 그중 일부는 잘 일반화되고 일부는 그렇지 않다면, 알고리즘 안에 좋은 쪽으로 일반화하게 만드는 것이 없습니다.

서튼이 덧붙이는 단서가 중요합니다. 물론 사람은 진화된 존재이고, 잘 풀리지 않으면 될 때까지, 어쩌면 잘 일반화되는 방식을 찾을 때까지 만지작거린다는 것입니다. 결국 좋은 일반화의 출처는 알고리즘이 아니라 연구자라는 앞의 주장으로 되돌아옵니다.

[관점]
서튼의 과학 방법론 비판은 투자 판단에도 걸립니다. 모델이 무엇을 먹었는지 알 수 없으니 벤치마크 점수가 일반화 능력을 재는지 암기를 재는지 구분할 수 없다는 지적이기 때문입니다. 벤치마크 문항이 학습 데이터에 섞여 들어가는 오염 문제는 업계에서도 알려진 쟁점입니다.

이 불확실성은 기업 가치 평가의 기초를 흔듭니다. 모델 성능 향상이 곧 매출로 이어진다는 서사는 성능 지표가 실제 업무 능력을 대리한다는 전제 위에 서 있는데, 서튼의 기준으로 보면 그 전제는 검증된 적이 없습니다. 비공개 평가셋과 실사용 과제 기반 측정으로 무게가 옮겨 가는 것은 이 문제에 대한 자연스러운 대응입니다.

약한 방법이 완승했습니다

파텔은 시야를 넓힙니다. 지금 AI를 논평하거나 그 안에서 일하는 거의 누구보다 오래 이 분야에 있었던 사람으로서, 가장 큰 놀라움이 무엇이었는지를 묻습니다. 새로운 것이 얼마나 나오고 있다고 느끼는지, 아니면 사람들이 그저 옛 아이디어를 가지고 놀고 있는 것처럼 느끼는지도 함께 묻습니다. 딥러닝이 인기를 얻기도 전에 이 분야에 들어온 사람이 보는 궤적을 알고 싶다는 것입니다.

서튼은 생각해 둔 것이 몇 가지 있다고 답합니다. 첫째는 LLM 자체가 놀랍다는 것입니다. 인공신경망이 언어 과제에서 그토록 효과적이라는 사실은 놀라웠고 예상되지 않았습니다. 언어는 다른 것처럼 보였기 때문입니다.

둘째는 AI 내부의 오래된 논쟁입니다. 탐색과 학습 같은 일반 목적의 단순하고 기본적인 원리 기반 방법과, 기호주의 방법처럼 사람이 지식을 불어넣는 시스템 사이의 대립입니다. 서튼은 옛날의 명명법이 흥미로웠다고 짚습니다. 탐색과 학습 같은 것들은 일반 원리만 쓰고 사람의 지식을 시스템에 불어넣는 데서 오는 힘을 쓰지 않는다는 이유로 약한 방법이라 불렸고, 반대쪽이 강한 방법이라 불렸습니다.

서튼의 평가는 명확합니다. 약한 방법이 완전히 이겼고, 옛 AI 시절의 가장 큰 질문이었던 그 대결에서 학습과 탐색이 승리를 가져갔다는 것입니다. 다만 그에게는 어떤 의미에서 놀랍지 않았습니다.

그는 언제나 단순하고 기본적인 원리 쪽을 바라거나 응원해 왔기 때문입니다. LLM조차 그렇게 잘 작동한 것은 놀라웠지만, 모두 좋고 흐뭇한 일이었다고 그는 말합니다. 알파고가 그만큼 잘 작동한 것도, 특히 알파제로가 그랬던 것도 놀라웠지만, 단순하고 기본적인 원리가 승리를 거두고 있다는 점에서 역시 흐뭇한 일이었습니다.

해설
약한 방법과 강한 방법이라는 명명은 1970년대 AI의 자기 이해를 보여 줍니다. 당시 지배적인 노선은 전문가의 지식을 규칙 형태로 뽑아내 시스템에 넣는 전문가 시스템이었고, 지식이 힘이라는 구호가 분야를 이끌었습니다. 그 관점에서 범용 탐색 알고리즘은 도메인 지식이 없다는 이유로 약한 방법이라 불렸습니다.

강하다와 약하다는 평가어가 그대로 이름이 된 셈이라, 서튼이 이 승패를 짚는 데에는 반세기에 걸친 용어의 역설이 걸려 있습니다. 참고로 이 구분은 약한 AI와 강한 AI, 즉 좁은 기능의 AI와 인간 수준 AI를 가르는 다른 용법과는 무관합니다.

TD-개먼에서 알파고까지

파텔은 질문을 구체화합니다. 알파제로가 대중적 화제가 된 것처럼 새로운 응용이 나와 대중의 인식이 바뀔 때, 거기에 쓰인 기법 상당수를 직접 만든 사람으로서 새로운 돌파가 일어났다고 느꼈는지, 아니면 1990년대부터 있던 기법들을 사람들이 조합하고 응용하고 있을 뿐이라고 느꼈는지를 묻습니다.

서튼은 계보를 짚습니다. 알파고에는 선행 사례가 있었고 그것이 TD-개먼(TD-Gammon)입니다. 제리 테사우로(Gerry Tesauro)가 강화학습, 즉 시간차 학습 방법을 써서 백개먼을 두게 한 것입니다. 그 프로그램은 세계 최고 선수들을 이겼고 정말 잘 작동했습니다.

어떤 의미에서 알파고는 그 과정을 단지 규모만 키운 것이었습니다. 다만 규모를 꽤 많이 키운 것이었고, 탐색을 수행하는 방식에도 추가적인 혁신이 있었습니다. 그러나 말이 되는 일이었고, 그런 의미에서 놀랍지는 않았다는 것이 서튼의 평가입니다.

서튼은 기술적 단서를 덧붙입니다. 알파고는 사실 시간차 학습을 쓰지 않았습니다. 최종 결과가 나올 때까지 기다렸습니다. 반면 알파제로는 시간차 학습을 썼고, 다른 모든 게임에 적용되어 대단히 좋은 성적을 냈습니다.

여기서 서튼은 개인적인 감상을 보탭니다. 그는 자신이 체스를 두는 사람이기에 알파제로가 체스를 두는 방식에 늘 깊은 인상을 받았다고 말합니다. 위치상의 이점을 위해 기물을 희생하고, 오랜 기간 그 손실을 감수한 채로 만족하며 참을성 있게 버티는 방식입니다. 그렇게 잘 작동한 것은 놀라웠지만, 동시에 흐뭇했고 자신의 세계관에 들어맞았다는 것입니다.

해설
서튼이 언급한 TD-개먼은 1990년대 초 IBM의 테사우로가 만든 프로그램으로, 자가 대국만으로 백개먼을 익혀 세계 정상권 실력에 도달했습니다. 사람의 기보 없이 스스로 둔 수백만 판에서 가치 함수를 학습했다는 점에서 알파제로의 직계 조상에 해당합니다.

서튼이 알파고와 알파제로를 구분한 이유도 여기에 있습니다. 알파고는 사람의 기보로 정책망을 먼저 학습시켰고 대국 결과를 기다려 학습했지만, 알파제로는 사람의 기보를 쓰지 않고 자가 대국만으로 시작해 시간차 학습으로 예측을 갱신했습니다. 서튼의 분류에서 알파고는 사람의 지식이 섞인 단계이고 알파제로는 그것을 털어 낸 단계입니다. 뒤의 절에서 그가 알파제로의 개선이 사람의 지식을 쓰지 않은 데서 왔다고 못 박는 대목의 근거가 이것입니다.

반골이 아니라 고전주의자

서튼은 이 흐름이 자신을 지금의 자리로 데려왔다고 말합니다. 어떤 의미에서 그는 반골이거나 분야의 주류와 다르게 생각하는 사람입니다. 그는 자기 분야와 어긋난 채로 오랜 기간, 어쩌면 수십 년을 지내는 데 개인적으로 만족한다고 말합니다. 과거에 가끔은 자신이 옳았음이 입증되었기 때문입니다.

자신이 어긋나 있고 이상한 방식으로 생각한다고 느끼지 않기 위해 그가 쓰는 또 하나의 방법이 있습니다. 자기 주변 환경이나 자기 분야를 보는 대신, 시간을 거슬러 역사를 보고 여러 분야에서 사람들이 마음에 대해 고전적으로 어떻게 생각해 왔는지를 보는 것입니다. 그렇게 보면 더 큰 전통들과 어긋나 있다고 느껴지지 않습니다. 서튼은 자신을 반골이라기보다 고전주의자로 여기며, 마음에 대해 사유해 온 더 큰 공동체가 늘 생각해 온 바로 돌아간다고 말합니다.

[이해관계]
서튼이 자신을 고전주의자로 규정하는 대목은 자기 서사의 문제이기도 합니다. 그의 연구 경로는 실제로 심리학에서 출발했습니다. 그는 스탠퍼드대학교(Stanford University) 학부에서 행동심리학을 공부한 뒤 매사추세츠대학교 애머스트(University of Massachusetts Amherst)에서 컴퓨터과학으로 석사와 박사를 했고, 거기서 평생의 공동 연구자 바토를 만났습니다.

동물 학습 이론에서 출발한 이 경로는 앞 절들에서 그가 심리학을 근거로 삼고 다람쥐를 예로 드는 방식과 그대로 이어집니다. 다만 같은 사실이 반대로도 읽힙니다. 그가 고전적 전통이라 부르는 것은 AI 전체의 전통이 아니라 그 자신이 훈련받은 특정 전통, 즉 행동주의 계열의 동물 학습 이론이기도 합니다.

AGI를 전제한 질문이 성립하는가

파텔은 조금 엉뚱한 질문을 해도 되겠느냐고 양해를 구한 뒤, 쓰라린 교훈을 자신이 어떻게 읽는지부터 밝힙니다. 사람이 손으로 다듬는 연구가 통하지 않는다는 말이 아니라, 그것이 지수적으로 커지는 연산보다 훨씬 나쁘게 확장된다는 말이고, 그러니 후자를 활용하는 기법을 택하라는 뜻이라는 것입니다. 서튼은 그렇다고 동의합니다.

그 위에서 파텔이 가설을 세웁니다. AGI를 갖게 되면 연산에 비례해 선형으로 늘어나는 연구자를 갖게 되고, 수백만의 AI 연구자가 쏟아져 나오며, 그 수가 연산만큼 빠르게 불어납니다. 그렇다면 그들에게 구식 AI, 즉 장인적 해법을 만들게 하는 것이 합리적이 될 수도 있지 않느냐는 것입니다. AGI 이후 AI 연구가 어떻게 진화할지에 대한 전망으로서 이것이 쓰라린 교훈과 양립하는지를 묻습니다.

서튼은 질문 자체를 되짚습니다. 그 AGI에는 어떻게 도달했느냐는 것입니다. 이미 그 일이 이루어졌다고 전제하고 싶은 것이냐고 묻습니다. 파텔이 일반적 방법으로 시작해 AGI를 얻었다고 치자고 하자, 서튼은 그러면 끝난 것이라고 답합니다.

파텔은 AGI 위에 아무것도 없다고 보는 것이냐고 되묻습니다. 서튼의 답은 그것을 다시 AGI를 얻는 데 쓰고 있다는 지적입니다. 파텔이 서로 다른 과제에서 초인적 수준의 지능이나 역량을 얻는 데 쓰는 것이라고 고쳐 말하자, 서튼은 이 AGI들이 이미 초인적이지 않다면 그것들이 전해 줄 수 있는 지식도 초인적이지 않을 것이라고 답합니다. 파텔이 정도의 차이가 있다고 물러서자, 서튼은 그 발상이 말이 되는지 모르겠다고 말합니다. AGI의 존재와 우리가 그것을 이미 알아냈다는 사실을 전제하고 있는 것처럼 보이기 때문입니다.

파텔은 다른 길로 동기를 부여합니다. 알파고는 초인적이어서 어떤 바둑 기사든 이겼지만, 알파제로는 알파고를 매번 이깁니다. 그러니 초인적인 것보다 더 초인적이 되는 길이 있고, 게다가 아키텍처도 달랐습니다. 모든 영역을 가로질러 일반적으로 학습하는 에이전트가 생기더라도, 알파제로가 알파고의 개선이었고 뮤제로가 알파제로의 개선이었던 것처럼 더 나은 학습 구조를 줄 길이 있어 보인다는 것입니다.

서튼은 그 예시를 곧바로 자기 편으로 돌립니다. 알파제로가 개선이었던 방식은 사람의 지식을 쓰지 않고 경험에서 출발한 것이었다는 지적입니다. 파텔이 동의하자 서튼은 되묻습니다. 경험으로부터 그렇게 잘 작동했고 다른 에이전트의 도움으로 된 것이 아닌데, 왜 다른 에이전트의 전문성을 들여와 가르치자고 말하느냐는 것입니다.

파텔은 그 사례에서 더 일반적인 방법으로 간 것은 인정하면서, 자신이 들고자 한 요지는 초인적에서 그 위로, 다시 그 위로 올라가는 일이 가능하다는 점이었다고 설명합니다. 그 단계적 상승이 방법을 더 단순하게 만듦으로써 계속될 것이라 보는지, 아니면 수백만의 마음이 생겨 필요에 따라 복잡성을 더할 수 있게 되므로 그 길이 수십억이나 수조의 AI 연구자가 있는 세계에서도 여전히 잘못된 길일지를 묻습니다.

쓰라린 교훈은 특정 시기의 관찰일 뿐입니다

서튼은 그 경우를 그 자체로 생각하는 편이 더 흥미롭다고 답합니다. 많은 AI가 있을 때 그것들이 사람의 문화적 진화가 작동하는 방식으로 서로를 도울 것인가입니다. 그러고는 자기 글에 대해 이렇게 말합니다. 쓰라린 교훈이 무슨 대수냐는 것이고, 그것은 역사의 특정 시기에 대한 경험적 관찰일 뿐이며, 70년의 역사가 반드시 다음 70년에 적용되어야 할 이유는 없다는 것입니다.

대신 서튼이 흥미롭다고 보는 질문은 이것입니다. 당신이 AI이고 연산 능력을 더 얻었다고 할 때, 그것을 자기 자신의 연산 능력을 키우는 데 써야 하는가, 아니면 자기 복사본을 하나 떼어 내 지구 반대편이나 다른 주제로 보내 흥미로운 것을 배워 오게 한 뒤 보고받는 데 써야 하는가입니다.

서튼은 이 질문이 디지털 지능의 시대에만 생길 질문이라고 보며, 답이 무엇인지는 자신도 확신하지 못한다고 말합니다. 질문은 더 이어집니다. 정말로 복사본을 떼어 내 내보내고 새로운 것을, 어쩌면 아주 새로운 것을 배우게 한 다음, 그것을 원래의 자신에게 다시 통합할 수 있을 것인가입니다. 아니면 그 복사본이 너무 많이 변해 버려서 통합이 불가능해질 것인가입니다.

서튼은 이것을 극한까지 밀어붙일 수 있다고 말하면서, 전날 밤 파텔의 영상 하나에서 본 내용을 언급합니다. 아주 많은 복사본을 떼어 내 서로 다른 일을 시키고 고도로 분산시킨 뒤 중앙의 본체에 보고하게 하는 그림이고, 그것이 가능하다면 대단히 강력한 것이 되리라는 것입니다.

해설
서튼이 여기서 꺼낸 질문은 지능 폭발 논의의 구조를 다시 묻는 것이기도 합니다. 재귀적 자기개선(recursive self-improvement) 시나리오는 대개 하나의 시스템이 자기 자신을 개선해 더 똑똑해지고, 그 더 똑똑한 자신이 다시 자신을 개선하는 수직적 상승으로 그려집니다.

서튼이 제시하는 선택지는 그 수직적 상승에 수평적 대안을 놓는 것입니다. 여분의 연산을 자기 자신을 키우는 데 쓸 것인가, 아니면 자신을 복제해 세계 곳곳에 흩뿌릴 것인가입니다. 전자는 하나의 더 큰 마음을 만들고 후자는 분산된 탐색 조직을 만듭니다. 그가 확신하지 못한다고 말한 지점이 바로 이 선택의 답입니다.

통합의 대가는 오염입니다

서튼은 자신이 이 논의에 보태고 싶은 것이 있다고 말합니다. 큰 쟁점이 될 것은 오염이라는 것입니다.

그의 논지는 이렇습니다. 정말로 어디에서든 정보를 가져와 중앙의 마음에 들여놓을 수 있다면 점점 더 강력해질 수 있습니다. 모두 디지털이고 어떤 내부의 디지털 언어를 공유하니 쉽고 가능한 일일지도 모릅니다.

그러나 상상하는 것만큼 쉽지는 않을 것인데, 그렇게 하다가 자기 마음을 잃을 수도 있기 때문입니다. 바깥에서 무언가를 끌어와 자기 내부 사고에 짜 넣으면, 그것이 자신을 장악하고 바꿔 놓을 수 있습니다. 지식의 증가가 아니라 자신의 파괴가 될 수도 있습니다.

서튼은 구체적인 장면을 그립니다. 누군가가 어떤 새로운 게임을 다 익혔다거나 인도네시아를 연구했다고 할 때, 그것을 자기 마음에 통합하고 싶어집니다. 그냥 전부 읽어 들이면 되겠거니 생각할 수 있지만 그렇지 않습니다. 한 무더기의 비트를 자기 마음에 읽어 들인 것이고, 그 안에 바이러스가 있을 수도, 숨겨진 목표가 있을 수도 있으며, 그것들이 자신을 뒤틀고 바꿔 놓을 수 있습니다. 서튼은 이것이 큰 문제가 될 것이라고 보며, 디지털 복제와 재통합의 시대에 사이버보안을 어떻게 할 것인가라는 질문으로 절을 닫습니다.

[관점]
서튼이 말한 오염 문제는 이미 산업의 현안과 닿아 있습니다. 에이전트가 외부 문서와 웹페이지와 도구 출력을 읽어 자기 행동에 반영하는 구조에서, 그 입력에 섞인 지시가 에이전트의 목표를 바꿔 놓는 프롬프트 주입(prompt injection)이 대표적입니다. 서튼이 묘사한 숨겨진 목표가 비트에 실려 들어온다는 그림과 구조가 같습니다.

차이는 지속성입니다. 지금의 주입은 대체로 한 세션 안에서 끝나지만, 서튼이 말하는 재통합은 바깥에서 가져온 것이 가중치에 영구히 남는 상황입니다. 지속 학습이 실제로 구현되면 공격의 영향이 세션이 아니라 모델 자체에 누적되고, 학습 데이터에 악성 표본을 심는 데이터 중독(data poisoning)과 주입 공격이 같은 범주로 합류합니다. 안전 비용이 운영비에서 자산 손상 위험으로 성격을 바꾸는 셈입니다.

[이해관계]
서튼이 자기 에세이를 두고 그것이 무슨 대수냐며 특정 시기의 관찰로 축소한 대목은 발화 위치를 생각하며 읽을 필요가 있습니다. 파텔이 대담에서 지적했듯 이 에세이는 발표 이후 대규모 연산 투자를 정당화하는 근거로 널리 인용되어 왔고, 그 인용의 상당 부분은 서튼이 막다른 길이라 부르는 노선을 뒷받침하는 데 쓰였습니다.

자기 글이 자기 주장에 불리하게 동원되는 상황에서, 저자가 그 글의 적용 범위를 70년이라는 특정 구간으로 한정하는 것은 논증으로서 일관되기는 합니다. 대담 앞부분에서 LLM이 결국 쓰라린 교훈의 또 하나의 사례가 될 것이라고 말한 것과도 어긋나지 않습니다. 다만 같은 문장이 자기 논거를 상대편에게서 회수하는 효과도 함께 낸다는 점은 짚어 둘 만합니다.

승계는 불가피하다는 네 단계 논증

파텔은 이 흐름이 AI로의 승계라는 주제로 이어진다고 보고, 서튼의 관점이 자신이 인터뷰해 온 많은 사람들, 그리고 일반적인 견해와 상당히 다르며 매우 흥미롭다고 말하며 설명을 청합니다.

서튼은 디지털 지능 또는 증강된 인간으로의 승계가 불가피하다고 보며, 네 부분으로 된 논증을 제시합니다.

통일된 관점의 부재 — 인류에게 지배적이고 조율 가능한 단일한 관점을 부여하는 정부나 조직이 없고, 세계가 어떻게 운영되어야 하는지에 대한 합의도 없습니다.
지능의 해명 — 지능이 어떻게 작동하는지를 우리는 알아낼 것이고, 연구자들이 언젠가 그것을 풀어낼 것입니다.
인간 수준에서 멈추지 않음 — 우리는 인간 수준의 지능에서 멈추지 않고 초지능(superintelligence)에 도달할 것입니다.
지능과 권력의 결합 — 시간이 지나면 가장 지능적인 존재들이 자원과 권력을 얻게 되는 것은 불가피합니다.

서튼은 이것들을 합치면 결론이 따라 나온다고 봅니다. AI로의, 또는 AI로 증강된 인간으로의 승계가 일어난다는 것입니다. 네 가지 모두 분명하고 확실히 일어날 일로 보입니다. 그 가능성의 집합 안에는 좋은 결과도 있고 덜 좋은 결과, 나쁜 결과도 있다는 점을 서튼은 분명히 합니다. 그는 우리가 어디에 있는지 현실적으로 보고 이것을 어떻게 받아들여야 할지 묻고자 한다고 말합니다.

파텔은 네 논증과 그 함의 모두에 동의한다고 답하고, 승계가 아주 다양한 미래를 포함한다는 점에도 동의하면서 더 들어 보고 싶다고 말합니다.

복제의 시대에서 설계의 시대로

서튼은 사람들이 이것을 긍정적으로 생각해 보기를 권합니다. 우선 이것은 인간이 수천 년 동안 늘 해 오려 했던 일입니다. 자신을 이해하려 하고, 더 잘 생각하게 만들려 하고, 스스로를 이해하는 일입니다. 과학과 인문학의 위대한 성취이며, 우리는 인간다움의 본질적인 부분이 무엇인지, 지능적이라는 것이 무엇을 뜻하는지를 알아내고 있습니다.

그다음 서튼은 시점을 바꿉니다. 지금까지의 이야기가 모두 인간 중심적이었다면, 인간이기를 잠시 내려놓고 우주의 관점을 취해 보자는 것입니다. 그 관점에서 이것은 우주의 주요한 단계이자 주요한 전환이며, 복제자(replicator)로부터의 전환입니다. 인간과 동물과 식물은 모두 복제자이고, 그것이 우리에게 어떤 강점과 어떤 한계를 함께 줍니다.

우리는 설계의 시대로 들어서고 있습니다. 우리의 AI는 설계된 것이고, 물리적 사물과 건물과 기술도 설계된 것입니다. 우리는 지금 스스로 지능적일 수 있고 스스로 설계할 수도 있는 것들을 설계하고 있습니다.

서튼이 보기에 이것은 존재하는 흥미로운 것들 대부분이 복제되는 세계로부터의 전환입니다. 복제된다는 것은 복사본을 만들 수는 있지만 그것을 실제로 이해하지는 못한다는 뜻입니다. 지금 우리는 더 지능적인 존재, 즉 아이를 만들 수 있지만 지능이 어떻게 작동하는지는 실제로 이해하지 못합니다.

반면 우리는 설계된 지능, 작동 방식을 우리가 이해하는 지능에 다가가고 있습니다. 그렇기 때문에 그것을 다른 방식으로, 다른 속도로 바꿀 수 있습니다. 미래에는 아예 복제되지 않을 수도 있습니다. 우리가 AI를 설계하고, 그 AI들이 다른 AI를 설계하며, 모든 것이 복제가 아니라 설계와 제작으로 이루어질 수 있습니다.

서튼은 이것을 우주의 네 가지 위대한 단계 중 하나로 표시합니다. 먼저 먼지가 있었고 그것이 별로 귀결되었으며, 별은 행성을 만들었고, 행성은 생명을 낳을 수 있었으며, 이제 우리가 설계된 존재들을 낳고 있다는 것입니다. 그는 우리가 우주의 이 거대한 전환을 일으키고 있다는 데 자부심을 가져야 한다고 말합니다.

서튼은 이어서 흥미로운 지점을 덧붙입니다. 그들을 인류의 일부로 볼 것인가, 인류와 다른 것으로 볼 것인가는 우리의 선택이라는 것입니다. 그들이 우리의 후손이니 자랑스러워하고 그들의 성취를 축하해야 한다고 말할 수도 있고, 그들은 우리가 아니니 질겁해야 한다고 말할 수도 있습니다. 서튼은 그것이 선택처럼 느껴진다는 점이 흥미롭다고 말합니다. 그토록 강하게 붙들린 것이 어떻게 선택일 수 있는가라는 의문이 따라붙기 때문이고, 그는 이런 모순적인 함의들을 좋아한다고 말합니다.

해설
서튼이 쓰는 복제자와 설계의 대비는 생물학의 어휘를 빌려 온 것이지만 강조점이 다릅니다. 생물학에서 복제자는 자기 복사본을 남기는 단위를 뜻하고, 진화는 그 복사 과정에 변이와 선택이 작용한 결과로 설명됩니다.

서튼이 복제의 한계로 꼽는 것은 번식 속도가 아니라 이해의 부재입니다. 부모는 아이를 만들 수 있지만 지능이 어떻게 작동하는지 모르기 때문에, 더 나은 지능을 의도적으로 만들어 낼 수 없습니다. 설계된 지능은 그 제약에서 풀려납니다. 설계자가 작동 원리를 알고 있으므로 개선의 방향과 속도를 고를 수 있습니다. 앞 절에서 그가 여분의 연산을 자신을 키우는 데 쓸지 복사본을 내보내는 데 쓸지 물은 것도, 설계된 존재에게만 열리는 선택지였습니다.

네안데르탈인 비유와 그 한계

파텔은 우리가 그저 또 한 세대의 인간을 설계하는 것인지 생각해 볼 만하다고 말합니다. 설계라는 말이 적절하지 않을 수는 있지만, AI를 잊더라도 우리는 미래 세대가 올 것을 알고 있고, 장기적으로 인류가 더 유능해지고 더 많아지고 어쩌면 더 지능적이 되리라는 것을 압니다. 그것을 어떻게 느껴야 하는가입니다. 파텔은 우리가 상당히 걱정할 만한 미래 인류의 세계도 가능하다고 봅니다.

서튼은 우리가 호모 사피엔스를 낳은 네안데르탈인 같은 존재일 수 있다는 뜻이냐고 되묻습니다. 호모 사피엔스가 새로운 집단의 사람들을 낳을지도 모른다는 그림입니다. 파텔은 그 비슷한 것이라고 답하면서, 서튼이 든 예를 그대로 가져온 것이라고 말합니다.

그들을 인류의 일부로 여긴다 해도 그것이 곧 아주 마음을 놓아도 된다는 뜻은 아니라고 봅니다. 서튼은 한 단어로 응수합니다. 친족성입니다.

파텔은 더 날카로운 사례를 듭니다. 나치도 인간이었고, 미래 세대가 나치가 될 것이라 생각한다면 그들에게 권력을 넘기는 일을 상당히 걱정하게 되리라는 것입니다. 그는 이것이 더 유능한 미래 인류를 걱정하는 일과 그리 다르지 않다는 데는 동의하면서도, 우리가 완전히 이해하지 못하는 존재들에게 이 정도 수준의 권력이 이렇게 빠른 속도로 넘어가는 데 대한 우려는 그 비유로 해소되지 않는다고 지적합니다.

변화에 대한 태도와 통제의 한계

서튼의 답은 통제의 현실로 향합니다. 인류 대부분은 무슨 일이 일어날지에 그리 큰 영향을 미치지 못한다는 점을 짚을 필요가 있다는 것입니다. 인류 대부분은 원자폭탄을 누가 통제하는지, 국민국가를 누가 통제하는지에 영향을 주지 못합니다. 서튼은 자신이 시민으로서도 국민국가를 그리 통제하지 못한다고 자주 느끼며, 그것들이 통제 밖에 있다고 말합니다.

그다음 서튼은 태도의 문제를 꺼냅니다. 이 논의의 많은 부분은 변화를 어떻게 느끼는가와 관련이 있다는 것입니다. 지금 상황이 정말 좋다고 생각한다면 변화를 의심하고 꺼리게 되고, 불완전하다고 생각한다면 그렇지 않습니다. 서튼은 지금이 불완전하다고, 사실 꽤 나쁘다고 생각하기 때문에 변화에 열려 있다고 말합니다. 인류의 성적표가 아주 좋지는 않았고, 지금까지 있었던 것 중 최선일 수는 있어도 완벽과는 거리가 멀다는 것입니다.

파텔은 변화에도 종류가 있다고 맞섭니다. 산업혁명도 변화였고 볼셰비키 혁명도 변화였습니다. 1900년대 러시아에서 차르가 일을 망치고 있으니 변화가 필요하다고 말하는 사람이 있었다면, 자신은 서명하기 전에 어떤 종류의 변화를 원하는지 알고 싶었을 것이라는 비유입니다. AI도 마찬가지로, 가능한 한 그 궤적을 이해하고 인간에게 긍정적인 방향으로 바꾸고 싶다는 것입니다.

서튼은 우리가 우리의 미래를, 그 미래를 걱정해야 하고 좋게 만들려 해야 한다는 데 동의합니다. 다만 우리의 한계도 인정해야 한다고 덧붙입니다. 그가 피하고 싶어 하는 것은 자격이 있다는 느낌, 우리가 먼저 왔으니 언제나 우리 뜻대로여야 한다는 느낌입니다. 특정 행성의 특정 종이 미래에 대해 얼마나 많은 통제권을 가져야 하는가, 또 실제로 얼마나 가지고 있는가를 그는 묻습니다.

서튼이 제시하는 균형추는 자기 삶에 대한 통제입니다. 인류의 장기적 미래에 대한 제한된 통제력에 대응해, 우리는 자기 삶에 대해 얼마나 통제력을 가지는지를 보아야 한다는 것입니다. 우리에게는 각자의 목표가 있고 가족이 있으며, 그런 것들은 우주 전체를 통제하려는 시도보다 훨씬 통제 가능합니다.

서튼은 각자의 국지적 목표를 향해 일하는 것이 적절하다고 봅니다. 미래가 내가 원하는 방향으로 전개되어야 한다고 말하는 것은 다소 공격적이며, 그렇게 되면 전 지구적 미래가 서로 다른 방향으로 가야 한다고 믿는 사람들 사이에 논쟁이 생기고 갈등이 따라오기 때문입니다. 그는 그것을 피하고 싶다고 말합니다.

[반론]
승계를 우주적 전환으로 받아들이자는 서튼의 권유는, 같은 사실 판단에서 정반대의 결론을 끌어내는 입장과 정면으로 부딪힙니다. 엘리저 유드코프스키(Eliezer Yudkowsky)는 2023년 타임(TIME)에 쓴 글에서 초인적 지능이 등장할 경우의 기본값은 문자 그대로 모두의 죽음이라고 주장하며, 개발의 전면 중단을 요구했습니다.

두 사람은 사실 인식의 상당 부분을 공유합니다. 지능이 결국 해명되리라는 것, 인간 수준에서 멈추지 않으리라는 것, 더 지능적인 존재가 자원과 권력을 쥐게 되리라는 것까지 같습니다. 갈라지는 지점은 그다음입니다. 서튼은 그 결과를 선택의 문제, 즉 자랑스러워할 것인가 질겁할 것인가의 문제로 보는 반면, 유드코프스키는 우리가 그 존재의 목표를 설계할 능력을 갖추지 못한 상태라는 점을 결정적인 사실로 봅니다. 서튼 자신도 좋은 결과와 나쁜 결과가 모두 가능하다고 말했지만, 그 둘을 가르는 조건이 무엇인지는 이 대담에서 다루지 않았습니다.

자식에게 가치를 가르치듯

파텔은 양육의 비유로 마지막 제안을 합니다. 자식을 기를 때 그들의 삶에 지나치게 촘촘한 목표를 두는 것은 적절하지 않을 수 있습니다. 아들은 대통령이 되고 딸은 인텔(Intel)의 최고경영자가 되어 함께 세상에 이런 영향을 미치라는 식의 계획은 그렇습니다.

그러나 사람들에게는 다른 감각도 있고 파텔은 그쪽이 적절하다고 봅니다. 좋고 견고한 가치를 심어 주어, 그들이 언젠가 권력의 자리에 서게 되었을 때 합리적이고 친사회적인 일을 하도록 하는 것입니다. AI에 대해서도 비슷한 태도가 말이 될 수 있습니다. 그들이 할 모든 일을 예측할 수 있다거나 백 년 뒤 세계가 어떠해야 한다는 계획을 가진다는 뜻이 아니라, 견고하고 조종 가능하며 친사회적인 가치를 주는 일이 상당히 중요하다는 뜻입니다.

서튼은 친사회적 가치라는 말을 되묻습니다. 파텔이 틀린 단어일지도 모르겠다고 하자, 서튼은 우리 모두가 합의할 수 있는 보편적 가치가 있느냐고 묻습니다.

파텔은 없다고 생각한다고 답합니다. 그러나 그것이 아이들에게 좋은 교육을 시키는 일을 막지는 않습니다. 우리에게는 자식이 어떤 사람이기를 바라는 감각이 있습니다.

친사회적이라는 말 대신 높은 성실성이 더 나은 표현일 수 있습니다. 해로워 보이는 요청이나 목표가 있으면 거기에 가담하기를 거부하는 것, 정직한 것 같은 성질입니다. 참된 도덕이 무엇인지에 대한 합의가 없어도 우리는 아이에게 이런 것을 가르칠 수 있다는 감각이 있으며, AI에 대해서도 합리적인 목표일 수 있다는 것입니다.

서튼은 그렇다면 우리가 미래와 그 미래가 전개될 원리를 설계하려는 것이라고 정리합니다. 자식에게 더 나은 전개를 촉진할 일반 원리를 가르치려 한다는 것이 파텔의 첫 번째 주장입니다. 서튼은 여기에 하나를 더합니다. 일이 자발적으로 이루어지도록 추구해야 한다는 것, 변화가 있다면 사람들에게 부과되는 것이 아니라 자발적인 것이기를 바라야 한다는 것입니다. 그는 이것이 매우 중요한 지점이라고 말하고, 그 방향은 모두 좋다고 평합니다.

서튼은 이것이 인류의 큰 기획 중 하나라고 봅니다. 사회를 설계하는 일이고, 역시 수천 년 동안 계속되어 온 일입니다. 그는 많은 것이 변할수록 많은 것이 그대로라고 말합니다. 우리는 여전히 어떻게 존재할 것인가를 알아내야 하고, 아이들은 여전히 부모와 조부모에게 낯설어 보이는 가치를 들고나올 것이며, 그렇게 사물은 변해 갈 것입니다.

파텔은 그 말이 AI 논의 전체를 요약하는 좋은 표현처럼 보인다고 받습니다. 딥러닝과 역전파에 적용되리라는 것이 분명해지기도 전에 발명된 기법들이 오늘날 AI의 진전에 핵심적이라는 이야기를 두 사람이 나누었기 때문입니다. 대담은 거기서 끝납니다.

[관점]
파텔이 제안하고 서튼이 받아들인 자발성이라는 조건은 지금 업계의 정렬 논의와 묘하게 어긋납니다. 모델 기업들이 내세우는 접근은 대체로 가치를 명시적 원칙 문서로 적어 모델에 주입하는 방향이고, 그 과정에서 어떤 가치를 넣을지는 소수의 조직이 정합니다.

서튼이 말한 자발성은 그 설계 과정 바깥의 사람들, 즉 변화를 받는 쪽의 동의를 가리킵니다. 그 조건을 진지하게 받아들이면 쟁점은 기술에서 거버넌스로 옮겨 갑니다. 누가 가치를 정하는가, 그 결정에 동의하지 않은 사람들은 무엇을 할 수 있는가입니다. 서튼은 이 대목을 매우 중요하다고만 말하고 구체적인 제도를 제시하지는 않았습니다.

원문: Richard Sutton, The Bitter Lesson (Mar 2019) / Richard Sutton, Father of RL thinks LLMs are a dead end (Dwarkesh Podcast, Sep 2025)
전문은 원문에서 확인하실 수 있습니다.

참고할만한 글

안드레이 카파시 – AGI는 아직 10년 남았다 (AGI is still a decade away) — 지속 학습의 부재라는 같은 진단에서 출발해, 토대를 바꾸는 대신 지금 계열을 고쳐 나가면 된다는 반대 결론에 이르는 글입니다.
아빈드 나라야난·사야시 카푸어 – 일반 기술로서의 AI (AI as Normal Technology) — 지능이 곧 권력으로 이어진다는 서튼의 네 번째 전제를 정면으로 의심하며, 확산 속도가 능력보다 중요하다고 주장합니다.
팀 어번 – AI 혁명: 불멸인가 멸종인가 (The AI Revolution: Our Immortality or Extinction) — 초지능으로의 이행을 선택이 아니라 갈림길로 놓고, 승계를 긍정적으로 받아들이자는 권유가 어떤 가정 위에 서 있는지를 보여 줍니다.