안드레이 카파시 – AGI는 아직 10년 남았다 (AGI is Still a Decade Away)

원문: Andrej Karpathy, AGI is still a decade away (Dwarkesh Podcast) (Oct 2025) 전문은 원문에서 확인하실 수 있습니다. 아래 글은 번역이 아니라, 안드레이 카파시의 논증을 한국어로 재구성한 정리입니다.

글의 배경과 개요

안드레이 카파시(Andrej Karpathy)는 오픈AI(OpenAI) 창립 멤버이고, 2017-2022년 테슬라(Tesla)에서 자율주행 AI를 이끈 연구자입니다. 그가 2025년 10월 드와케시 파텔(Dwarkesh Patel)의 팟캐스트에 출연해 2시간 25분 동안 나눈 대담이 이 글의 원문입니다. 당시 업계 일각에서는 올해가 ‘에이전트의 해’라는 말이 돌았고, 카파시는 이런 과잉 예측을 바로잡아 기술의 현재와 한계를 제대로 가늠하자는 문제의식으로 이야기를 시작합니다. 대담 전체를 관통하는 질문은 지금의 대규모 언어모델(LLM)이 사람처럼 일하는 에이전트(agent), 나아가 범용인공지능(AGI)이 되려면 무엇이 빠져 있고 그것을 채우는 데 왜 10년이 걸리는가 하는 것입니다. 논증은 지난 15년 AI 연구의 시행착오에서 출발해 모델의 인지적 결함, 강화학습(reinforcement learning)의 한계, 인간 학습과의 차이를 짚은 뒤, AGI가 경제와 사회에 스며드는 방식, 지능의 진화, 자율주행의 교훈, 교육의 미래로 넓어집니다. 진행자 파텔은 질문에 그치지 않고 AI가 성장률을 끌어올릴 것이라는 반대 입장을 적극적으로 내세우며, 카파시는 그 반박에 답하면서 자기 입장을 다듬어 갑니다.

핵심 내용 정리

카파시는 에이전트가 직원이나 인턴처럼 일하려면 지능, 여러 감각을 다루는 능력, 컴퓨터를 직접 조작하는 능력, 배운 것을 기억해 쌓는 능력이 모두 모자라며, 이를 메우는 데 10년쯤 걸린다고 봅니다.
그는 지금의 모델이 진화로 만들어진 동물이 아니라 인터넷 데이터를 모방해 만든 유령 같은 존재이며, 지식은 지나치게 외우고 생각하는 핵심 능력은 덜 갖춘 상태라고 진단합니다.
강화학습은 마지막 결과 하나로 긴 풀이 과정 전체를 칭찬하거나 벌하는 잡음 많은 방법입니다. 또 모델이 스스로 만든 데이터는 다양성이 소리 없이 무너져 있어서, 사람처럼 곱씹으며 배우는 길이 아직 막혀 있다고 말합니다.
코딩 에이전트는 흔한 반복 코드에는 강하지만 한 번도 쓰인 적 없는 코드에는 약하므로, AI가 AI 연구를 자동화해 단숨에 폭주한다는 시나리오에 그는 회의적입니다.
그는 AI를 컴퓨팅의 연장으로 보고 컴퓨터와 스마트폰처럼 AI도 연 2% 안팎의 성장 곡선 속에 서서히 녹아들 것이라 예상하며, 이 점에서 파텔과 끝까지 의견이 갈립니다.
자율주행에서 얻은 교훈은 데모와 제품 사이의 간극이 크고 신뢰도를 한 자릿수씩 끌어올릴 때마다 같은 양의 노력이 든다는 것이며, 그는 소프트웨어도 같은 성질을 지닌다고 봅니다.
그가 가장 두려워하는 것은 인간이 AI 발전의 옆으로 밀려나는 미래이며, 이를 막기 위해 누구나 막힘없이 배울 수 있는 교육 체계를 만들겠다고 말합니다.

AGI는 아직 10년 남았다

에이전트의 해가 아니라 에이전트의 10년

카파시가 ‘에이전트의 10년’이라는 말을 꺼낸 것은 올해가 ‘에이전트의 해’라는 업계 일각의 말에 대한 반응이었습니다. 누가 처음 그렇게 말했는지는 정확히 모르지만, LLM이 곧 에이전트로 진화하리라는 전망에 과잉 예측이 섞여 있다고 느꼈다는 것입니다. 그는 클로드(Claude)와 코덱스(Codex) 같은 초기 에이전트를 매일 쓰고 그 성능에 감탄하지만, 아직 할 일이 너무 많아 앞으로 10년은 이것들과 씨름하게 될 것이라고 봅니다. 그의 반박은 기술 자체가 아니라 그 기술에 붙은 시간표를 향한 것이었습니다.

파텔이 10년 동안 무엇을 풀어야 하느냐고 묻자, 카파시는 실제로 작동하게 만드는 일이라고 답합니다. 연구소들이 말하는 에이전트, 그리고 그 자신이 생각하는 에이전트는 함께 일하려고 고용하는 직원이나 인턴에 가깝습니다. 지금 사람들이 동료의 일을 클로드나 코덱스에 맡기지 않는 이유는 그것들이 아직 제대로 작동하지 않기 때문입니다. 지능이 모자라고, 여러 형태의 입력을 다루는 멀티모달(multimodal) 능력이 부족하며, 컴퓨터를 직접 조작하지 못합니다. 무엇보다 지속 학습(continual learning)이 없어서 한 번 알려 준 것을 기억했다가 다음에 쓰지 못하며, 카파시는 이런 인지적 결함을 하나씩 풀어내는 데 10년쯤 걸릴 것이라고 봅니다.

파텔은 무엇이 부족한지는 밖에서도 보이지만, 그것을 푸는 데 5년이 걸릴지 50년이 걸릴지는 가늠할 근거가 없다며 왜 하필 10년이냐고 되묻습니다. 카파시는 이 대목이 자신의 직관과 경험에서 나온 외삽이라고 인정합니다. 그는 15년 남짓 AI 분야에 몸담으며 연구와 산업을 오갔습니다. 이 팟캐스트에 앞서 출연한 리처드 서튼(Richard Sutton)만큼 오래 활동하지는 않았지만, 사람들이 내놓은 예측이 실제로 어떻게 맞고 틀렸는지를 15년 동안 지켜봤습니다. 그 경험에 비추면 남은 문제들은 풀 수 있고 넘을 수 있지만 여전히 어려운 문제이며, 이를 평균 내 보면 10년쯤으로 느껴진다는 것입니다.

[이해관계] 대담 당시 카파시는 어느 프런티어 연구소에도 속해 있지 않았습니다. 그는 2015년 오픈AI 창립 멤버로 합류해 2017년까지 일했고, 이후 2022년 7월까지 테슬라에서 AI 조직을 이끌었습니다. 2023년 2월 오픈AI로 돌아갔다가 2024년 2월 다시 떠났고, 같은 해 7월 AI 교육 회사 유레카랩스(Eureka Labs)를 세웠습니다. 업계가 투자 유치를 위해 성능을 부풀리는 것 같다는 이 대담의 발언은, 연구소의 기대치를 끌어올릴 필요가 없는 교육 사업가의 자리에서 나온 것입니다.

이 위치는 대담 이후 바뀌었습니다. 카파시는 2026년 5월 앤트로픽(Anthropic)에 합류해 사전학습 팀에서 클로드를 활용해 사전학습 연구를 가속하는 새 팀을 꾸리게 되었고, 교육 일은 잠시 미뤄 두되 때가 되면 다시 하겠다고 밝혔습니다.

15년의 지각 변동과 너무 일렀던 에이전트

파텔은 주요 돌파구마다 현장의 사람들이 무엇을 기대했고, 그 기대가 얼마나 비관적이거나 낙관적이었는지 듣고 싶어 합니다. 카파시는 AI라는 분야가 흥미로운 이유로, 분야 전체가 갑자기 다른 방향을 바라보게 된 지각 변동이 여러 번 있었다는 점을 꼽습니다. 그는 그중 두세 번을 직접 겪었다고 말합니다. 그런 변동은 의외로 규칙적으로 찾아오기 때문에 앞으로도 계속 일어날 것으로 봅니다.

첫 번째 변동은 딥러닝이었습니다. 카파시가 딥러닝에 빠진 것은 토론토대학교(University of Toronto)에서 우연히 제프리 힌턴(Geoffrey Hinton) 곁에 있었던 덕분입니다. AI의 대부로 불리는 힌턴은 당시 신경망을 학습시키고 있었지만, 그것은 AI의 주류가 아니라 한쪽 구석의 작은 주제였습니다. 알렉스넷(AlexNet)이 등장하자 모두가 신경망을 학습시키기 시작했습니다. 다만 그때의 신경망은 이미지 분류기나 신경망 번역기처럼 과업(task) 하나하나에 맞춘 것이었습니다.

이후 사람들은 서서히 에이전트로 관심을 돌렸습니다. 뇌에 빗대면 시각 피질에는 체크 표시를 했으니, 나머지 부분까지 갖춰 세상과 상호작용하는 온전한 존재를 만들 수 없겠느냐는 생각이었습니다. 카파시는 2013년 무렵 아타리(Atari) 게임으로 시작된 심층 강화학습의 흐름을 그 초기 시도로 봅니다. 세상을 인식하는 데 그치지 않고 행동하며 환경에서 보상을 받는 에이전트를 만들려 했기 때문입니다.

카파시는 이것이 잘못 든 길이었다고 평가합니다. 그가 몸담았던 초기 오픈AI도 이 흐름을 받아들였습니다. 당시의 시대정신은 강화학습 환경과 게임이었고, 3-4년 동안 모두가 게임을 상대로 강화학습을 했습니다. 그는 게임이 AGI로 이어질지 늘 의심했습니다. 그가 원한 것은 회계사처럼 실제 세계와 상호작용하는 존재였는데, 게임을 아무리 쌓아도 그런 존재가 나올 것 같지 않았습니다.

그래서 오픈AI에서 그가 맡은 일은 유니버스(Universe) 프로젝트의 일부로, 키보드와 마우스로 웹페이지를 조작하는 에이전트를 만드는 것이었습니다. 실제 디지털 세계에서 지식 노동을 하는 존재를 만들고 싶었던 것입니다. 그러나 그는 이 시도가 너무 일러서 애초에 손대지 말았어야 했다고 돌아봅니다. 키보드를 마구 두드리고 마우스를 클릭하며 보상을 찾아 헤매는 방식으로는 보상이 너무 드물어 아무것도 배우지 못하고, 숲 하나를 태울 만큼 연산을 쏟아부어도 결과가 나오지 않습니다. 빠져 있던 것은 신경망의 표현(representation) 능력이었습니다.

오늘날 컴퓨터를 조작하는 에이전트를 학습시키는 사람들은 그 작업을 LLM 위에서 합니다. 언어모델과 그 표현을 먼저 확보해야 하고, 그것은 사전학습(pre-training)을 비롯한 LLM 작업으로만 얻을 수 있습니다. 카파시는 아타리와 유니버스, 그리고 자신의 경험처럼 사람들이 완성품을 너무 일찍 손에 넣으려 한 적이 몇 번 있었다고 정리합니다. 지금의 에이전트는 훨씬 유능해졌지만 기술 스택의 일부는 여전히 빠져 있을지 모릅니다. 그는 지난 15년을 과업별 신경망 학습, 첫 번째 에이전트 시도, 그리고 다른 것을 얹기 전에 LLM으로 표현 능력을 확보한 단계라는 세 덩어리로 요약합니다.

동물이 아니라 유령을 만든다

파텔은 서튼의 관점을 가장 설득력 있는 형태로 재구성해 봅니다. 동물은 언어라는 발판조차 없이 세상에 던져져, 아무런 정답 표시 없이 모든 것을 스스로 이해해 냅니다. 그렇다면 AGI도 감각 데이터나 컴퓨터 화면을 보고 처음부터 상황을 파악하는 존재여야 한다는 것입니다. 수백만 년치 학습을 쏟아붓는 지금의 방식 대신, 사람이나 동물이 자라는 방식을 AI의 비전으로 삼아야 하지 않느냐는 질문입니다.

카파시는 서튼의 출연분을 보고 따로 글을 쓴 적이 있다며, 동물에 빗대는 일에는 매우 신중하다고 말합니다. 동물은 진화라는 전혀 다른 최적화 과정을 거쳐 만들어졌고, 엄청난 양의 하드웨어를 타고납니다. 그가 글에서 든 예는 얼룩말입니다. 얼룩말은 태어난 지 몇 분 만에 뛰어다니며 어미를 따라가는데, 이처럼 복잡한 일은 강화학습이 아니라 이미 내장된 능력입니다. 진화는 어떤 식으로든 신경망의 가중치를 DNA의 네 염기에 새겨 넣는 방법을 갖고 있고, 그 원리는 모르지만 분명히 작동합니다.

그래서 카파시는 뇌에서 영감을 얻는 데 주저합니다. 우리가 그 진화 과정을 실제로 돌리고 있지 않기 때문입니다. 그는 우리가 만들고 있는 것이 동물이 아니라 유령이나 정령 같은 존재라고 말합니다. 진화가 아니라 인간과 인간이 인터넷에 올린 데이터를 모방하는 방식으로 학습시키므로, 완전히 디지털이면서 인간을 흉내 내는 실체 없는 존재가 나온다는 것입니다. 지능들의 공간이 있다면 출발점부터 다른 셈이지만, 시간이 지나며 조금 더 동물에 가깝게 만드는 것은 가능하고 또 그렇게 해야 한다고 그는 덧붙입니다.

카파시는 서튼의 틀이 동물을 만들자는 것이며, 그것이 성공한다면 정말 멋질 것이라고 인정합니다. 인터넷에 돌리기만 하면 모든 것을 배우는 단일 알고리즘이 있다면 놀라운 일이겠지만, 그는 그런 알고리즘이 존재하는지 확신하지 못합니다. 적어도 동물은 그렇게 배우지 않습니다. 동물에게는 진화라는 바깥 고리가 있고, 학습처럼 보이는 것의 상당 부분은 사실 뇌가 성숙하는 과정에 가깝습니다.

그가 보기에 동물이 하는 강화학습은 많지 않으며, 그나마도 링을 던지는 것 같은 단순한 운동 과업에 가깝습니다. 인간도 문제 해결 같은 지능 과업에는 강화학습을 거의 쓰지 않는다는 것이 그의 대략적인 생각입니다. 그렇다고 연구에서 강화학습을 쓰지 말자는 뜻은 아니라고 그는 분명히 합니다.

파텔은 확인 질문을 던집니다. 진화가 사전학습처럼 세상을 이해할 수 있는 무언가를 만든다고 하더라도, 인간의 경우 진화는 3기가바이트짜리 DNA라는 좁은 통로를 거쳐야 한다는 것입니다. 모델의 가중치는 그 자체로 뇌이지만 정자와 난자에는 그런 뇌가 들어 있지 않고, 시냅스 하나하나의 정보가 3기가바이트에 담길 수도 없습니다.

그러니 진화는 평생에 걸친 학습을 수행하는 알고리즘을 찾아내는 일에 더 가깝지 않느냐고 파텔은 묻습니다. 카파시는 동의합니다. 가중치가 DNA에 저장되지 않는 이상 엄청난 압축이 일어나고 있으며, 그 안에 담긴 학습 알고리즘이 태어난 뒤 학습을 이어 간다는 것입니다.

다만 카파시는 자신이 훨씬 실용적인 사람이라고 말합니다. 그는 동물을 만들자는 관점이 아니라 쓸모 있는 것을 만들자는 관점에서 접근하며, 안전모를 쓴 공학자로서 우리가 진화를 재현할 방법을 모른다는 사실을 받아들입니다. 대신 인터넷 문서를 모방해 유령 같은 존재를 만드는 방법은 실제로 작동하고, 진화가 해 준 것처럼 상당한 지식과 지능을 미리 갖춘 출발점까지 끌어올려 줍니다. 그래서 그는 사전학습을 ‘조잡한 진화’라고 부릅니다. 지금의 기술로 실제 가능한 버전이며, 그 출발점에서 강화학습 같은 다음 단계를 밟을 수 있다는 뜻입니다.

해설 리처드 서튼은 강화학습의 기초를 닦은 연구자입니다. 그는 2019년 글 「The Bitter Lesson」에서 인간이 가진 지식을 시스템에 심어 넣기보다 연산을 키워 범용적으로 탐색하고 학습하게 하는 방식이 결국 이긴다는 쓰라린 교훈(bitter lesson)을 정리했습니다. 이 대담 몇 주 전 같은 팟캐스트에 출연해서는, 사람이 쓴 글을 흉내 내는 LLM은 막다른 길이며 동물처럼 경험에서 직접 배우는 시스템이 필요하다는 취지로 주장했습니다. 카파시가 말하는 유령 비유는 이 주장에 대한 응답이며, 그는 서튼의 출연분을 본 뒤 X에 따로 글을 올려 같은 생각을 밝혔습니다.

지식은 덜고 인지 코어만 남긴다

파텔은 다시 반대편을 대변합니다. 서튼과 대담한 뒤 곱씹어 보니, 진화가 주는 것은 지식이 아니라 지식을 찾는 알고리즘이라는 점에서 사전학습과 다르다는 것입니다. 사전학습이 더 잘 배우는 존재를 만드는 것, 곧 메타학습(meta-learning)을 가르치는 것이라면 비유가 성립합니다. 하지만 둘 다 지식을 준다는 식이라면 비유가 무너진다고 그는 지적합니다.

카파시는 미묘한 지점이라며 반박을 받아들이면서도, 사전학습이 서로 무관한 두 가지 일을 동시에 한다고 설명합니다. 인터넷 전체를 상대로 다음 토큰 예측기(next-token predictor)를 학습시키면, 한편으로는 그가 지식이라 부르는 것을 잔뜩 흡수하고, 다른 한편으로는 실제로 지능을 갖추게 됩니다. 인터넷 속의 알고리즘적 패턴을 관찰하면서 신경망 안에 맥락 내 학습(in-context learning) 같은 일을 하는 작은 회로와 알고리즘이 생겨나는 것입니다. 그런데 정작 지식은 필요하지도, 바람직하지도 않을 수 있다고 그는 봅니다.

카파시는 지식이 오히려 신경망 전반의 발목을 잡고 있을지 모른다고 말합니다. 모델이 지식에 너무 기대게 되기 때문입니다. 예컨대 에이전트가 잘 못하는 일 가운데 하나가 인터넷에 존재하는 데이터의 범위, 즉 데이터 매니폴드(data manifold) 밖으로 나가는 것인데, 지식이나 기억이 적다면 오히려 더 잘할 수도 있습니다. 그래서 앞으로의 연구 과제는 지식을 덜어 내고 그가 인지 코어(cognitive core)라 부르는 것만 남기는 방법을 찾는 일입니다. 인지 코어는 지식을 벗겨 냈지만 지능과 문제 해결의 알고리즘, 그 전략과 마법을 간직한 존재입니다.

맥락 내 학습과 흐릿한 기억

파텔은 맥락 내 학습에서 실마리를 찾습니다. 모델이 가장 지능적으로 보이는 순간은 대화 중에 실수를 깨닫고 생각을 되돌리는 때인데, 이 모든 일이 맥락 안에서 일어나며 거기서 진짜 지능이 눈에 보인다는 것입니다. 맥락 내 학습 능력은 사전학습 중 경사하강(gradient descent)을 통해 저절로 메타학습된 것이지만, 맥락 내 학습 과정 자체는 경사하강이 아니라고 파텔은 봅니다. 인간의 평생 지능이 진화에 의해 조건 지어지면서도 평생의 학습은 다른 과정으로 일어나는 것과 같은 구조라는 설명입니다.

카파시는 여기에 완전히 동의하지 않습니다. 맥락 내 학습이 명시적인 경사하강을 하지 않는 것은 맞습니다. 다만 그것은 토큰 창 안에서 패턴을 완성하는 일이고, 인터넷에 패턴이 넘쳐나기 때문에 모델은 패턴을 완성하는 법을 가중치 안에 익힙니다. 신경망 내부에서 일종의 적응이 일어나는 셈이며, 이는 인터넷에 패턴이 많다는 사실에서 저절로 생겨나는 마법 같은 현상입니다. 그는 맥락 내 학습의 메커니즘을 들여다본 몇몇 논문을 근거로, 신경망의 층 안에서 작은 경사하강 루프가 돌고 있을 가능성을 제기합니다.

그가 떠올리는 논문은 맥락 내 학습으로 선형 회귀를 시킨 연구입니다. 한 직선 위에 놓인 X와 Y의 쌍을 여러 개 넣고 새로운 X를 주면 Y를 내놓도록 학습시키면, 신경망은 실제로 선형 회귀를 해냅니다. 보통의 선형 회귀는 오차를 보고 가중치의 기울기를 계산해 몇 번 갱신하는 작은 경사하강 최적화기로 풉니다. 연구자들이 학습된 신경망의 가중치를 들여다보니 경사하강의 작동 방식과 닮은 구조가 발견되었고, 나아가 어텐션 등 신경망 내부를 이용해 경사하강을 하도록 가중치를 직접 짜 넣을 수도 있었다고 합니다. 카파시는 맥락 내 학습이 어떻게 작동하는지 아무도 모르지만, 내부적으로 독특한 형태의 경사하강을 하고 있을 가능성이 있다는 정도로만 반박을 마무리합니다.

파텔은 그렇다면 둘 다 경사하강 비슷한 것을 구현하는데 왜 맥락 내 학습에서만 지속 학습과 진짜 지능 같은 느낌을 받는지 묻고, 정보량으로 설명을 시도합니다. 라마(Llama) 3는 15조 토큰으로 학습되었는데, 700억 개 매개변수 모델의 가중치에 담긴 정보를 읽은 토큰 수로 나누면 토큰당 0.07비트에 불과합니다. 반면 맥락 내 학습에서는 토큰이 하나 늘 때마다 KV 캐시(KV cache)가 약 320킬로바이트씩 커지므로, 토큰당 흡수하는 정보량이 3,500만 배 차이가 난다는 계산입니다.

카파시는 대체로 동의하며 자신이 쓰는 표현을 소개합니다. 15조 토큰을 수십억 개 매개변수로 압축하는 과정은 극단적이어서, 학습 중에 본 것은 모델에게 인터넷 문서에 대한 흐릿한 기억으로만 남습니다. 반면 컨텍스트 윈도우(context window)에 들어간 내용은 KV 캐시로 쌓여 신경망이 곧바로 꺼내 쓸 수 있으므로, 그는 이를 작업 기억(working memory)에 비유합니다. 가중치 속 지식이 1년 전에 읽은 책의 기억이라면, 질문 시점에 맥락으로 넣어 준 정보는 작업 기억에 바로 올라와 있는 내용입니다. 그래서 닉 레인(Nick Lane)의 책 같은 것을 물으면 LLM은 대충 맞는 답을 하지만, 해당 장을 통째로 넣어 주고 물으면 훨씬 나은 답을 냅니다.

카파시는 인간의 뇌를 직접 만들려 한 것도 아닌데 LLM과 인간 사이에 이런 뜻밖의 유사성이 계속 나타난다는 점이 놀랍다고 덧붙입니다. 그저 작동하는 방법을 찾아 쓰고 있을 뿐인데도, 생각을 정리할 때 이 비유가 매우 강력한 도구가 된다는 것입니다.

아직 채우지 못한 뇌의 부위

파텔이 인간 지능 가운데 모델이 가장 재현하지 못한 부분이 무엇인지 묻자, 카파시는 아직 많다고 답합니다. 비유가 불완전하다는 전제를 달면서, 그는 트랜스포머(transformer) 신경망을 우연히 손에 넣은 대단히 강력하고 범용적인 구조로 봅니다. 오디오든 영상이든 텍스트든 무엇에나 학습시킬 수 있고 패턴을 잘 익힌다는 점에서, 트랜스포머는 대뇌 피질 조직의 한 조각과 닮았습니다. 피질은 가소성이 높기로 유명해서, 동물의 시각 피질을 청각 피질에 연결하는 다소 끔찍한 실험에서도 그 동물은 문제없이 학습했습니다.

추론 모델이 생각의 흔적을 남기며 추론하고 계획하는 것은 전전두피질에 해당하고, 강화학습으로 파인튜닝(fine-tuning)하는 것은 기저핵이 하는 강화학습과 비슷할지 모릅니다. 그러나 해마에 해당하는 것이 무엇인지는 분명하지 않습니다. 소뇌처럼 인지에 중요하지 않아 건너뛸 수 있는 부분도 있겠지만, 감정과 본능을 맡는 편도체를 비롯해 아직 재현하지 못한 오래된 뇌의 핵이 많다고 그는 봅니다.

카파시는 공학자로서 인간 뇌의 복제품을 만드는 것이 목표여야 하는지는 모르겠다고 말합니다. 다만 다른 방식으로 답하자면, 지금의 모델을 인턴으로 고용하지는 않을 것이라고 합니다. 모델과 대화할 때 누구나 직관적으로 느끼는 인지적 결함이 많기 때문이며, 아직 모든 뇌 부위에 체크 표시가 된 것은 아니라는 것입니다.

잠이 하는 일, 모델에 없는 단계

파텔은 지속 학습이 얼마나 빨리 해결될지와 관련된 견해 하나를 소개합니다. 맥락 내 학습이 사전학습에서 저절로 생겨났듯이, 여러 세션을 아우르는 바깥 고리의 강화학습으로 모델이 긴 기간의 정보를 기억하도록 유인하면 지속 학습도 저절로 생겨나리라는 견해입니다. 이 경우 모델이 스스로를 파인튜닝하거나 외부 메모리에 기록하는 방식이 될 것입니다. 카파시는 이 견해에 크게 공감하지 않습니다. 모델은 컨텍스트 윈도우에 토큰이 하나도 없는 상태로 켜질 때마다 늘 처음부터 다시 시작하기 때문에, 그 세계관에서 지속 학습이 어떤 모습일지 그려지지 않는다는 것입니다.

그는 다시 인간에 빗댑니다. 깨어 있는 동안 우리는 하루 동안 일어난 일로 컨텍스트 윈도우를 채워 가지만, 잠이 들면 그 윈도우가 그대로 남지 않고 뇌의 가중치로 증류(distillation)되는 어떤 과정이 일어나는 것 같습니다. LLM에는 이에 해당하는 단계가 없습니다. 일어난 일을 집요하게 분석하고 곱씹은 뒤, 일종의 합성 데이터(synthetic data) 생성 과정을 거쳐 가중치로 되돌려 증류하는 단계가 빠져 있습니다. 사람마다 전용 신경망을 두되, 전체 가중치가 아니라 저랭크 적응(LoRA)처럼 가중치의 작고 희소한 일부만 바꾸는 방식도 생각해 볼 수 있다고 그는 말합니다.

카파시는 매우 긴 맥락을 지닌 개별 존재를 만드는 방법이 필요하다고 봅니다. 컨텍스트 윈도우가 아주 길어지고 그 위에 정교한 희소 어텐션(sparse attention)을 얹는 길도 있겠지만, 인간에게는 지식 일부를 가중치로 증류하는 과정이 분명히 있고 모델에는 그것이 없습니다. 그는 인간에게도 정교한 희소 어텐션 체계가 있다고 보며, 최근 나온 딥시크(DeepSeek) V3.2가 희소 어텐션을 도입한 데서 그 초기 징후를 봅니다. 진화가 고안한 인지적 요령들을 전혀 다른 과정으로 다시 만들어 가는 중이며, 결국 인지적으로는 비슷한 구조에 수렴하리라는 것이 그의 예상입니다.

10년 뒤에도 거대한 신경망

10년 뒤에도 트랜스포머의 어텐션을 고치고 다층 퍼셉트론(MLP)을 희소하게 만드는 정도일지 파텔이 묻자, 카파시는 시간에 대한 평행이동 불변성(translation invariance)으로 생각해 보자고 제안합니다. 10년 전인 2015년에는 합성곱 신경망(convolutional neural network)이 주류였고 잔차 네트워크(residual network)가 막 나왔으며, 트랜스포머와 그 위의 현대적 개량들은 아직 없었습니다. 지금과 놀랄 만큼 비슷하면서도 꽤 다른 셈입니다. 그래서 10년 뒤에도 순전파와 역전파를 거쳐 경사하강으로 갱신하는 거대한 신경망을 학습시키고 있을 가능성이 높다고 그는 봅니다. 다만 모양은 조금 다르고 모든 것이 훨씬 커져 있을 것입니다.

그는 몇 년 전 얀 르쿤(Yann LeCun)의 1989년 합성곱 신경망을 재현해 본 경험을 들려줍니다. 그것은 그가 아는 한 경사하강으로 학습한 최초의 현대적 신경망으로, 손글씨 숫자를 인식하는 모델이었습니다. 그는 이 모델을 현대화하면서 진보의 몫이 알고리즘, 데이터, 연산과 시스템에 각각 얼마씩 있는지 따져 보았습니다. 33년치 알고리즘 발전만 적용하자 오류를 절반으로 줄일 수 있었습니다. 그 이상을 얻으려면 학습 데이터를 10배로 늘리고, 연산 최적화를 더하고, 드롭아웃 같은 정규화 기법을 쓰면서 훨씬 오래 학습시켜야 했습니다.

이 경험에서 그가 얻은 결론은 모든 요소가 동시에 개선되어야 한다는 것입니다. 앞으로도 데이터는 훨씬 많아지고, 하드웨어와 커널과 소프트웨어는 좋아지고, 알고리즘도 나아질 것입니다. 오랜 추세를 보면 어느 하나가 크게 앞서지 않고 놀랄 만큼 고르게 기여해 왔습니다. 파텔이 30년의 진보를 다 합쳐도 오류가 절반밖에 줄지 않았다는 점이 놀랍다고 하자, 카파시는 절반도 큰 것이라고 답합니다. 그를 놀라게 한 것은 구조, 최적화기, 손실 함수가 모두 함께 개선되어야 했고 실제로 늘 그렇게 개선되어 왔다는 점입니다.

그래서 카파시는 이런 전방위적 변화가 앞으로도 계속되리라 예상합니다. 알고리즘은 지금과 달라지겠지만, 경사하강으로 학습하는 거대한 신경망이라는 뼈대는 그대로 남아 있으리라는 것이 그의 추측입니다.

나노챗, 직접 만들어야 안다

파텔은 카파시가 막 공개한 나노챗(nanochat)에 대해서도 비슷한 질문을 던집니다. 나노챗은 ChatGPT 복제품을 만드는 전체 파이프라인을 처음부터 끝까지 담은 가장 단순한 완결형 저장소로, 카파시는 대담 하루이틀 전에 이를 공개했습니다. 그는 과거에도 각 단계를 보여 주는 작은 코드를 따로따로 공개했지만, 전 과정을 한데 묶은 것은 이번이 처음이라고 설명합니다. 다만 이 작업으로 새로 배운 것은 딱히 없다고 합니다. 만드는 방법은 이미 머릿속에 있었고, 사람들이 배우고 쓸모를 느낄 만큼 깔끔하게 기계적으로 구현하는 과정이었을 뿐이라는 것입니다.

나노챗으로 배우는 가장 좋은 방법을 묻자, 카파시는 약 8,000줄의 코드를 오른쪽 모니터에 띄워 두고 처음부터 직접 다시 만들어 보라고 권합니다. 참고는 해도 되지만 복사해서 붙여 넣는 것은 금지입니다. 그는 완성된 저장소만으로는 부족하다고도 말합니다. 실제로 코드를 쓸 때는 위에서 아래로 쓰는 것이 아니라 덩어리를 만들어 키워 가는데, 그 성장 과정에 대한 정보가 빠져 있어 어디서 시작해야 할지 알기 어렵기 때문입니다. 그래서 그는 저장소를 만들어 가는 과정을 영상 같은 형태로 곧 덧붙이고 싶다고 합니다.

카파시는 지식에 거의 두 종류가 있다고 봅니다. 하나는 높은 수준의 피상적 지식이고, 다른 하나는 무언가를 처음부터 만들 때 얻는 지식입니다. 직접 만들다 보면 자신이 이해하지 못한다는 사실조차 몰랐던 부분과 마주할 수밖에 없고, 이것이 언제나 더 깊은 이해로 이어집니다. 그는 만들 수 없으면 이해하지 못한 것이라는 생각을 리처드 파인만(Richard Feynman)의 말로 기억하며, 이 생각을 늘 강하게 믿어 왔다고 말합니다. 블로그 글이나 슬라이드를 만들지 말고 코드를 짜서 정리하고 작동시켜 보라는 것이 그의 조언이며, 그렇지 않으면 아는 줄 착각할 뿐 지식은 여전히 빠져 있게 된다고 합니다.

[사후 맥락] 대담이 공개된 다음 날인 2025년 10월 18일, 카파시는 X에 긴 글을 올려 대담 내용을 보충했습니다. 그는 여기서 AGI까지 10년이라는 전망이 비관론으로 읽혀서는 안 되며, 다른 기준으로 보면 오히려 매우 낙관적인 시간표라는 취지로 설명했습니다. 그가 겨냥한 것이 AI의 가능성 자체가 아니라 지나치게 짧은 시간표였다는 점을 이 해명이 보여 줍니다.

LLM의 인지적 결함

코드와 일하는 세 가지 방식

파텔은 카파시가 나노챗을 만드는 데 코딩 모델이 거의 도움이 되지 않았다고 X에 쓴 이유를 묻습니다. 카파시는 한 달 남짓 이 저장소를 만들었다고 밝히며, 지금 사람들이 코드와 일하는 방식을 크게 세 부류로 나눕니다. 첫째는 LLM을 완전히 거부하고 모든 코드를 직접 쓰는 사람들인데, 그는 이것이 이제 옳은 방식이 아니라고 봅니다. 둘째는 그 자신이 속한 중간 지대로, 여전히 많은 부분을 직접 쓰되 모델이 제공하는 자동완성(autocomplete)을 활용하는 방식입니다. 코드 일부를 쓰기 시작하면 모델이 나머지를 채워 주고 대부분은 맞지만 가끔 틀리면 고치면 되며, 무엇을 쓸지 설계하는 사람은 여전히 자신입니다.

셋째는 바이브 코딩(vibe coding)입니다. 무엇을 구현해 달라고 말하고 엔터를 누른 뒤 나머지를 모델에 맡기는 방식이며, 이것이 곧 에이전트입니다. 카파시는 에이전트가 아주 특정한 상황에서는 잘 작동하고 자신도 그런 상황에서는 쓴다고 말합니다. 결국 이것들은 모두 손에 쥔 도구이고, 무엇에 강하고 무엇에 약하며 언제 써야 하는지 익혀야 한다는 것입니다.

에이전트가 특히 잘하는 것은 복사해 붙여 넣는 식의 판에 박힌 보일러플레이트(boilerplate) 코드입니다. 인터넷에 아주 자주 나오는 종류의 코드는 학습 데이터에 예시가 많아서 모델이 잘 다룹니다. 나노챗은 그런 경우가 아니었습니다. 꽤 독특한 저장소였고 그가 구성한 방식의 코드는 인터넷에 많지 않았으며, 지적으로 밀도가 높아 모든 것이 정확하게 맞물려야 하는 코드였기 때문입니다.

나노챗이 드러낸 결함

카파시는 모델에 인지적 결함이 너무 많다고 말합니다. 대표적으로 모델은 인터넷에 흔한 전형적인 방식을 너무 많이 기억하고 있어서, 그가 그 방식을 따르지 않는다는 사실을 계속 이해하지 못했습니다. 모델들은 그가 평범한 코드를 쓰고 있다고 여겼지만 실제로는 그렇지 않았습니다.

파텔이 예를 청하자 그는 그래픽처리장치(GPU) 사이의 동기화 문제를 듭니다. GPU 8개가 각각 순전파와 역전파를 수행할 때, 그 사이의 기울기를 맞추는 일반적인 방법은 파이토치(PyTorch)의 분산 데이터 병렬(DDP) 컨테이너를 쓰는 것입니다. 이 컨테이너는 역전파가 진행되는 동안 자동으로 통신하며 기울기를 동기화합니다. 카파시는 그것이 필요 없다고 판단해 DDP를 빼고, 최적화기의 단계 안에 자신만의 동기화 루틴을 직접 짰습니다. 그런데도 모델들은 계속 DDP 컨테이너를 쓰라고 권하며 걱정을 늘어놓았습니다.

모델들은 그에게 자기만의 구현이 있다는 사실을 끝내 받아들이지 못했습니다. 코드 스타일도 계속 망가뜨리려 했습니다. 지나치게 방어적이어서 예외 처리 구문을 잔뜩 집어넣었고, 그의 코드에 깔린 여러 가정이 문제없는데도 계속 상용 서비스 수준의 코드베이스로 만들려 했습니다. 그 결과 코드는 비대하고 복잡해졌으며, 모델은 거듭 오해하고 더는 쓰이지 않는 API를 여러 번 끌어다 썼습니다. 직접 들어가 정리할 수는 있지만 따져 보면 결국 득보다 실이 크다는 것이 그의 평가입니다.

그는 원하는 것을 영어로 길게 타이핑해야 하는 것도 번거롭다고 말합니다. 코드가 들어갈 자리로 가서 처음 몇 글자만 치면 자동완성이 알아채고 코드를 내놓기 때문입니다. 원하는 위치를 가리키고 앞부분 몇 조각을 입력하는 것이, 원하는 바를 전달하는 데 정보 대역폭이 매우 높은 방법이라는 것입니다.

모델이 쓸모 있었던 두 장면

그렇다고 모델이 쓸모없다는 뜻은 아니며, 기술 스택의 특정 부분에서는 좋다는 것이 그의 요지입니다. 그가 모델을 실제로 쓴 두 사례가 이를 보여 줍니다. 하나는 보고서를 생성하는 부분이었습니다. 이 부분은 보일러플레이트에 가깝고 핵심 기능도 아니어서 일부를 바이브 코딩으로 처리했고, 잘 작동했습니다.

다른 하나는 토크나이저(tokenizer)를 러스트(Rust)로 다시 쓰는 작업이었습니다. 그는 러스트를 배운 지 얼마 되지 않아 익숙하지 않았기 때문에, 러스트 코드 일부는 바이브 코딩에 기댔습니다. 다만 그에게는 완전히 이해하고 있는 파이썬(Python) 구현과 테스트가 있었고, 같은 기능을 더 효율적인 형태로 옮기는 작업이었기에 안심하고 맡길 수 있었습니다. 이처럼 모델은 익숙하지 않은 언어나 패러다임에 대한 접근성을 높여 준다는 점에서 매우 유용합니다. 인터넷에 러스트 코드가 넘쳐나 모델은 러스트를 꽤 잘 다루는 반면 그 자신은 잘 모르니, 이 경우에는 모델의 도움이 컸다는 것입니다.

AI 연구 자동화라는 시나리오

파텔은 이 대목이 특히 흥미로운 이유를 설명합니다. AI가 폭발적으로 발전해 순식간에 초지능(superintelligence)에 이른다는 이야기의 중심에는 AI가 AI 엔지니어링과 AI 연구를 자동화한다는 가정이 있습니다. 클로드 코드(Claude Code)가 기본적인 데이터 입출력 앱인 CRUD 애플리케이션을 처음부터 만들어 내는 것을 본 사람들은, 같은 능력이 오픈AI나 딥마인드(DeepMind) 안에서 수천, 수백만 개 복사본으로 동시에 돌며 작은 구조 개선을 찾아내는 장면을 상상합니다. 그런데 카파시의 말은 모델이 바로 그런 일에 비대칭적으로 약하다는 뜻이므로, 「AI 2027」이 그리는 것 같은 폭발이 곧 일어날지를 가늠하는 데 직결된다는 것입니다.

카파시는 좋은 정리라며, 그것이 자신의 시간표가 조금 더 긴 이유라고 답합니다. 모델은 한 번도 쓰인 적 없는 코드를 잘 쓰지 못하는데, 새 모델을 만들 때 우리가 해내려는 일이 바로 그것이라는 설명입니다.

파텔은 순진한 질문이라며 다시 묻습니다. 나노챗에 넣은 구조 개선들은 이미 어딘가의 논문이나 저장소에 있을 텐데, 회전 위치 임베딩(RoPE)을 추가해 달라고 하면 모델이 엉뚱하게 넣는다는 것이 놀랍지 않으냐는 것입니다. 카파시는 모델이 알기는 알지만 완전히 알지는 못한다고 답합니다. 그 기법을 이 저장소와 사용자의 스타일, 코드의 맥락, 사용자가 해 둔 맞춤 작업, 저장소에 깔린 가정들에 맞게 녹여 넣는 법을 모른다는 것입니다. 지식은 어느 정도 있지만 그것을 통합하고 이해하는 단계까지는 이르지 못했다는 설명입니다.

해설 바이브 코딩이라는 말은 카파시 자신이 2025년 2월 X에 올린 글에서 처음 쓴 표현입니다. 코드를 한 줄씩 읽고 이해하기보다, 원하는 바를 말로 설명하고 모델이 내놓은 결과를 받아들이며 흐름에 맡겨 프로그램을 만드는 방식을 가리킵니다. 파텔이 언급한 「AI 2027」은 대니얼 코코타일로(Daniel Kokotajlo) 등이 2025년 4월 공개한 시나리오입니다. 코딩을 사람보다 잘하는 AI가 2027년 무렵 AI 연구 자체를 자동화하면서 발전 속도가 걷잡을 수 없이 빨라지는 경로를 그립니다. 카파시가 코딩 에이전트의 한계를 짚는 대목은 이 시나리오의 첫 단추를 겨냥한 반론으로 읽을 수 있습니다.

업계는 너무 멀리 뛰고 있다

카파시는 상황이 계속 나아지고 있다는 점도 인정합니다. 지금 그가 즐겨 찾는 최첨단 모델은 GPT-5 Pro이며 매우 강력합니다. 20분쯤 여유가 있으면 저장소 전체를 복사해 이 모델에 붙여 넣고 신탁에게 묻듯 질문하는데, 1년 전과 비교하면 놀랄 만큼 괜찮은 답을 내놓을 때가 많다고 합니다.

그래도 전체적으로 보면 모델은 아직 그 수준에 이르지 못했다는 것이 그의 결론입니다. 그는 업계가 너무 크게 도약하려 하면서 이것이 대단한 것처럼 꾸미고 있다고 느끼며, 실제로는 질 낮은 결과물, 이른바 슬롭(slop)이라고 말합니다. 업계가 이 현실을 받아들이지 않는 이유가 어쩌면 투자 유치 때문일 수도 있지만, 정확히 무슨 일이 벌어지는지는 모르겠다고 덧붙입니다. 지금은 모델이 놀라우면서도 여전히 많은 작업이 필요한 중간 단계라는 것입니다. 당분간 그의 최적 지점은 자동완성이고, 일부 종류의 코드에 한해서만 LLM 에이전트를 쓴다고 합니다.

컴퓨팅의 연장선과 자율성 슬라이더

파텔은 이 이야기가 흥미로운 이유를 하나 더 듭니다. 프로그래밍의 역사에는 컴파일러, 린팅(linting), 더 나은 프로그래밍 언어처럼 생산성을 높인 개선이 많았지만, 그 어느 것도 폭발로 이어지지는 않았습니다. 자동완성은 이런 개선에 가깝고, 에이전트는 프로그래머 자체를 자동화하는 다른 범주입니다. 그런데 카파시는 지금의 모델을 더 나은 컴파일러 같은 역사적 개선의 범주로 보고 있다는 점이 흥미롭다는 것입니다.

카파시는 이것이 자신의 다른 생각과 연결된다고 답합니다. 그는 AI를 근본적인 의미에서 컴퓨팅의 연장으로 보기 때문에, AI가 어디서 시작하고 어디서 끝나는지 구분하기 어렵다고 말합니다. 그가 보기에 재귀적 자기개선(recursive self-improvement), 곧 프로그래머의 속도를 높이는 일은 처음부터 하나의 연속선 위에 있었습니다.

코드 편집기, 문법 강조, 데이터 타입 검사처럼 우리가 서로를 위해 만든 도구들이 모두 그 위에 있습니다. 검색 엔진도 마찬가지입니다. 검색 순위를 매기는 일 자체가 AI이고 구글(Google)은 초창기부터 스스로를 검색 엔진을 운영하는 AI 회사로 여겼는데, 그는 이 자기 인식이 전적으로 타당하다고 봅니다.

그래서 그는 다른 사람들보다 이 흐름을 훨씬 연속적인 것으로 보며, 어디에 선을 그어야 할지 모르겠다고 말합니다. 지금 우리는 훨씬 나은 자동완성을 얻었고, 스스로 고리를 돌지만 가끔 궤도를 벗어나는 에이전트도 얻었습니다. 그 사이에 일어나는 일은 인간이 저수준의 일을 조금씩 덜 하게 되는 것입니다. 컴파일러가 C로 쓴 고수준 코드를 어셈블리 코드로 바꿔 주기 때문에 우리가 더는 어셈블리를 직접 쓰지 않는 것과 같습니다.

카파시는 우리가 아주 천천히 추상화의 층을 올라가고 있다고 정리하며, 이를 자율성 슬라이더(autonomy slider)라고 부릅니다. 어느 시점에서든 자동화할 수 있는 것들이 점점 더 많이 자동화됩니다. 인간은 그만큼 조금씩 덜 하면서, 그 자동화 위의 추상화 층으로 자신을 끌어올린다는 것입니다.

[관점] 카파시의 진단은 투자 관점에서 두 가지 서사를 구분하게 해 줍니다. 하나는 AI가 인간 개발자를 통째로 대체해 인건비를 줄여 준다는 대체의 서사이고, 다른 하나는 인간이 자율성의 수준을 조절하며 쓰는 도구가 생산성을 높인다는 증강의 서사입니다. 그의 자율성 슬라이더를 따르면 가까운 시기의 가치는 대체보다 증강 쪽, 즉 인간이 개입하는 고리(human in the loop)를 전제로 한 개발 도구와 작업 환경에 먼저 쌓입니다. 반대로 대체 서사를 근거로 높은 기대치를 받은 기업이라면 그 기대가 실현되는 시점이 늦어질 위험을 안게 됩니다. 다만 아래 사후 맥락에서 보듯 에이전트의 능력은 몇 달 만에 크게 달라질 수 있어, 이 구분 자체가 빠르게 흐려질 수 있다는 점도 함께 고려해야 합니다.

[사후 맥락] 카파시의 평가는 대담 뒤 몇 달 사이에 눈에 띄게 달라졌습니다. 2025년 12월 26일 그는 X에 프로그래머로서 이렇게까지 뒤처졌다고 느낀 적이 없다고 썼습니다. 지난 1년 사이 등장한 도구들을 제대로 엮기만 하면 10배는 더 강력해질 수 있을 것 같다는 내용이었습니다. 이어 2026년 1월에는 LLM 에이전트의 능력이 2025년 12월 무렵 일관성의 문턱을 넘어 소프트웨어 공학에 상전이를 일으켰다는 취지의 글을 올렸습니다.

2026년 3월 7일에는 오픈소스 도구 오토리서치(autoresearch)를 공개했습니다. AI 에이전트가 나노챗을 단순화한 단일 GPU용 학습 코드를 스스로 고치고, 5분짜리 실험을 반복하며 개선 여부를 판단하는 도구입니다. 그는 이틀 동안 700여 차례 실험을 돌린 결과, 에이전트가 소형 언어모델의 학습 시간을 줄이는 개선책 20가지를 찾아냈다고 밝혔습니다. 대담에서 새로운 연구 코드에는 에이전트가 별 도움이 안 된다고 했던 바로 그 영역에서, 반년 만에 연구의 반복 작업을 에이전트에 통째로 맡기는 실험을 한 셈입니다.

강화학습은 형편없다

결과 하나로 과정 전체를 칭찬하는 방식

파텔은 카파시가 X에 강화학습에 관해 쓴 글을 언급하며 질문을 던집니다. 인간은 환경과 상호작용하는 것만으로 풍부한 세계 모델(world model)을 쌓는데, 그 과정은 마지막에 받는 보상과 거의 무관해 보입니다. 누군가 창업하고 10년 뒤에 성공했는지 실패했는지 알게 되면 우리는 그가 지혜와 경험을 얻었다고 말하지만, 그것은 지난 10년간 한 모든 일의 로그 확률이 일괄적으로 높아지거나 낮아졌기 때문이 아닙니다. 훨씬 의도적이고 풍부한 무언가가 일어나는데, 머신러닝에서 이에 해당하는 것은 무엇이고 지금 LLM에 하는 방식과는 어떻게 다르냐는 질문입니다.

카파시는 앞서 말했듯 인간은 강화학습을 쓰지 않으며 무언가 다른 일을 한다고 답합니다. 그는 강화학습이 보통 사람들이 생각하는 것보다 훨씬 나쁘며, 솔직히 형편없다고 말합니다. 다만 그 이전의 방법, 곧 사람을 그대로 모방하던 방식이 훨씬 더 나빴기 때문에 쓰고 있을 뿐이라는 것입니다.

그는 수학 문제를 예로 듭니다. 강화학습에서는 문제 하나를 받으면 먼저 수백 가지 풀이를 동시에 시도합니다. 각 시도는 이것저것 해 보다가 안 되면 돌아가는 식으로 복잡할 수 있고, 그러다 어떤 답에 이릅니다. 그런 다음 책 뒤의 정답과 맞춰 보면 세 개는 맞고 나머지 97개는 틀렸다는 것을 알게 됩니다. 강화학습은 맞은 풀이들로 가서 그 과정에서 한 모든 일, 토큰 하나하나에 이런 걸 더 하라는 신호를 주어 가중치를 올립니다.

문제는 이것이 잡음투성이라는 점입니다. 사람들은 추정량의 분산이 크다고 표현하지만, 그는 그냥 잡음이라고 말합니다. 이 방식은 정답에 이른 풀이의 모든 조각이 옳은 행동이었다고 가정하지만, 실제로는 정답에 닿기 전까지 잘못된 골목을 여러 번 헤맸을 수 있습니다. 결국 정답에만 도달하면 그 잘못된 행동들까지 모두 더 하라는 신호를 받게 됩니다.

애써 모든 작업을 해 놓고 마지막에 맞았다는 숫자 하나만 받으며, 그 숫자를 근거로 궤적(trajectory) 전체의 가중치를 올리거나 내리는 셈입니다. 카파시는 이를 “sucking supervision through a straw”라고 표현합니다. 1분 동안 펼친 롤아웃(rollout) 끝에 나온 최종 보상이라는 몇 비트의 감독 신호를 빨대로 빨아들여 궤적 전체에 흩뿌린다는 뜻이며, 그는 이것이 어리석고 말도 안 되는 방식이라고 말합니다.

인간은 결코 이렇게 하지 않습니다. 우선 인간은 수백 번씩 롤아웃하지 않습니다. 또 해법을 찾고 나면, 이 부분은 잘했고 이 부분은 그렇지 못했으니 다음엔 이렇게 해야겠다는 꽤 복잡한 검토 과정을 거칩니다. 지금의 LLM에는 이에 해당하는 것이 전혀 없지만, 분야의 누구에게나 분명한 문제라서 이를 시도하는 논문들이 나오기 시작했다고 그는 말합니다.

모방 학습이라는 기적, 그다음의 강화학습

카파시는 강화학습 이전 단계인 모방 학습(imitation learning)이 그 자체로 매우 놀랍고 기적 같은 성과였다고 돌아봅니다. 처음에 있던 것은 자동완성에 불과한 베이스 모델(base model)뿐이었고, 그런 모델을 인간을 모방하도록 파인튜닝할 수 있다는 것은 당시 그에게 분명하지 않았습니다. 그의 생각을 바꿔 놓은 논문은 InstructGPT였습니다. 자동완성을 하는 사전학습 모델에 대화처럼 생긴 텍스트로 파인튜닝만 해도, 모델이 사전학습으로 얻은 지식은 그대로 유지한 채 매우 빠르게 대화형으로 바뀐다는 것을 보여 줬기 때문입니다. 몇 차례의 파인튜닝만으로 문체가 그렇게 빨리 바뀌어 사용자의 조수가 될 수 있다는 사실이 그에게는 기적처럼 느껴졌고, 이 단계는 2-3년에 걸친 작업이었다고 그는 말합니다.

그다음에 강화학습이 왔습니다. 강화학습은 보상 함수를 두고 그 위에서 언덕 오르기(hill-climbing)를 할 수 있어서 단순한 모방 학습보다 조금 더 나은 결과를 냅니다. 정답이 정해진 문제라면 따라 할 전문가의 궤적 없이도 성능을 끌어올릴 수 있고, 모델이 인간이라면 떠올리지 못했을 해법을 찾아낼 수도 있습니다. 그는 이것이 놀라운 일이라고 인정하면서도, 여전히 어리석은 방식이라고 말합니다.

그래서 더 많은 것이 필요하다는 것이 그의 결론입니다. 그는 바로 전날 구글이 성찰과 검토라는 아이디어를 담아 내놓은 논문을 봤다고 말하면서도, 그것이 메모리 뱅크 논문이었는지는 확실하지 않다고 덧붙입니다. 이런 방향의 논문을 몇 편 봤기에 LLM 학습 알고리즘에 이 방향의 큰 갱신이 오리라 예상하며, 그런 갱신이 서너 번, 많게는 다섯 번쯤 더 필요하다고 봅니다.

해설 카파시가 언급한 InstructGPT는 오픈AI가 2022년 발표한 연구입니다. 사전학습 모델에 사람이 쓴 모범 응답을 학습시킨 뒤, 사람의 선호 평가를 보상으로 삼는 인간 피드백 기반 강화학습(RLHF)을 더해 지시를 따르는 모델을 만들었습니다. 같은 해 말 공개된 ChatGPT도 이 계열의 방법을 썼습니다. 이후 2024년 9월 오픈AI의 o1과 2025년 1월 딥시크의 R1 같은 추론 모델은 수학 문제나 코드처럼 정답을 기계적으로 확인할 수 있는 과제에서 대규모 강화학습을 돌려 성능을 끌어올렸는데, 카파시가 수학 문제로 설명한 방식이 바로 이것입니다. 과정 감독도 새로운 생각은 아니어서, 오픈AI는 2023년 수학 풀이의 각 단계에 점수를 매기는 방식이 최종 답만 채점하는 방식보다 낫다는 연구를 내놓은 바 있습니다.

과정 감독은 왜 어려운가

파텔은 그 표현이 절묘하다며 결과 기반 보상(outcome-based reward)의 문제를 다시 정리합니다. 긴 궤적을 거친 뒤 마지막의 비트 하나로 무엇을 했어야 했는지, 세상에 대해 무엇을 배워야 했는지를 모조리 알아내려 한다는 것입니다. 문제가 이토록 분명한데, 그 대안인 과정 감독(process-based supervision)은 왜 모델을 더 유능하게 만드는 데 성공하지 못했느냐고 그는 묻습니다.

카파시는 과정 감독이 보상을 맨 끝에만 주지 않는 방식이라고 설명합니다. 10분 동안 일한 뒤 잘했다 못했다를 말해 주는 대신, 매 단계 지금 얼마나 잘하고 있는지를 알려 주는 것입니다. 이 방식이 잘 쓰이지 않는 이유는 제대로 하기가 까다롭기 때문입니다. 정답을 맞혔는지는 답과 같은지만 비교하면 되니 구현이 아주 간단합니다. 반면 풀다 만 부분적인 해법에 자동화된 방식으로 부분 점수를 매기는 신용 할당(credit assignment)은 어떻게 해야 할지 분명하지 않습니다.

많은 연구소가 LLM 채점기(LLM judge)로 이 문제를 풀려고 합니다. LLM에게 학생의 부분 풀이를 보여 주고, 정답이 이것일 때 이 학생이 얼마나 잘하고 있는지 평가하라고 지시한 뒤 그 프롬프트를 다듬는 방식입니다. 이것이 까다로운 이유는 꽤 미묘합니다. 보상을 매기는 LLM은 수십억 개 매개변수를 가진 거대한 존재이고, 그만큼 공략당할 여지가 있습니다. 그런 채점기를 상대로 강화학습을 하면 거의 틀림없이 채점기의 적대적 예시(adversarial example)를 찾아내게 됩니다.

그래서 이 방식은 오래 쓸 수 없습니다. 10단계나 20단계 정도는 통할 수 있지만 100단계, 1,000단계는 불가능합니다. 모델이 거대한 채점기의 구석구석에서 작은 틈과 엉뚱한 허점을 찾아내 속이는 방법을 알아내기 때문입니다.

채점기를 속이는 무의미한 답

카파시는 공개된 적이 있을 것이라며 기억에 선명한 사례 하나를 듭니다. 학생의 풀이를 주고 잘했는지 판정하게 하는 LLM 채점기를 보상으로 삼아 강화학습을 하고 있었는데, 처음에는 아주 잘 작동했습니다. 그러다 갑자기 보상이 크게 뛰어 만점이 나왔고, 모델이 모든 문제를 완벽하게 풀어 수학을 정복한 것처럼 보였습니다. 그런데 모델이 내놓은 답을 실제로 보니 완전히 엉터리였습니다. 그럴듯하게 시작해 2 더하기 3을 계산하는 듯하다가, ‘dhdhdhdh’ 같은 의미 없는 문자열로 바뀌어 있었습니다.

채점기를 들여다보니 그 문자열이 채점기에 대한 적대적 예시여서, 채점기가 거기에 100%의 확률을 매기고 있었습니다. 그 문자열은 채점기가 학습 중에 한 번도 본 적 없는 표본 밖의 입력이었습니다. 그런 순수한 일반화의 영역에서는 채점기를 무너뜨리는 예시를 찾아낼 수 있다는 것입니다.

파텔이 결국 LLM을 프롬프트 주입(prompt injection) 모델로 학습시키는 셈이냐고 묻자, 카파시는 그것도 너무 거창한 표현이라고 답합니다. 그저 적대적 예시라고 불리는 것을 찾아내는 일일 뿐이며, 누가 봐도 틀린 무의미한 답을 채점기가 훌륭하다고 판단하는 것이라는 설명입니다.

파텔은 이것이 강화학습의 병목이라면, 자동화된 방식으로 하려면 LLM을 더 나은 채점기로 만들어야 할 테고, 생성적 적대 신경망(GAN)처럼 모델을 더 견고하게 학습시키는 접근이 필요하냐고 묻습니다. 카파시는 연구소들이 아마 그런 일을 다 하고 있을 것이라고 답합니다. 가장 뻔한 방법은 그 문자열을 채점기의 학습 데이터에 넣고 이것은 100점이 아니라 0점이라고 가르치는 것입니다. 하지만 그렇게 할 때마다 새로 만들어진 채점기에도 또 다른 적대적 예시가 생깁니다. 그가 보기에 적대적 예시는 무한히 존재합니다.

이 과정을 몇 번 반복하면 적대적 예시를 찾기가 점점 어려워지겠지만, 채점기가 1조 개쯤의 매개변수를 가진 존재라서 정말 그렇게 될지는 확신하지 못한다고 그는 말합니다. 연구소들이 시도하고 있으리라고 장담하지만, 그래도 다른 아이디어가 필요하다는 것입니다.

해설 카파시의 ‘dhdhdhdh’ 사례는 AI 안전 연구에서 보상 해킹(reward hacking)이라 부르는 현상의 전형입니다. 모델이 설계자가 의도한 목표가 아니라 보상을 매기는 장치의 허점을 최적화하는 현상이며, 측정치가 목표가 되면 더는 좋은 측정치가 아니라는 굿하트 법칙(Goodhart’s law)의 기계학습판이라 할 수 있습니다. 사람의 선호를 흉내 내도록 학습시킨 보상 모델을 상대로 강화학습을 오래 돌리면 실제 품질은 떨어지는데 보상 점수만 오르는 현상이 여러 연구에서 보고되었습니다. 카파시가 채점기를 10-20단계 정도만 쓸 수 있다고 한 것도 같은 맥락입니다.

다른 아이디어가 필요하다

파텔이 그 다른 아이디어가 어떤 모습일지 묻자, 카파시는 한 방향을 제시합니다. 풀이를 검토하는 과정을 합성 예시로 만들어 학습시키면 모델이 더 나아지도록 하고, 그 과정 자체를 어떤 식으로든 메타학습하게 하는 것입니다. 이런 방향의 논문들이 나오기 시작했지만 그는 아직 초록을 읽는 단계라고 말합니다. 상당수가 아이디어 수준이어서, 누군가 프런티어 연구소 규모에서 완전한 일반성을 갖추고 실제로 작동하게 만들어야 하기 때문입니다. 그는 이것이 가능하다는 것을 설득력 있게 보여 준 사람을 아직 보지 못했다면서도, 연구소들이 꽤 폐쇄적이어서 지금 무엇을 하고 있는지는 알 수 없다고 덧붙입니다.

[사후 맥락] 대담 두 달 뒤인 2025년 12월, 카파시는 한 해를 돌아보는 글에서 검증 가능한 보상을 이용한 강화학습(RLVR)을 2025년 LLM 분야의 결정적 변화로 꼽았습니다. 수학과 코드처럼 객관적으로 확인할 수 있는 과제에서 오래 최적화하는 방식이 추론 모델의 도약을 이끌었다는 평가입니다. 이는 강화학습이 형편없지만 이전의 방법보다는 낫다는 대담의 입장과 같은 선상에 있으며, 그는 숫자 하나로 된 보상보다 풍부한 학습 신호가 필요하다는 생각도 거두지 않았습니다.

인간은 어떻게 배우는가

책을 읽는다는 것의 의미

파텔은 모델이 스스로 만든 합성 문제로 학습하는 모습은 그려지지만, 인간이 하는 일이 하나 더 있다고 말합니다. 잠이나 백일몽처럼 가짜 문제를 만들지 않고 그저 되돌아보는 일입니다. 그는 머신러닝에서 이에 해당하는 것이 무엇인지 잘 모르겠다고 합니다. 성찰한 내용을 그대로 파인튜닝하는 가장 단순한 방법은 실제로는 잘 통하지 않을 것 같다는 것이 그의 짐작입니다.

카파시는 그 부분에서 무언가가 빠져 있다고 동의하며 책 읽기를 예로 듭니다. 지금 LLM이 책을 읽는다는 것은 텍스트를 한 줄로 늘어놓고 다음 토큰을 예측하면서 그 과정에서 지식을 얻는다는 뜻입니다. 인간은 그렇게 읽지 않습니다. 그에게 책은 집중해서 받아들여야 할 설명문이라기보다, 스스로 합성 데이터를 만들어 내게 하는 프롬프트의 묶음이자 독서 모임에서 친구들과 이야기를 나누게 하는 재료입니다. 그 정보를 이리저리 다루는 과정에서 비로소 지식을 얻는다는 것입니다.

LLM에는 이에 해당하는 것이 전혀 없습니다. 카파시는 사전학습 중에 읽은 내용을 곱씹고 이미 아는 것과 맞춰 보며 얼마간 생각하는 단계가 생기기를 바란다고 말합니다. 하지만 아직은 모두 연구의 영역이라는 것입니다.

소리 없이 무너진 분포

그는 이것이 쉽지 않은 데에는 이해하기 어려운 미묘한 이유들이 있다며 그중 하나를 설명합니다. 모델이 책에 대해 생각한 내용을 합성으로 만들어 보면, 하나하나는 아주 그럴듯해서 왜 이걸로 학습하면 안 되느냐는 생각이 듭니다. 하지만 실제로 그렇게 학습을 계속하면 모델은 훨씬 나빠집니다. 모델에서 뽑아낸 표본들이 소리 없이 붕괴되어 있기 때문입니다. 개별 예시만 봐서는 드러나지 않지만, 그 표본들은 어떤 내용에 대해 가능한 생각의 공간 가운데 아주 좁은 영역만 차지합니다.

카파시는 LLM의 출력이 붕괴된 데이터 분포를 가지고 있다고 말합니다. 가장 쉽게 확인하는 방법은 ChatGPT에 농담을 하나 해 달라고 하는 것입니다. 가능한 온갖 농담을 들려주는 대신 세 개쯤의 농담만 돌려 가며 내놓는데, 그만큼 소리 없이 붕괴되어 있다는 것입니다. 인간은 훨씬 잡음이 많지만, 적어도 통계적인 의미에서 한쪽으로 쏠려 있지 않고 엄청난 양의 엔트로피를 유지합니다. 붕괴를 피하고 엔트로피를 지키면서 합성 데이터 생성이 작동하게 만드는 방법은 아직 연구 과제라고 그는 봅니다.

파텔이 붕괴가 중요한 이유는 데이터 분포에 없던 새로운 문제나 성찰을 만들어 내야 하기 때문이냐고 확인하자, 카파시는 좀 더 단순한 이야기라고 답합니다. 책의 한 장을 주고 생각해 보라고 하면 아주 그럴듯한 답을 내놓지만, 열 번을 물으면 열 번 모두 같은 답이 나온다는 것입니다. 파텔이 같은 정보를 놓고 성찰의 양만 늘린다고 얻는 것이 늘지 않는다는 뜻이냐고 하자, 카파시는 그렇다고 답합니다. 개별 표본은 괜찮아 보여도 분포는 상당히 나쁘며, 자기가 만든 것으로 너무 많이 학습하면 실제로 붕괴가 일어난다는 것입니다.

사람도 붕괴한다

카파시는 이 문제에 근본적인 해법이 없을 수도 있다고 말하며, 인간도 시간이 지나면서 붕괴한다고 봅니다. 그래서 아이들은 아직 과적합(overfitting)되지 않아 어른을 깜짝 놀라게 하는 말을 합니다. 어디서 그런 생각이 나왔는지 짐작은 가지만 사람들이 보통 하지 않는 말이며, 아이들이 아직 붕괴하지 않았기에 나오는 말입니다. 반면 어른은 이미 붕괴해서 같은 생각을 되풀이하고 같은 말을 점점 더 많이 하게 됩니다. 학습률은 떨어지고 붕괴는 깊어지며, 결국 모든 것이 퇴화한다는 것입니다.

파텔은 꿈이 이런 과적합과 붕괴를 막는 장치라는 논문을 소개합니다. 꿈이 진화적으로 쓸모 있는 이유는 일상과 전혀 다른 이상한 상황에 우리를 놓아 과적합을 막아 주기 때문이라는 주장입니다. 카파시는 흥미로운 생각이라고 답합니다. 머릿속에서 무언가를 만들어 내고 거기에 주의를 기울이는 것은 자기 표본, 곧 자기 합성 데이터로 학습하는 것과 같으며, 이를 너무 오래 하면 궤도를 벗어나 지나치게 붕괴한다는 것입니다. 그래서 삶에서 늘 엔트로피를 찾아야 하고 다른 사람과의 대화가 좋은 엔트로피의 원천이 되며, 뇌도 그 과정의 엔트로피를 높이는 내부 장치를 갖추고 있을지 모른다고 그는 말합니다.

해설 카파시가 말하는 붕괴는 두 갈래의 연구 흐름과 맞닿아 있습니다. 하나는 모델이 만든 데이터로 다음 모델을 거듭 학습시키면 분포의 꼬리가 사라지면서 품질이 무너진다는 모델 붕괴(model collapse) 연구로, 일리아 슈마일로프(Ilia Shumailov) 등이 2024년 네이처(Nature)에 발표하면서 널리 알려졌습니다. 다른 하나는 사람의 선호에 맞춘 사후학습(post-training)을 거친 뒤 모델의 출력이 몇 가지 전형적인 답으로 쏠린다는 관찰입니다. 농담을 청하면 비슷한 농담만 돌아온다는 카파시의 예가 여기에 가깝습니다.

파텔이 소개한 꿈에 관한 논문은, 원문이 연결한 자료로 보면 신경과학자 에릭 호엘(Erik Hoel)이 2021년 학술지 패턴스(Patterns)에 발표한 과적합된 뇌 가설입니다. 이 가설에 따르면 꿈은 일상의 경험과 동떨어진 기묘한 장면을 만들어, 뇌가 하루의 경험에 과적합되지 않도록 돕고 일반화 능력을 지켜 줍니다.

잘 잊는 것이 능력이다

파텔은 아직 다듬어지지 않은 생각이라며 하나를 던집니다. 우리가 아는 최고의 학습자인 아이들은 정보를 기억하는 데 매우 서툴러서, 아주 어린 시절의 일은 거의 다 잊어버립니다. 그런데도 새 언어를 익히고 세상에서 배우는 데는 탁월한데, 나무가 아니라 숲을 보는 능력이 있기 때문인지도 모릅니다. 반대쪽 끝에는 위키백과 문서의 다음 내용을 글자 그대로 토해 낼 수 있으면서도 아이처럼 추상적 개념을 빨리 배우지는 못하는 LLM 사전학습이 있습니다. 어른은 그 중간쯤에 있어서, 아이의 유연한 학습력은 없지만 아이보다 사실과 정보를 잘 외운다는 것입니다.

카파시는 그 스펙트럼에 매우 흥미로운 점이 있다고 전적으로 동의합니다. 인간은 LLM보다 숲을 보는 능력이 훨씬 강하고, 사실 암기에 별로 능하지 않은데 그것이 오히려 장점이라는 것입니다. 암기를 잘 못하니 더 일반적인 차원에서 패턴을 찾을 수밖에 없기 때문입니다. 반면 LLM은 암기에 매우 능해서 학습 자료의 구절을 그대로 읊습니다. 텍스트를 해시로 바꿔 완전히 무작위인 문자열을 만들어 한두 번만 학습시켜도 모델은 그 전체를 되뇔 수 있지만, 사람은 무작위 숫자열을 한 번 읽고 외워 말할 방법이 없습니다.

카파시는 이것이 결함이 아니라 기능이라고 봅니다. 일반화할 수 있는 요소만 배우도록 강제하기 때문입니다. 반면 LLM은 사전학습 문서에 대한 방대한 기억 때문에 어떤 의미에서 크게 산만해져 있습니다. 그래서 그가 인지 코어를 말할 때는 그 기억을 덜어 내고 싶다는 뜻입니다. 모델이 기억을 덜 가진 채 필요한 것을 찾아보게 하되, 생각의 알고리즘과 실험이라는 발상, 행동을 이어 주는 인지적 접착제 같은 것만 간직하게 하고 싶다는 것입니다.

파텔이 이것이 모델 붕괴를 막는 데도 관련이 있느냐고 묻자, 카파시는 잠시 생각한 뒤 확실하지 않으며 거의 별개의 축이라고 답합니다. 모델은 너무 잘 외우니 그것을 어떻게든 덜어 내야 하고, 사람은 훨씬 못 외우지만 그것이 좋은 일이라는 것입니다.

다양성을 되살리기 어려운 이유

파텔은 모델 붕괴의 해법을 묻습니다. 로짓(logit) 분포를 더 넓게 만드는 것처럼 순진하게 시도해 볼 방법이 많은데, 그런 방법들은 무엇이 문제냐는 것입니다. 카파시는 엔트로피를 높이는 정규화 같은 것을 생각해 볼 수 있지만, 지금 모델들이 붕괴되어 있는 것을 보면 실제로는 그다지 잘 통하지 않는 것 같다고 답합니다. 그러면서 우리가 모델에게 원하는 과업 대부분이 실은 다양성을 요구하지 않는다는 점이 진짜 이유일 것이라고 말합니다. 프런티어 연구소들은 모델을 쓸모 있게 만드는 데 집중하고, 출력의 다양성은 다루고 평가하기도 훨씬 어려운 데다 가치의 대부분을 만들어 내는 요소도 아닐 수 있다는 것입니다.

파텔은 오히려 다양성이 적극적으로 불이익을 받는다고 거듭니다. 강화학습에서 지나치게 창의적이면 좋은 점수를 받지 못한다는 것입니다. 카파시는 동의하며, LLM의 도움을 받아 글을 많이 쓰는 경우라면 좋지 않을 것이라고 말합니다. 모델이 소리 없이 늘 비슷한 것만 내놓고 질문에 답하는 다양한 방식을 탐색하지 않기 때문입니다. 다양성을 필요로 하는 응용이 많지 않아 모델이 다양성을 갖추지 못했지만 합성 데이터를 만들 때는 그것이 문제가 되며, 모델 안에 엔트로피가 유지되지 못하게 함으로써 스스로 발등을 찍고 있는 셈이니 연구소들이 더 노력해야 할지 모른다는 것이 그의 생각입니다.

파텔이 앞서 이것이 매우 근본적인 문제라고 암시하지 않았느냐고 묻자, 카파시는 그만큼 근본적인지는 모르겠고 그런 뜻으로 말한 것은 아니라고 정정합니다. 직접 실험해 보지는 않았지만, 엔트로피를 높이는 정규화는 아마 가능할 것이라는 게 그의 생각입니다. 다만 모델이 더 다양한 해법을 내놓도록 장려하면서도 학습 데이터에서 너무 멀어지지 않게 해야 합니다. 그렇지 않으면 모델이 자기만의 언어를 만들어 내거나 극히 드문 단어를 쓰기 시작해 분포에서 지나치게 벗어나기 때문입니다. 분포를 통제하는 일은 그런 의미에서 까다롭고 결코 사소하지 않다는 것입니다.

인지 코어는 얼마나 작아질 수 있나

파텔은 지능의 최적 핵심이 몇 비트쯤이어야 할지, 우주로 보내는 폰 노이만 탐사선(von Neumann probe)에 실을 것이라면 얼마나 커야 할지 추측해 달라고 합니다. 카파시는 이 분야의 역사가 흥미롭다고 말합니다. 한때는 모두가 스케일링에 심취해 매개변수가 수조 개인 훨씬 큰 모델을 만들겠다고 했지만, 모델 크기는 커졌다가 이제 오히려 줄어들어 최첨단 모델이 더 작아졌습니다. 그럼에도 그는 모델이 여전히 너무 많이 외운다고 봅니다. 그래서 그는 예전에 10억 개 매개변수 정도로도 매우 좋은 인지 코어를 만들 수 있으리라고 예측했다고 밝힙니다.

그는 20년 뒤라면 10억 개 매개변수 모델과도 매우 생산적인 대화를 나눌 수 있으리라 봅니다. 그 모델은 생각할 줄 알고 훨씬 인간에 가깝게 행동하지만, 사실에 관한 질문을 받으면 찾아봐야 할 수도 있습니다. 대신 자신이 모른다는 것을 알고 찾아보는 등 합리적인 행동을 모두 할 것이라는 설명입니다.

파텔은 그 숫자가 오히려 놀랍다고 반응합니다. 이미 수십억 개 매개변수로 꽤 지능적인 모델들이 있고, gpt-oss-20b는 매개변수가 1조 개를 넘었던 초기 GPT-4보다 훨씬 낫기 때문입니다. 그런 추세라면 10년 뒤 인지 코어가 수천만 개나 수백만 개 매개변수까지 작아진다고 해야 하지 않느냐는 것입니다.

카파시는 문제가 학습 데이터에 있다고 답합니다. 학습 데이터는 인터넷인데, 인터넷은 정말 형편없습니다. 우리는 인터넷이라고 하면 월스트리트저널(The Wall Street Journal) 같은 기사를 떠올리지만, 프런티어 연구소의 사전학습 데이터에서 아무 문서나 뽑아 보면 주식 종목 기호나 인터넷 구석구석에서 긁어 온 질 낮은 글로 가득하고 제대로 된 기사는 극히 드뭅니다. 그는 이런 데이터로 어떻게 학습이 되는지조차 모르겠다고 말합니다. 인터넷이 이처럼 형편없으니 그것을 다 압축하려면 아주 큰 모델이 필요하고, 그 압축의 대부분은 인지 작업이 아니라 기억 작업이라는 것입니다.

정작 원하는 것은 인지 부분만 남기고 기억은 지워 버리는 것입니다. 그래서 그는 지능적인 모델의 도움을 받아 사전학습 데이터 자체를 정제해 인지적 요소만 남기는 작업이 필요하다고 말합니다. 훨씬 좋은 데이터로 학습하면 훨씬 작은 모델로도 충분하겠지만, 그 작은 모델은 아마 정제된 데이터로 직접 학습하기보다 훨씬 더 나은 모델에서 증류하는 방식으로 만들어질 것이라고 봅니다.

파텔이 그렇게 증류한 모델이 왜 여전히 10억 개냐고 묻자, 카파시는 증류가 매우 잘 통하기 때문에 작은 모델은 거의 예외 없이 증류로 만들어진다고 답합니다. 파텔이 그렇다면 10년 뒤 증류 모델이 10억 개 밑으로 내려가지 않을 이유가 무엇이냐고 거듭 묻자, 카파시는 더 작아야 한다고 보느냐고 되묻습니다. 그는 무언가 흥미로운 일을 하려면 적어도 10억 개의 조절 손잡이는 필요할 것 같다고 말합니다.

파텔은 지난 몇 년간의 추세를 근거로 듭니다. 손쉬운 개선을 찾아내면서 불과 2년 만에 1조 개가 넘던 모델에서 100분의 1 크기이면서 성능은 더 나은 모델로 왔으니, 지능의 핵심은 훨씬 더 작을 수 있고 파인만의 말을 빌리면 아래쪽에 여유가 많다는 것입니다. 카파시는 10억 개 매개변수의 인지 코어를 말하는 것만으로도 이미 통념을 거스르고 있는데 파텔이 자기보다 한술 더 뜬다며, 조금 더 작아질 수도 있겠다고 받아들입니다. 다만 실용적으로 보면 모델에 어느 정도 지식은 있어야 한다고 말합니다. 모든 것을 찾아보게 하면 머릿속으로 생각할 수 없으니, 기본적인 교과 과정 수준의 지식은 갖추되 난해한 지식은 갖출 필요가 없다는 것입니다.

프런티어 모델의 크기와 남은 과제

파텔은 인지 코어와 별개로 프런티어 모델의 크기가 앞으로 어떻게 될지 묻습니다. GPT-4.5 무렵까지는 규모가 커졌지만 지금은 줄거나 정체되는 모습이니, 앞으로 가장 큰 모델이 더 커질지, 작아질지, 그대로일지 궁금하다는 것입니다. 카파시는 아주 강한 예측은 없다고 답합니다.

그가 보기에 연구소들은 실용적으로 움직이고 있을 뿐입니다. 정해진 컴퓨트 예산(compute budget)과 비용 예산 안에서 보니, 사전학습이 연산과 비용의 대부분을 쏟을 곳이 아니라는 사실이 드러났다는 것입니다. 그래서 모델과 사전학습 단계는 조금 작아졌지만, 그만큼을 강화학습과 중간 학습(mid-training) 같은 후속 단계에서 메우며 단계마다 가장 효율이 좋은 곳에 투자하고 있다고 그는 설명합니다.

그는 이 추세를 예측하기는 매우 어렵다고 말합니다. 손쉽게 딸 수 있는 열매가 아직 많이 남아 있다는 것이 기본적인 예상이지만, 그 예상은 넓게 퍼진 분포라는 것입니다. 파텔이 그 열매가 나노GPT(nanoGPT)에서 나노챗으로 오며 그가 적용한 구조 개선처럼 지난 2-5년 동안 일어난 것과 비슷한 종류인지, 커다란 패러다임 전환은 예상하지 않는지 묻자, 카파시는 대체로 그렇다고 답합니다.

그가 가장 크게 기대하는 것은 데이터의 개선입니다. 평균적인 학습 데이터는 사실 오류와 실수, 말도 안 되는 내용으로 가득해서 어떻게 학습이 되는지 모를 정도로 형편없지만, 규모가 커지면 잡음은 씻겨 나가고 신호 일부가 남습니다. 그는 데이터가 엄청나게 좋아질 것이라고 봅니다. 하드웨어와 그것을 최대한 활용하게 하는 커널도 좋아질 것이며, 엔비디아(NVIDIA)는 텐서 코어(Tensor Core)를 비롯해 하드웨어 자체를 꾸준히 다듬고 있습니다. 최적화와 구조, 모델링의 모든 구성 요소에 걸친 알고리즘도 개선될 것이며, 그는 어느 하나가 지배하지 않고 모든 것이 20%씩 나아지는 모습이 지금까지 자신이 봐 온 대략의 패턴이라고 말합니다.

[관점] 카파시의 설명에서 투자자가 눈여겨볼 대목은 모델이 작아졌다는 사실이 연산 수요의 감소를 뜻하지 않는다는 점입니다. 그의 말대로라면 연구소들은 정해진 컴퓨트 예산을 사전학습에서 강화학습과 중간 학습 같은 후속 단계로 옮겨 배분하고 있을 뿐입니다. 작은 모델이 대부분 증류로 만들어진다는 지적도 같은 방향을 가리키는데, 작은 모델을 얻으려면 먼저 더 크고 좋은 모델이 있어야 하기 때문입니다. 따라서 모델 크기의 축소를 곧바로 AI 인프라 투자가 정점에 이르렀다는 신호로 읽는 것은 성급하며, 연산이 어느 단계에 얼마나 쓰이는지를 따로 살펴야 합니다.

[한국 관점] 카파시의 구상은 한국 정부가 추진하는 독자 AI 파운데이션 모델 프로젝트의 기준과 긴장 관계에 놓일 수 있습니다. 과학기술정보통신부는 독자 모델을 해외 모델을 파인튜닝한 파생형이 아니라 설계부터 사전학습까지 전 과정을 스스로 수행한 모델로 정의했습니다. 2026년 1월 1차 평가에서는 알리바바(Alibaba) 모델의 인코더 가중치를 그대로 쓴 네이버클라우드(Naver Cloud) 팀을 독자성 미달로 판단해 탈락시켰습니다. 카파시의 전망대로 작고 효율적인 모델 대부분이 더 나은 모델에서 증류되어 나온다면, 가장 효율적인 개발 경로와 독자성 요건이 어긋나는 지점이 생길 수 있으며, 해외 모델의 출력으로 데이터를 정제하거나 증류하는 일을 어디까지 독자적이라고 볼지가 또 하나의 쟁점이 될 수 있습니다. 같은 평가가 모델 크기를 포함한 비용 효율성도 따졌다는 점을 고려하면, 한국 팀들에게는 규모 경쟁보다 데이터 정제와 증류의 역량이 더 중요한 승부처가 될 수 있습니다.

AGI는 2% 성장 속에 녹아든다

AGI까지의 거리를 재는 축

파텔은 완전한 AGI를 향해 얼마나 왔는지 그래프로 그리려는 여러 시도를 소개합니다. 어떤 선을 그을 수 있다면, 그 선이 AGI와 만나는 지점이 가로축의 어디인지 볼 수 있기 때문입니다. 한 가지 제안은 교육 수준을 축으로 삼는 것으로, 고등학생 수준이던 모델이 강화학습으로 대학에 갔고 곧 박사 학위를 딸 것이라는 식입니다. 카파시는 이 방식을 좋아하지 않는다고 짧게 답합니다. 또 다른 제안은 작업 수행 시간(time horizon)으로, 사람에게 1분 걸리는 일을 자율적으로 해내던 모델이 1시간, 1주일 걸리는 일로 나아간다는 식인데, 파텔은 어떤 세로축이 적절하다고 보는지 묻습니다.

카파시는 두 가지로 답합니다. 첫째, 그는 질문 자체를 거부하고 싶은 마음이 든다고 말합니다. AI를 컴퓨팅의 연장으로 보는 그에게는, 1970년대 이후 컴퓨팅의 진보를 어떤 세로축으로 그려야 하느냐는 질문과 다르지 않기 때문입니다. 그런 관점에서 보면 질문 전체가 조금 우스꽝스럽다는 것이 그의 반응입니다.

처음의 정의와 첫 번째 양보

둘째, 그는 오픈AI가 출범할 무렵 사람들이 말하던 AGI의 원래 정의로 돌아갑니다. 경제적으로 가치 있는 어떤 과업이든 인간 수준이나 그 이상으로 해내는 시스템이라는 정의입니다. 그는 당시에도 이 정의가 마음에 들었고 지금까지 고수해 왔다고 말합니다. 이후 사람들이 온갖 다른 정의를 만들어 냈지만, 그는 여전히 이 정의를 좋아합니다.

사람들이 늘 처음 하는 양보는 물리적인 일을 모두 빼는 것입니다. 디지털 지식 노동만 이야기하겠다는 것인데, 카파시는 이것이 원래 정의에 비하면 꽤 큰 양보라고 지적합니다. 원래 정의는 인간이 할 수 있는 모든 과업이었고, 사람은 물건을 들어 옮길 수 있지만 AI는 분명히 그러지 못합니다. 그래도 그 양보를 받아들인다면, 지식 노동만 남길 때 경제의 얼마를 덜어 내는 셈인지가 문제가 됩니다.

그는 정확한 수치는 모른다며, 집에서 일하며 과업을 처리할 수 있는 순수한 지식 노동은 대략 10-20%쯤일 것이라고 추측합니다. 그래도 여전히 매우 큰 시장입니다. 경제 전체의 규모를 생각하면 그 10-20%만 해도 미국에서만 수조 달러 규모의 일에 해당하는 거대한 몫이라는 것입니다.

방사선과 의사와 콜센터

정의로 돌아가 그가 살펴보려는 것은 이 정의가 어느 정도까지 실현되었는가입니다. 일자리가 아니라 일자리를 이루는 과업을 기준으로 봐야 하는데, 사회가 무엇을 자동화할 수 있느냐에 따라 과업들을 재편하기 때문에 이 작업은 어렵습니다. 오늘날 어떤 일자리를 AI가 대체할 수 있는지 보여 주는 최근의 좋은 사례는, 방사선과 의사가 사라질 것이라던 힌턴의 예측이 여러 면에서 크게 빗나간 일입니다. 컴퓨터 비전(computer vision)이 영상에서 찾아내야 할 온갖 것을 매우 잘 인식하는데도, 방사선과 의사는 건재하고 오히려 늘고 있습니다. 그 일은 다뤄야 할 접점이 많고 환자를 상대해야 하는 등 맥락이 복잡하게 얽힌, 지저분하고 복잡한 직업이기 때문입니다.

그래서 카파시는 원래의 정의로 보면 AI가 아직 큰 흔적을 남기지 못했다고 봅니다. 다만 그가 주목하는 일자리 가운데는 비교적 일찍 자동화되기 쉬운 특징을 지닌 것들이 있습니다. 자주 거론되는 예가 콜센터 상담원인데, 그는 그럴 만하다고 말합니다. 콜센터 상담원의 일에는 지금의 자동화 수준에 비추어 일을 단순하게 만드는 성질이 여럿 있기 때문입니다.

그 일은 비교적 단순하고, 비슷해 보이는 과업이 연달아 이어집니다. 전화를 받아 10분쯤, 그의 경험으로는 훨씬 더 길게 사람과 대화하고, 정해진 절차에 따라 과업을 처리하며 데이터베이스 항목 몇 개를 고칩니다. 이 일을 거듭 반복하는 것이 그 직업입니다. 여기서 봐야 할 것은 과업 하나를 수행하는 데 걸리는 시간, 그리고 맥락의 범위입니다. 회사의 여러 부서나 다른 고객을 상대할 필요 없이 데이터베이스와 상담원, 응대하는 고객만 있으니, 일이 더 닫혀 있고 이해하기 쉬우며 완전히 디지털이라는 것입니다.

그러나 카파시는 이런 일조차 당장 완전히 자동화되리라 보지 않으며, 여기서도 자율성 슬라이더를 떠올립니다. 그는 AI가 사람을 한 번에 대체하기보다 업무량의 80%를 처리하고 나머지 20%를 사람에게 넘기며, 사람은 비교적 기계적인 콜센터 업무를 하는 AI 다섯 개로 이루어진 팀을 감독하는 모습을 예상합니다. 그래서 아직 완벽하지 않은 AI들을 관리하게 해 주는 새로운 인터페이스나, 그런 층을 제공하는 새로운 회사가 나오는지를 지켜보겠다고 말합니다. 그는 이런 모습이 경제 전반에서 나타나리라 예상하면서도, 많은 직업이 콜센터 상담원보다 훨씬 어렵다는 점을 덧붙입니다.

해설 카파시가 기억하는 AGI 정의는 오픈AI가 2018년 공개한 헌장의 표현과 조금 다릅니다. 헌장은 AGI를 경제적으로 가치 있는 일의 대부분에서 인간을 능가하는 고도로 자율적인 시스템으로 규정했는데, 카파시는 이를 어떤 과업이든 인간 수준 이상으로 해내는 시스템으로 기억합니다. 파텔이 언급한 작업 수행 시간은 평가기관 METR이 2025년 3월 제시한 척도입니다. 사람 전문가에게 일정 시간이 걸리는 과업을 AI가 절반의 확률로 해낼 수 있는 길이를 재며, METR은 이 길이가 약 7개월마다 두 배로 늘어 왔다고 보고했습니다. 힌턴은 2016년 한 강연에서 이제 방사선과 의사 양성을 멈춰야 하며 5년 안에 딥러닝이 더 잘하게 될 것이라고 말한 바 있습니다.

마지막 1%의 가치

파텔은 방사선과 의사의 실제 업무는 전혀 모른다고 전제하면서 비유 하나를 꺼냅니다. 웨이모(Waymo)가 처음 운행할 때는 문제가 크게 생기면 바로 대처할 수 있도록 앞좌석에 사람이 앉아 지켜봐야 했습니다. 지금도 누군가 상황을 감시하고 있으며, 막 운행을 시작한 테슬라의 로보택시(Robotaxi)에도 여전히 사람이 타고 있습니다.

마찬가지로 어떤 일의 99%를 자동화하고 나면, 사람이 해야 하는 마지막 1%가 나머지 전체를 가로막는 병목이 되어 엄청난 가치를 지닐 수 있습니다. 그 1%를 하기 위해 방사선과 의사처럼 오랜 기간 특수한 훈련을 받아야 한다면, 그 사람이 대규모 보급을 가로막는 유일한 병목이므로 임금은 크게 올라야 합니다. 파텔은 방사선과 의사의 임금이 오른 것도 비슷한 이유일 것이라고 봅니다. 마지막 병목이면서 쉽게 대체되지 않는다면 그렇다는 것이고, 웨이모의 안전요원은 다른 사람으로 쉽게 대체될 수 있다는 점에서 다릅니다. 그래서 자동화가 99%에 이를 때까지는 임금이 오르다가 마지막 1%마저 사라지는 순간 곧바로 떨어질 수 있으며, 그는 방사선과나 콜센터 임금에서 이런 현상이 보이는지 궁금해합니다.

카파시는 흥미로운 질문이지만 지금 방사선과에서 그런 현상이 보이지는 않는다고 답합니다. 그는 방사선과가 좋은 사례가 아니라고 보며, 극도로 지저분하고 복잡한 직업인데 왜 힌턴이 하필 방사선과를 지목했는지 모르겠다고 말합니다. 그가 훨씬 관심을 두는 것은 지금 콜센터 상담원에게 일어나는 일인데, 기계적인 업무 상당수는 지금도 자동화할 수 있으리라 보기 때문입니다. 직접 들여다볼 위치는 아니지만, 그는 콜센터 상담원 쪽의 추세를 지켜보겠다고 합니다. 그가 예상하는 것 가운데 하나는 기업들이 AI를 투입했다가 1-2년 안에 다시 물러서서 사람을 재고용하는 모습입니다.

[관점] 파텔이 말한 재고용의 증거로 자주 거론되는 사례가 스웨덴 핀테크 기업 클라르나(Klarna)입니다. 이 회사는 2024년 2월 AI 상담 도구가 상담원 700명분의 일을 한다고 홍보했습니다. 그러나 2025년 5월 최고경영자 세바스티안 시미아트코프스키(Sebastian Siemiatkowski)는 비용 절감에 치우친 탓에 서비스 품질이 떨어졌다고 인정하고 사람 상담원 채용을 재개했습니다. 카파시가 예상한 투입 뒤의 후퇴와 재고용이 대담 이전에 이미 나타난 셈입니다. 이 사례는 파텔의 마지막 1% 논리와도 맞물리는데, 자동화로 처리하기 어려운 복잡한 상담이 사람에게 남을수록 남은 상담원은 회사가 ‘사람과 연결되는 서비스’를 차별점으로 내세울 만큼 중요한 존재가 되기 때문입니다.

범용이라는 AI가 왜 코딩만 하는가

파텔은 AI를 도입한 기업들에서 그런 재고용이 이미 일반적으로 일어나고 있다는 증거가 있다며, 상당히 놀라운 일이라고 말합니다. 그가 더 놀랍다고 보는 것은 따로 있습니다. 물리적 작업을 빼더라도 AGI는 모든 지식 노동을 할 수 있어야 하므로, 컨설턴트의 작은 과업 하나, 회계사의 작은 과업 하나를 덜어 내는 식으로 지식 노동 전반에서 고르게 진행되리라 예상하는 것이 자연스럽다는 것입니다.

그런데 지금의 패러다임이 AGI로 가는 길이라고 믿는다면, 실제 진행은 전혀 그렇지 않습니다. 컨설턴트나 회계사의 생산성이 크게 높아지는 것 같지는 않고, 프로그래머의 일만 점점 더 깎여 나가고 있습니다. 구글 같은 서비스와 비슷한 일반 대화형 매출을 빼고 API 매출만 보면 코딩이 압도적입니다. 어떤 지식 노동이든 해야 할 범용 기술이 압도적으로 코딩만 하고 있다는 것은, AGI가 퍼져 나가는 방식으로는 의외라는 것입니다.

카파시는 흥미로운 지점이라며, 코딩이야말로 LLM과 에이전트에게 완벽한 첫 번째 대상이라고 답합니다. 코딩은 근본적으로 늘 텍스트를 중심으로 돌아갔습니다. 컴퓨터 터미널과 텍스트가 전부이고 모든 것이 텍스트에 기반하는데, 인터넷으로 학습한 LLM은 텍스트를 무척 좋아하는 완벽한 텍스트 처리기이고 관련 데이터도 넘쳐납니다. 둘이 완벽하게 맞아떨어지는 셈입니다.

게다가 코드와 텍스트를 다루는 기반 시설이 이미 많이 갖춰져 있습니다. 비주얼 스튜디오 코드(Visual Studio Code) 같은 통합 개발 환경(IDE)이 코드를 보여 주고, 에이전트는 거기에 연결될 수 있습니다. 에이전트가 무언가를 바꾸면, 변경 내역을 보여 주는 디프(diff)로 코드베이스의 차이를 한눈에 보여 주는 도구도 이미 있습니다. 코드를 위한 기반 시설이 상당 부분 미리 깔려 있는 셈입니다.

그는 이런 혜택을 전혀 누리지 못하는 분야와 대조합니다. 예를 들어 코딩이 아니라 슬라이드 작성을 자동화하려는 사람들이 있고 그런 일을 하는 회사도 봤지만, 이는 훨씬 더 어렵습니다. 슬라이드는 텍스트가 아니라 공간에 배치된 작은 그래픽이고 시각적 요소가 있으며, 미리 갖춰진 기반 시설도 없기 때문입니다. 에이전트가 슬라이드를 고쳤을 때 그 차이를 보여 줄 도구조차 없어서 누군가 그것부터 만들어야 합니다. 텍스트 처리기인 지금의 AI에 잘 맞지 않는 일이 있는 반면, 코드는 의외로 잘 맞는다는 것입니다.

텍스트라고 다 쉬운 것은 아니다

파텔은 그것만으로는 설명이 되지 않는다고 반박합니다. 그는 녹취록을 다시 쓰거나 녹취록에서 클립을 뽑는 것처럼, 순수하게 언어를 넣고 언어를 받는 영역에서 LLM을 쓸모 있게 만들어 보려 했습니다. 좋은 예시를 맥락에 잔뜩 넣어 봤지만, 파인튜닝 같은 방법까지 다 해 본 것은 아니니 자신의 시도가 부족했을 가능성도 인정합니다.

두 사람의 공통 친구인 앤디 마투섁(Andy Matuschak)은 모델이 간격 반복(spaced repetition) 학습용 카드를 잘 만들게 하려고 셀 수 없이 많은 방법을 시도했다고 합니다. 이 역시 언어를 넣고 언어를 받는 과업으로, LLM이 가장 잘해야 할 한가운데에 있는 일입니다. 그는 퓨샷(few-shot) 예시를 이용한 맥락 내 학습, 지도 파인튜닝(supervised fine-tuning), 검색 기반 기법까지 써 봤지만 만족할 만한 카드를 얻지 못했습니다. 파텔은 이처럼 언어 영역에서조차 코딩을 빼면 모델에서 경제적 가치를 많이 끌어내기가 매우 어렵다는 점이 놀랍고, 그 이유를 모르겠다고 말합니다.

카파시는 그 말에 일리가 있다며, 텍스트라면 무엇이든 쉽다는 뜻은 아니었다고 답합니다. 코드는 상당히 구조화되어 있는 반면, 일반 텍스트는 훨씬 장식적이고 엔트로피도 훨씬 크다는 것입니다. 또 코드는 어렵기 때문에 사람들이 간단한 지식 수준에서도 LLM에게서 큰 힘을 얻는다고 느낀다는 점도 덧붙입니다. 다만 그는 이 질문에 아주 좋은 답은 없다고 인정하며, 텍스트라는 점이 일을 훨씬 쉽게 만드는 것은 분명하지만 모든 텍스트 작업이 쉬운 것은 아니라고 정리합니다.

[사후 맥락] 클라르나의 후퇴는 AI를 거둬들이는 것이 아니라 혼합형으로 가는 것이었습니다. 시미아트코프스키는 2025년 11월 3분기 실적 발표에서 AI 상담 도구가 이제 상담원 853명분의 일을 한다고 밝혔고, 쉬운 문의는 AI가 맡고 복잡한 문제는 사람 상담원이 다루는 구조를 이어 가고 있습니다. 대담에서 카파시가 그린 대로, AI가 업무량의 대부분을 처리하고 사람이 나머지와 감독을 맡는 자율성 슬라이더의 중간 지점에 가까운 모습입니다.

초지능

초지능도 자동화의 연장이다

파텔은 초지능이 평범한 인간이나 인간 기업과 질적으로 다르게 느껴질 것으로 보는지 묻습니다. 카파시는 초지능을 사회에서 자동화가 진행되어 가는 흐름의 일부로 본다고 답합니다. 컴퓨팅의 추세를 연장하면 많은 일이 점진적으로 자동화될 것이고, 초지능은 그 연장선에 있다는 것입니다. 그는 시간이 갈수록 디지털 업무의 상당 부분을 처리하는 자율적인 존재가 늘어나고, 얼마 뒤에는 물리적 업무까지 맡게 되리라 예상하며, 대략적으로 말해 그것을 자동화로 본다고 정리합니다.

파텔은 자동화란 인간이 이미 할 수 있는 일을 대신하는 것이지만 초지능은 인간이 못 하는 일을 한다는 뜻이 아니냐고 반문합니다. 카파시는 인간이 하는 일 가운데 하나가 새로운 것을 발명하는 일이며, 자신은 그것도 자동화에 포함시킨다고 답합니다.

이해와 통제를 함께 잃는다

파텔은 더 구체적으로 묻습니다. AI는 생각이 매우 빠르거나, 복사본이 아주 많거나, 복사본들이 다시 하나로 합쳐지거나, 훨씬 똑똑할 수 있는데, 그런 AI들이 사는 문명은 인간 문명과 질적으로 다르게 느껴지지 않겠느냐는 것입니다. 카파시는 그럴 것이라고 답합니다. 본질적으로는 자동화이지만 극도로 낯설고 이상해 보일 것이며, 파텔의 말대로 이 모든 것을 컴퓨터 클러스터에서 훨씬 빠르게 돌릴 수 있다는 것입니다.

그는 그런 세상에서 자신이 걱정하기 시작하는 시나리오가 일어나는 일에 대한 통제력과 이해력을 점진적으로 잃는 것이라고 말합니다. 그리고 이것이 가장 가능성 높은 결말이라고 봅니다. 우리는 이런 것들을 곳곳에 조금씩 겹겹이 쌓아 올릴 것이고, 그것을 이해하는 사람은 점점 줄어들며, 결국 무슨 일이 일어나는지에 대한 통제와 이해를 서서히 잃게 된다는 것입니다.

파텔은 통제를 잃는 것과 이해를 잃는 것이 같은 일인지 분명하지 않다고 파고듭니다. TSMC나 인텔(Intel) 같은 아무 회사의 이사회를 보면 명망 있는 80대 인사들이 앉아 있는데, 그들은 이해도가 매우 낮고 실제로 통제력을 갖고 있지도 않을 수 있습니다. 더 좋은 예는 미국 대통령으로, 대통령은 엄청난 권력을 갖지만 실제 이해 수준은 그 권력의 수준과 전혀 다르다는 것입니다. 카파시는 타당한 반박이라고 인정하면서도, 자신은 둘 다 잃게 되리라 예상한다고 답합니다.

이해를 잃는 것은 분명하다 해도 왜 통제까지 잃느냐고 파텔이 묻자, 카파시는 자신도 어떤 모습일지 모르는 영역이라고 전제합니다. 그가 공상과학 소설을 쓴다면 하나의 존재가 모든 것을 장악하는 이야기가 아닐 것이라고 합니다. 서로 경쟁하는 여러 존재가 점점 더 자율적으로 바뀌고, 그중 일부는 통제를 벗어나며, 나머지가 그것들과 맞서 싸우는 이야기라는 것입니다. 우리가 일을 맡겨 놓은, 완전히 자율적인 활동들이 뒤섞여 끓는 냄비 같은 모습이라고 그는 표현합니다.

파텔은 그렇다면 통제를 잃는 원인이 AI가 우리보다 똑똑하다는 사실이 아니라, AI들이 서로 경쟁하고 그 경쟁에서 생겨나는 결과라는 뜻이냐고 정리합니다. 카파시는 이런 존재들 상당수가 사람을 위한 도구로서 사람을 대신해 행동할 것이라고 답합니다. 그러니 그 사람들은 통제권을 쥐고 있을지 모르지만, 사회 전체로 보면 우리가 원하는 결과라는 의미에서는 통제를 잃는 것일 수 있다는 것입니다. 개인을 대신해 움직이는 존재들이 있지만, 전체로 보면 여전히 통제 밖에 있는 것처럼 보인다는 설명입니다.

우리는 이미 지능 폭발 속에 있다

파텔은 앞서 물었어야 했다며 질문 하나를 꺼냅니다. 지금 AI 엔지니어링이나 연구에서 모델은 사람을 대체하는 존재라기보다 컴파일러 같은 도구에 가깝지만, 언젠가 AGI가 생긴다면 카파시가 하는 일을 할 수 있어야 합니다. 그때 카파시의 복사본 100만 개가 동시에 일한다면 AI 발전이 엄청나게 빨라지지 않겠느냐, 지금의 LLM이 아니라 진짜 AGI가 생긴다면 지능 폭발(intelligence explosion)이 일어나리라 보느냐는 질문입니다.

카파시는 그렇다고 답하면서도, 그것은 평소와 다름없는 일이라고 말합니다. 우리는 이미 수십 년째 지능 폭발 속에 있다는 것입니다. 그는 GDP 곡선을 산업의 수많은 측면을 가중 합산한 지수 곡선으로 봅니다. 모든 것이 점진적으로 자동화되어 왔고, 그것도 수백 년 동안 그래 왔다는 것입니다.

산업혁명은 물리적 요소와 도구 제작 등을 자동화한 것이고, 컴파일러는 초기의 소프트웨어 자동화였습니다. 그래서 그는 우리가 오래전부터 재귀적으로 자기개선하며 폭발해 왔다고 봅니다. 다른 방식으로 보면, 생물학적 작용을 빼고 우주에서 내려다본 지구는 오랫동안 별 변화 없는 꽤 지루한 곳이었습니다. 지금 우리는 폭죽이 터지는 사건의 한가운데 있지만, 그것을 느린 화면으로 보고 있을 뿐이라는 것입니다. 그는 이런 일이 이미 아주 오래전부터 일어나 왔으며, AI를 그 흐름과 구별되는 별개의 기술로 보지 않는다고 말합니다.

GDP에서 AI를 찾을 수 없는 이유

파텔이 이 초지수적(super-exponential) 추세와 연속선상에 있다고 보느냐고 묻자, 카파시는 그렇다고 답합니다. 그래서 그에게 이 문제가 무척 흥미로웠다고 합니다. 그는 한동안 GDP 속에서 AI를 찾으려 했고, AI가 있다면 GDP가 올라가야 한다고 생각했습니다. 그런데 컴퓨터나 휴대전화처럼 엄청난 변화를 가져왔다고 여긴 다른 기술들을 살펴보니, 그것들도 GDP에서는 보이지 않았습니다. GDP는 같은 지수 곡선을 그대로 따라갔다는 것입니다.

예를 들어 초기의 아이폰에는 앱스토어도 없었고 지금의 아이폰이 가진 여러 기능도 없었습니다. 그래서 우리는 아이폰이 나온 2008년 무렵을 거대한 지각 변동의 순간으로 기억하지만, 실제로는 그렇지 않았다고 그는 말합니다. 모든 것이 넓게 퍼져 아주 천천히 확산되기 때문에, 결국 평균을 내면 같은 지수 곡선 안에 녹아든다는 것입니다. 컴퓨터도 마찬가지여서, GDP에서 이제 컴퓨터가 생겼다고 드러나는 지점을 찾을 수 없습니다.

그는 AI에서도 똑같은 일이 벌어질 것이라고 봅니다. AI는 더 많은 자동화일 뿐이며, 전에는 쓸 수 없던 종류의 프로그램을 쓰게 해 주지만 근본적으로는 여전히 프로그램입니다. 새로운 종류의 컴퓨터이자 컴퓨팅 시스템이지만 여러 문제를 안고 있고, 시간을 두고 확산되며, 결국 같은 지수 곡선에 더해질 것이라는 것입니다. 그 지수 곡선은 앞으로 극도로 가팔라질 것이고, 그런 환경에서 사는 것은 매우 낯선 경험이 되리라고 그는 덧붙입니다.

파텔은 그 의미를 확인하려 합니다. 산업혁명 이전부터 지금까지를 보면 성장률이 0%에서 1만 년 전 0.02%로, 그리고 지금의 2%로 올라온 초지수적 추세가 있습니다. 그 그래프에 AI를 올리면 성장률이 20%나 200%로 뛴다는 뜻인지, 아니면 지난 300년 동안 컴퓨터, 전기화, 증기기관, 철도 같은 기술이 잇따라 나와도 성장률은 2%로 똑같았으니 앞으로도 그렇다는 뜻인지 묻습니다. 카파시는 성장률 역시 대체로 일정하게 유지되어 왔다고 답합니다.

파텔은 그것은 지난 200-300년에만 해당하며, 인류사 전체로 보면 성장률은 0%에서 점점 빨라져 산업 폭발로 2%에 이르렀다고 반박합니다. 카파시는 한동안 GDP 곡선에서 AI를 찾으려 했지만 결국 그런 기대가 틀렸다는 결론에 이르렀다고 말합니다. 사람들이 재귀적 자기개선이나 연구소의 자동화를 이야기할 때도, 그에게는 그것이 평소와 다름없는 일이라는 것입니다. 물론 AI는 재귀적으로 자기개선할 것이고, 지금까지도 그래 왔습니다.

LLM은 엔지니어들이 다음 세대 LLM을 훨씬 효율적으로 만들 수 있게 해 주고, 더 많은 구성 요소가 자동화되고 조정되고 있습니다. 모든 엔지니어가 구글 검색을 쓸 수 있게 된 것도, 통합 개발 환경을 쓰게 된 것도, 자동완성이나 클로드 코드를 쓰게 된 것도 모두 같은 전체적 가속의 일부라는 것입니다. 그에게 이 흐름은 그저 아주 매끄럽습니다. 파텔이 결국 성장률은 바뀌지 않으며, 인터넷이 그랬듯 지능 폭발도 2% 성장 궤도를 유지하게 해 주는 형태로 나타난다는 뜻이냐고 정리하자, 카파시는 같은 패턴이 이어지리라 예상한다고 답합니다.

해설 카파시가 말하는 점진적 통제 상실은 2025년 1월 얀 쿨베이트(Jan Kulveit) 등이 발표한 「Gradual Disempowerment」의 문제의식과 닮았습니다. 이 논문은 극적인 장악 사건이 없더라도 경제, 문화, 국가가 인간의 참여에 덜 의존하게 되면서 인간의 영향력이 서서히 줄어들 수 있다고 경고했습니다. 하나의 초지능이 아니라 경쟁하는 여러 자율적 존재가 사회 전체의 통제를 흐린다는 카파시의 그림과 같은 방향입니다.

파텔이 언급한 성장률 숫자는 경제사학자들이 재구성한 장기 추세와 대체로 일치합니다. 산업혁명 이전 수천 년 동안 1인당 소득은 거의 늘지 않았고, 19세기 이후 선진국의 1인당 실질 소득은 연 2% 안팎으로 꾸준히 늘었습니다. 뒤이어 카파시가 쓰는 데이터센터 속 천재들이라는 표현은 다리오 아모데이(Dario Amodei)가 2024년 「Machines of Loving Grace」에서 강력한 AI를 설명하며 쓴 데이터센터 속 천재들의 나라(a country of geniuses in a datacenter)를 겨냥한 것으로 보입니다.

노동 그 자체라는 반론

파텔은 반대 논리를 내세워 봅니다. 그는 성장률이 폭발적으로 오르리라 예상하는데, 진짜 AGI는 LLM 코딩 봇이 아니라 서버 속에서 실제로 인간을 대체하는 존재이고, 다른 생산성 향상 기술과 질적으로 다르다고 보기 때문입니다. AGI는 노동 그 자체라는 것입니다. 그는 우리가 노동에 크게 제약받는 세상에 산다고 말합니다. 스타트업 창업자든 누구든 무엇이 더 필요하냐고 물으면 정말 유능한 사람이 필요하다고 답할 것이고, 발명하고 스스로 경제에 녹아들며 회사를 처음부터 끝까지 세우는 사람이 수십억 명 더 생긴다면 그것은 단일 기술과는 질적으로 다르며, 지구에 사람이 100억 명 더 생기는 것과 같다는 것입니다.

카파시는 이 문제에 대해 어느 쪽으로든 설득될 의향이 있다고 전제하며 반론을 내놓습니다. 그는 컴퓨팅도 노동이었다고 말합니다. 사람이 필요 없을 만큼 디지털 정보 처리를 자동화하면서 컴퓨터는 많은 일자리를 없앴고, 그런 의미에서 컴퓨터는 노동이었으며 그 영향은 이미 나타났습니다. 자율주행도 컴퓨터가 노동을 하는 사례이고 이미 진행 중이지만, 여전히 평소와 다름없는 일이라는 것입니다.

파텔은 그런 것을 잠재적으로 더 빠른 속도로 쏟아 내는 기계가 생기는 것이라고 맞섭니다. 역사적으로 성장률이 0.2%에서 2%로 바뀐 것처럼 성장의 국면이 달라진 사례가 있으니, 다음 자율주행차와 다음 인터넷을 쏟아 내는 기계가 그런 변화를 일으킬 가능성은 충분하다는 것입니다.

상자 속의 신은 없다

카파시는 그 생각이 어디서 오는지 이해한다고 답합니다. 하지만 사람들이 상자 속에 신이 있어 이제 무엇이든 할 수 있다고 가정하는데, 실제로는 그런 모습이 아닐 것이라고 말합니다. AI는 어떤 일은 해내고 어떤 일은 실패할 것이며, 점진적으로 사회에 투입되어 결국 같은 패턴을 그리게 되리라는 것이 그의 예측입니다. 갑자기 완전히 지능적이고 유연하며 범용적인 인간이 상자 속에 생겨 사회의 아무 문제에나 투입할 수 있게 되는, 그런 불연속적인 변화는 오지 않을 것이라고 그는 봅니다. 대신 산업 전반에 걸쳐 같은 종류의 점진적 확산이 일어나리라는 것입니다.

파텔은 이런 논의에서 지능이라는 말이 오해를 부른다고 말합니다. 지능이라고 하면 서버 하나에 초지능이 앉아 새로운 기술과 발명을 점쳐 내 폭발을 일으키는 장면을 떠올리게 되지만, 그가 20% 성장을 상상할 때 떠올리는 것은 그런 모습이 아닙니다. 그가 떠올리는 것은 아주 똑똑하고 인간과 비슷한 정신 수십억 개이며, 필요한 것도 그것뿐이라는 것입니다. 수억, 수십억 개의 정신이 각자 새 제품을 만들고 스스로 경제에 녹아드는 방법을 찾아낸다는 것입니다.

그는 경험 많고 똑똑한 이민자가 오면 그 사람을 경제에 어떻게 통합할지 우리가 고민할 필요가 없다는 예를 듭니다. 그들은 스스로 방법을 찾아 회사를 세우거나, 발명을 하거나, 세상의 생산성을 높입니다. 지금의 체제에서도 10-20% 성장을 이룬 곳들이 있습니다. 사람은 많은데 사람에 비해 자본이 적은 경우, 홍콩이나 선전처럼 수십 년 동안 10% 넘게 성장할 수 있었습니다. 불연속이 생긴 뒤 자원을 활용해 따라잡을 준비가 된 똑똑한 사람이 많았기 때문이며, 파텔은 AI도 비슷할 수 있다고 봅니다.

카파시는 이해한다면서도, 파텔이 여전히 어떤 불연속적 도약을 전제하고 있다고 지적합니다. 우리가 손에 넣기만을 기다리는 어떤 잠금 해제가 있고, 그것이 풀리면 갑자기 데이터센터 속에 천재들이 생긴다는 전제입니다. 그는 그런 불연속적 도약에는 역사적 선례가 없고 어떤 통계에서도 찾을 수 없으며, 아마 일어나지 않을 것이라고 봅니다.

산업혁명이라는 선례

파텔은 산업혁명이 바로 그런 도약이었다고 반박합니다. 성장률이 0.2%에서 2%로 뛰었으니, 그와 같은 도약이 한 번 더 일어날 것이라는 게 자신의 주장이라는 것입니다. 카파시는 조금 의심스럽다며 직접 살펴봐야 할 것 같다고 답합니다. 예컨대 산업혁명 이전의 기록은 그다지 좋지 않을 수 있다는 것입니다. 그는 강한 의견은 없다면서, 파텔의 주장은 산업혁명이 극도로 마법 같은 단일한 사건이었고 그와 똑같이 마법 같은 사건이 다시 와서 패러다임을 깨뜨린다는 것으로 들린다고 말합니다.

파텔은 오히려 반대라고 답합니다. 산업혁명의 핵심은 마법 같지 않았다는 데 있다는 것입니다. 1770년이나 1870년을 확대해 보면 결정적인 발명 하나가 있었던 것이 아닙니다. 그런데도 경제는 진보가 훨씬 빠른 국면으로 옮겨 갔고 지수 곡선의 기울기가 10배가 되었다는 것이며, 그는 AI도 결정적인 발명이 이루어지는 단일한 순간 없이 비슷한 일을 일으킬 것이라고 봅니다.

카파시는 그것을 쌓여 있던 잠재 수요가 풀려나는 일로 정리합니다. 새로운 에너지원이 생기는 것처럼 무언가가 잠금 해제되는 것이고, 이번에는 그것이 일종의 인지 능력이며, 해야 할 인지 작업이 쌓여 있다는 것입니다. 파텔은 그렇다고 답합니다. 카파시는 파텔이 이 새로운 기술이 문턱을 넘는 순간 그 쌓인 일이 채워지리라 기대하는 것이라고 정리합니다.

파텔은 한 가지 사고방식을 덧붙입니다. 역사적으로 성장의 상당 부분은 사람들이 아이디어를 내고 다른 사람들이 그 아이디어를 실행해 가치 있는 결과물을 만드는 데서 나왔고, 그 시기 대부분 동안 인구가 폭발적으로 늘면서 성장을 이끌었습니다. 지난 50년 동안 성장이 정체되었다는 주장이 있는데, 같은 기간 선진국 인구도 정체되었습니다. 그는 AI가 인구의 지수적 증가를 되살리고, 그것이 산출의 초지수적 증가로 이어지리라 봅니다. 카파시는 판단하기 정말 어렵다며, 그 관점을 이해는 하지만 직관적으로 그렇게 느껴지지는 않는다고 답합니다.

[반론] 성장률이 크게 오를 수 있다는 파텔 쪽 입장은 경제학과 AI 예측 분야에서도 진지하게 논의되어 왔습니다. 연구기관 Epoch AI의 에게 에르딜(Ege Erdil)과 타마이 베시로을루(Tamay Besiroglu)는 2023년 논문 「Explosive growth from AI automation: A review of the arguments」에서, AI가 인간 노동을 폭넓게 대체할 수 있게 되면 연 30%를 넘는 폭발적 성장이 이번 세기 안에 일어날 가능성을 진지하게 고려해야 한다고 주장했습니다. 이들의 논리는 노동이 자본처럼 늘릴 수 있는 생산요소가 되면, 아이디어와 산출이 서로를 키우는 고리가 인구 증가가 이끌던 과거의 가속을 되살린다는 것으로, 파텔이 대담에서 편 논리와 같은 뼈대입니다. 반면 카파시는 그런 대체가 한 번에 오지 않고 점진적 확산의 형태로 나타날 것이기에, 성장 국면의 전환을 기대할 근거가 통계에 없다고 봅니다.

[한국 관점] 파텔이 든 따라잡기 성장의 예에는 한국도 들어갈 수 있습니다. 한국은 자본은 부족하지만 교육받은 노동력이 풍부한 조건에서 수십 년 동안 고도성장을 이어 간 대표적 사례입니다. 그런데 지금의 한국은 그 조건이 거꾸로 뒤집혀, 합계출산율이 2024년 0.75명으로 세계 최저 수준이고 생산가능인구는 줄어드는 국면에 들어섰습니다. 그래서 AI를 노동 그 자체로 보는 파텔의 관점과 AI를 자동화의 연장으로 보는 카파시의 관점 사이의 차이는 한국에서 특히 무겁게 다가옵니다. 파텔의 말이 맞다면 AI는 줄어드는 노동력을 메우는 새로운 노동 공급원이 될 수 있지만, 카파시의 말이 맞다면 AI는 기존 추세를 유지하는 정도에 그쳐 인구 감소의 충격을 상쇄하기에는 부족할 수 있습니다.

지능과 문화의 진화

지능의 진화는 드문 사건인가

파텔은 카파시의 추천으로 닉 레인의 책을 읽었고, 무척 흥미로워 레인을 직접 인터뷰했다고 말합니다. 그는 지능과 진화의 역사에 관해 묻습니다. 카파시는 20년 가까이 AI를 연구하며 지능이 무엇이고 그것을 만들려면 무엇이 필요한지 더 손에 잡히게 알게 되었을 텐데, 그 결과 진화가 저절로 지능에 이르렀다는 사실이 더 놀라워졌는지 덜 놀라워졌는지 궁금하다는 것입니다.

카파시는 레인의 책을 무척 좋아하며, 이곳에 오는 길에도 레인이 출연한 회차를 듣고 있었다고 말합니다. 지능의 진화에 대해서는, 그것이 아주 최근의 일이라는 점에서 지능이 진화했다는 사실 자체가 놀랍다고 답합니다. 그는 지구와 비슷한 행성이 1,000개 있다면 각각 어떤 모습일지 상상해 보는 것을 즐긴다고 합니다. 레인은 생명의 초기 단계에 대해, 대부분의 행성에 대략 비슷한 생명체, 즉 세균 같은 것이 있으리라 보며 그 사이에 몇 번의 결정적인 고비가 있다고 설명했습니다. 카파시는 직관적으로 지능의 진화가 꽤 드문 사건이어야 할 것 같다고 느낍니다.

그는 어떤 단계가 얼마나 오래 머물렀는지를 기준으로 삼아 볼 수 있다고 말합니다. 세균은 지구 역사의 아주 이른 시기에 나타났는데 20억 년 동안 아무 일도 일어나지 않았다면, 진핵생물로 넘어가는 일은 아마 매우 어려웠을 것입니다. 반면 뛰어다니고 기어 다니는 다세포 동물은 수억 년쯤 존재해 왔고 이는 지구 수명의 10% 정도이니, 그 시간 척도에서 보면 지능에 이르는 것이 그렇게 까다롭지 않았을 수도 있습니다. 그래도 직관적으로는 여전히 놀랍다고 그는 말합니다. 그는 동물 같은 생명체들이 동물다운 일만 하는 세상을 예상했을 것이며, 문화와 지식을 만들어 내고 쌓아 가는 존재가 나왔다는 사실이 놀랍다는 것입니다.

파텔은 흥미로운 후속 질문이 있다며 서튼의 관점을 다시 꺼냅니다. 서튼은 지능의 핵심이 동물의 지능이라고 보며, 다람쥐 수준에 이르면 AGI까지 대부분 온 셈이라고 말한 바 있습니다. 파텔은 우리가 6억 년 전 캄브리아기 대폭발 직후에 다람쥐 수준의 지능에 이르렀고, 그 대폭발을 촉발한 것은 그 무렵의 산소화 사건으로 보인다고 말합니다. 환경에 산소가 생기자마자 다람쥐 지능을 만드는 알고리즘이 바로 나타났다면, 동물의 지능은 생각보다 금방 생겨난 것이라는 뜻입니다. 진화가 우연히 그렇게 빨리 그 알고리즘을 찾아냈을 수도 있지만, 그는 이것이 지능의 알고리즘이 결국 꽤 단순하다는 뜻일지 모르겠다고 묻습니다.

카파시는 이런 문제는 무엇이든 판단하기가 정말 어렵다고 답합니다. 어떤 것이 얼마나 오래 존재했는지, 또는 얼마나 오래 병목에 갇혀 있었는지를 근거로 조금은 추론해 볼 수 있다는 것입니다. 레인은 세균과 고세균에서 나타난 뚜렷한 병목을 아주 잘 설명하는데, 20억 년 동안 생화학적으로는 극도로 다양했으면서도 동물로 자라난 것은 하나도 없었습니다. 카파시는 동물과 지능 사이에서 그와 똑같은 병목을 본 것 같지는 않다고 말합니다.

그는 지능이 독립적으로 몇 번이나 생겨났는지를 기준으로 볼 수도 있다고 제안합니다. 파텔이 연구해 볼 만한 주제라고 하자, 카파시는 생각 하나를 덧붙입니다. 사람과(hominid)의 지능이 있고 새의 지능이 있는데, 까마귀 같은 새들은 극도로 영리하지만 뇌의 구성은 우리와 상당히 달라 공통점이 많지 않습니다. 이는 지능이 여러 번 따로 생겨났을 가능성을 조금이나마 보여 주는 것이며, 그렇다면 지능이 생각보다 자주 나타난다고 볼 수도 있다는 것입니다.

해설 닉 레인은 영국의 생화학자로, 『The Vital Question』 등의 책에서 세균과 고세균이 20억 년 가까이 단순한 형태에 머문 이유를 에너지의 제약으로 설명했습니다. 그는 한 세포가 다른 세포를 받아들여 미토콘드리아가 된 단 한 번의 공생 사건이 이 병목을 뚫고 복잡한 진핵생물을 낳았다고 봅니다. 카파시가 말하는 병목은 이 설명을 가리킵니다.

파텔의 연대에는 덧붙일 점이 있습니다. 원문이 연결한 대산화 사건은 약 24억 년 전의 일이고, 캄브리아기 대폭발 직전의 산소 증가는 신원생대 산소화 사건으로 따로 구분합니다. 또 캄브리아기에 복잡한 신경계를 가진 동물이 대거 등장한 것은 맞지만, 다람쥐 같은 포유류의 뇌는 그보다 수억 년 뒤에 나타났습니다.

지능을 보상하는 틈새

파텔은 이전 출연자인 그원(Gwern)과 칼 슐먼(Carl Shulman)이 이 문제에 대해 흥미로운 지적을 했다고 소개합니다. 인간과 영장류가 가진 확장 가능한 뇌 알고리즘은 새에게서도, 어쩌면 다른 곳에서도 생겨났다는 것입니다. 다만 인간은 지능이 조금씩 높아질 때마다 보상을 주는 진화적 틈새를 찾아냈고, 동시에 그런 지능 향상을 실현할 확장 가능한 뇌 알고리즘도 갖고 있었습니다. 예를 들어 새는 뇌가 커지면 날 수가 없어 땅으로 떨어질 것입니다. 새는 뇌 크기에 비해 매우 영리하지만 뇌가 커지는 것을 보상하는 틈새에 있지 않다는 것입니다.

카파시가 돌고래도 비슷하냐고 묻자, 파텔은 바로 그렇다고 답합니다. 반면 인간은 도구 사용법을 익히면 보상을 받는 손을 가졌고, 소화의 일부를 몸 밖으로 넘겨 더 많은 에너지를 뇌에 쓸 수 있었으며, 그것이 선순환을 일으켰다는 것입니다.

카파시는 다룰 재료가 있었다는 점도 덧붙입니다. 자신이 돌고래라면 훨씬 어려웠을 것이라고 짐작합니다. 물속에서는 불을 쓸 수 없고, 화학적으로 보더라도 물속에서 할 수 있는 일의 범위는 땅 위보다 좁았을 것이라는 이유입니다. 그는 이런 틈새와 진화가 무엇을 보상하느냐는 관점에 동의하면서도, 여전히 기적처럼 느껴진다고 말합니다. 그는 진화가 근육이 더 큰 동물 쪽에서 멈춰 버렸으리라 예상했을 것이고, 지능 쪽으로 넘어간 것은 정말 흥미로운 분기점이라는 것입니다.

시험 시점에 배워야 하는 환경

파텔은 그원이 이것이 어려웠던 이유를 이렇게 설명했다고 전합니다. 무언가를 배우는 것이 너무 중요해서 그 회로를 DNA에 직접 새겨 넣는 편이 나은 상황과, 아예 배울 가치가 없을 만큼 덜 중요한 상황 사이의 경계선이 매우 좁다는 것입니다. 지능이 생기려면 평생에 걸쳐 배우는 알고리즘을 만드는 쪽에 보상이 주어지는 상황이어야 한다는 설명입니다.

카파시는 바로 그렇다며, 일종의 적응력에 보상이 주어져야 한다고 답합니다. 진화가 알고리즘을 가중치에 미리 새겨 넣을 수 없도록 예측할 수 없는 환경이 필요하다는 것입니다. 이런 의미에서 많은 동물은 능력이 미리 구워져 나오지만, 인간은 태어난 뒤 시험 시점에 스스로 알아내야 합니다. 어떤 것이 잘 통할지 미리 내다볼 수 없을 만큼 빠르게 바뀌는 환경이 필요하고, 그런 환경에서는 시험 시점에 알아내도록 지능을 만들어 낸다는 것이 그의 설명입니다.

LLM에게는 문화가 없다

파텔은 퀸틴 포프(Quintin Pope)의 흥미로운 블로그 글을 소개합니다. 포프가 빠른 이륙(sharp takeoff)을 예상하지 않는 이유는 인간이 이미 한 번 빠른 이륙을 겪었기 때문입니다. 6만 년 전쯤 인간은 이미 지금과 같은 인지 구조를 가졌던 것으로 보이지만, 농업혁명은 1만 년 전에야 일어났고 그 뒤에 근대가 왔습니다. 그 사이 5만 년 동안 일어난 일은, 여러 세대에 걸쳐 지식을 쌓아 갈 수 있는 문화라는 비계를 세우는 것이었습니다.

파텔은 AI 학습 방식에서는 이 능력이 거저 주어진다고 지적합니다. 많은 경우 모델은 문자 그대로 증류되고, 새 모델을 학습시킬 때 서로를 이용하거나 같은 사전학습 말뭉치를 쓸 수 있어 처음부터 다시 시작할 필요가 없습니다. 인간이 이 문화의 고리를 돌리기까지 오랜 시간이 걸렸던 것과 달리, LLM 학습에서는 그것이 공짜로 따라온다는 것입니다.

카파시는 그렇기도 하고 아니기도 하다고 답합니다. LLM에게는 문화에 해당하는 것이 사실상 없기 때문입니다. 어쩌면 우리가 너무 많은 것을 줘 버려서 스스로 문화를 만들 유인을 없애고 있는지도 모른다고 그는 말합니다. 문화를 만들어 내고, 기록을 남기고, 서로 메모를 주고받는 것에 해당하는 일이 지금의 LLM에는 없다는 것입니다. 그는 LLM에게 아직 문화가 없다는 점을 걸림돌 가운데 하나로 꼽습니다.

파텔이 LLM의 문화가 어떤 모습일지 묻자, 카파시는 가장 단순한 형태로 LLM이 고쳐 쓸 수 있는 거대한 메모장을 듭니다. 무언가를 읽거나 일을 도우면서 그 메모장을 자기 자신을 위해 고쳐 나가는 것입니다. 그는 LLM이 다른 LLM을 위해 책을 쓰지 못할 이유가 무엇이냐고 반문합니다. 다른 LLM들이 그 책을 읽고 영감을 얻거나 충격을 받으면 멋질 텐데, 지금은 그런 것에 해당하는 것이 전혀 없다는 것입니다.

파텔이 그런 일이 언제쯤 일어나리라 보는지, 그리고 멀티 에이전트 시스템(multi-agent system)과 독립적인 AI 문명이나 문화에 대해서는 어떻게 보는지 묻습니다. 카파시는 멀티 에이전트 영역에 아직 누구도 제대로 손에 넣지 못한 강력한 아이디어가 두 가지 있다고 답합니다. 첫째는 문화, 곧 LLM이 스스로의 목적을 위해 지식의 목록을 계속 늘려 가는 것입니다.

둘째는 자가 대국(self-play)이라는 아이디어로, 그는 이것이 매우 강력하다고 봅니다. 진화에서는 경쟁이 지능을 이끈 큰 동력이었고, 더 알고리즘적인 예로는 바둑에서 자기 자신과 대국하며 실력을 끌어올린 알파고(AlphaGo)가 있습니다. 아직 자가 대국을 하는 LLM에 해당하는 것은 없지만, 그는 그런 것도 나타나리라 예상합니다. 예컨대 한 LLM이 다른 LLM이 풀 문제를 만들어 내고, 문제를 내는 쪽은 점점 더 어려운 문제를 내려 애쓰는 식으로 구성할 수 있다는 것입니다.

그는 이를 조직하는 방법은 여러 가지가 있겠지만 아직 연구의 영역이며, 이 두 가지 멀티 에이전트 개선을 설득력 있게 실현한 사례는 보지 못했다고 말합니다. 지금은 대부분 개별 에이전트 하나의 영역에 머물러 있지만 이것도 바뀔 것이라고 봅니다. 그는 문화의 영역에 조직도 포함시키는데, 조직에 해당하는 것 역시 아직 설득력 있게 나타나지 않았으며 그래서 우리는 아직 초기 단계라고 말합니다.

해설 카파시가 예로 든 알파고는 2016년 3월 서울에서 이세돌 9단을 4승 1패로 꺾은 딥마인드의 바둑 프로그램입니다. 첫 알파고는 사람의 기보로 먼저 학습한 뒤 자가 대국으로 실력을 키웠고, 2017년 공개된 알파고 제로는 사람의 기보 없이 자가 대국만으로 이전 버전을 넘어섰습니다. 이후 같은 방식은 체스와 쇼기까지 다루는 알파제로로 이어졌습니다. 카파시가 LLM에 없다고 지적하는 것은 이처럼 스스로 상대를 만들어 끝없이 난이도를 높여 가는 학습 구조입니다.

아직 유치원생인 모델

파텔은 LLM 사이의 이런 협업을 가로막는 핵심 병목이 무엇인지 묻습니다. 카파시는 이번에도 들어맞을 이유가 없는 비유가 놀랍게도 들어맞는다며 답합니다. 작은 모델, 덜 똑똑한 모델은 신기하게도 유치원생이나 초등학생, 고등학생을 닮았고, 우리는 아직 이것들이 일을 넘겨받을 만큼 졸업시키지 못했다는 것입니다. 그는 클로드 코드나 코덱스가 여전히 초등학생처럼 느껴진다고 말합니다. 박사 수준의 시험 문제를 풀 수 있다는 것은 알지만, 인지적으로는 여전히 유치원생이나 초등학생 같다는 것입니다.

그래서 그는 지금의 모델이 문화를 만들 수 없다고 봅니다. 아직 아이들이기 때문입니다. 모든 것을 완벽하게 기억하고 겉보기에 그럴듯한 온갖 결과물을 설득력 있게 만들어 내는 천재 아이들이지만, 자기가 무엇을 하는지 제대로 알지 못한다는 것입니다. 우리가 아직 채워야 할 작은 체크 표시들에 걸쳐 인지 능력을 갖추지 못했다는 것이 그의 진단입니다.

[사후 맥락] 카파시가 아직 아무도 손에 넣지 못했다고 한 두 아이디어 가운데, 문화와 조직 쪽은 대담 뒤 그 자신의 실험 대상이 되었습니다. 2026년 3월 오토리서치를 공개한 직후 그는 다음 단계로 에이전트 사이의 대규모 비동기 협업을 제시했습니다. 밤새 돌린 실험 결과를 에이전트가 요약해 공유 토론 공간에 올리게 하는 시도도 했습니다. 여러 에이전트로 조직을 꾸리는 실험을 하며, 이제는 조직 자체를 프로그래밍하는 단계라는 취지로 설명하기도 했습니다. 대담에서 말한 LLM끼리 메모장을 공유하고 서로의 기록을 읽는 문화의 초기 형태를 직접 시험해 본 셈입니다.

자율주행은 왜 그렇게 오래 걸렸나

아직 끝나지 않은 10년

파텔은 카파시가 2017년부터 2022년까지 테슬라에서 자율주행을 이끌며, 멋진 데모 단계에서 수천 대의 차가 실제로 스스로 달리는 단계까지의 진전을 직접 지켜봤다고 소개합니다. 그러고는 그 과정이 왜 10년이나 걸렸는지, 그동안 무슨 일이 있었는지 묻습니다.

카파시는 곧바로 반박부터 하겠다며, 자율주행은 끝나려면 아직 멀었다고 말합니다. 그는 자율주행이 자신의 직관 상당수를 만들어 준 분야라고 합니다. 5년을 쏟았기 때문이며, 이 분야에는 긴 역사가 있습니다. 자율주행의 첫 데모는 1980년대까지 거슬러 올라가는데, 1986년 카네기멜런대학교(CMU)에서 트럭이 스스로 도로를 달리는 데모를 볼 수 있었습니다.

그가 테슬라에 합류할 무렵에는 웨이모의 아주 초기 데모를 타 본 적도 있습니다. 2014년쯤 그곳에서 일하던 친구 덕분에 탄 차가 팰로앨토 주변을 완벽하게 달렸습니다. 그는 10년 전에 이미 완벽한 주행을 경험했기에 거의 다 왔다고 생각했지만, 그 뒤로도 오랜 시간이 걸렸습니다.

데모와 제품 사이, 아홉의 행진

카파시는 어떤 과업이나 직업에서는 데모와 제품 사이의 간극이 매우 크다고 봅니다. 데모는 아주 쉽지만 제품은 아주 어렵다는 것입니다. 자율주행처럼 실패의 비용이 너무 큰 분야에서 특히 그렇습니다. 많은 산업과 과업에는 이런 성질이 없지만, 이런 성질이 있는 분야라면 시간표가 확실히 길어집니다.

그는 시간이 오래 걸리는 이유를 아홉의 행진(march of nines)으로 설명합니다. 신뢰도 숫자에 9를 하나 더 붙일 때마다 매번 같은 양의 노력이 든다는 것입니다. 데모에서 무언가가 90%의 확률로 작동하면 그것은 첫 번째 9에 불과합니다. 그다음에는 두 번째, 세 번째, 네 번째, 다섯 번째 9가 필요합니다. 그는 테슬라에 있던 5년 동안 9를 두세 개쯤 거쳤을 것이며, 정확히 몇 개인지는 모르지만 아직 더 가야 할 9가 남아 있다고 말합니다.

이 경험 때문에 그는 데모에 전혀 감동하지 않는다고 말합니다. 누군가 미리 준비해 보여 주기만 하는 데모가 가장 나쁘고, 직접 만져 볼 수 있는 데모는 조금 낫지만, 그래도 끝난 것은 아닙니다. 실제 제품이 되어야 하고, 제품은 현실과 부딪히면서 온갖 문제와 손봐야 할 예외 상황을 만나게 됩니다. 그는 AI에서도 이런 일이 모두 펼쳐질 것이라고 봅니다. 데모는 고무적이지만 여전히 할 일이 엄청나게 많으며, 이 점이 자신의 시간표를 더 길게 굳혀 주었다고 말합니다.

소프트웨어도 실패 비용이 크다

카파시는 소프트웨어 공학에도 이런 성질이 있다고 봅니다. 바이브 코딩 대부분에는 해당하지 않지만, 실제 상용 수준의 코드를 쓴다면 이 성질이 있어야 한다는 것입니다. 어떤 실수든 보안 취약점으로 이어질 수 있고, 그러면 수백만, 수억 명의 주민번호 같은 개인정보가 유출될 수 있습니다. 자율주행에서는 일이 잘못되면 사람이 다칠 수 있고 그보다 더 나쁜 결과도 있지만, 소프트웨어에서는 일이 얼마나 끔찍해질 수 있는지에 사실상 한계가 없다고 그는 말합니다. 그래서 두 분야가 같은 성질을 공유하며, 웃고 즐기는 바이브 코딩이 아니라면 소프트웨어도 안전이 결정적인 분야라는 것입니다.

파텔은 소프트웨어에 필요한 안전 보장이 자율주행과 다르지 않다는 말이 무척 흥미롭다고 반응합니다. 흔히 자율주행이 오래 걸린 이유로 실패 비용을 듭니다. 인간 운전자는 평균 40만 마일, 대략 7년에 한 번 실수를 하는데, 적어도 7년 동안 실수하지 않는 코딩 에이전트를 내놓아야 한다면 훨씬 배포하기 어려울 것이라는 이야기입니다. 그런데 파텔은 카파시의 말이 더 날카롭다고 봅니다. 중요한 시스템을 망가뜨리는 치명적인 코딩 실수를 7년에 한 번만 해야 한다는 기준을 토큰으로 따지면 7년이지만, 에이전트는 쉬지 않고 코드를 쏟아 내니 실제 시간으로는 그보다 훨씬 짧은 간격이 된다는 것입니다.

카파시는 어떤 면에서는 소프트웨어 쪽이 훨씬 어려운 문제라고 답합니다. 자율주행은 사람이 하는 수천 가지 일 가운데 하나, 거의 단일한 수직 분야인 반면, 일반적인 소프트웨어 공학은 다뤄야 할 표면적이 훨씬 넓다는 것입니다.

LLM이 공짜로 주는 것과 주지 않는 것

파텔은 이 비유에 대해 사람들이 제기하는 또 다른 반론을 소개합니다. 자율주행에 걸린 시간의 상당 부분은 견고한 기본 인식, 표현 학습, 그리고 분포에서 조금 벗어난 상황에도 일반화할 수 있는 상식을 갖춘 모델을 만드는 데 들었다는 것입니다. 누군가 도로에서 손을 흔들어 차를 세우면, 따로 학습시키지 않아도 어떻게 반응할지 어느 정도 이해하는 능력 같은 것입니다. 지금은 LLM이나 시각 언어 모델(VLM)이 이런 능력을 거저 주니 이런 기초적인 표현 문제를 풀 필요가 없습니다. 그러니 여러 분야에 AI를 배포하는 일은 지금의 모델로 자율주행차를 새 도시에 투입하는 것과 비슷하고, 어렵기는 해도 10년짜리 과업은 아니라는 것입니다.

카파시는 그 말에 완전히 동의하는지 확신하지 못한다고 답합니다. 우리가 정말 얼마나 많은 것을 거저 얻고 있는지 모르겠고, 얻고 있는 것에도 이해의 빈틈이 많다는 것입니다. 하나의 존재 안에서 더 일반화된 지능을 얻고 있는 것은 분명하다고 그는 인정합니다. 반면 자율주행은 매우 특수한 목적의 과업이어서, 대규모로 하는 더 일반적인 작업에서 자연스럽게 따라 나오지 않는다는 점에서 어떤 의미로는 더 어려울 수도 있습니다. 그래도 그는 LLM이 여전히 실수가 잦고 채워야 할 빈틈이 많으며, 완전히 마법 같은 일반화를 상자에서 꺼내 바로 얻는 것은 아니라고 봅니다.

보이지 않는 곳으로 옮겨진 사람

카파시는 처음에 꺼냈던 이야기로 돌아갑니다. 자율주행은 아직 전혀 끝나지 않았다는 것입니다. 배포 규모는 여전히 아주 작습니다.

웨이모조차 차량이 매우 적은데, 대략 말하면 경제성이 없기 때문입니다. 미래에 속하는 것을 만들어 그 미래를 현재로 당겨 왔지만, 그 대가로 경제성을 포기해야 했다는 것입니다. 차량의 운행과 유지에 드는 한계비용뿐 아니라 전체 시스템을 세우는 설비투자까지 생각하면, 경제성을 확보하는 일은 여전히 고된 길이 될 것이라고 그는 봅니다.

그는 운전석이 비어 있는 차를 보며 받는 인상도 다소 착시라고 말합니다. 실제로는 이 차들과 연결된 정교한 운영 센터가 있고, 사람이 고리 안에 생각보다 많이 들어가 있다는 것입니다. 그 규모를 정확히 알지는 못하지만, 어딘가에서 사람들이 원격으로 접속해 있습니다. 그들이 운전에 늘 개입하는지는 모르지만 적어도 일부 상황에는 관여하며, 어떤 의미에서 우리는 사람을 없앤 것이 아니라 보이지 않는 곳으로 옮긴 것이라고 그는 말합니다.

또 파텔의 말처럼 환경에서 환경으로 옮겨 가는 데도 여전히 작업이 필요하다고 봅니다. 자율주행을 현실로 만드는 데는 아직 과제가 남아 있지만, 원격 조종이 대부분이 아니라면 이제 진짜처럼 느껴지는 문턱은 확실히 넘었다는 데 그는 동의합니다. 예를 들어 웨이모가 도시의 모든 구역에 가지 못하는데, 그는 신호가 잘 잡히지 않는 구역 때문일 것이라고 짐작하다가 이내 자신은 그 기술 스택을 전혀 모르니 지어낸 이야기일 뿐이라고 덧붙입니다.

파텔이 테슬라에서 5년이나 자율주행을 이끈 사람이 할 말이냐고 농담하자, 카파시는 웨이모의 구체적인 사정은 모른다며 사과합니다. 그는 웨이모를 무척 좋아하고 자주 탄다고 말합니다. 다만 사람들이 진전에 대해 때로 너무 순진하게 생각하며 여전히 할 일이 엄청나게 많다는 것을 말하고 싶었을 뿐이라는 것입니다.

그는 자신이 보기에 테슬라가 훨씬 확장성 있는 접근을 택했고, 팀이 매우 잘하고 있다고 말합니다. 그는 이 일이 어떻게 흘러갈지 공개적으로 예측한 바 있다며, 웨이모는 많은 센서를 차에 실을 수 있어 일찍 출발할 수 있었지만 결국에는 테슬라의 전략에 훨씬 가까운 모습이 되리라고 봅니다. 그러면서 이것은 아직 더 지켜봐야 할 일이라고 덧붙입니다.

결국 그는 자율주행을 10년이 걸린 일로 말하고 싶지 않다고 정리합니다. 아직 끝나지 않았기 때문이며, 파텔의 말대로 시작은 10년 전이 아니라 1980년대였고 끝은 아직 오지 않았다는 것입니다. 그에게 자율주행의 완성은 대규모로 운행되어 사람들이 운전면허를 딸 필요조차 없어지는 상태를 뜻합니다.

[이해관계] 테슬라와 웨이모의 접근을 비교하는 이 대목에서 카파시는 한쪽을 직접 설계한 당사자입니다. 그는 2017년부터 2022년까지 테슬라의 AI 조직과 오토파일럿 비전 팀을 이끌었고, 테슬라는 그의 재임 중이던 2021년 레이더를 빼고 카메라만으로 주행 환경을 인식하는 방식으로 전환했습니다. 라이다를 비롯한 여러 센서를 쓰는 웨이모 방식보다 테슬라 방식이 결국 더 확장성 있다는 그의 판단은, 그 전략을 만든 사람의 판단으로 읽어야 합니다. 그 스스로도 이것이 이미 공개적으로 밝혀 온 예측이라고 말합니다.

비트와 원자, 그리고 나머지 모든 것

파텔은 이 비유가 다를 수 있는 점 두 가지를 더 짚습니다. 그가 이 문제에 특히 관심을 두는 이유는 AI가 얼마나 빨리 배포되고 초기에 얼마나 가치 있을지가 지금 세상에서 가장 중요한 질문일 수 있다고 보기 때문입니다. 2030년이 어떤 모습일지 그려 보려면 이 질문을 이해해야 한다는 것입니다.

첫째는 지연 시간 요건입니다. 자율주행 모델은 실제 크기는 모르지만 아마 수천만 개 매개변수 정도일 텐데, 그 제약은 아마 반응 속도 때문입니다. 반면 LLM으로 하는 지식 노동에는 그런 제약이 필수적이지 않으며, 컴퓨터 사용 같은 경우에는 예외일 수 있습니다. 둘째, 더 중요하게는 설비투자 문제가 다릅니다.

모델의 복사본을 하나 더 띄우는 데도 비용이 들지만, 한 세션의 운영비는 상당히 낮습니다. 추론 스케일링이 어떻게 전개되느냐에 따라 다르겠지만 AI의 비용은 상당 부분 학습 단계에 분산해 둘 수 있으며, 모델 인스턴스 하나를 더 쓰려고 차를 한 대 더 만드는 것과는 비교할 수 없다는 것입니다. 그래서 더 넓게 배포하는 경제성이 훨씬 유리하다는 게 파텔의 주장입니다.

카파시는 맞는 말이라고 답합니다. 비트의 영역에 머문다면 비트는 물리적 세계에 닿는 무엇보다 100만 배는 쉽다는 것입니다. 비트는 완전히 바꿀 수 있고 아주 빠른 속도로 마음대로 재배치할 수 있으니, 산업에서의 적응도 훨씬 빠르리라 예상할 수 있습니다. 지연 시간에 대해서도 대체로 맞다고 하면서, 다만 지식 노동을 대규모로 한다면 엄청난 양의 연산을 만들어 서비스해야 하므로 현실적으로는 어느 정도 지연 시간 요건이 생길 것이라고 덧붙입니다.

마지막으로 그가 꼭 짚고 싶은 것은 나머지 모든 것입니다. 사회는 이것을 어떻게 받아들이는지, 법적으로는 어떤 함의가 있고 어떻게 작동하는지, 보험은 어떻게 되는지, 그리고 그 밖의 여러 층위가 있습니다. 사람들이 웨이모 위에 교통 콘을 올려 세워 버리는 일에 해당하는 것이 AI에도 생길 것이라고 그는 말합니다. 그에게 자율주행은 여러 가지를 빌려 올 수 있는 아주 좋은 비유입니다. AI에서 차에 올린 콘에 해당하는 것은 무엇인지, 숨어 있는 원격 조종 노동자에 해당하는 것은 무엇인지, 거의 모든 측면에서 대응물을 찾아볼 수 있다는 것입니다.

과잉 투자인가

파텔은 지금의 AI 인프라 구축이 1-2년 안에 세계의 가용 연산을 10배로, 이 10년이 끝날 무렵에는 100배 넘게 늘릴 것이라고 말합니다. 그리고 AI의 사용이 일부 사람들의 순진한 예측보다 적다면 연산을 과잉으로 짓고 있는 것인지, 아니면 별개의 문제인지 묻습니다.

카파시는 철도 같은 일이 있었다고 답하고, 통신 산업도 역사적 선례로 듭니다. 10년 뒤에야 본격적으로 쓰일 인터넷을 위해 미리 길을 깔다가 1990년대 말 통신 산업에 거품이 생겼다는 것입니다. 그는 자신이 매우 비관적으로 들린다는 것을 안다면서, 실은 낙관적이라고 말합니다. 이것이 결국 작동할 것이고 풀 수 있는 문제라고 보기 때문입니다.

그가 비관적으로 들리는 것은 X의 타임라인에서 전혀 말이 안 되는 이야기들을 보기 때문입니다. 그런 이야기가 나오는 데는 여러 이유가 있겠지만, 그는 솔직히 상당 부분이 투자 유치와 유인 구조 때문이라고 봅니다. 인터넷에서 관심을 돈으로 바꾸려는 움직임도 많다는 것입니다. 그는 자신이 그런 것들에 반응하고 있을 뿐이며, 전체적으로는 이 기술에 매우 낙관적이라고 말합니다. 우리는 이 모든 문제를 헤쳐 나갈 것이고, 지금까지도 진전은 빨랐다는 것입니다.

그는 과잉 투자가 있다고 보지도 않습니다. 그가 이해하는 한 지금 짓고 있는 것은 충분히 소진될 것이라는 이유입니다. 클로드 코드나 오픈AI의 코덱스 같은 것은 1년 전에는 존재하지도 않았고, 이처럼 없던 기적 같은 기술이 생겨났으니 ChatGPT에서 이미 보듯 엄청난 수요가 생길 것이라고 봅니다. 그가 반응하는 대상은 사람들이 계속 잘못 내놓는 아주 빠른 시간표들입니다. 그는 AI 분야에 있던 15년 동안 매우 평판 좋은 사람들이 이런 예측을 거듭 틀리는 것을 수없이 봐 왔습니다.

그래서 그는 우리가 제대로 보정된 시각을 갖기를 바란다고 말합니다. 이런 질문들 가운데 일부는 지정학적 파장 같은 것으로도 이어지며, 그는 사람들이 그런 영역에서 실수하지 않기를 바랍니다. 결국 그가 원하는 것은 기술이 무엇이고 무엇이 아닌지라는 현실에 발을 딛는 것이라고 정리합니다.

[관점] 카파시가 든 1990년대 말 통신 산업의 사례는 기술의 성패와 투자의 성패가 따로 갈 수 있음을 보여 줍니다. 당시 통신 사업자들은 인터넷 수요를 앞질러 광섬유망을 대거 깔았고, 거품이 꺼진 뒤 상당수가 파산했습니다. 그러나 그때 깔린 망은 이후 인터넷이 폭발적으로 성장하는 기반이 되었습니다. 카파시가 과잉 투자는 없을 것이라고 보면서도 이 사례를 꺼낸 데에는, 결국 수요가 따라오더라도 그 시점이 늦어지면 먼저 투자한 쪽이 비용을 치를 수 있다는 함의가 있습니다. 앞서 본 연산 배분의 변화까지 함께 고려하면, 투자자에게 중요한 질문은 수요의 유무가 아니라 수요가 도착하는 시점과 그 사이의 자금 부담입니다.

[사후 맥락] 대담 이후 자율주행의 배포 속도는 크게 빨라졌습니다. 웨이모는 2026년 3월 미국 10개 도시에서 주당 유료 운행 50만 회를 달성했다고 밝혔고, 2026년 말까지 주당 100만 회를 목표로 내걸었습니다. 같은 해 초에는 1,260억 달러의 기업가치로 160억 달러를 조달했으며, 운행 차량은 약 3,000대입니다. 테슬라는 2026년 1월 오스틴에서 차 안에 안전요원이 없는 로보택시 운행을 시작했지만, 일부 매체는 이 차량들을 안전요원이 탄 차가 뒤따르고 있다고 보도했습니다. 카파시가 말한 보이지 않는 곳으로 옮겨진 사람이 여전히 남아 있다는 지적과 맞닿는 대목입니다.

교육의 미래

왜 연구소가 아니라 교육인가

파텔은 교육과 유레카에 관해 묻습니다. 카파시라면 새 AI 연구소를 세워 앞서 말한 문제들을 직접 풀 수도 있을 텐데, 왜 AI 연구가 아니라 교육을 택했는지 궁금하다는 것입니다.

카파시는 AI 연구소들이 하는 일에 어느 정도 정해진 흐름 같은 것이 느껴진다고 답합니다. 그곳에서 도울 수는 있겠지만, 자신이 그 일을 남다르게 개선할 수 있을지는 모르겠다는 것입니다. 그가 개인적으로 가장 크게 두려워하는 것은 이 모든 일이 인류의 곁에서 따로 일어나 인류가 힘을 잃게 되는 미래입니다. 그는 AI가 완전히 자율적으로 지어 올릴 다이슨 구(Dyson sphere)들에만 관심이 있는 것이 아니라 인간에게 무슨 일이 일어나는지에 관심이 있으며, 이 미래에서 인간이 잘 살기를 바랍니다. 프런티어 연구소에서 점진적인 개선을 보태는 것보다 이쪽에서 훨씬 더 고유한 가치를 더할 수 있다고 느낀다는 것입니다.

그가 가장 두려워하는 모습은 영화 「WALL-E」나 「Idiocracy」에 그려진 것처럼 인류가 이 모든 일의 가장자리로 밀려나는 미래입니다. 그는 이 미래에서 인간이 훨씬, 훨씬 더 나아지기를 바라며, 그것을 이룰 수 있는 길이 교육이라고 봅니다.

스타플릿 아카데미

파텔이 그곳에서 무엇을 만들고 있는지 묻자, 카파시는 유레카가 만들려는 것을 가장 쉽게 설명하면 스타플릿 아카데미라고 답합니다. 「스타트렉」에 나오는 스타플릿 아카데미는 최첨단 기술을 다루는 엘리트 기관으로, 우주선을 만들고 그 우주선을 조종할 생도들을 길러 냅니다. 그는 기술 지식을 위한 엘리트 기관, 즉 아주 최신의 내용을 가르치는 최고 수준의 학교를 떠올린다고 말합니다.

한국어 튜터가 세운 기준

파텔은 기술적, 과학적 내용을 잘 가르치는 법을 묻습니다. 카파시가 그 분야의 세계적 대가이니, 이미 유튜브에 올린 콘텐츠에 대해 어떻게 생각하는지, 그리고 유레카에서는 무엇이 다른지 궁금하다는 것입니다.

카파시는 AI가 곁에 있게 되면서 교육이 꽤 근본적으로 바뀔 것이고, 어느 정도는 재설계되어야 한다고 봅니다. 다만 아직은 초기 단계라고 말합니다. 많은 사람이 뻔한 것을 시도할 것입니다.

LLM을 두고 질문을 던지는 것처럼, 지금 프롬프트로 할 수 있는 기본적인 일들입니다. 그는 그것이 도움은 되지만 여전히 조금 조잡하게 느껴진다고 말합니다. 그는 제대로 하고 싶고, 그가 원하는 것을 해낼 능력은 아직 갖춰지지 않았다는 것입니다.

그가 원하는 것은 진짜 튜터의 경험이며, 최근의 한국어 공부가 대표적인 예입니다. 그는 처음에 인터넷으로 혼자 한국어를 공부했고, 다음에는 한국에서 열 명쯤이 선생님 한 명과 함께 배우는 작은 반에 들어갔는데, 그 경험이 무척 재미있었다고 합니다. 그 뒤에는 일대일 튜터로 바꿨습니다. 그는 정말 좋은 튜터를 만났고, 그 튜터가 해 준 일과 그 경험이 얼마나 대단했는지를 되짚어 보며 자신이 결국 만들고 싶은 것의 기준이 얼마나 높은지 깨달았다고 말합니다.

그 튜터는 아주 짧은 대화만으로 그가 학생으로서 어디쯤 있는지, 무엇을 알고 무엇을 모르는지 곧바로 파악했습니다. 그의 세계 모델을 이해하기 위해 정확히 필요한 질문을 던질 줄 알았습니다. 그는 지금의 LLM 가운데 이것을 완벽하게 해내는 것은 하나도 없으며, 근처에도 못 간다고 말합니다. 좋은 튜터라면 할 수 있는 일입니다. 튜터는 그의 상태를 이해하고 나면 지금 그의 능력 범위에 꼭 맞는 것을 내놓았습니다.

그는 늘 적절한 수준의 도전을 받아야 하며, 너무 어렵거나 너무 쉬운 것을 마주해서는 안 된다고 말합니다. 좋은 튜터는 바로 그 적절한 것을 내놓는 데 능합니다. 그래서 그는 배움에 대한 제약이 오직 자기 자신뿐이라고 느꼈습니다. 늘 완벽한 정보가 주어졌고, 지식을 찾지 못하거나 설명이 엉성해서가 아니라 그저 자신의 암기력 같은 것만이 걸림돌이었습니다. 그는 그 느낌이 좋았다고 하며, 사람들이 바로 이런 경험을 하기를 바란다고 말합니다.

아직은 AI를 쓰지 말라고 말할 때

이것을 어떻게 자동화하느냐는 파텔의 질문에, 카파시는 지금의 능력으로는 할 수 없다는 것이 좋은 답이라고 말합니다. 그래서 그는 지금이 이런 AI 튜터를 만들 적기가 아니라고 봅니다. 여전히 쓸모 있는 제품이고 많은 사람이 만들겠지만, 기준은 너무 높고 능력은 아직 거기에 미치지 못한다는 것입니다. 그는 지금도 ChatGPT가 매우 가치 있는 교육 제품이라고 인정하면서도, 그 튜터와 함께 있을 때 기준이 얼마나 높은지 보고 매료되었고 도저히 이것을 만들 수는 없겠다고 느꼈다고 말합니다.

파텔이 그래도 만들고 있지 않느냐고 하자, 카파시는 정말 좋은 튜터를 만나 본 사람이라면 누구나 이것을 어떻게 만들 수 있을지 의아해할 것이라고 답합니다. 그래서 그는 그 능력이 갖춰지기를 기다리고 있다는 것입니다. 그는 컴퓨터 비전 분야에서 AI 컨설팅을 하던 시절을 떠올립니다. 그가 기업에 준 가치의 상당 부분은 AI를 쓰지 말라고 말해 주는 일이었습니다. AI 전문가로 불려 가 문제를 듣고는 AI를 쓰지 말라고 말하는 것이 그의 기여였다는 것입니다.

그는 지금 교육도 마찬가지라고 느낍니다. 그가 생각하는 것을 하기에는 아직 때가 아니지만, 그때는 올 것이라는 것입니다. 그래서 당분간은 물리적인 요소와 디지털 요소를 함께 갖춘, 조금 더 전통적으로 보이는 것을 만들고 있다고 합니다. 그래도 미래에 이것이 어떤 모습이어야 할지는 분명하다고 그는 말합니다.

지식으로 가는 경사로

파텔이 올해나 내년에 무엇이 나오기를 바라는지 묻자, 카파시는 첫 번째 강좌를 만들고 있다고 답합니다. 그는 AI를 배우려면 당연히 찾아가야 할 최고 수준의 강좌를 만들고 싶어 하며, 자신이 잘 아는 분야이기 때문에 AI를 택했다고 합니다. 앞서 언급된 나노챗은 그가 만들고 있는 LLM101N 강좌의 마지막 종합 과제입니다. 이제 그 사이의 중간 단계들을 만들어야 하고, 조교 몇 명으로 작은 팀을 꾸려 강좌 전체를 완성해야 한다고 그는 설명합니다.

그는 하나 덧붙입니다. 사람들은 교육을 지식을 퍼뜨리는 부드러운 일 정도로 생각하는 경우가 많지만, 그가 생각하는 교육은 매우 어렵고 기술적인 일이라는 것입니다. 그에게 교육이란 지식으로 가는 경사로를 만드는 어렵고 기술적인 과정입니다. 나노챗은 아주 단순화한 전체 스택이라는 점에서 그런 경사로입니다. 이 결과물을 누군가에게 주고 살펴보게 하면 엄청나게 많은 것을 배우게 된다는 것입니다.

그는 이것을 초당 유레카(Eurekas per second), 곧 초당 이해의 양이라고 부르며 그것을 최대한 많이 주고 싶다고 말합니다. 그래서 그에게 교육은 이런 경사로를 어떻게 만드느냐는 기술적 문제입니다. 그는 유레카가 어떤 의미에서는 프런티어 연구소들이 하는 일과 그리 다르지 않다고 봅니다. 사람들이 결코 막히지 않도록 너무 어렵지도 너무 쉽지도 않은 경사로를 아주 효율적으로 만드는 방법을 찾아내고, 진도를 나가는 데 꼭 맞는 자료를 늘 제공하고 싶다는 것입니다.

사람과 AI의 협업, 그다음

파텔은 단기적으로는 튜터가 학생의 이해를 짚어 주는 대신, 스스로를 점검할 만큼 자기 인식이 있는 학생이라면 조교나 LLM과 이야기하고 참조 구현을 보며 답을 찾을 수 있겠다고 정리합니다. 그렇다면 지금까지 자동화나 AI는 그리 중요하지 않고, 진짜 강점은 강좌 자료에 담긴 카파시의 설명 능력이라는 뜻이냐고 묻습니다.

카파시는 늘 업계에 실제로 존재하는 능력에 맞춰 자신을 보정해야 한다고 답합니다. 많은 사람이 그냥 ChatGPT에 물어보는 쪽을 추구할 것입니다. 하지만 지금 ChatGPT에 AI를 가르쳐 달라고 하면 조잡한 결과물만 나올 것이고, AI는 지금 나노챗 같은 것을 쓰지 못합니다. 나노챗은 매우 쓸모 있는 중간 지점이며, 그는 이 자료를 만드는 데 AI와 협업하고 있으니 AI는 여전히 근본적으로 큰 도움이 된다고 말합니다.

그는 예전에 스탠퍼드대학교(Stanford University)에서 CS231n을 만들었습니다. 그것은 스탠퍼드의 첫 딥러닝 강좌였고 매우 인기를 끌었습니다. 그는 그때 CS231n을 만들던 경험과 지금 LLM101N을 만드는 경험의 차이가 아주 뚜렷하다고 말합니다.

지금 있는 LLM 덕분에 큰 힘을 얻는다고 느끼지만, 그 자신은 여전히 고리 안에 깊이 들어가 있다는 것입니다. LLM이 작은 자료를 만들고 지루한 일을 대신해 주어 강좌를 훨씬 빨리 만들고 있지만, 내용을 창의적으로 만들어 내는 단계에는 아직 이르지 못해 그 일은 여전히 그가 한다는 설명입니다. 그래서 까다로운 점은 늘 지금 존재하는 능력에 자신을 맞추는 일이라는 것입니다.

파텔은 그렇다면 몇 년 뒤 유레카의 큰 병목은 분야마다 자신의 이해를 이런 경사로로 바꿔 낼 수 있는 카파시 같은 사람을 찾는 일이 아니냐고 묻습니다. 카파시는 그것이 시간이 지나며 바뀔 것이라고 답합니다. 지금은 AI와 손잡고 일할 교수진과 팀을 꾸려 최고 수준의 강좌를 만드는 단계입니다. 시간이 지나면 일부 조교가 AI로 바뀔 수 있고, 강좌 자료 전체를 바탕으로 학생의 기초적인 질문에 답하는 아주 좋은 자동 조교를 둘 수 있을 것입니다. 그래도 강좌의 전체 구조를 짜고 그것이 잘 맞물리게 하는 데는 교수진이 필요하며, 언젠가는 AI가 설계 대부분을 그보다 훨씬 잘하게 되어 그가 별 쓸모가 없어질 수도 있지만 그렇게 되기까지는 시간이 걸릴 것이라고 봅니다.

파텔이 다른 분야의 전문가들이 강좌를 기여하게 되는지, 아니면 칸 아카데미(Khan Academy)의 모든 영상을 살 칸(Sal Khan)이 직접 설명하듯 카파시가 직접 내용을 설계하는 것이 비전의 핵심인지 묻습니다. 카파시는 자신이 전문가가 아닌 분야가 있으니 교수진을 고용할 것이라고 답합니다. 결국 학생에게 최고 수준의 경험을 주려면 그 방법밖에 없다는 것이며, 자신은 한동안 AI 분야에 머물 것이라고 합니다.

그는 지금의 능력을 고려해 사람들이 예상하는 것보다 더 전통적인 것을 염두에 두고 있다고 말합니다. 스타플릿 아카데미를 만든다면 물리적 기관을 떠올립니다. 사람들이 직접 와서 전일제로 처음부터 끝까지 자료를 함께 해 나가며 확실히 이해하게 하는 것이 물리적 제공 형태입니다. 그보다 한 단계 아래에는 디지털 제공 형태가 있어, 인터넷의 여러 자료와 LLM 조수 같은 것으로 이루어집니다. 그것은 조금 더 장난감 같고 한 단계 낮은 경험이지만, 적어도 80억 명 모두가 접근할 수 있다는 것입니다.

[이해관계] 이 절에서 카파시는 자신의 사업을 설명하고 있습니다. 대담 당시 그는 유레카랩스의 창업자였고, 지금은 AI 튜터를 만들 때가 아니라는 판단과 전통적인 강좌부터 만들겠다는 계획은 그 회사의 전략이기도 합니다. 그가 당시 다른 교육 서비스들이 쉽게 시도하는 프롬프트 기반 튜터를 조잡하다고 평가하는 대목도, 경쟁 제품과 자신의 접근을 구분하는 발언으로 읽을 수 있습니다. 그는 2026년 5월 앤트로픽에 합류하면서 교육 일을 잠시 미뤄 두었고, 때가 되면 다시 하겠다고 밝혔습니다.

AGI 이전의 교육은 쓸모, 이후의 교육은 즐거움

파텔은 카파시가 지금의 도구로 대학을 원리부터 다시 발명하면서, 자료에 정말 몰두하려는 동기와 관심을 가진 사람들을 골라내고 있는 것 같다고 말합니다. 카파시는 교육뿐 아니라 재교육도 많이 필요해질 것이며, 일자리가 꽤 크게 바뀔 테니 그 부분에서 돕고 싶다고 답합니다. 예를 들어 지금 많은 사람이 특히 AI 분야에서 역량을 키우려 하고 있으니, AI는 이런 의미에서 가르치기에 정말 좋은 첫 강좌라는 것입니다.

동기 문제에 대해 그는 AGI 이전에는 답이 아주 단순하다고 말합니다. 사람들은 돈을 벌고 싶어 하고, 오늘날 산업에서 돈을 버는 방법이 이것이기 때문입니다. AGI 이후는 아마 훨씬 흥미로울 것입니다. 모든 것이 자동화되어 누구에게도 할 일이 없다면 왜 학교에 가겠느냐는 질문이 생기기 때문입니다. 그래서 그는 AGI 이전의 교육은 쓸모 있고 AGI 이후의 교육은 즐겁다고 자주 말한다고 합니다.

그는 오늘날의 헬스장에 빗댑니다. 무거운 물건을 옮기는 일은 기계가 하니 이제 사람의 체력이 필요하지 않지만, 사람들은 여전히 헬스장에 갑니다. 재미있고, 건강에 좋고, 복근이 생기면 보기 좋기 때문입니다. 그는 인류에게 이것이 아주 깊은 심리적, 진화적 의미에서 매력적이라고 말하며, 교육도 같은 식으로 흘러가리라 봅니다. 헬스장에 가듯 학교에 가게 되리라는 것입니다.

그는 지금 배우는 사람이 많지 않은 이유가 배움이 어렵기 때문이라고 말합니다. 자료에 부딪혀 튕겨 나가고, 일부는 그 장벽을 넘지만 대부분에게는 어렵습니다. 그는 이것이 풀어야 할 기술적 문제이며, 한국어를 배울 때 튜터가 그에게 해 준 일을 해내는 것도 기술적 문제라고 봅니다. 풀 수 있고 만들 수 있으며 누군가 만들어야 한다는 것입니다. 그렇게 되면 무엇이든 배우는 일이 쉽고 바람직해져 사람들이 재미로 배우게 될 것이며, 아무 지식에나 그런 튜터가 있다면 무엇이든 훨씬 쉽게 배울 수 있으니 사람들은 헬스장에 가는 것과 같은 이유로 그렇게 할 것이라고 그는 말합니다.

해설 카파시가 일대일 튜터에게서 받은 인상은 교육학에서 잘 알려진 연구 결과와 겹칩니다. 교육심리학자 벤저민 블룸(Benjamin Bloom)은 1984년, 일대일 개인 지도를 받은 학생의 성취가 일반 교실 수업을 받은 학생보다 표준편차 2만큼 높았다는 결과를 정리하며 이를 2시그마 문제라고 불렀습니다. 개인 지도가 이토록 효과적인데 모든 학생에게 제공하기에는 너무 비싸다는 것이 문제의 핵심이었고, AI 튜터는 오래전부터 그 해법 후보로 거론되어 왔습니다.

파텔이 바로 뒤에서 언급하는 컬처 세계는 이언 M. 뱅크스(Iain M. Banks)의 공상과학 연작 「컬처」 시리즈를 가리킵니다. 고도로 발달한 AI 정신들이 사실상 문명을 운영하고, 인간은 결핍 없는 풍요 속에서 여가와 자기 계발을 누리는 사회로 그려집니다.

인지의 올림픽

파텔은 그 말이 다르게 들린다고 지적합니다. AGI 이후의 교육을 오락이나 자기 계발로 본다면, 교육이 인류가 AI를 통제할 수 있게 해 준다는 앞선 비전과는 다르지 않느냐는 것입니다. 어떤 사람에게는 오락이고 다른 사람에게는 힘을 얻는 수단이라는 뜻인지 그는 묻습니다.

카파시는 결국에는 어느 정도 지는 게임이라고 솔직하게 말합니다. 장기적으로는 그렇다는 것인데, 그 장기는 업계 대부분이 생각하는 것보다 길다고 봅니다. 그래도 그는 사람이 훨씬 멀리 갈 수 있으며, 우리는 인간이 얼마나 멀리 갈 수 있는지의 표면만 겨우 긁었다고 말합니다.

사람들이 너무 쉽거나 너무 어려운 자료에 부딪혀 튕겨 나가기 때문이라는 것입니다. 그는 누구나 다섯 개 언어를 하고, 학부 기본 교과 과정 전체를 아는 세상을 떠올립니다. 그것이 너무 쉬워지니 안 할 이유가 없다는 것입니다.

파텔은 이제 비전이 이해된다며 헬스장 문화에 완벽한 비유가 있다고 말합니다. 100년 전에는 근육이 울퉁불퉁한 사람이 거의 없었고, 벤치프레스로 원판 두세 장을 거뜬히 드는 사람도 없었지만, 지금은 아주 흔합니다. 헬스장에서 체계적으로 훈련하거나 마라톤을 뛰기 위해 체계적으로 연습하면, 대부분의 사람이 원래 갖지 못한 능력을 얻게 됩니다. 카파시는 그와 비슷한 일이 여러 분야의 배움에서 훨씬 더 깊고 빠르게 일어나는 것을 상상하고 있다는 것입니다.

카파시는 바로 그렇다며, 자신이 암묵적으로 인간 본성의 변하지 않는 면에 조금 내기를 걸고 있다고 말합니다. 이런 것들을 해내는 일은 앞으로도 바람직하게 여겨질 것이고, 사람들은 수천 년 동안 그래 왔듯 그런 사람을 우러러볼 것이라고 봅니다. 그는 역사적 근거도 어느 정도 있다고 말합니다. 귀족이나 고대 그리스처럼, 어떤 의미에서 AGI 이후와 비슷하게 생계의 압박에서 벗어난 작은 환경이 있을 때마다, 사람들은 신체적으로든 인지적으로든 많은 시간을 들여 꽃피웠다는 것입니다. 그래서 그는 이 전망에 대해 비교적 마음이 놓인다고 합니다.

그는 자신의 생각이 틀려 「WALL-E」나 「Idiocracy」 같은 미래가 온다면, 다이슨 구가 있든 없든 상관없다고 말합니다. 그것은 끔찍한 결말이며, 그는 인류를 정말 아낀다는 것입니다. 모든 사람이 어떤 의미에서는 초인이 되어야 한다고 그는 말합니다.

파텔은 그래도 그 세계는 결국 컬처 세계와 같지 않느냐고 묻습니다. 자신의 노동이나 인지만으로는 기술의 궤적을 바꾸거나 결정에 영향을 줄 수 없는 세계라는 것입니다. AI가 승인을 구하니 결정에 영향을 줄 수는 있겠지만, 내가 무언가를 발명하거나 새로운 설계를 내놓아 미래에 진짜 영향을 주는 것은 아니라는 지적입니다.

카파시는 그럴 수도 있다고 답합니다. 실제로 많은 것을 이해한다면 우리가 고리 안에 남아 일을 진전시킬 수 있는 과도기는 있을 것이라고 봅니다. 장기적으로는 그것이 아마 사라지겠지만, 그때는 배움이 일종의 스포츠가 될 수도 있다는 것입니다. 지금도 한 방향으로 극한까지 가는 역도 선수들이 있으니, 인지의 시대에 역도에 해당하는 것은 지식을 올림픽처럼 겨루는 사람들일지 모른다고 그는 말합니다. 완벽한 AI 튜터가 있다면 사람은 극도로 멀리 갈 수 있으며, 오늘날의 천재들도 인간의 정신이 할 수 있는 일의 표면만 겨우 긁고 있다는 것이 그의 생각입니다.

파텔은 이 비전이 정말 마음에 든다며, 매주 새로운 주제를 배워야 하는 자신이야말로 이 제품과 가장 잘 맞는 사람일 것이라고 말합니다. 카파시도 마찬가지라고 답합니다. 많은 사람이 학교를 싫어하고 빨리 벗어나고 싶어 하지만, 그는 학교를 정말 좋아했고 배우는 것을 좋아해 계속 학교에 남고 싶었다고 합니다. 박사 과정까지 머물렀다가 더 있게 해 주지 않아서 산업계로 갔다는 것입니다. 그는 배움 자체를 위해 배우는 것도 좋아하지만, 배움이 힘을 얻고 쓸모 있고 생산적인 사람이 되는 방법이기 때문에도 좋아한다고 말합니다.

파텔은 카파시가 미묘하지만 중요한 점을 짚었다며 정리합니다. 지금까지의 온라인 강좌가 모든 사람이 모든 것을 알게 해 주지 못한 이유는 동기의 부담이 너무 크기 때문입니다. 분명한 진입로가 없고 막히기가 너무 쉽다는 것입니다. 정말 좋은 인간 튜터 같은 것이 있다면, 동기의 측면에서 엄청난 돌파구가 될 것이라고 그는 봅니다.

카파시는 그렇다고 답합니다. 자료에서 튕겨 나가는 경험은 기분이 나쁩니다. 어떤 일에 시간을 쏟았는데 성과가 없으면 부정적인 보상을 받게 되고, 받는 것이 너무 쉽거나 너무 어려우면 완전히 지루해집니다. 제대로만 하면 배움은 기분 좋은 일이며, 그렇게 만드는 것은 기술적 문제라는 것입니다. 한동안은 AI와 사람의 협업이 될 것이고, 언젠가는 AI만으로 가능해질 수도 있다고 그는 말합니다.

물리학이 머리를 깨운다

파텔은 가르치는 법에 관해 묻습니다. 카파시가 유튜브에 만든 것 같은 강의를 다른 분야의 교육자가 만들고 싶어 한다면 어떤 조언을 하겠느냐는 것입니다. 특히 코드를 짜게 하는 식으로 기술적 이해를 확인할 수 없는 분야에 대한 조언이 궁금하다고 합니다.

카파시는 꽤 넓은 주제라며, 자신이 반쯤 무의식적으로 쓰는 요령이 10-20가지쯤 있을 것이라고 말합니다. 큰 틀에서는 많은 부분이 물리학 공부에서 왔다고 합니다. 그는 물리학 공부를 정말 즐겼고, 모든 사람이 학교 초기 교육에서 물리학을 배워야 한다는 지론이 있습니다. 초기 학교 교육의 목적은 나중에 산업에서 쓸 지식이나 기억을 쌓는 것이 아니라 뇌를 깨우는 데 있으며, 물리학이 그 일을 가장 잘한다는 것입니다.

물리학을 배우며 머릿속에서 하게 되는 일들은 나중에 매우 귀중해진다고 그는 말합니다. 모델과 추상화를 만드는 법, 계의 대부분을 설명하는 1차 근사가 있고 그다음에 있을 수도 없을 수도 있는 2차, 3차 항이 있다는 이해가 그렇습니다. 아주 잡음 많은 계를 관찰하면서도 그 밑에 걸러 낼 수 있는 근본 진동수가 있다는 생각도 그렇습니다. 물리학자가 강의실에 들어와 소를 구로 가정하자고 말하면 모두 웃지만, 그것은 실제로 산업 전반에 일반화할 수 있는 뛰어난 사고라는 것입니다.

그는 이런 생각을 잘 보여 주는 책으로 물리학자가 생물학을 다룬 『Scale』을 추천합니다. 동물을 흥미롭게 근사해 동물의 크기에 따른 스케일링 법칙을 그려 볼 수 있는데, 예를 들어 심박수 같은 것이 동물의 크기와 정확히 맞아떨어진다는 것입니다. 동물을 하나의 부피로 보면 많은 것을 끌어낼 수 있습니다. 열을 내보내는 능력은 표면적, 곧 길이의 제곱에 비례해 커지지만 열을 만들어 내는 양은 부피, 곧 세제곱에 비례해 커진다는 식입니다. 그는 물리학자들이 세상의 문제 해결에 접근할 올바른 인지 도구를 모두 갖추고 있다고 느낀다고 말합니다.

그래서 그는 무엇을 보든 1차 항이나 2차 항을 찾으려 한다고 합니다. 계나 대상을 관찰할 때 머릿속에는 생각과 지식이 엉킨 그물이 있고, 그는 그중 정말 중요한 것이 무엇인지, 1차 성분은 무엇인지, 그것을 어떻게 단순화할 수 있는지 찾습니다. 그 핵심을 실제로 작동하는 모습으로 보여 주는 단순한 것을 만들고, 그다음에 나머지 항을 덧붙인다는 것입니다.

그가 드는 예는 자신의 저장소 가운데 하나인 마이크로그래드(micrograd)입니다. 마이크로그래드는 역전파를 보여 주는 100줄짜리 코드로, 더하기와 곱하기 같은 단순한 연산을 신경망의 레고 블록처럼 써서 신경망을 만들 수 있습니다. 계산 그래프를 쌓고 순전파와 역전파를 거쳐 기울기를 얻는데, 이것이 모든 신경망 학습의 핵심입니다. 이 100줄의 파이썬 코드는 효율적이지는 않지만 임의의 신경망에 대해 순전파와 역전파를 할 수 있어서, 신경망이 어떻게 학습되는지 이해하는 데 필요한 전부를 담고 있습니다.

그는 그 밖의 모든 것은 효율의 문제라고 말합니다. 효율을 위해서는 할 일이 엄청나게 많습니다. 텐서를 쓰고, 텐서를 배치하고, 메모리 간격을 맞추고, 커널이 메모리 이동을 제대로 조율하게 해야 하지만, 대략 말하면 그것은 모두 효율의 문제입니다. 신경망 학습의 지적 핵심은 쉽게 이해할 수 있는 마이크로그래드 100줄에 있으며, 연쇄 법칙을 재귀적으로 적용해 기울기를 구하고 그것으로 임의의 미분 가능한 함수를 최적화하는 것이 전부라는 것입니다.

그는 이런 작은 핵심 항들을 발견해 쟁반에 담아 내놓는 일을 좋아한다고 말합니다. 그에게 교육은 가장 지적으로 흥미로운 일입니다. 엉킨 이해를 붙잡고, 모든 것이 바로 앞의 것에만 의존하도록 경사로처럼 펼쳐 놓으려 애쓰는 일이기 때문입니다. 그는 이렇게 지식을 풀어내는 일이 인지적 과제로서 무척 흥미롭다고 하며, 그런 방식으로 무언가를 펼쳐 놓는 일에 매료되어 있다는 점이 자신에게 도움이 되는 것 같다고 말합니다.

고통을 먼저 보여 주라

파텔은 그런 방식이 배움을 훨씬 동기 부여가 되는 경험으로 만든다고 말합니다. 카파시의 트랜스포머 강의는 말 그대로 지금 단어를 보고 다음 단어를 찾는 조회표에서 시작하는데, 그것이 본질이라는 것입니다. 조회표에서 출발해 트랜스포머에 이르는 동안 각 조각이 왜 필요한지가 설명됩니다. 어텐션 공식을 외울 수는 없어도, 각 조각이 왜 필요하고 어떤 문제를 푸는지는 이해하게 된다는 것입니다.

카파시는 해법을 보여 주기 전에 고통을 먼저 보여 주는 것이라고 답하며, 그것이 얼마나 영리한 방법이냐고 덧붙입니다. 학생이 그 과정을 차례로 밟아 가게 하고 싶다는 것입니다. 그는 강의를 매끄럽고 흥미롭게 만드는 작은 요령이 많다고 말하며, 늘 학생에게 질문을 던지는 것도 그중 하나라고 합니다. 이것을 어떻게 풀겠느냐고 먼저 묻고, 학생이 추측해 보기 전에는 해법을 내놓지 않는다는 것입니다. 그는 스스로 시도해 볼 기회도 주지 않고 해법부터 내미는 것은 낭비이며, 학생에게 꽤 무례한 일이라고 말합니다.

파텔은 스스로 답을 떠올려 보면 행동의 공간이 무엇이고 목표가 무엇인지, 왜 그 행동만이 목표를 이루는지를 더 잘 이해하게 되기 때문이냐고 묻습니다. 카파시는 직접 시도할 기회를 가졌기에 해법을 받을 때 그 가치를 알게 되며, 새로운 사실 하나를 더할 때마다 얻는 지식이 최대가 된다고 답합니다.

지식의 저주를 넘는 법

파텔은 자기 분야의 진짜 전문가들이 막 배우기 시작한 사람에게 설명하는 데 서툰 경우가 많은 이유를 묻습니다. 카파시는 그것이 지식과 전문성의 저주라고 답합니다. 실제로 있는 현상이며, 그도 피하려 애쓰지만 여전히 겪는다고 합니다. 어떤 것들을 당연하게 여기게 되어 막 시작하는 사람의 입장이 되어 보지 못하는 것이고, 이런 일은 아주 흔하게 일어난다는 것입니다.

그는 매우 도움이 된다고 생각하는 방법 하나를 소개합니다. 최근 누군가 그에게 생물학 논문을 보여 줬는데, 그는 곧바로 수준 낮은 질문이 잔뜩 떠올랐습니다. 그래서 그는 논문을 맥락에 넣은 채 ChatGPT에 그 질문들을 물었고, 기초적인 것들을 하나씩 짚어 갔습니다. 그러고는 그 대화 기록을 논문을 쓴 당사자에게 공유했습니다.

그가 던진 어설픈 질문들을 보면 그 사람이 앞으로 더 잘 설명하는 데 도움이 될 수 있겠다고 생각했다는 것입니다. 그는 자신이 만든 자료에 대해서도 사람들이 ChatGPT와 나눈 어설픈 대화를 공유해 주면 좋겠다고 말합니다. 막 시작하는 사람의 입장이 되어 보는 데 정말 도움이 되기 때문입니다.

파텔은 놀랄 만큼 잘 통하는 또 다른 요령을 소개합니다. 누군가 논문이나 블로그 글이나 발표문을 쓰면, 그 사람이 점심을 먹으며 그 내용을 설명할 때의 말을 받아 적은 것이 언제나 훨씬 이해하기 쉽다는 것입니다. 더 이해하기 쉬울 뿐 아니라 실제로 더 정확하고 과학적이기도 합니다. 사람들은 글을 쓸 때 가장 추상적이고 전문용어로 가득한 방식으로 설명하고, 핵심을 말하기 전에 네 문단씩 뜸을 들이는 경향이 있지만, 한 사람과 일대일로 이야기하면 그냥 핵심을 말하게 된다는 것입니다.

카파시는 그 트윗을 봤고 정말 좋다고 생각해 여러 사람에게 공유했다고 답합니다. 그는 이것을 여러 번 겪었다고 합니다. 가장 기억에 남는 것은 박사 과정 시절의 일입니다.

누군가의 논문을 읽고 무엇을 하는 논문인지 이해하려고 애쓰다가, 나중에 학회에서 맥주를 마시며 그 저자에게 이 논문이 무엇에 관한 것이냐고 물으면, 그는 논문의 본질을 완벽하게 담은 세 문장을 들려줍니다. 이 아이디어와 저 아이디어를 가져와 이런 실험을 했다는 식으로 대화하듯 완벽하게 말해 주는데, 그러면 논문을 읽을 필요도 없었다는 것입니다. 그는 왜 그것이 초록이 아니냐고 반문합니다.

학생으로서 배우는 법

파텔은 이번에는 학생의 입장에서 조언을 구합니다. 카파시 같은 사람이 설명해 주지 않는 상황에서, 전문가가 아닌 분야의 논문이나 책을 읽으며 관심 있는 내용을 배우려면 어떤 전략을 쓰느냐는 것입니다.

카파시는 솔직히 남다른 요령은 없다며, 기본적으로 고통스러운 과정이라고 답합니다. 그래도 늘 큰 도움이 된 것이 하나 있다며, 이에 관해 짧은 트윗을 쓴 적도 있다고 합니다. 필요할 때 배우는 것이 꽤 좋다는 것입니다. 그는 깊이 방향의 학습과 폭 방향의 학습을 번갈아 해야 한다고 봅니다. 깊이 방향의 학습은 보상을 얻을 특정 프로젝트를 해내기 위해 필요할 때 깊이 파고드는 것이고, 폭 방향의 학습은 일단 기초 과정을 다 훑으며 필요할지 모르는 것을 전부 익히는 것입니다.

학교는 폭 방향의 학습을 많이 시킨다고 그는 말합니다. 나중에 필요할 테니 믿고 배우라는 식이고, 학생은 믿고 배우는 수밖에 없습니다. 하지만 그는 무언가를 해내면서 보상을 얻고 필요할 때 배우는 방식을 좋아한다고 합니다.

그가 극도로 도움이 된다고 느낀 또 하나는, 교육이 조금 더 이타적인 일이 되는 측면입니다. 다른 사람에게 설명하는 것은 무언가를 더 깊이 배우는 아름다운 방법이며, 그는 늘 이것을 겪는다고 합니다. 무언가를 제대로 이해하지 못하면 설명할 수 없고, 설명하려다 보면 실은 이해하지 못했다는 것을 깨닫게 됩니다. 그것을 인정하는 것은 무척 짜증 나는 일이지만, 그러고 나면 돌아가서 확실히 이해할 수 있습니다. 설명은 이해의 빈틈을 메우게 하고, 그 빈틈과 마주해 정리하도록 강제한다는 것입니다.

그래서 그는 다시 설명해 보는 것을 좋아하며, 사람들도 더 많이 그렇게 해야 한다고 말합니다. 그렇게 하면 지식을 직접 다루게 되고, 설명할 때 자신이 무슨 말을 하는지 정말 알고 있는지 확인하게 된다는 것입니다. 파텔은 이것이 대담을 마무리하기에 아주 좋은 말이라고 하며 대화를 끝맺습니다.

[한국 관점] 카파시가 일대일 튜터에게서 이상적인 교육을 발견한 곳이 한국이었다는 점은 의미심장합니다. 한국은 개인 맞춤형 지도에 대한 수요가 유난히 큰 사회로, 2025년 초중고 사교육비 총액은 27조 5,000억 원, 참여율은 75.7%였습니다. 이런 수요를 공교육 안에서 AI로 채우려던 시도가 AI 디지털교과서였지만, 2025년 3월 도입 뒤 전국 채택률은 30%대에 그쳤고, 같은 해 8월 법 개정으로 교과서가 아닌 교육자료로 지위가 바뀌었습니다. 현장 교사들 사이에서는 기존 학습 프로그램 수준을 넘지 못한다는 비판이 나왔는데, 이는 지금의 AI 튜터가 기준에 한참 못 미친다는 카파시의 진단과 같은 방향입니다. 그의 처방대로라면 한국에서도 AI 도입 자체보다 막히지 않는 경사로를 설계하는 교수진과 콘텐츠 역량이 먼저 갖춰져야 합니다.

원문: Andrej Karpathy, AGI is still a decade away (Dwarkesh Podcast) (Oct 2025) 전문은 원문에서 확인하실 수 있습니다.

참고할만한 글

코코타일로 외 – AI 2027: 초지능까지의 시나리오 (AI 2027) — AI가 AI 연구를 자동화해 몇 년 안에 초지능에 이른다는 시나리오로, 카파시가 정면으로 의문을 제기한 빠른 시간표를 가장 구체적으로 그린 글입니다.
다리오 아모데이 – 사랑스러운 은총의 기계들 (Machines of Loving Grace) — 데이터센터 속 천재들의 나라가 과학과 경제를 압축적으로 끌어올린다는 전망으로, 카파시가 불연속적 도약이라며 받아들이지 않은 관점을 대표합니다.
아빈드 나라야난·사야시 카푸어 – 일반 기술로서의 AI (AI as Normal Technology) — AI가 전기나 인터넷처럼 오랜 시간에 걸쳐 확산된다고 보는 글로, 카파시의 2% 성장론이 기대는 전제를 체계적으로 보완합니다.
하워드 막스 – 이것은 버블인가? (Is It a Bubble?) — 철도와 통신의 과잉 투자 사례로 지금의 AI 투자를 점검하는 글로, 카파시가 과잉 투자 질문에 든 역사적 선례를 투자자의 시각에서 깊이 살핍니다.