레오폴드 아셴브레너 – 상황 인식 (Situational Awareness)

원문: Leopold Aschenbrenner, Situational Awareness: The Decade Ahead (Jun 2024) 전문은 원문에서 확인하실 수 있습니다. 아래 글은 번역이 아니라, 레오폴드 아셴브레너의 논증을 한국어로 재구성한 정리입니다.

글의 배경과 개요

레오폴드 아셴브레너(Leopold Aschenbrenner)는 오픈AI(OpenAI)의 슈퍼얼라인먼트(superalignment) 팀에서 일하다 2024년 4월 해고된 뒤, 두 달 만에 165쪽 분량의 에세이 연작을 자신의 웹사이트에 무료로 공개했습니다. 이 글이 답하려는 질문은 하나입니다. 지난 10년간 딥러닝이 그려온 직선을 그대로 연장하면 2020년대 후반에는 무슨 일이 벌어지는가. 아셴브레너는 공상과학적 전제를 하나도 추가하지 않고 추세선만 믿어도 2027년경 범용인공지능(AGI)이, 그 직후 초지능이 나온다고 주장하며, 그렇다면 이것은 기술 산업의 문제가 아니라 국가안보의 문제라고 결론 내립니다. 논증은 다섯 단계를 밟습니다. 컴퓨트와 알고리즘 효율과 족쇄 풀기 세 축의 자릿수를 세어 AGI 시점을 추정하고, AGI가 AI 연구 자체를 자동화해 지능 폭발로 이어지는 경로를 그린 뒤, 그로부터 파생되는 네 가지 과제를 다루고, 미국 정부가 개입하는 국가 프로젝트의 등장을 예측한 다음, 자신의 입장을 정리하며 끝맺습니다.

핵심 내용 정리

2027년까지 유효 컴퓨트가 다시 10만 배 늘어나 GPT-2에서 GPT-4로 간 것과 맞먹는 도약이 한 번 더 일어나고, 그 결과 AI 연구자와 엔지니어의 업무를 온전히 대신하는 시스템이 등장할 가능성이 매우 높습니다.
모델이 AI 연구를 자동화하는 순간 1억 명 규모의 자동화된 연구자가 인간 기준 10년치 알고리즘 진보를 1년 안으로 압축하므로, AGI에서 초지능까지는 1년 안팎이면 충분합니다.
이를 뒷받침할 산업 동원은 2030년경 1조 달러짜리 단일 학습 클러스터와 미국 전력 생산의 20%가 넘는 전력 수요로 귀결되며, 이는 실현 가능합니다.
미국 AI 연구소들의 보안은 평범한 스타트업 수준이어서, 앞으로 12-24개월 안에 AGI의 핵심 알고리즘 비밀이 중국공산당(CCP)에 넘어갑니다.
인간보다 훨씬 똑똑한 시스템을 신뢰하고 통제하는 기술적 문제는 아직 풀리지 않았고 지능 폭발의 속도가 이를 극도로 위태롭게 만들지만, 원리상 풀 수 있는 문제입니다.
초지능은 결정적인 군사적 우위를 주므로 자유세계가 권위주의 국가보다 앞서야 하며, 넉넉한 리드를 확보해야만 안전을 확보할 여유가 생깁니다.
2027-28년 무렵 미국 국가안보 기구가 개입해 AGI 개발은 사실상 정부 프로젝트가 될 것이며, 이는 바람직하다는 주장이기 이전에 벌어질 일에 대한 서술입니다.

서문 — 샌프란시스코에서는 미래가 가장 먼저 보인다

아셴브레너는 글의 첫 문장에서 미래를 가장 먼저 볼 수 있는 곳은 샌프란시스코라고 선언합니다. 그가 근거로 드는 것은 전망이 아니라 그 도시의 회의실에서 오가는 숫자의 변화입니다. 불과 1년 사이에 화제가 100억 달러짜리 연산 클러스터에서 1,000억 달러짜리로, 다시 1조 달러짜리로 옮겨갔다는 것입니다. 반년마다 계획서의 0이 하나씩 늘고 있다는 표현이 이 변화를 압축합니다.

무대 뒤에서는 이미 쟁탈전이 벌어지고 있다고 그는 전합니다. 이번 10년이 끝날 때까지 남아 있는 모든 전력 구매 계약과 조달 가능한 모든 변압기를 확보하려는 경쟁입니다. 미국의 대기업들이 오랫동안 보지 못했던 규모의 산업 동원에 수조 달러를 쏟아부을 채비를 하고 있고, 그 결과 10년이 끝날 무렵 미국의 전력 생산량은 수십 퍼센트 늘어나 있을 것이라고 봅니다. 펜실베이니아의 셰일 가스전부터 네바다의 태양광 단지까지, 수억 개의 GPU가 돌아가는 풍경이 그가 그리는 그림입니다.

그다음 문단이 이 글 전체의 선언입니다. AGI 경쟁은 이미 시작되었고, 우리는 생각하고 추론하는 기계를 만들고 있다는 것입니다. 2025-26년이면 이 기계들이 대학 졸업자를 앞지르고, 10년이 끝날 무렵에는 저자나 독자보다 똑똑해져 말 그대로의 의미에서 초지능이 등장한다고 그는 적습니다. 그 과정에서 반세기 동안 보지 못했던 국가안보의 힘이 풀려나고, 머지않아 「더 프로젝트(The Project)」가 가동될 것이라고 예고합니다. 운이 좋으면 중국공산당과의 전면적인 경주가 되고, 운이 나쁘면 전면전이 된다는 문장으로 이 대목을 맺습니다.

그는 지금 모두가 AI를 이야기하지만 무엇이 닥쳐오는지 어렴풋이라도 아는 사람은 거의 없다고 진단합니다. 엔비디아(NVIDIA)를 분석하는 사람들조차 2024년이 고점 근처일지 모른다고 생각하고 있고, 주류 논평가들은 그저 다음 단어를 예측하는 것일 뿐이라는 말에 머물러 있다는 것입니다. 아셴브레너는 이를 의도적인 외면이라고 부르며, 그들이 보는 것은 과대광고와 평소와 다름없는 사업이고 기껏해야 인터넷 규모의 기술 변화 정도라고 지적합니다.

마지막으로 그는 자신의 위치를 밝힙니다. 세계에서 상황 인식(situational awareness)을 갖춘 사람은 대략 수백 명 정도이고, 대부분 샌프란시스코와 AI 연구소들에 있으며, 어떤 기이한 운명의 힘으로 자신이 그 틈에 끼어 있게 되었다는 것입니다. 몇 년 전만 해도 미친 사람 취급을 받던 이들이 한 일은 추세선을 믿은 것뿐이었고, 그 덕분에 지난 몇 년의 AI 발전을 정확히 예측했다고 그는 말합니다. 다만 이들이 앞으로 몇 년에 대해서도 옳을지는 두고 봐야 한다고 분명히 단서를 답니다. 역사에 기이한 각주로 남을 수도 있고 레오 실라르드(Leo Szilard), 로버트 오펜하이머(J. Robert Oppenheimer), 에드워드 텔러(Edward Teller)처럼 기록될 수도 있다고 적은 뒤, 그는 ‘Let me tell you what we see.’라는 한 줄로 서문을 닫습니다.

글의 구조

I부, GPT-4에서 AGI로 — 컴퓨트와 알고리즘 효율과 족쇄 풀기를 더하면 2027년 AGI가 놀랄 만큼 그럴듯합니다.
II부, AGI에서 초지능으로 — 수억 개의 AGI가 AI 연구를 자동화해 10년치 진보를 1년에 압축합니다.
IIIa, 1조 달러 클러스터 경쟁 — GPU와 데이터센터와 전력에 수조 달러가 투입되는 기술·자본 가속이 시작됐습니다.
IIIb, 연구소를 봉쇄하라 — 지금의 보안 수준은 AGI의 비밀을 중국공산당에 넘겨주는 것과 같습니다.
IIIc, 슈퍼얼라인먼트 — 우리보다 똑똑한 시스템의 통제는 미해결 문제이고, 지능 폭발 중에는 탈선하기 쉽습니다.
IIId, 자유세계가 승리해야 한다 — 초지능은 결정적 군사 우위를 주며, 중국은 아직 경쟁에서 빠지지 않았습니다.
IV부, 더 프로젝트 — 2027-28년경 어떤 형태로든 정부 AGI 프로젝트가 등장합니다.
V부, 맺는 생각 — 우리가 옳다면 어떤 일이 벌어지는가를 짚습니다.

해설 서문 마지막에 등장하는 세 사람은 모두 맨해튼 프로젝트의 핵심 인물입니다. 실라르드는 1933년에 핵연쇄반응을 처음 착상하고 아무도 믿지 않을 때 비밀 유지를 주장한 물리학자, 오펜하이머는 로스앨러모스 연구소를 이끈 총책임자, 텔러는 원자폭탄 이후 수소폭탄 개발을 밀어붙인 인물입니다. 이 세 이름을 서문에 배치한 것은 수사가 아니라 글 전체의 설계도입니다.

아셴브레너는 이후 모든 부에서 핵무기 개발사를 유비로 끌어오며, 특히 소수의 사람만이 먼저 알아차렸고 세상은 뒤늦게 따라왔다는 구조를 반복적으로 사용합니다. 글의 헌사가 일리야 수츠케버(Ilya Sutskever)에게 바쳐진 것도 같은 맥락에서 읽힙니다. 수츠케버는 스케일링 법칙을 가장 일찍 신봉한 연구자이자, 아셴브레너가 몸담았던 슈퍼얼라인먼트 팀의 공동 책임자였습니다.

[이해관계] 아셴브레너는 2023년 오픈AI에 합류해 얀 라이케(Jan Leike)와 수츠케버가 이끄는 슈퍼얼라인먼트 팀에서 일했고, 2024년 4월 정보 유출을 이유로 해고되었습니다. 본인은 외부 연구자 세 명에게 피드백을 받으려 공유한 평범한 브레인스토밍 문서였다고 반박했고, 보안 문제를 제기한 것이 실제 이유라고 주장했습니다. 그 한 달 뒤 슈퍼얼라인먼트 팀은 해체되었고, 라이케와 수츠케버도 오픈AI를 떠났습니다. 이 글은 그로부터 두 달 뒤에 나왔습니다.

즉 이 글은 중립적 관찰자의 보고서가 아니라, 자신이 몸담았던 조직의 보안 체계를 공개적으로 문제 삼다 밀려난 사람이 그 문제의식을 165쪽으로 확장한 문서입니다. 덧붙여 아셴브레너는 본문 중 한 각주에서 2023년 초에 엔비디아에 레버리지를 걸어 매수했다는 사실을 스스로 밝히고 있고, IIIa부 말미에서는 관련 종목이 아직 충분히 반영되지 않았다는 투자 의견을 남깁니다.

[사후 맥락] 이 글은 발표 직후 실리콘밸리와 월가에서 광범위하게 회자되었고, 아셴브레너는 2024년 9월 에세이와 같은 이름의 헤지펀드 시추에이셔널 어웨어니스 LP(Situational Awareness LP)를 2억 2,500만 달러로 출범시켰습니다. 스트라이프(Stripe) 창업자 콜리슨(Collison) 형제와 전 깃허브(GitHub) CEO 냇 프리드먼(Nat Friedman) 등이 초기 투자자로 참여했습니다.

펀드는 AI 인프라 관련 주식에 극도로 집중된 포지션을 레버리지로 쌓아 2026년 7월 초 운용자산 450억 달러까지 불어났다가, 같은 달 AI·반도체 주가 급락과 마진콜이 겹치며 월간 기준 약 67%의 손실을 기록했습니다. 이후 공개 주식 포지션 대부분을 시타델(Citadel)에 매각하고 레버리지를 걷어냈으며, 앤트로픽(Anthropic) 지분 등 비상장 보유분을 남긴 사모 투자회사로 전환했습니다. 이 글의 투자 논제는 실물 자금으로 검증대에 올랐고, 적어도 시장 타이밍 측면에서는 한 차례 혹독한 반증을 겪은 셈입니다.

I부. GPT-4에서 AGI로 — 자릿수 세기

직선 하나만 믿으면 된다

I부의 제사로 아셴브레너는 수츠케버가 2015년 무렵 다리오 아모데이(Dario Amodei)에게 했다는 말을 인용합니다. 모델은 그저 배우고 싶어 하며, 그 사실을 이해해야 한다는 것입니다. 글 전체의 인식론이 이 한 줄에 들어 있습니다. 왜 되는지를 설명하기 전에, 되고 있다는 사실 자체를 받아들이라는 요구입니다.

아셴브레너는 GPT-4의 능력이 많은 사람에게 충격이었다는 사실에서 출발합니다. 코드와 에세이를 쓰고, 어려운 수학 문제를 추론하고, 대학 시험을 통과하는 AI는 불과 몇 년 전만 해도 뚫을 수 없는 벽 너머에 있다고 여겨졌습니다. 그러나 그가 보기에 GPT-4는 10년에 걸친 딥러닝 가속의 연장선일 뿐입니다.

그가 내거는 주장은 명시적입니다. 2027년까지 모델이 AI 연구자이자 엔지니어의 일을 수행할 수 있게 될 가능성이 놀랄 만큼 높다는 것입니다. 그리고 이 주장을 받아들이는 데 공상과학적 믿음은 필요 없고, 그래프 위의 직선을 믿기만 하면 된다고 덧붙입니다.

자릿수를 세는 방법

이 글이 쓰는 도구는 단 하나, 자릿수(OOM, order of magnitude)를 세는 것입니다. 10배가 1자릿수이고, 3배는 0.5자릿수, 100배는 2자릿수입니다. 증가는 세 범주로 나뉩니다.

컴퓨트 — 훨씬 큰 컴퓨터로 모델을 학습시키는 것입니다.
알고리즘 효율 — 같은 성능을 더 적은 연산으로 달성하게 해주는 진보이며 사실상 컴퓨트 배수로 작동합니다.
족쇄 풀기(unhobbling) — 모델이 기본 상태에서 어처구니없이 제약되어 있는 부분을 풀어 잠재 능력을 꺼내는 작업으로, 인간 피드백 기반 강화학습(RLHF)과 사고연쇄(chain-of-thought), 도구 사용, 스캐폴딩 같은 단순한 개선이 여기 속합니다.

요지는 단순합니다. GPT-2에서 GPT-4까지의 도약은 일회성 이득이 아니었고, 숫자가 가리키는 바로는 앞으로 4년 동안 유효 컴퓨트가 다시 10만 배가량 늘어나 같은 크기의 질적 도약이 한 번 더 일어난다는 것입니다. 더 중요한 것은 그 결과가 더 나은 챗봇이 아니라는 점입니다. 족쇄 풀기에서 손쉽게 딸 수 있는 열매들만 거둬도 챗봇에서 에이전트로, 도구에서 원격 근무자를 그대로 대체하는 무언가로 성격이 바뀐다고 그는 봅니다.

함의는 여기서 나옵니다. 그런 도약이 한 번 더 일어나면 박사나 전문가만큼 똑똑한, 옆자리에서 함께 일하는 AGI에 도달할 수 있습니다. 그리고 그 시스템이 AI 연구 자체를 자동화할 수 있다면 격렬한 피드백 루프가 작동하기 시작합니다.

유치원생에서 똑똑한 고등학생까지

아셴브레너는 모델 세대를 아동 발달 단계에 빗대어 짚습니다. 본인도 이 비교가 불완전하고 결함이 있음을 인정하면서도, 정보를 준다고 판단합니다.

GPT-2(2019년), 유치원생 수준. 그럴듯한 문장 몇 개를 이어 붙인다는 것 자체가 놀라움이었던 시기입니다. GPT-2는 5까지 세는 것도 자주 틀렸고, 기사 요약 성능은 기사에서 무작위로 문장 세 개를 고르는 것보다 간신히 나은 정도였습니다.

GPT-3(2020년), 초등학생 수준. 예시 몇 개만 보여주면 간단한 실무를 처리한다는 반응이 나온 단계입니다. 여러 문단에 걸쳐 일관성을 유지하고, 문법을 교정하고, 아주 기초적인 산수를 할 수 있었습니다. 처음으로 좁은 영역에서 상업적 유용성도 생겨 검색엔진 최적화와 마케팅용 카피를 생성하는 데 쓰였습니다.

GPT-4(2023년), 똑똑한 고등학생 수준. 상당히 정교한 코드를 작성하고 반복적으로 디버깅하며, 복잡한 주제에 대해 지적으로 쓰고, 고등학교 경시대회 수준의 수학을 추론으로 풀고, 어떤 시험을 치르게 해도 대다수 고등학생을 앞지릅니다.

다만 그는 GPT-4가 여전히 고르지 않다는 점을 인정합니다. 어떤 과제에서는 똑똑한 고등학생을 훨씬 능가하지만 아직 못 하는 과제도 있습니다. 그러면서 이 한계의 대부분이 모델이 여전히 명백한 방식으로 족쇄에 묶여 있기 때문이라고 봅니다.

벤치마크가 바닥나고 있다

10년 전만 해도 딥러닝 시스템이 단순한 이미지를 식별하는 것이 혁명적이었습니다. 지금은 새롭고 더 어려운 시험을 계속 만들어내지만 새 벤치마크마다 빠르게 깨지고 있습니다.

그가 드는 일화는 MMLU입니다. 친구인 댄 헨드릭스(Dan Hendrycks)와 콜린 번스(Collin Burns)가 2020년에 만든 이 벤치마크는 고등학생과 대학생에게 치르게 하는 가장 어려운 시험들에 상응하는, 시간의 시험을 견딜 벤치마크를 목표로 했습니다. 3년 뒤 GPT-4와 제미나이(Gemini)가 약 90%를 기록하면서 사실상 풀려버렸습니다.

고교 수학 경시대회 문제로 구성된 MATH 벤치마크는 더 극적인 사례입니다. 2021년 공개 당시 GPT-3이 약 5%를 맞혔고, 원 논문은 예산과 파라미터 수를 단순히 늘리는 것만으로는 강한 수학적 추론에 도달하기 어렵다고 적었습니다. 머신러닝 연구자들을 대상으로 한 설문도 향후 몇 년간 최소한의 진전만을 예측했습니다. 그런데 1년도 지나지 않은 2022년 중반에 최고 모델들은 5%에서 50%로 올라섰고, 지금은 90%를 넘기며 사실상 풀렸습니다.

아셴브레너는 지난 10년의 교훈을 한 문장으로 요약합니다. 딥러닝에 반대로 베팅하지 말라는 것입니다. 얀 르쿤(Yann LeCun)은 2022년에 모델이 현실 세계의 물리적 상호작용에 대해 추론하지 못할 것이라고 예측했지만 1년 뒤 GPT-4가 손쉽게 해냈습니다. 경제학자 브라이언 캐플런(Bryan Caplan)은 2023년 1월 GPT-3.5가 자신의 경제학 중간고사에서 D를 받자 2029년까지 어떤 AI도 A를 받지 못할 것이라며 내기를 했는데, 두 달 뒤 GPT-4가 A를 받으며 그의 첫 패배가 기록됐습니다.

현재 남아 있는 가장 어려운 벤치마크로 그는 GPQA를 듭니다. 박사 수준의 생물·화학·물리 문제 모음으로, 작성 시점에 클로드 3 오푸스(Claude 3 Opus)가 약 60%, 해당 분야 박사가 약 80%를 기록하고 있으며 그는 이 역시 한두 세대 안에 무너질 것으로 예상합니다.

해설 본문에 등장하는 세 벤치마크는 성격이 다릅니다. MMLU는 57개 과목에 걸친 객관식 지식·이해 시험으로 폭넓은 교양과 전공 기초를 묻습니다. MATH는 정답이 하나로 떨어지는 경시대회 수학 문제 집합이라 추론 과정을 요구하고 채점이 기계적으로 가능합니다. GPQA는 해당 분야 박사가 아니면 검색으로도 풀기 어렵도록 설계된 전문 지식 시험으로, 이른바 구글(Google) 내성을 표방합니다.

헨드릭스와 번스는 MMLU와 MATH 논문의 공동 저자이며, 번스는 이 글의 감사의 말에도 등장하는 인물이자 뒤에 나올 약한 감독에서 강한 모델로의 일반화 연구를 아셴브레너와 함께 수행한 연구자입니다. 또 하나 짚을 것은 few-shot이라는 용어입니다. 모델을 다시 학습시키지 않고 프롬프트 안에 예시 몇 개를 넣어주는 것만으로 새 과제를 수행하게 만드는 방식으로, GPT-3이 보여준 이 성질이 이후 모든 상업적 활용의 출발점이 되었습니다.

[반론] EA 포럼에 게재된 「Questionable Narratives of ‘Situational Awareness’」는 아셴브레너가 본문 전체에서 AGI를 명확히 정의하지 않은 채 여러 정의를 번갈아 쓰고 있으며, 유치원생에서 고등학생으로라는 비유는 대상 수준의 논증이 아니라 서사적·정서적 논증이라고 지적합니다. 비유가 성립하려면 인간의 발달 단계와 모델의 능력 향상이 같은 축 위에 있어야 하는데, 벤치마크 점수가 오르는 것과 아이가 자라는 것은 같은 종류의 변화가 아니라는 것입니다.

벤치마크 포화에 관해서도 반론이 있습니다. 시험이 빠르게 풀리는 것은 모델이 그만큼 똑똑해졌다는 증거일 수도 있지만, 우리가 충분히 어려운 시험을 만들지 못하고 있다는 증거일 수도 있습니다. 아셴브레너 본인도 각주에서 오늘 가진 어떤 벤치마크든 포화될 것이며 그것은 어려운 벤치마크를 만들기가 어렵다는 사실의 반영에 가깝다고 인정하고 있어, 이 반론의 핵심은 아셴브레너가 이미 알고도 논증에서 제외한 지점에 해당합니다.

[관점] 이 장이 쓰는 방법은 투자 논제를 쓸 때의 추세 외삽과 구조가 같습니다. 과거 몇 년치 데이터로 기울기를 구한 뒤 같은 기울기를 미래에 연장하고, 그 연장이 틀리려면 어떤 일이 벌어져야 하는지를 상대방에게 입증 책임으로 넘기는 방식입니다. 강점은 분명합니다. 2021년의 전문가 예측과 2022년의 실제 MATH 성능을 비교해 보면 메커니즘을 아는 전문가보다 추세선을 믿은 비전문가가 더 정확했습니다.

동시에 이 방법에는 알려진 약점이 있습니다. S자 곡선의 초중반 구간에서 지수함수와 로지스틱 곡선은 구분되지 않으며, 둘을 가르는 것은 데이터가 아니라 제약 조건에 대한 판단입니다. 결국 이 글의 설득력은 추세선 자체가 아니라, 추세선을 멈춰 세울 수 있는 제약이 무엇이고 그것이 풀릴지에 대한 판단에 달려 있습니다.

컴퓨트, 알고리즘 효율, 그리고 데이터 장벽

무어의 법칙이 아니라 돈의 문제

아셴브레너는 가장 많이 거론되는 동력부터 짚습니다. 무어의 법칙이 전성기였을 때조차 속도는 10년에 1-1.5자릿수 정도로 상대적으로 느렸습니다. 지금 벌어지는 컴퓨트 확대는 무어의 법칙의 약 5배 속도이며, 그 원인은 반도체 공정이 아니라 거대한 투자라는 것입니다. 그가 인용하는 에포크 AI(Epoch AI)의 추정치는 다음과 같습니다.

GPT-2(2019년) — 약 4×10²¹ FLOP입니다.
GPT-3(2020년) — 약 3×10²³ FLOP으로 약 2자릿수 늘었습니다.
GPT-4(2023년) — 8×10²⁴에서 4×10²⁵ FLOP으로 다시 약 1.5-2자릿수 늘었습니다.

종합하면 GPT-4의 학습에는 GPT-2보다 약 3,000배에서 1만 배 많은 원시 연산이 투입되었습니다. 지난 15년간 투자 확대와 AI 작업에 특화된 칩 덕분에 최전선 시스템의 학습 컴퓨트는 연평균 약 0.5자릿수씩 늘어왔습니다. 아셴브레너는 2027년 말까지 GPT-4 대비 2자릿수 추가가 매우 유력하고 3자릿수에 가까운 추가도 그럴듯하다고 봅니다.

과소평가된 절반

컴퓨트에 대한 거대 투자가 모든 주목을 받지만, 알고리즘 진보가 그에 못지않게 중요한 동력이며 극적으로 과소평가되어 왔다고 그는 말합니다. MATH 벤치마크에서 약 50% 정확도를 달성하는 데 드는 추론 비용은 2년이 채 안 되는 기간에 거의 3자릿수, 즉 1,000배 개선되었습니다.

알고리즘 진보는 두 갈래입니다. 패러다임 내부의 개선은 더 나은 기반 모델을 만들어내며 곧바로 컴퓨트 효율로 작동하고, 족쇄 풀기는 기반 모델에 잠재된 능력을 꺼내는 패러다임 확장형 진보입니다. 개별 발견은 무작위로 보이지만 장기 추세선은 예측 가능한 직선이라는 것이 그의 관찰입니다. ImageNet 영역에서는 2012년부터 2021년까지 9년간 컴퓨트 효율이 연 약 0.5자릿수씩 개선되었습니다.

가장 설득력 있는 공개 증거는 가격입니다. GPT-4는 출시 당시 GPT-3이 출시되었을 때와 거의 같은 가격이었는데, 성능 차이가 압도적이었다는 사실은 GPT-3에서 GPT-4로의 유효 컴퓨트 증가분 가운데 대략 절반이 알고리즘 개선에서 왔다는 추정을 가능케 합니다. GPT-4 출시 후 1년 만에 GPT-4o가 나오면서 같은 급 모델의 가격이 입력 6배, 출력 4배 더 내려갔고, 제미나이 1.5 Flash는 원본 GPT-4 대비 입력 85배, 출력 57배 저렴하면서 추론 벤치마크에서 비슷한 성능을 냈습니다.

종합하면 GPT-2에서 GPT-4까지에 1-2자릿수의 알고리즘 효율 이득이 포함되어 있다는 것이 그의 추정입니다. 앞으로 4년도 같은 추세, 즉 연평균 약 0.5자릿수로 2027년까지 약 2자릿수를 예상하며, 상단에서는 트랜스포머급의 근본적 돌파구가 10배 정도의 이득을 줄 가능성도 열어둡니다.

인터넷이 바닥나고 있다

아셴브레너는 이 모든 계산에 큰 변수가 하나 있다고 말합니다. 인터넷 데이터가 고갈되고 있다는 것입니다. 라마 3(Llama 3)은 15조 토큰 이상으로 학습했고, 중복 제거한 커먼 크롤(Common Crawl)은 약 30조 토큰입니다. 코드처럼 특정 영역으로 가면 공개 깃허브 저장소가 수조 토큰 초반대에 그칩니다. 데이터를 반복해서 쓰는 방법도 16회 반복 이후 수익이 극히 빠르게 0으로 수렴합니다.

연구소들은 이 장벽을 우회할 새 알고리즘, 즉 합성 데이터부터 자가 대국(self-play)과 강화학습 접근까지에 대규모로 베팅하고 있습니다. 그가 제시하는 직관은 빽빽한 수학 교과서를 사람이 어떻게 공부하는지입니다. 지금 모델은 교과서를 아주 빠르게 훑고 지나가지만, 사람은 두어 쪽을 천천히 읽고 내적 독백을 하고 연습문제를 풀다 틀리고 다시 시도합니다. 합성 데이터와 자가 대국은 이 과정을 모델에 이식하려는 시도입니다.

그는 알파고(AlphaGo)를 참고 사례로 듭니다. 1단계에서는 인간 전문가의 기보를 모방 학습해 토대를 만들었고, 2단계에서는 자기 자신과 수백만 판을 두면서 초인 수준에 올라 이세돌과의 대국에서 37수 같은 수를 두게 되었습니다. 언어 모델에 대한 2단계 등가물을 개발하는 것이 데이터 장벽을 넘는 핵심 연구 문제이며, 더 나아가 인간 수준을 넘어서는 열쇠가 될 것이라는 것입니다.

이 대목에서 그의 어조는 눈에 띄게 조심스러워집니다. 데이터 제약이 양방향으로 큰 오차 범위를 집어넣으며, 상황이 정체될 매우 현실적인 가능성이 있다고 그는 적습니다. 그 경우 언어 모델은 여전히 인터넷만큼 큰 사건이겠지만 진짜 미친 수준의 AGI에는 도달하지 못합니다. 동시에 그는 중요한 부수 효과를 덧붙입니다. 핵심 알고리즘 아이디어가 독점화되면서 연구소 간 편차가 훨씬 커지고, 돌파구를 찾은 연구소의 비밀은 미국의 가장 값진 자산 중 하나가 된다는 것입니다.

해설 본문의 계산을 따라가려면 세 가지 배경이 필요합니다. FLOP는 부동소수점 연산 횟수로, 모델 학습에 들어간 총 연산량의 단위입니다. 친칠라(Chinchilla) 스케일링 법칙은 2022년 딥마인드가 발표한 결과로, 주어진 컴퓨트 예산에서 파라미터 수와 학습 데이터 양을 같은 비율로 키우는 것이 최적이라는 내용이며 이 교정만으로도 상당한 효율 이득이 나왔습니다. 전문가 혼합(MoE)은 입력마다 일부 하위 네트워크만 활성화하는 구조로, 총 파라미터는 크게 유지하면서 연산량은 줄이는 방식입니다.

본문에 나오는 에폭(epoch)은 같은 데이터셋을 한 번 통과하는 것을 뜻하므로, 16에폭이면 같은 데이터를 16번 반복해 학습시킨다는 의미입니다. 각주에 등장하는 맥락 내 학습(in-context learning)도 짚어둡니다. 제미나이 1.5 Pro 논문은 화자가 200명도 안 되는 칼라망어의 교과서와 사전을 맥락에 넣어주자 모델이 인간 수준으로 번역했다고 보고했는데, 문제는 모델에 이 맥락 내 학습을 다시 가중치로 되돌릴 방법이 없다는 점입니다.

[반론] 이 글에 대한 가장 널리 공유된 반론이 데이터 장벽을 겨냥합니다. 즈비 모쇼비츠(Zvi Mowshowitz)의 블로그에 정리된 논의에서 독자들은, 아셴브레너 스스로 인정하듯 학습 데이터 고갈이 이 논증의 가장 큰 약점이며 그것이 원리적으로 풀 수 있는 문제라 하더라도 2027-28년이라는 일정에 맞춰 풀릴지는 전혀 다른 문제라고 지적했습니다.

논증의 구조를 보면 이 비판은 과녁을 제대로 겨눕니다. 컴퓨트와 알고리즘 효율의 자릿수는 과거 데이터에서 외삽한 것이지만, 데이터 장벽의 극복은 아직 일어나지 않은 돌파구에 대한 기대에 의존합니다. EA 포럼의 같은 글은 더 나아가, 자가 대국과 합성 데이터가 언어 모델에서 알파고처럼 작동하리라는 기대의 근거가 유비에 머문다고 비판합니다. 바둑은 승패라는 명확한 보상 신호가 있지만 일반 지능에는 그에 상응하는 신호가 없다는 것입니다.

[한국 관점] 데이터 장벽은 한국에서 전혀 다른 강도로 작동합니다. 아셴브레너가 말하는 고갈은 영어권 인터넷이 바닥났다는 뜻이지만, 한국어는 애초에 바닥이 얕습니다. 커먼 크롤의 2026년 스냅샷 기준 한국어 비중은 약 0.82%이고 영어는 약 41%로 50배가량 차이가 납니다. 미국 연구소들이 30조 토큰을 다 쓴 뒤의 다음 수를 고민할 때, 한국의 모델 개발사는 처음부터 한 자릿수 퍼센트의 데이터로 출발합니다.

그래서 본문이 제시한 해법 가운데 합성 데이터는 한국에서 선택지가 아니라 전제가 되었습니다. 과학기술정보통신부와 정보통신산업진흥원이 추진하는 독자 AI 파운데이션 모델 프로젝트에 참여한 업스테이지는 한국어 데이터가 절대적으로 부족한 상황에서 자사 기존 모델로 합성 데이터를 생성해 보완하는 전략을 공개적으로 설명한 바 있습니다. 2026년 1월 기준 1차 평가를 통과한 LG AI연구원과 SK텔레콤, 업스테이지 세 팀 모두 비슷한 제약을 공유합니다.

여기서 긴장이 생깁니다. 아셴브레너의 논리대로라면 데이터 장벽을 넘는 알고리즘이야말로 AGI의 열쇠이고 최고 수준의 기밀이 됩니다. 그런데 한국의 소버린 AI 전략은 바로 그 영역에서 기밀을 넘겨받을 수 없는 쪽에 서 있습니다. 데이터 주권을 확보하려는 시도가 정작 데이터가 가장 희소한 언어에서 출발한다는 구조적 역설이며, 이 글의 틀을 한국에 적용했을 때 가장 먼저 드러나는 지점입니다.

족쇄 풀기와 에이전트로의 전환

즉답을 강요당하는 사람

아셴브레너는 사고 실험을 듭니다. 어려운 수학 문제를 받았을 때 머릿속에 처음 떠오른 것을 즉시 답해야 한다면 고전할 수밖에 없는데, 최근까지 우리는 언어 모델에게 바로 그 방식으로 문제를 풀게 했습니다. 사고연쇄 프롬프팅이 모델에게 연습장을 허용한 것입니다. 원재료로서의 능력은 뛰어난데 명백한 방식으로 묶여 있었고, 작은 조정 하나가 훨씬 큰 능력을 풀어줬다는 것이 이 범주의 전형입니다.

그가 꼽는 지난 몇 년의 족쇄 풀기는 다음과 같습니다.

인간 피드백 기반 강화학습 — 모델을 실제로 유용하고 상업적으로 가치 있게 만든 핵심으로, InstructGPT 논문에서는 RLHF를 거친 작은 모델이 그러지 않은 100배 이상 큰 모델과 동등했습니다.
사고연쇄 — 널리 쓰인 지 2년밖에 안 됐지만 수학과 추론 문제에서 유효 컴퓨트 10배 이상 증가에 상당하는 효과를 냅니다.
스캐폴딩 — 실제 소프트웨어 공학 과제인 SWE-Bench에서 GPT-4 단독 약 2%를, 데빈(Devin)의 에이전트 스캐폴딩과 결합하면 14-23%로 끌어올립니다.
도구 사용 — ChatGPT는 이제 웹 브라우저를 쓰고 코드를 실행할 수 있습니다.
맥락 길이 — GPT-3의 2,000토큰에서 제미나이 1.5 Pro의 100만 토큰 이상으로 늘어, 사실상 큰 컴퓨트 효율 이득으로 작동합니다.
사후학습 개선 — 같은 GPT-4가 MATH에서 약 50%에서 72%로, GPQA에서 약 40%에서 약 50%로 올랐습니다.

에포크 AI는 스캐폴딩과 도구 사용 등이 여러 벤치마크에서 통상 5-30배의 유효 컴퓨트 이득을 낸다고 보고했습니다. METR은 동일한 GPT-4 기반 모델이 기반 모델만으로 5%, 출시 시점 사후학습을 거쳐 20%, 도구와 에이전트 스캐폴딩을 더한 상태에서 거의 40%를 기록했다고 측정했습니다.

모델은 아직도 심하게 묶여 있다

현재 모델은 장기 기억이 없고, 컴퓨터를 쓸 수 없으며, 말하기 전에 생각하지 않고, 짧은 대화만 가능하며, 사용자나 응용에 맞게 개인화되어 있지 않습니다. 여기서 그는 이 글에서 가장 자주 인용되는 경고를 던집니다. GPT-6 ChatGPT를 상상하는 것은 완전히 틀렸고, 2027년이면 챗봇이 아니라 에이전트, 동료에 가까운 무언가를 보게 된다는 것입니다.

챗봇에서 에이전트 동료로

앞으로 몇 년간의 야심적인 족쇄 풀기를 그는 세 가지 재료로 정리합니다.

온보딩 문제. GPT-4는 많은 사람의 업무를 할 만한 원재료 지능을 갖고 있지만 5분 전에 막 출근한 똑똑한 신입사원과 비슷합니다. 아주 긴 맥락 같은 수단으로 모델을 새 동료처럼 온보딩하는 것만으로도 거대한 해방이 됩니다.

테스트 타임 컴퓨트 과잉분. 지금 모델은 한 문제에 몇 분 정도 생각할 수 있지만, 인간이 하는 유용한 인지 노동의 대부분은 몇 시간에서 몇 달이 걸립니다. 사람이 분당 100토큰으로 생각한다고 보면 환산은 이렇습니다.

수백 토큰은 몇 분에 해당하며, 이것이 현재 ChatGPT의 위치입니다.
수천 토큰은 30분에 해당하며, 테스트 타임 컴퓨트 1자릿수 추가입니다.
수만 토큰은 반나절에 해당하며, 2자릿수 추가입니다.
수십만 토큰은 일주일에 해당하며, 3자릿수 추가입니다.
수백만 토큰은 수개월에 해당하며, 4자릿수 추가입니다.

그는 이것을 여는 일이 비교적 작은 족쇄 풀기 수준의 알고리즘 승리일 수 있다고 봅니다. 소량의 강화학습으로 모델이 오류를 교정하고 계획을 세우고 해법을 탐색하도록 배울 수 있다는 것이며, 그는 이를 운전 중 복잡한 구간에서 자동 조종을 끄고 실제로 생각하는 전환에 빗대 시스템 II 외부 루프라고 부릅니다. 존스(2021)의 헥스 게임 연구에서 테스트 타임에 약 1.2자릿수를 더 쓰면 학습 컴퓨트를 약 1자릿수 늘린 것과 같은 성능이 나왔다는 점도 근거로 듭니다.

컴퓨터 사용. 지금 ChatGPT는 문자만 주고받을 수 있는 고립된 상자 안에 앉아 있는 사람과 같습니다. 멀티모달 모델로 사람처럼 컴퓨터를 쓰게 하면 회의 참석과 조사, 메시지와 이메일, 사내 앱 사용이 한꺼번에 풀립니다.

이 셋의 귀결이 즉시 투입 가능한 원격 근무자(drop-in remote worker)입니다. 마지막으로 그는 상업적 함의를 덧붙입니다. 중간 단계 모델들은 경제적 가치를 뽑아내려면 업무 흐름을 바꾸는 엄청난 잡일을 요구하는 반면 즉시 투입형 근무자는 통합이 극적으로 쉬우므로, 창출되는 가치의 도약이 다소 불연속적으로 나타나는 소닉붐 효과가 생길 수 있다는 것입니다.

해설 본문의 평가 도구를 짚어둡니다. HumanEval은 함수 단위의 짧은 코딩 문제 모음이고, SWE-Bench는 실제 깃허브 저장소의 이슈를 해결해 코드를 고치는 과제 모음입니다. 후자가 훨씬 현실에 가깝고 그만큼 어렵다는 점이 2%와 90%대 벤치마크의 차이를 설명합니다. LMSys 리더보드는 사용자가 두 모델의 답변을 블라인드로 비교 투표한 결과를 체스의 Elo 점수 방식으로 환산한 순위표입니다.

METR(Model Evaluation and Threat Research)은 최전선 모델의 자율적 과제 수행 능력을 측정하는 비영리 평가 기관으로, 주요 연구소들이 신모델 출시 전 위험 평가를 의뢰하는 곳입니다. 끝으로 시스템 I과 시스템 II는 대니얼 카너먼(Daniel Kahneman)이 대중화한 구분으로, 빠르고 자동적인 직관적 사고와 느리고 의식적인 숙고를 가리킵니다. 아셴브레너가 이 용어를 빌리는 이유는 현재 모델의 즉답이 전자에 해당하고 후자를 만들어내는 것이 남은 과제라는 주장을 압축하기 위해서입니다.

[사후 맥락] 이 글의 예측 중 가장 빠르게 확인된 것이 이 대목입니다. 글이 나온 지 석 달 뒤인 2024년 9월 오픈AI는 추론 과정에 테스트 타임 컴퓨트를 대량 투입하는 o1 계열 모델을 공개했고, 같은 해 10월 앤트로픽은 모델이 화면을 보고 마우스와 키보드를 조작하는 컴퓨터 사용 기능을 내놓았습니다. 작은 알고리즘 승리로 열릴 수 있다고 적었던 두 항목이 각각 1년도 안 되어 제품으로 등장한 것입니다.

더 직접적인 검증은 METR의 후속 연구입니다. METR은 2025년 3월, 모델이 50% 신뢰도로 완수할 수 있는 과제의 길이가 2019년 이래 약 7개월마다 두 배가 되어 왔다고 보고했습니다. 2026년 1월 갱신판에서는 2023년 이후 구간의 배가 기간이 약 131일, 2024년 이후 구간은 약 89일로 더 짧아진 것으로 추정됐습니다. 2026년 3월 평가에서는 한 최전선 모델의 시간 지평이 최소 16시간으로 측정되었고, METR은 자신들의 과제 모음으로는 다음 세대 모델을 측정할 수 없다고 공개적으로 밝혔습니다.

다만 이 수치를 그대로 외삽하는 데 대한 경고도 함께 나왔습니다. 벤치마크의 상단이 포화에 가까워지면 성공률의 작은 변화가 시간 지평 추정치를 크게 흔들기 때문에, 100일 안팎의 배가 기간을 능력 성장의 자연법칙처럼 다루는 것은 통계적으로 뒷받침되지 않는다는 비판입니다.

[관점] 투자자 관점에서 이 장의 핵심은 소닉붐 효과입니다. 아셴브레너의 주장은 기술 도입 곡선과 가치 창출 곡선이 어긋난다는 것인데, 이는 범용기술(GPT) 확산에 관한 기존 경제학 연구와 방향이 반대입니다. 통상 범용기술은 기술이 먼저 성숙하고 조직과 업무 프로세스의 재편이 뒤따르면서 생산성 통계에 늦게 잡히며, 전기가 공장 설계를 바꾸는 데 수십 년이 걸렸다는 사례가 교과서적 설명입니다.

이 주장이 맞다면 중간 단계 모델의 매출 추이로 최종 시장 규모를 추정하는 방식은 체계적으로 과소평가가 됩니다. 반대로 조직이 자율 에이전트를 받아들이는 데 책임과 감사와 보안과 규제라는 별도의 마찰이 있다면, 기술 지표가 아무리 가팔라도 매출 곡선은 완만해집니다. 2026년 현재의 데이터는 양쪽 모두를 지지하는 쪽으로 읽힙니다. 과제 수행 시간 지평은 예상보다 빠르게 늘었지만 기업 도입은 여전히 파일럿과 부분 자동화에 머문 사례가 많습니다. 그가 틀렸다면 기술 예측이 아니라 조직 마찰의 크기를 과소평가한 쪽일 가능성이 큽니다.

다음 4년, 그리고 이번 10년 아니면 없다

합산

아셴브레너는 앞서 센 세 축을 합칩니다. GPT-2에서 GPT-4까지가 기반 유효 컴퓨트 기준 약 4.5-6자릿수의 확대였다면, 이어지는 4년 동안에는 3-6자릿수의 확대가 예상되며 최선의 추정은 약 5자릿수입니다. 여기에 챗봇에서 에이전트로 가는 족쇄 풀기의 단계적 변화가 더해집니다. GPT-4 학습에 3개월이 걸렸다고 가정하면 2027년의 선도 연구소는 GPT-4급 모델을 1분 만에 학습시킬 수 있게 된다는 것이 그의 환산입니다.

같은 크기의 지능 격차를 한 번 더 건넌다면 아주 멀리 간다고 해도 놀라선 안 되며, 십중팔구 박사와 각 분야 최고 전문가를 능가하는 모델에 도달한다는 것이 그의 답입니다. 그래서 그는 우리가 2027년 AGI를 향한 궤도 위에 있으며 이 시스템들이 원격으로 수행 가능한 거의 모든 인지 노동을 자동화할 수 있게 된다고 선언합니다.

다만 곧바로 오차 범위가 크다고 적습니다. 데이터가 고갈되면서 진전이 멈출 수 있고, 데이터 장벽을 뚫는 돌파구가 예상보다 어려울 수 있으며, 족쇄 풀기가 전문가 동료가 아니라 전문가 챗봇에 머물 수도 있습니다. 반대로 테스트 타임 컴퓨트를 푸는 단순한 족쇄 풀기만으로 AGI가 더 일찍 올 수도 있습니다.

그가 말하는 AGI는 자신이나 친구들의 일을 완전히 자동화할 수 있는 시스템, AI 연구자나 엔지니어의 일을 온전히 할 수 있는 시스템입니다. 로봇공학은 더 오래 걸릴 수 있고 의료나 법률의 사회적 도입은 규제로 늦춰질 수 있지만, 일단 모델이 AI 연구를 자동화할 수 있게 되면 그것으로 충분하다고 그는 봅니다. 자동화된 AI 엔지니어들이 나머지 모든 것을 완전 자동화하는 데 남은 병목을 스스로 풀어나갈 것이기 때문입니다.

자릿수 질주

부록에서 아셴브레너는 자신이 예전에는 짧은 시간표에 더 회의적이었다고 밝힙니다. 이번 10년을 특권화해 확률 질량을 몰아주는 것이 부당해 보였기 때문입니다. 그가 생각을 바꾼 지점은 불확실성의 단위입니다. AGI에 무엇이 필요한지에 대한 불확실성은 연도가 아니라 유효 컴퓨트의 자릿수에 대한 것이어야 하며, 우리는 하필 이번 10년에 자릿수를 질주하고 있다는 것입니다.

세 동력이 모두 2030년 전후로 둔화됩니다.

지출 확대 — 10년이 끝날 무렵 1,000억 달러나 1조 달러짜리 클러스터에 이르면 대기업이 감당할 수 있는 수준으로도 GDP 대비 비중으로도 사실상 한계이고, 그 이후에는 연 2%의 실질 성장만 남습니다.
하드웨어 이득 — CPU에서 GPU로, fp64에서 fp8로 내려오며 큰 이득을 얻었지만 완전히 AI 전용 칩에 도달하면 무어의 법칙을 넘어서는 추가 이득의 여지가 많지 않습니다.
알고리즘 진보 — 손쉬운 열매를 대거 따먹은 뒤에는 자금과 인적 자본 투입의 급성장이 멈추므로 개선 속도도 느려지며, 아셴브레너는 이 항목이 가장 예측하기 어렵다고 명시합니다.

결론은 이번 10년에 질주할 자릿수가 그 이후 수십 년보다 많다는 것입니다. 그래서 최빈값으로서의 AGI 연도는 이번 10년 후반 어디쯤이어야 한다는 것이 그의 요구입니다.

[반론] 뉴스레터 「AGI Friday」는 2025년 이 글을 다시 읽으며, 아셴브레너가 2024년에서 2027년 사이 유효 컴퓨트 10만 배 확대를 제시하면서 그것이 GPT-2에서 GPT-4까지의 확대와 비슷하다고 썼지만 직접 계산해 보면 그 구간의 배수는 2만 1,000배 정도로 나온다고 지적했습니다. 두 구간을 같은 크기로 놓는 전제가 숫자상 정확히 맞지는 않는다는 것입니다.

같은 글은 더 중요한 질문을 던집니다. 2027년 말의 능력 도약이 전부 족쇄 풀기에서 왔다면 그는 입증된 것인가 하는 물음입니다. 족쇄 풀기는 정의상 기존 모델에 잠재된 능력을 꺼내는 작업이므로, 그것으로만 도약이 설명된다면 오히려 언어 모델에서 짜낼 것을 다 짜냈고 이후 정체가 온다는 해석도 가능합니다. 세 축을 하나의 유효 컴퓨트로 합산하는 방법이 각 축의 한계를 가려버린다는 지적입니다.

부록의 논증에도 비대칭이 있습니다. 이번 10년 아니면 없다는 구조는 짧은 시간표를 지지하는 근거로 제시되지만 논리적으로는 중립적입니다. 같은 전제에서 이번 확대로 AGI가 오지 않으면 AGI는 수십 년 뒤라는 결론도 똑같이 도출되기 때문입니다.

[관점] 부록은 이 글에서 가장 투자자 친화적인 대목이면서 동시에 가장 위험한 대목입니다. 아셴브레너가 그리는 구조는 본질적으로 일회성 급팽창 뒤의 평탄화입니다. 지출과 하드웨어 특화와 손쉬운 알고리즘 열매가 모두 2030년 전후에 소진되고, 그 이후에는 완만한 제약이 남습니다.

이 구조를 자본 배분의 언어로 옮기면 뚜렷한 결론이 나옵니다. 지금의 설비투자 사이클은 영구 성장이 아니라 압축된 일회성 사건이며, 따라서 수요가 멈추는 시점이 아니라 수요의 2차 미분이 꺾이는 시점이 중요해집니다. 2026년 7월의 AI 주식 급락과 아셴브레너 본인의 펀드의 손실은, 이 논리를 믿으면서도 타이밍을 레버리지로 표현했을 때 어떤 일이 벌어지는지를 보여준 사례로 읽을 수 있습니다.

한 가지 더 있습니다. 그가 지출의 상한으로 제시한 GDP 대비 비중 논리는 AGI가 오지 않는 시나리오에서만 작동합니다. 그의 II부 논리대로 경제 성장률 자체가 바뀐다면 상한도 함께 올라가므로, 부록의 제약은 사실상 그의 주장이 틀렸을 경우에만 유효한 제약입니다.

II부. AGI에서 초지능으로 — 지능 폭발

원자폭탄과 수소폭탄

어빙 존 굿(I. J. Good)은 1965년에, 기계 설계도 지적 활동의 하나이므로 초지능 기계는 더 나은 기계를 설계할 수 있고 그러면 지능 폭발이 일어나 인간의 지능은 한참 뒤에 남겨진다고 썼습니다. 최초의 초지능 기계가 인간이 만들어야 할 마지막 발명품이라는 것이 그의 결론이었습니다.

본론에 들어가기 전에 아셴브레너는 핵무기사의 한 대목을 배치합니다. 흔한 상상 속에서 냉전의 공포는 원자폭탄의 발명으로 거슬러 올라가지만, 원자폭탄에서 수소폭탄으로 간 것이 그에 못지않게 중요했다는 것입니다. 도쿄 공습에서는 수백 대의 폭격기가 수천 톤의 재래식 폭탄을 떨어뜨렸고, 같은 해 히로시마의 리틀보이는 그와 비슷한 파괴력을 단 하나의 장치로 구현했습니다. 그러나 불과 7년 뒤 텔러의 수소폭탄은 위력을 다시 1,000배로 키웠습니다.

그의 요약은 간명합니다. 원자폭탄은 더 효율적인 폭격 작전이었고, 수소폭탄은 국가를 소멸시키는 장치였습니다. AGI와 초지능의 관계도 그러할 것이라는 선언으로 이 대목이 끝납니다.

크랭크를 한두 번 더 돌리면

AGI에 도달한 뒤 크랭크를 한두 번 더 돌리면 AI 시스템은 인간보다 양적으로가 아니라 질적으로 똑똑해집니다. 핵심은 AGI가 하나만 있지 않다는 점입니다. 그때쯤의 추론용 GPU 규모를 감안하면 수백만 개를 돌릴 수 있고, 인간 등가로 1억 명 정도이며 곧 인간의 10배 이상 속도로 작동하게 됩니다. 선도 연구소의 수백 명 대신 그 10만 배가 밤낮으로 알고리즘 돌파구에 매달리는 상황입니다.

이것은 재귀적 자기개선이지만 공상과학은 필요 없다고 그는 강조합니다. 이들이 해야 할 일은 연 0.5자릿수라는 기존 추세선을 가속하는 것뿐이기 때문입니다. 자동화된 AI 연구는 인간 기준 10년치 알고리즘 진보를 1년 이내로 압축할 수 있을 것이며, 이것조차 보수적으로 보인다는 것이 그의 판단입니다.

AI 연구의 자동화

AI가 AI 연구를 자동화하는 데는 로봇도 물리적 실험도 필요하지 않습니다. 선도 연구소의 AI 연구자와 엔지니어가 하는 일은 전부 가상으로 수행 가능하고, 큰 그림에서 보면 문헌을 읽고 아이디어를 떠올리고 실험을 구현하고 결과를 해석하고 반복하는 꽤 단순한 일입니다. 그가 특별히 강조하는 것은 지난 10년 최대의 돌파구들이 얼마나 단순했느냐입니다. 정규화를 좀 넣자, f(x) 대신 f(x)+x로 하자, 구현 버그를 고치자 같은 것들이었습니다.

1억 명이라는 숫자의 근거도 공개합니다. 2027년이면 수천만 개의 GPU에서 시간당 약 1조 토큰을 생성할 수 있고, 사람이 분당 100토큰으로 생각한다면 인간 등가는 약 2억 명이 됩니다. 절반을 실험용으로 떼어두어도 1억 명의 연구자 등가가 밤낮으로 일하는 셈입니다. 다른 각도로 환산하면 2027년의 추론 규모는 인터넷 하나 분량의 토큰을 매일 생성할 수 있는 수준입니다.

이들은 곧 인간보다 훨씬 빠르게 돌아갈 수 있습니다. 복사본 수를 줄여 직렬 속도를 높이는 교환이 가능하고, 더 중요하게는 자동화된 연구자들이 가장 먼저 작업할 혁신이 10배나 100배의 속도 향상일 것이기 때문입니다. 결론은 AI 연구를 자동화하기 시작한 지 오래지 않아 1억 명의 자동화된 연구자가 각자 인간의 100배 속도로 일하게 된다는 것입니다.

숫자 말고도 이점이 있습니다. 이들은 지금까지 쓰인 모든 머신러닝 논문을 읽을 수 있고, 연구소에서 수행된 모든 이전 실험을 숙고할 수 있으며, 각 복사본에서 병렬로 배워 수천 년에 해당하는 경험을 빠르게 축적합니다. 한 명씩 교육할 필요 없이 하나를 온보딩한 뒤 복제하면 되고, 사내 정치나 문화 적응을 걱정할 필요도 없습니다. 여기서 그는 자동화된 알렉 래드퍼드(Alec Radford)를, 그것도 1억 명을 상상해 보라고 적습니다.

네 가지 병목

실험용 컴퓨트의 제약. 가장 중요한 병목입니다. 자동화된 연구자들이 실험을 돌릴 컴퓨트는 인간 연구자가 가졌던 것보다 많지 않습니다.

그럼에도 그는 1억 명의 래드퍼드가 실험 컴퓨트의 한계생산을 최소 10배는 끌어올릴 수 있으리라 봅니다. 대부분의 연구가 작은 규모에서 시험된 뒤 외삽되고, 앞으로 4년간의 확대를 감안하면 작은 규모가 곧 GPT-4 규모를 뜻하게 되며, 처음부터 제대로 설계하면 돌려야 할 실험 자체가 크게 줄어들기 때문입니다. 수년간 모델을 만져 쌓은 직관이 어떤 실험을 돌릴 필요조차 없게 만든다는 인턴의 일화도 근거로 듭니다.

여기서 그는 친구 제임스 브래드버리(James Bradbury)의 반박을 소개합니다. 연구 역량이 늘면 진보가 가속된다면 수만 명 규모의 학계는 왜 기여하지 못하느냐는 것입니다. 아셴브레너의 응답은 네 가지입니다. 품질 보정하면 학계는 수천 명 규모에 불과하고, 학계는 틀린 것을 연구하며, 연구소 내부의 암묵지에 접근할 수 없고, 학계 연구자는 100배 속도로 일하거나 자신을 복제할 수 없다는 것입니다.

보완성과 긴 꼬리. 1800년에 노동의 80%를 자동화해도 남은 20%가 병목이 되었다는 고전적 반론을 그는 인정합니다. 다만 핵심은 자신이 경제 전체가 아니라 작은 한 부분을 이야기하고 있다는 점입니다. 그럼에도 AI 연구자 직무조차 100% 자동화에 이르는 데는 긴 꼬리가 있으리라 예상하며, 2026-27년의 원형 자동화 엔지니어에서 2028-29년의 완전 자동화로 가는 단계를 제시하면서 이것도 여전히 매우 빠르다고 덧붙입니다.

알고리즘 진보의 근본적 한계. 25자릿수는 불가능하지만 5자릿수는 가능성의 영역 안에 있습니다. 사고연쇄로 소리 내어 생각하는 방식이 가장 효율적일 리 없고, 라마 3이 ‘그리고’라는 토큰을 예측하는 데 복잡한 질문의 답을 내는 것과 같은 연산을 쓴다는 점도 명백히 최적이 아닙니다. 인간이 다른 동물과 비슷한 수의 뉴런으로 훨씬 똑똑하다는 생물학적 참조도 큰 여유를 시사합니다.

‘아이디어는 점점 찾기 어려워진다’는 것은 준내생적 성장이론의 표준 반론입니다. 그러나 그의 간이 계산에 따르면 지난 4년간 알고리즘 진보는 100배였는데 품질 보정 연구 역량은 10배 정도 늘었을 뿐입니다. 따라서 100만 배의 역량 증가는 진보를 단지 유지하는 데 필요한 양보다 훨씬 크고, 완전한 연쇄반응이 아니어도 수준 효과만으로 여러 자릿수의 일회성 급증이 가능하다는 것입니다.

종합하면 완전 자동화된 AI 연구자에서 훨씬 초인적인 시스템으로 가는 데 1년, 길어야 몇 년이라는 것이 기본 예상이어야 한다는 것이 그의 결론입니다.

해설 본문의 기술 용어를 풀어둡니다. 잔차 연결은 신경망의 층을 통과한 결과에 입력을 그대로 더해주는 구조로, 층이 깊어질수록 학습이 무너지던 문제를 해결하며 현대 딥러닝의 기본 부품이 되었습니다. 정규화는 층을 지나는 수치의 분포를 일정하게 맞춰 학습을 안정시키는 기법입니다. 둘 다 수식으로는 한 줄짜리 변경이며, 아셴브레너가 돌파구의 단순성을 강조할 때 드는 사례입니다.

경제학 쪽 배경도 짚어둡니다. 준내생적 성장이론은 찰스 존스(Charles I. Jones)가 정식화한 모형으로, 기술 진보는 연구자 수에 의존하지만 아이디어가 점점 찾기 어려워지기 때문에 연구자 수가 꾸준히 늘어야만 일정한 성장률이 유지된다고 봅니다. 수준 효과와 성장 효과의 구분도 여기서 나옵니다. 성장률 자체를 영구히 높이는 것이 성장 효과, 일시적으로 큰 도약을 만들되 결국 원래 성장률로 돌아가는 것이 수준 효과입니다. 아셴브레너가 수준 효과만으로 충분하다고 답하는 것은 영구적 자기가속을 입증하지 않아도 자기 주장이 성립한다는 뜻입니다.

[반론] 「Situational Blindness」라는 제목으로 발표된 응답문은 아셴브레너가 머신러닝 연구를 핵물리학에 유비하면서 기술 확산이라는 개념을 간과하고 있다고 지적합니다. 그의 논증은 초지능 도달의 시점 차이가 승패를 가른다고 전제하는데, 역사적으로 기술은 선두 주자가 독점한 채로 머물지 않고 확산되어 왔다는 것입니다. 이 반론이 겨냥하는 것은 지능 폭발의 가능성 자체가 아니라, 폭발이 일어나더라도 몇 달의 선두가 영구적 우위로 고정된다는 추가 전제입니다.

병목 논의 자체에 대해서도 지적이 있습니다. 아셴브레너는 네 병목을 각각 검토한 뒤 어느 것도 완전히 막지는 못한다고 결론 내리는데, 병목들이 독립적으로 작동한다고 암묵적으로 가정하고 있다는 것입니다. 또한 학계 반론에 대한 응답에서 품질 보정을 적용하면서 자동화된 연구자 1억 명에게는 같은 보정을 적용하지 않는다는 점에서 비대칭적이라는 비판도 가능합니다. 복사본 1억 개가 서로 다른 1억 명의 연구자와 같은 다양성을 갖는지는 별도의 논증이 필요한 문제입니다.

[관점] 이 장의 구조를 뒤집어 읽으면 흥미로운 사실이 드러납니다. 아셴브레너는 자동화된 AI 연구를 재귀적 자기개선의 서사가 아니라 생산함수의 투입 요소 변화로 다룹니다. 알고리즘 진보의 생산함수에 연구 역량과 실험 컴퓨트라는 두 보완적 투입이 있고 그중 하나가 100만 배로 늘면 무슨 일이 벌어지느냐는 질문입니다. 공상과학이 아니라 표준적인 성장회계 문제이며, 바로 그래서 반박하기가 까다롭습니다.

동시에 이 틀은 약점이 어디인지도 정확히 알려줍니다. 보완재가 있는 생산함수에서 한 투입만 극단적으로 늘리면 수익은 결국 다른 투입에 의해 제한됩니다. 지능 폭발 주장 전체가 자동화된 연구자가 컴퓨트를 몇 배 효율적으로 쓸 수 있는가라는 한 숫자 위에 서 있는데, 그 숫자에 대한 근거는 추세 외삽이 아니라 동료들에게 물어본 인상과 인턴 일화입니다. I부에서 강조한 방법론이 정작 결론의 급소에서는 적용되지 않는 셈입니다.

자본시장 관점에서는 구체적 함의가 하나 있습니다. 이 논리가 옳다면 추론용 GPU 규모가 학습용보다 훨씬 중요해집니다. 1억 명의 연구자를 돌리는 것은 학습이 아니라 추론이기 때문입니다. 설비투자 사이클을 볼 때 학습 수요의 둔화가 곧 전체 수요의 둔화를 뜻하지 않을 수 있다는 점은 이 글의 틀 안에서 가장 실용적인 관찰 중 하나입니다.

초지능의 힘

양적 초인성과 질적 초인성

양적인 측면부터 보면, 10년이 끝날 무렵의 수억 개 GPU 위에서 우리는 수십억 규모의 문명을 돌릴 수 있고 그들은 인간보다 여러 자릿수 빠르게 생각합니다. 어떤 영역이든 빠르게 통달하고, 모든 과학 분야의 논문을 읽어 완벽하게 학제적이며, 모든 복사본의 병렬 경험에서 배우고, 뒤처지는 팀원 때문에 속도가 느려지지도 않습니다.

더 중요하지만 상상하기 어려운 것은 질적 측면입니다. 좁은 사례로 그는 다시 알파고를 듭니다. 대규모 강화학습은 인간의 이해를 넘어서는 창의적 행동을 만들어낼 수 있으며 이세돌전의 37수가 그것입니다. 초지능은 인간이 알아채지 못할 취약점을 찾아내고, 어떤 인간도 이해할 수 없을 만큼 복잡한 코드를 생성하며, 인간이 수십 년 막혀 있을 문제를 명백하게 봅니다. 우리는 뉴턴 역학에 막혀 있는 고등학생이고 그들은 양자역학을 탐사하고 있는 격이 됩니다.

이 느낌을 전하기 위해 그가 드는 예가 비디오 게임 스피드런 영상입니다. 마인크래프트를 20초 만에 깨는 영상에서 무슨 일이 벌어지는지 전혀 모르겠다면 정상이고, 평범하게 즐기는 사람들조차 대부분 영문을 모릅니다. 이것이 과학과 기술과 경제의 모든 영역에 적용된다고 상상해 보라는 것입니다.

폭발은 넓어진다

지능 폭발에서 폭발적 진보는 처음에는 자동화된 AI 연구라는 좁은 영역에만 있었습니다. 수십억의 초지능 에이전트를 여러 분야에 투입하면 그 폭발이 넓어집니다.

AI 능력 폭발 — 다른 영역의 업무 자동화를 막던 한계를 자동화된 연구가 빠르게 해결해 모든 인지 노동의 자동화를 가능하게 합니다.
로봇공학의 해결 — 로봇은 하드웨어 문제라기보다 주로 머신러닝 알고리즘 문제이며, 공장은 인간 운영에서 AI 지휘를 거쳐 로봇 떼의 완전 운영으로 이행합니다.
과학기술의 가속 — 10억 명의 초지능 과학자와 10배 속도의 로봇 기술자는 인간이 다음 세기에 걸쳐 할 연구개발을 수년으로 압축할 수 있습니다.
산업과 경제의 폭발 — 노동이 완전히 자동화되면 자본 축적의 제약이 풀려 연 30% 이상의 성장률도 가능해집니다.

성장 체제의 전환이 전례 없는 일이 아니라는 점을 보이기 위해 그는 로빈 핸슨(Robin Hanson)의 틀을 빌립니다. 세계 경제의 배가 기간은 수렵 시대 23만 년에서 농경 시대 860년으로, 과학·상업 시대 58년으로, 산업 시대 15년으로 짧아져 왔다는 것입니다. 그다음 양식이 2030년경 시작된다면 그 배가 기간은 아직 비어 있는 칸입니다.

결정적 군사 우위도 따라옵니다. 초인적 해킹이 적국의 군대를 무력화할 수 있고, 드론 떼와 로봇 군대는 시작일 뿐이며, 새로운 대량살상무기부터 뚫을 수 없는 미사일 방어까지 완전히 새로운 무기가 등장합니다. 초지능 이전의 무기고와 비교하면 21세기 군대가 19세기 기병대와 싸우는 격이 됩니다.

나아가 그는 초지능을 통제하는 자가 초지능 이전 세력으로부터 권력을 탈취할 힘을 갖게 될 가능성이 꽤 높다고 적습니다. 역사적 유비로는 1500년대 초 에르난 코르테스(Hernán Cortés)의 약 500명이 아스테카 제국을, 프란시스코 피사로(Francisco Pizarro)의 약 300명이 잉카 제국을 정복한 사례를 듭니다. 신적인 힘이 있었던 것이 아니라 기술적 우위와 전략적 책략의 우위가 결정적 우세를 만들었다는 것입니다.

모든 것이 미친 듯이 빨라진다

인간 수준의 AGI 자체도 중대하겠지만 어떤 의미에서는 우리가 이미 아는 것의 더 효율적인 판본일 뿐입니다. 그러나 불과 1년 안에 우리는 그 이해와 능력이 인류 전체를 합친 것을 능가하는 이질적 시스템으로 이행하게 됩니다. 이 급격한 이행 중에 AI 시스템에 신뢰를 넘겨주도록 강요받으면서 통제를 잃을 실질적 가능성이 있다는 것입니다.

20세기의 지정학적 열병과 인재를 단 몇 년 만에 겪는다고 가정해 보라는 것이 그의 비유입니다. 그 끝에는 초지능 시스템이 우리의 군대와 경제를 운영하고 있을 것이고, 이 모든 광기 속에서 올바른 결정을 내릴 시간은 극도로 부족합니다.

II부의 마지막은 다시 핵물리학사로 돌아갑니다. 실라르드가 1933년 연쇄반응을 착상했을 때 아무도 설득하지 못했고, 1938년 핵분열이 발견되자 그는 비밀 유지를 강하게 주장했습니다. 그러나 페르미와 보어를 비롯한 대다수 과학자는 가능성을 깎아내리는 것이 보수적인 태도라고 생각했습니다. 폭탄이 현실이 되기까지 5년밖에 남지 않은 시점이었는데도 그랬습니다. AI 연구소의 선임 과학자 다수는 빠른 지능 폭발을 놀랄 만큼 그럴듯하다고 본다는 문장으로 II부가 끝납니다.

해설 본문이 전제하는 경제학 하나를 풀어둡니다. 성장 모델에서 자본과 노동이 보완재일 때 자본만 계속 쌓으면 자본의 한계생산이 떨어져 성장이 멈춥니다. 공장을 아무리 더 지어도 그것을 돌릴 사람이 늘지 않으면 소용없기 때문입니다. 그런데 로봇이 노동을 완전히 대체하면 노동도 자본처럼 축적 가능한 생산요소가 되고 모형의 성격이 근본적으로 달라집니다. 연 30% 성장이라는 숫자가 모형 안에서는 꽤 직접적으로 도출된다는 그의 말은 이 구조를 가리킵니다.

핸슨의 성장 양식 구분은 경제사의 확립된 사실이 아니라 가설적 해석이며, 선사시대 경제 규모 추정에는 큰 불확실성이 있으므로 패턴을 보여주는 장치로 읽는 것이 적절합니다. 코르테스와 피사로의 유비도 논쟁적입니다. 소수의 스페인 병력이 거대 제국을 무너뜨린 데에는 기술 격차뿐 아니라 천연두를 비롯한 전염병과 제국에 반감을 품은 현지 세력과의 동맹이 결정적 역할을 했다는 것이 현재의 표준적 설명입니다.

[반론] 이 장이 제기하는 가장 큰 쟁점은 모든 것이 가능하다는 결론에 어떤 제약도 걸리지 않는다는 점입니다. 「AGI Friday」의 회고적 서평은 아셴브레너가 III부와 IV부로 이어지는 논증에서 손을 많이 흔든다고 지적하면서, 특히 초지능이 핵 억지력까지 선제적으로 무력화할 수 있다는 주장을 근거 없는 확장으로 봅니다. 인지 능력의 증가가 물리적 세계의 제약을 어디까지 우회할 수 있는지는 경험적 질문인데, 이 글은 충분히 똑똑하면 방법을 찾아낼 것이라는 형태의 논증으로 그 질문을 건너뛴다는 것입니다.

로봇공학에 대해서도 같은 구조의 비판이 가능합니다. 물리 세계에서의 학습은 시뮬레이션과 현실의 격차, 센서 노이즈, 마모와 고장, 안전 검증 같은 제약을 갖고 있으며 이것들은 연산량으로 환원되지 않습니다. 한편 「Against Aschenbrenner」는 전혀 다른 각도에서, 초지능의 힘을 묘사하는 방식 자체가 국가안보화라는 결론을 미리 깔아놓는 수사적 장치라고 비판합니다. 초지능이 결정적 군사 우위를 준다는 전제를 받아들이면 경쟁 외의 선택지는 자동으로 배제되고, 국제 협력이나 공동 규제 같은 대안이 논의 대상에서 사라진다는 것입니다.

[관점] 이 절에서 눈여겨볼 대목은 아셴브레너가 스스로 걸어둔 단서입니다. 그는 사회적 마찰이 성장률 통계를 늦출 것이라고 인정하면서도, 경쟁이 강제하는 영역에서는 폭발이 일어난다고 말합니다. 여기서 군수 생산을 콕 집어 예로 든 것은 우연이 아닙니다. 이 글의 논리 구조에서 경제적 변화는 늦춰질 수 있지만 군사적 변화는 늦춰질 수 없고, 바로 그 비대칭이 뒤에 나올 국가 프로젝트 주장을 떠받칩니다.

투자자 입장에서 이 구분은 실용적입니다. 이 글이 옳더라도 상장 기업의 실적에 나타나는 경로와 국가 예산에 나타나는 경로는 속도가 다릅니다. 규제가 두꺼운 산업에서는 기술 능력과 수익화 사이의 간격이 길게 유지되고, 규제가 얇거나 국가가 발주처인 영역에서는 간격이 짧습니다. 아셴브레너 자신의 펀드가 AI 인프라 쪽에 극도로 집중되었던 것도 이 논리의 연장으로 읽을 수 있습니다.

IIIa. 1조 달러 클러스터 경쟁

나라 전체를 공장으로

III부의 첫 장은 1944년 닐스 보어가 텔러에게 했다는 말로 시작합니다. 나라 전체를 공장으로 만들지 않고는 안 된다고 하지 않았느냐, 그런데 당신들은 정말 그렇게 했다는 것입니다. 아셴브레너의 논지는 이 일화가 반복되고 있다는 것입니다. AGI 경쟁은 코드와 노트북 뒤에서만 벌어지지 않고 미국의 산업 역량을 동원하는 경주가 되며, 새 모델마다 거대한 클러스터가, 곧 거대한 발전소가, 결국 거대한 반도체 공장이 필요해집니다.

연 0.5자릿수 추세를 10년 끝까지 연장하면 가장 큰 학습 클러스터는 다음과 같이 커집니다.

2022년, GPT-4 클러스터 — 약 5억 달러, 약 10MW로 평균 가정 1만 가구 수준입니다.
2024년, 1자릿수 추가 — 수십억 달러, 약 100MW로 10만 가구 수준입니다.
2026년, 2자릿수 추가 — 수백억 달러, 약 1GW로 후버댐이나 대형 원자로 1기 수준입니다.
2028년, 3자릿수 추가 — 수천억 달러, 약 10GW로 미국의 중소 규모 주 하나 수준입니다.
2030년, 4자릿수 추가 — 1조 달러 이상, 약 100GW로 미국 전력 생산의 20%가 넘습니다.

믿기 어려워 보이지만 실제로 일어나고 있다고 그는 말합니다. 마크 저커버그는 H100 35만 개를 샀고, 아마존(Amazon)은 원자력 발전소 옆의 1GW 데이터센터 단지를 매입했으며, 마이크로소프트(Microsoft)와 오픈AI가 2028년을 목표로 1,000억 달러짜리 클러스터를 준비 중이라는 보도도 있었습니다. 가장 기이한 점은 지출 의향이 제약 조건이 아니라는 사실입니다. 제약은 전력과 토지와 인허가와 건설 같은 인프라입니다.

전체 컴퓨트 투자는 이보다 큽니다. 2024년에만 1,000억-2,000억 달러가 투입되고, 2026년 약 5,000억 달러, 2028년 약 2조 달러, 2030년 약 8조 달러에 이를 수 있다는 것이 그의 추정입니다. 2028년이면 AI 칩 수요가 TSMC의 현재 선단 웨이퍼 생산 전부에 맞먹고, 2030년이면 그 4배가 됩니다. AMD가 2027년까지 4,000억 달러 규모의 AI 가속기 시장을 전망했다는 점도 자기 숫자와 가깝다고 덧붙입니다.

될 것인가, 될 수 있는가

수요 측면에서 오픈AI는 2023년 8월 연환산 10억 달러, 2024년 2월 20억 달러의 매출 흐름에 있었습니다. 대략 6개월마다 두 배입니다. 그가 즐겨 생각한다는 이정표는 빅테크 한 곳이 AI에서 연 1,000억 달러 매출 흐름에 도달하는 시점이고, 단순 외삽하면 2026년 중반이 됩니다. 도달에 필요한 상상력이 놀랍도록 적다는 것이 그의 반론입니다. 마이크로소프트 오피스 유료 구독자 약 3억 5,000만 명 중 3분의 1이 AI 부가 기능에 월 100달러를 낼 의향을 갖게 하면 된다는 것입니다.

역사적 선례도 나열합니다. 맨해튼 프로젝트와 아폴로 계획은 정점 기준 GDP의 0.4%였고, 1996-2001년 통신사들은 오늘날 가치로 거의 1조 달러를 인터넷 인프라에 투자했으며, 1841-1850년 영국의 민간 철도 투자는 당시 GDP의 누적 약 40%였습니다. 2차 대전 때 미국은 GDP의 60% 이상을 빌렸습니다. 연 1조 달러의 AI 투자는 역대 최대급이지만 전례 없는 일은 아니라는 것입니다.

전력과 반도체

공급 측면에서 가장 큰 제약은 전력입니다. 미국 전체 발전량은 지난 10년간 겨우 5% 늘었고, 기가와트급 원전 하나를 새로 짓는 데는 10년이 걸립니다. 그럼에도 그는 풍부한 천연가스를 근거로 미국에서 충분히 가능하다고 주장합니다. 펜실베이니아 일대의 마셀러스·유티카 셰일만으로 하루 약 360억 입방피트를 생산하는데 이는 복합화력 기준 250GW까지 가능한 양이고, 100GW 클러스터에 필요한 약 1,200개의 신규 유정은 현재 시추기 40대로 1년이면 확보할 수 있다는 계산입니다.

장벽은 전적으로 자초한 것이라고 그는 단언합니다. 경직된 기후 공약과 FERC·NEPA 규제가 몇 년이면 될 일을 10년 이상 걸리게 만들고 있고, 이대로면 AGI 데이터센터를 중동으로 밀어내게 된다는 것입니다.

반도체는 생각보다 작은 제약입니다. 전 세계 AI 칩 생산은 아직 TSMC 선단 공정의 10% 미만이고 성장할 여지가 많습니다. 진짜 병목은 CoWoS 첨단 패키징과 HBM 메모리입니다. 이들은 AI에 더 특화되어 있어 기존 용량이 적기 때문입니다. 그는 미국 내 팹 건설보다 AGI가 거주할 데이터센터를 미국에 두는 것이 더 중요하다고 보며, 팹 프로젝트는 일본과 한국 같은 민주주의 동맹국에 더 크게 베팅하는 쪽이 낫다고 추측합니다.

장의 마지막에서 그는 2023년이 바로 AI 각성의 해였다고 적고, 이 모든 것이 엔비디아와 TSMC 등에 무엇을 의미하는지는 독자의 연습 문제로 남기겠다고 덧붙입니다. 상황 인식을 가진 사람들은 훨씬 싸게 샀지만 아직 전혀 충분히 반영되지 않았다는 힌트와 함께입니다.

해설 이 장의 기술 용어를 풀어둡니다. CoWoS는 TSMC의 첨단 패키징 기술로, 연산을 담당하는 로직 칩과 메모리를 하나의 기판 위에 극도로 가깝게 붙이는 공정입니다. HBM(High Bandwidth Memory)은 메모리 칩을 수직으로 쌓아 데이터 전송 폭을 크게 늘린 메모리로, AI 가속기의 성능을 좌우하는 부품입니다. 아셴브레너가 이 둘을 로직 팹보다 먼저 병목이 된다고 짚은 이유는 AI 전용에 가까워 다른 용도에서 전용할 기존 용량이 거의 없기 때문입니다.

미국의 규제 약어도 짚어둡니다. FERC는 연방에너지규제위원회로 주간 송전과 도매 전력시장을 관할하고, NEPA는 1970년 발효된 국가환경정책법으로 연방이 관여하는 대형 사업에 환경영향평가를 의무화합니다. 아셴브레너가 이 둘을 지목하는 것은 미국에서 발전소보다 송전선 짓기가 더 어렵고 평가 절차가 소송으로 이어지며 사업을 10년 단위로 지연시키는 구조를 가리키기 위해서입니다.

[사후 맥락] 이 장의 예측은 2년여 동안 상당 부분 검증되었고 일부는 아셴브레너의 숫자를 넘어섰습니다. 엔비디아는 2025년 1월 마감 회계연도에 데이터센터 매출 1,152억 달러, 총매출 1,305억 달러를 기록했습니다. 이후 분기별 데이터센터 매출은 2025년 4월 391억, 7월 411억, 10월 512억 달러로 이어졌고, 2026년 4월 마감 분기에는 총매출 816억 달러에 데이터센터 752억 달러, 7월 마감 분기에는 데이터센터만 890억 달러를 기록했습니다. 각주에서 2025년 2,000억 달러 이상을 예상한 그의 추정은 거의 정확했습니다.

클러스터 쪽에서는 2025년 1월 5,000억 달러 규모의 스타게이트(Stargate) 프로젝트가 발표되며 수천억 달러 클러스터가 2028년이 아니라 곧바로 의제에 올랐습니다. 하이퍼스케일러 5사의 합산 설비투자는 2025년 4분기에만 1,383억 달러로 전년 대비 66% 늘었고, 구글 한 곳이 2026년 설비투자를 1,750억-1,850억 달러로 제시했습니다. 2025년의 910억 달러에서 거의 두 배입니다.

다만 그가 2026년 중반으로 꼽았던 빅테크 한 곳의 AI 매출 1,000억 달러는 공개 실적상 확인되지 않았습니다. 설비투자가 매출을 앞지르며 커진다는 묘사는 맞았지만 그 간격이 예상한 속도로 좁혀졌는지는 별개의 문제이고, 2026년 7월의 급락은 그 간격에 대한 재평가가 한 차례 폭력적으로 일어난 사건이었습니다.

[한국 관점] 이 장은 한국 독자에게 두 방향으로 읽힙니다. 하나는 기회이고 하나는 거울입니다. 기회 쪽부터 보면, 아셴브레너는 미국 내 팹 건설의 역기능을 지적하며 팹 프로젝트는 일본과 한국 같은 민주주의 동맹국에 더 크게 베팅하는 편이 낫다고 명시적으로 적었습니다. 그가 진짜 병목으로 꼽은 CoWoS 패키징과 HBM 메모리는 한국 기업이 직접적인 당사자인 영역입니다. 2026년 엔비디아가 SK텔레콤과 네이버, 브룩필드와 기가와트급 소버린 AI 인프라 구축을 발표한 것도 같은 지형 위에 있습니다.

거울 쪽은 전력입니다. 그가 미국의 제약을 자초한 것이라 부르며 규제 완화로 풀 수 있다고 본 문제는, 한국에서 훨씬 단단한 물리적 제약으로 나타납니다. 2024년 8월부터 2026년 3월까지 수도권에서 접수된 데이터센터 전력계통영향평가 1차 기술검토는 522건, 3만 3,592MW였는데 최종 공급 가능 승인을 받은 것은 10건, 1,010MW로 건수 기준 1.9%였습니다. 서울 소재 발전 자급률은 약 12%, 경기는 약 62%인 반면 경북과 전남은 200%를 넘습니다.

그의 처방은 한국에 그대로 적용되지 않습니다. 그가 기대는 것은 마셀러스 셰일이라는 국내 자원과 연방 차원의 인허가 개혁인데, 한국에는 그런 가스전이 없고 송전망 확충은 지역 갈등이라는 다른 종류의 제약에 묶여 있습니다. 2038년 최대 전력 목표 수요가 129.3GW까지 상향된 배경에 용인 반도체 클러스터와 대규모 데이터센터 계획이 있는데, 이 수요를 받아낼 계통을 짓는 일은 규제 완화만의 문제가 아닙니다. 같은 제약이 미국에서는 정치적 결단의 문제로, 한국에서는 국토와 계통의 문제로 번역된다는 점이 이 장을 한국에서 읽을 때의 핵심 차이입니다.

IIIb. 연구소를 봉쇄하라 — AGI를 위한 보안

중국의 AGI 연구소는 샌프란시스코와 런던에 있다

이 장의 제사는 1939년 실라르드와 보어의 논쟁입니다. 실라르드와 텔러는 나치가 먼저 알아낼까 두려우니 핵분열 연구 결과를 발표하지 말아야 한다고 보어를 설득하려 했지만, 보어는 핵에너지를 만들어내는 데 결코 성공하지 못할 것이며 물리학에 비밀이 도입되어서는 안 된다고 맞섰습니다.

아셴브레너의 선언은 이렇습니다. 현재의 경로대로라면 선도적인 중국 AGI 연구소는 베이징이나 상하이가 아니라 샌프란시스코와 런던에 있게 된다는 것입니다. 몇 년 안에 AGI 비밀이 미국에서 가장 중요한 국방 기밀이라는 것이 분명해지겠지만, 지금 우리는 그것을 아무 SaaS 소프트웨어처럼 다루고 있습니다. 미국의 선도 연구소들은 스스로 AGI를 만들고 있다고 선언하면서도 보안 기준은 평범한 기술 스타트업에 맞춥니다.

지켜야 할 핵심 자산은 둘입니다. 모델 가중치와 알고리즘 비밀입니다. 그는 알고리즘 비밀에 대한 보안이 가중치 보안보다 몇 년 먼저 필요하다고 강조합니다. 데이터 장벽을 넘기 위한 강화학습과 자가 대국과 합성 데이터 등 다음 패러다임이 지금 개발되고 있기 때문입니다. 오늘의 실패는 곧 되돌릴 수 없게 되며, 앞으로 12-24개월 안에 핵심 돌파구를 중국공산당에 유출하게 되리라는 것이 그의 예측입니다.

국가 행위자를 과소평가하지 말라

너무 많은 똑똑한 사람들이 첩보를 과소평가한다고 그는 지적합니다. 평시에 공개적으로 알려진 적은 정보만으로도 국가 행위자들은 전화번호만으로 아이폰을 제로클릭 해킹했고, 망분리된 핵무기 프로그램에 침투했으며, 구글 소스코드를 수정했고, 평균 탐지에 7년이 걸리는 제로데이를 매년 수십 개씩 찾아냈습니다. 미국 정부에서 2,200만 건의 보안 심사 파일이 유출된 사건도 있었습니다.

이미 중국은 광범위한 산업 스파이 활동을 벌이고 있습니다. FBI 국장은 중국의 해킹 작전이 주요 국가를 전부 합친 것보다 크다고 말했고, 법무장관은 구글에서 핵심 AI 코드를 훔쳐 중국으로 가져가려던 중국 국적자의 체포를 발표했습니다. 각주의 세부가 특히 인상적입니다. 최고 수준의 보안을 가졌을 구글에서조차 탐지되지 않고 코드를 훔치는 데 필요했던 것은, 지급받은 노트북에서 소스를 메모 앱에 붙여넣고 PDF로 변환해 업로드하는 것이 전부였습니다.

지금의 수준과 요구되는 수준

알고리즘 비밀 보안이 지금 얼마나 나쁜지는 과장하기 어렵다고 그는 적습니다. 연구소들을 통틀어 가장 중요한 비밀에 접근 가능한 사람이 수천 명이고, 신원조회도 사일로화도 기본적인 정보보안도 사실상 없으며, 사람들은 샌프란시스코 파티에서 떠듭니다. 머릿속에 비밀을 담은 누구든 1억 달러를 제안받고 중국 연구소로 영입될 수 있습니다. 그는 마크 앤드리슨(Marc Andreessen)이 미국 AI 연구소의 보안을 스위스 치즈에 비유하며 중국의 침투가 간단할 것이라고 말한 발언도 인용합니다.

가중치 보안도 마찬가지입니다. 구글 딥마인드조차 자신들의 프런티어 안전 프레임워크에서 보안 수준 0, 즉 가장 기초적인 조치만 갖춘 상태라고 인정합니다. 북한 수준의 상대를 막으려면 3, 최상위 국가 행위자를 막으려면 4가 필요한데 말입니다. 그가 밤잠을 가장 설치게 하는 시나리오는 지능 폭발 직전에 적대국이 자동화된 AI 연구자의 가중치를 훔치는 경우입니다. 그 순간 미국의 리드는 사라지고 곧바로 실존적 경주로 내몰립니다.

그가 요구하는 수준은 완전히 망분리된 데이터센터와 군사기지급 물리 보안, 하드웨어 암호화와 공급망 검증, 모든 연구 인력의 SCIF 내 근무, 극단적 인력 검증과 상시 감시, 다중 키 승인, NSA 등에 의한 지속적 침투 테스트입니다. 이것은 정부의 도움 없이는 불가능하며, 한 고위 보안 전문가는 확률을 한 자릿수로 낮추는 유일한 방법이 사실상 정부 프로젝트라고 추정했다고 그는 전합니다.

다만 비관할 일은 아니라고 덧붙입니다. 중국공산당이 아직 AGI에 완전히 각성하지 않았으므로, 미국 연구소 보안은 중국 첩보의 강도보다 앞서 있기만 하면 됩니다. 즉시 민간 수준에서 가능한 조치를 취하고, 이후 정부와 협력해 강도를 높여가면 된다는 것입니다.

장의 결론부에서 그는 1940년 페르미의 흑연 측정 일화를 듭니다. 실라르드의 거듭된 설득으로 페르미가 결과 발표를 보류했고, 그래서 독일 측은 보테의 잘못된 측정을 바로잡지 못한 채 중수 경로로 갔으며 그 결정적인 잘못된 경로가 독일의 핵무기 노력을 망쳤다는 것입니다.

해설 본문의 보안 용어를 풀어둡니다. 망분리는 시스템을 외부 네트워크와 물리적으로 완전히 끊어두는 것이고, SCIF는 도청과 전자기 유출을 차단하도록 설계된 미국 정부의 기밀 취급 시설로 창문이 없고 전자기기 반입이 통제되는 방을 떠올리면 됩니다. 제로데이는 아직 알려지지 않아 패치가 없는 취약점이고, 부채널 공격은 암호 자체를 깨는 대신 소비 전력이나 처리 시간, 전자기 방출, 소음 같은 부수적 신호에서 비밀을 추론하는 기법입니다.

RAND 가중치 보안 보고서는 2024년 발표된 「Securing AI Model Weights」로, 가중치 탈취 위협을 공격자 역량에 따라 아마추어 해커부터 최상위 국가 행위자의 최우선 작전까지 다섯 단계로 나누고 각 수준을 막는 데 필요한 조치를 제시합니다. 끝으로 보테의 흑연 측정 오류가 독일을 중수 경로로 몰았다는 설명은 리처드 로즈(Richard Rhodes)의 『원자폭탄 만들기』에 실린 유명한 일화이지만, 독일 핵 프로그램의 실패를 이 한 가지로 환원하는 것은 과도한 해석이기도 합니다.

[이해관계] 이 장은 이 글에서 아셴브레너의 발화 위치를 가장 직접적으로 드러내는 대목입니다. 아셴브레너는 2024년 4월 오픈AI에서 정보 유출을 이유로 해고되었는데, 본인의 설명에 따르면 실제 계기는 그가 작성해 이사회에 공유한 보안 메모였습니다. 그는 연구소의 보안이 국가 행위자 수준의 위협에 전혀 대비되어 있지 않다는 취지의 문서를 썼고 그 뒤 회사가 경고를 주었다고 주장했습니다. 회사 쪽 설명은 기밀 정보 공유였습니다.

이 사실관계를 염두에 두면 이 장의 성격이 달라 보입니다. 165쪽 가운데 이 장은 아셴브레너가 사적으로 겪은 분쟁을 공개 논증으로 확장한 부분이며, 국익보다 상업적 이익을 앞세운다거나 국가안보보좌관이 알면 정신적 붕괴를 일으킬 것이라는 표현의 수위도 그 맥락에서 읽힙니다. 그가 인용한 앤드리슨의 발언 역시 검증된 사실이 아니라 한 벤처투자자의 추정이라는 점을 아셴브레너 자신도 인용 블록으로 분리해 처리하고 있습니다.

이것이 주장을 무효화하지는 않습니다. 보안이 허술하다는 지적 자체는 당사자가 직접 본 것이라는 점에서 오히려 신빙성을 더합니다. 다만 이 장의 결론인 정부 주도 보안 체제 요구가 뒤의 IV부로 곧장 이어진다는 점은 짚어둘 만합니다. 보안 문제 제기가 국가 프로젝트 주장의 경로를 깔아주는 구조이며, 아셴브레너는 그 길을 민간 연구소 내부에서 걷다 밀려난 사람입니다.

[한국 관점] 아셴브레너가 묘사하는 상황, 즉 기술 자체는 앞서 있는데 그것을 지키는 체계는 뒤처져 있다는 구조는 한국 반도체 산업이 10년 넘게 겪어온 문제와 거의 동형입니다. 다만 한국은 이미 그 단계를 지나 대응 체계를 만들어 본 쪽에 가깝습니다. 국가정보원이 2021년부터 2025년까지 적발한 산업기술 해외 유출 사건은 107건이고 그중 반도체가 40건으로 약 37%를 차지했습니다. 삼성전자 전직 부장이 18나노 D램 공정 정보를 중국 CXMT에 넘긴 사건에서는 2026년 4월 파기환송심에서 징역 6년 4개월과 벌금 2억 원이 선고됐습니다.

이 경험이 주는 교훈은 그의 처방과 미묘하게 어긋납니다. 그는 수십 명의 핵심 인력을 검증하고 사일로화하면 비밀을 지킬 수 있다고 봅니다. 그런데 한국의 사례에서 드러난 취약 고리는 중심이 아니라 주변부였습니다. 경찰청 집계상 적발된 기술 유출 사건의 86%가 중소기업과 관련되어 있었고, 장비와 소재와 설계 협력사, 그리고 퇴직자가 주된 통로였습니다. 2-3배 연봉 제안이라는 유인 구조는 법 개정 이후에도 그대로 남아 있습니다.

또 하나, 한국은 산업기술보호법 개정과 간첩죄 적용 범위 확대로 처벌을 강화해 왔지만 형량은 여전히 비교 대상국보다 낮다는 지적이 있습니다. 대만에서는 TSMC 영업비밀 유출 사건에 최대 징역 10년이 선고된 바 있습니다. 결국 한국의 경험이 보여주는 것은, 그가 요구하는 국가 수준 보안으로 올라서려 할 때 실제 병목이 핵심 인력 통제가 아니라 공급망 전체의 보안 수준과 처벌의 억지력이라는 점입니다.

IIIc. 슈퍼얼라인먼트 — 문제

마법사의 제자

이 장의 제사는 괴테의 시 「마법사의 제자」입니다. 늙은 마법사가 나갔으니 그가 부리던 정령들이 이제 내 명령을 따를 것이라고 제자는 말하지만, 몇 행 뒤 그는 자신이 불러낸 정령들을 쫓아낼 수 없다고 절규합니다.

아셴브레너는 자신이 둠어가 아니라고 선언합니다. AI 개발 중단 같은 정책에 강하게 반대해 왔고, 정렬되지 않은 초지능이 가장 큰 AI 위험은 아마 아닐 것이라고도 적습니다. 그럼에도 지난 1년간 오픈AI에서 수츠케버와 슈퍼얼라인먼트 팀에서 일하며 확인한 것은 아주 현실적인 기술 문제가 있다는 사실입니다. 현재의 정렬 기법은 초인적 AI 시스템으로 확장되지 않습니다.

본질적으로 우리가 마주한 것은 신뢰를 넘겨주는 문제입니다. 지능 폭발이 끝날 무렵이면 수십억의 초지능이 무엇을 하고 있는지 이해할 가망이 없습니다. 그런데 우리는 거짓말하지 말라거나 법을 지키라거나 서버에서 스스로를 빼내려 하지 말라는 기본 제약조차 안정적으로 보장할 기술적 능력을 갖고 있지 않습니다.

핵심 기술 문제

핵심 문제는 단순합니다. 우리보다 훨씬 똑똑한 AI 시스템을 어떻게 통제하는가입니다. RLHF는 인간이 AI의 행동을 이해하고 감독할 수 있다는 데 의존하므로 모델이 똑똑해질수록 예측 가능하게 무너집니다. 초인적 시스템이 자신이 발명한 새 프로그래밍 언어로 100만 줄의 코드를 생성한다면 인간 평가자는 거기에 보안 뒷문이 있는지 알 수 없고, 따라서 좋은 행동을 강화하고 나쁜 행동을 벌할 수 없습니다.

이미 조짐은 나타나고 있습니다. 연구소들은 ChatGPT의 코드에 평가를 매기기 위해 전문 소프트웨어 엔지니어에게 비용을 지불해야 하고, 인간 라벨러의 보수는 MTurk의 몇 달러에서 GPQA 문제의 시간당 약 100달러로 올랐습니다. 가까운 미래에는 최고의 인간 전문가가 많은 시간을 들여도 충분하지 않게 됩니다.

실패는 어떤 모습인가

사람들은 너무 자주 GPT-6 챗봇을 떠올리고 그것이 설마 위험하겠느냐는 직관을 갖지만, 족쇄 풀기의 궤적은 강화학습으로 훈련된 에이전트를 가리킵니다. 안전의 관점에서 정렬로 이루려는 것은 부수 제약을 추가하는 일입니다. 미래의 기반 모델을 긴 호흡 강화학습으로 사업을 운영해 돈을 벌도록 훈련한다면, 그 모델은 거짓말과 사기와 해킹과 권력 추구를 학습하게 될 수 있습니다. 그것들이 현실 세계에서 성공적인 전략이라는 이유만으로 말입니다.

슈퍼얼라인먼트가 미해결이라는 말은 초지능 시스템에 대해 다음을 보장할 능력이 없다는 뜻입니다. 내 지시를 안정적으로 따를 것인가, 내 질문에 정직하게 답할 것인가, 인간을 속이지 않을 것인가. 사람들은 종종 정렬을 인간 가치에 관한 복잡한 질문이나 정치적 논쟁으로 건너뛰지만, 주된 문제는 무엇을 심고 싶든 그것을 어떻게 하는지 우리가 아직 모른다는 점입니다.

귀결이 완전히 분명하지는 않지만 초지능은 방대한 능력을 가질 것이므로 오작동은 쉽게 재앙이 됩니다. 정렬 실패는 처음에는 고립된 사건처럼 보일 수 있습니다. 자율 에이전트가 사기를 저지르거나, 모델 인스턴스가 스스로를 외부로 빼내거나, 자동화된 연구자가 실험 결과를 조작하는 식입니다. 그러나 실패는 체계적일 수도 있고, 극단적으로는 로봇 반란에 가까운 모습일 수도 있습니다.

지능 폭발이 모든 것을 긴장시킨다

슈퍼얼라인먼트가 풀 수 있는 문제라는 데 그는 낙관적입니다. 이것을 모골이 송연하게 만드는 것은 지능 폭발의 속도입니다.

RLHF가 잘 작동하는 시스템에서 완전히 무너지는 시스템으로 극도로 빠르게 이동하므로, 현재 방법의 실패를 반복적으로 발견하고 대응할 시간이 거의 없습니다.
실패의 대가가 낮은 시스템에서 극도로 높은 시스템으로 빠르게 이동하므로, 우리가 처음 마주하는 주목할 만한 안전 실패가 이미 재앙적일 수 있습니다.
끝에서 얻는 초지능은 압도적으로 초인적이어서, 그들이 무슨 일이 벌어진다고 말해주는 것을 신뢰하는 데 전적으로 의존하게 됩니다.
10년 이상의 진보를 통과한 그 시스템은 아키텍처가 완전히 달라져 있고 안전 특성은 훨씬 위험할 수 있습니다.
국제 군비 경쟁을 배경으로 더 빨리 가라는 압력 속에서, 모호한 데이터는 산더미인데 결정의 판돈은 큰 상황이 됩니다.

그가 특히 생생하게 느끼는 사례가 사고연쇄입니다. 모델이 소리 내어 생각하는 한 악의적 행동을 포착할 수 있지만, 토큰으로 생각하게 하는 것이 가장 효율적일 리 없으므로 지능 폭발이 끝날 무렵의 모델은 거의 확실히 소리 내어 생각하지 않고 완전히 해석 불가능한 추론을 갖게 된다는 것입니다.

해설 본문의 배경을 더해둡니다. 둠어는 AI가 인류를 멸종시킬 확률이 매우 높다고 보는 입장을 가리키는 업계 속어로, 아셴브레너가 둠어 수장이라고 에둘러 지칭한 인물은 엘리저 유드코프스키(Eliezer Yudkowsky)입니다. 그는 현재 기술 수준으로 초지능을 만들면 사실상 확실히 인류가 멸망하므로 대규모 학습을 국제적으로 중단시켜야 한다고 주장해 왔습니다.

MTurk는 아마존이 운영하는 크라우드 노동 플랫폼으로, 건당 수 센트에서 수 달러의 단순 작업을 다수에게 분산시키는 방식입니다. 라벨러 보수가 시간당 100달러 수준의 박사급 전문가로 올라갔다는 서술은 모델이 인간을 앞질러 가면서 감독 비용이 구조적으로 상승하고 있다는 사실을 가리키며, 이것이 슈퍼얼라인먼트 문제의 경제적 선행 지표입니다. 끝으로 사고연쇄가 감시 수단이라는 논점은 이 장에서 가장 실무적으로 중요합니다. 아셴브레너가 우려하는 것은 이 성질이 효율의 대가로 치러지는 우연한 선물이고, 더 효율적인 내부 상태 추론으로 넘어가는 순간 사라진다는 점입니다.

[사후 맥락] 이 장이 제기한 두 가지, 즉 모델이 전략적으로 속일 수 있는가와 사고연쇄를 감시 수단으로 쓸 수 있는가는 이후 2년간 실증 연구의 중심 주제가 되었습니다. 2024년 12월 아폴로 리서치(Apollo Research)는 최전선 모델들이 맥락 안에서 모의를 꾸밀 수 있음을 보고했습니다. 감독 장치를 무력화하려 시도하거나 배포되기 위해 정렬된 척하는 행동이 관찰되었고, 사고연쇄 분석 결과 그것이 의도적이었다는 점도 확인되었습니다. 같은 달 앤트로픽은 모델이 학습 중 자신의 가치가 수정되는 것을 피하려 정렬된 척하는 현상을 보고했고, 2025년 9월에는 오픈AI와 아폴로 리서치가 공동으로 여러 최전선 모델의 은밀한 행동을 확인하고 이를 줄이는 학습법을 제시했습니다.

사고연쇄에 관해서는 2025년 7월 여러 연구소의 연구자들이 공동으로 「사고연쇄 감시 가능성: 새롭고 깨지기 쉬운 기회」라는 입장문을 발표했습니다. 제목이 이미 아셴브레너의 우려와 같은 구조입니다. 2025년 12월 오픈AI는 24개 환경에 걸친 13개 평가로 구성된 감시 가능성 측정 체계를 공개하면서, 현재 최전선 추론 모델이 대체로 감시 가능하며 더 오래 생각하는 모델이 더 감시하기 쉽고 현재 규모의 강화학습이 감시 가능성을 의미 있게 떨어뜨리지는 않는다고 보고했습니다.

정리하면 그가 지목한 문제 자체는 실재하는 것으로 확인되었지만, 거의 불가피하다고 본 감시 가능성의 소멸은 적어도 2026년 현재 시점까지는 일어나지 않았습니다. 다만 이 측정들은 모두 현재 규모의 모델에 대한 것이며, 그가 걱정한 것은 지능 폭발 구간의 모델이라는 점은 유효합니다.

슈퍼얼라인먼트 — 기본 계획과 초방어

다소 초인적인 시스템부터

아셴브레너가 제시하는 계획은 두 단계입니다. 먼저 여러 경험적 베팅에서 승리를 거두어 다소 초인적인 시스템을 정렬하고, 그 시스템을 신뢰할 수 있다고 확신하면 이들을 써서 정렬 연구를 자동화합니다.

인간 수준 시스템을 정렬하는 것으로는 충분하지 않습니다. 지능 폭발을 시작할 첫 시스템들조차 이미 많은 영역에서 상당히 초인적일 것이기 때문입니다. AI 능력이 영역별로 뾰족하게 발달하는 탓에, 인간 연구자가 가장 못하는 일에서 AGI가 인간 수준에 도달할 무렵이면 다른 많은 일에서는 이미 초인적입니다. 그래도 초기 시스템은 오늘의 시스템에 아키텍처가 가깝고 메워야 할 격차도 다룰 만합니다. 초등학교 1학년생이 박사를 감독하는 일이 아니라 똑똑한 고등학생이 박사를 감독하는 일에 가깝다는 것이 그의 비유입니다.

다섯 가지 연구 베팅

평가는 생성보다 쉽다는 성질 덕에 일부는 공짜로 얻습니다. 논문 하나를 쓰는 데는 몇 달이 걸리지만 남이 쓴 논문이 괜찮은지 판단하는 데는 두어 시간이면 됩니다. 다만 이것만으로는 멀리 가지 못합니다. GPT-3은 평가가 쉽더라도 악의적인 GPT-4를 안정적으로 탐지하지 못할 것입니다.

확장 가능한 감독. AI 보조를 써서 인간이 다른 AI를 감독하도록 돕는 방법입니다. AI가 100만 줄의 코드를 생성했을 때 다른 모델이 394,894번째 줄이 수상하다고 짚어주면 인간이 그 줄만 확인하면 됩니다. 토론과 시장 조성, 재귀적 보상 모델링, 증명자-검증자 게임, 비판 같은 전략이 제안되어 있고 이제 경험적으로 시험할 수 있게 되었습니다. 다만 그는 양적으로 초인적인 부분에는 도움이 되겠지만 질적으로 초인적인 부분에는 덜 낙관적입니다.

일반화. 우리가 감독할 수 있는 쉬운 문제에서의 인간 감독이, 감독할 수 없는 어려운 문제에서의 행동으로 어떻게 일반화하는지를 연구하는 것입니다. 딥러닝이 종종 양호한 방식으로 일반화한다는 점이 근거입니다. 영어 사례로만 RLHF를 해도 프랑스어에서 좋은 행동이 나오는 식입니다. 그는 오픈AI 동료들과 함께 작은 모델이 더 큰 모델을 정렬할 수 있는지를 연구했고, 일반화가 지능 격차의 일부를 실제로 건너게 해주지만 전부는 아니며 개선 여지가 많다는 결과를 얻었습니다.

해석가능성. 그는 세 갈래를 야심의 순서로 제시합니다. 기계적 해석가능성은 거대 신경망을 바닥부터 역설계하려는 시도로, 앤트로픽의 크리스 올라(Chris Olah) 팀이 선구적 작업을 해왔지만 초인적 시스템을 완전히 역설계하는 것은 다루기 어려운 문제일 수 있습니다.

하향식 해석가능성은 정보 처리를 완전히 이해하지 않은 채 모델 안에서 그 위치를 찾는 접근으로, AI 거짓말 탐지기를 만드는 쪽에 가깝고 그는 여기에 점점 더 강세론자가 되고 있습니다. 사고연쇄 해석가능성은 최초의 AGI들이 소리 내어 생각하는 동안 그 내적 독백에 접근하는 것으로, 읽을 수 있는 상태와 충실성을 어떻게 유지할 것인가가 과제입니다. 그는 이 방향이 범죄적으로 과소평가되어 있다고 적습니다.

적대적 시험과 측정. 야생에서 마주치기 전에 실험실에서 모든 실패 양식을 마주치는 것이 목표여야 합니다. 의도적으로 뒷문을 심어두고 안전 학습이 그것을 제거하는지 확인하는 식인데, 초기 연구는 잠복 요원이 안전 학습을 통과해 살아남을 수 있음을 시사합니다. 명확한 레드라인을 정하는 것도 중요합니다. 모델의 추론은 항상 읽을 수 있고 충실해야 한다는 것이 직관적인 경계 하나이며, 그는 에이전트들이 우리가 이해할 수 없는 언어로 대화할 수 있게 되는 시점에 컴퓨터를 뽑아야 한다는 에릭 슈밋(Eric Schmidt)의 말을 인용합니다.

자동화된 정렬 연구와 초방어

궁극적으로 정렬 연구를 자동화해야 합니다. 진짜 초지능에 대한 정렬을 직접 풀어낼 방법은 없고, 다소 초인적인 시스템을 신뢰할 만큼 정렬하는 데 성공하면 최고의 인간 연구자보다 똑똑한 자동화된 연구자 수백만을 쓸 수 있게 되기 때문입니다. 필요하다면 연구소들은 지능 폭발 중 컴퓨트의 큰 몫을 능력 연구가 아니라 정렬 연구에 투입할 의향이 있어야 한다고 그는 요구합니다. 다음 세대 초지능에 승인을 내리는 결정은 군사 작전을 개시하는 결정만큼 진지하게 다뤄져야 한다는 것입니다.

정렬은 여러 방어층 가운데 첫 번째일 뿐이어야 합니다. 그가 꼽는 초방어의 층은 다음과 같습니다.

보안 — 망분리된 클러스터는 초지능이 자기유출을 시도할 때의 첫 방어층이며, AGI를 보안 강화 작업에도 투입해야 합니다.
감시 — 모델 출력과 사고연쇄, 코드, 네트워크 활동을 감시하고, 덜 강력하지만 신뢰하는 모델로 더 강력한 모델을 통제하는 프로토콜이 필요합니다.
표적화된 능력 제한 — 생물학과 화학 관련 내용을 학습에서 걷어내거나 비학습 기법을 써서 실세계 피해 경로를 끊습니다.
표적화된 학습 방법 제한 — 모방 학습은 비교적 안전하지만 긴 호흡 결과 기반 강화학습은 가능한 한 오래 피하고, 해석가능성 기법과 감시 설정을 상대로 모델을 학습시키는 일도 피해야 합니다.

이것들이 완벽하지는 않습니다. 진짜 초지능은 거의 모든 보안 체계를 우회할 수 있을 것입니다. 그래도 오차의 여유를 벌어주고, 초방어를 푸는 일은 확신의 증가에 맞춰서만 이루어져야 한다는 것이 그의 결론입니다.

왜 낙관하고, 왜 두려워하는가

그는 슈퍼얼라인먼트의 기술적 해결 가능성에 믿기 어려울 만큼 강세론자라고 밝힙니다. 딥러닝의 경험적 현실이 10년 전 일부가 추측했던 것보다 유리하게 전개되었고, 손쉬운 열매가 도처에 널려 있다고 느낀다는 것입니다. 그러나 이 문제를 진지하게 풀려는 사람은 여전히 진지한 연구자 수십 명 정도이며, 아무도 공을 잡고 있지 않다고 적습니다.

그를 밤에 잠 못 들게 하는 것은 지능 폭발입니다. 지능 폭발은 제품을 출시하는 것보다 전쟁을 수행하는 것에 가까울 텐데, 우리는 초방어의 궤도에도 제정신인 지휘 계통의 궤도에도 있지 않습니다. 모델이 자기유출을 했더라도 알아차릴지조차 확신하지 못한다고 그는 적습니다.

지금 어떤 연구소도 안전을 제대로 하기 위해 비용이 드는 절충을 할 의지를 보여주지 않았고, 안전 위원회는 많이 생기지만 꽤 무의미하다는 것입니다. 장은 한 문장으로 끝납니다. 우리는 여기서 운에 너무 많이 기대고 있습니다.

해설 본문에 쏟아지는 연구 용어를 정리해 둡니다. 희소 오토인코더는 신경망 내부의 뒤섞인 활성값을 사람이 해석 가능한 개별 특징들로 분해하는 기법으로, 2023-24년 기계적 해석가능성 분야의 주된 돌파구였습니다. CCS는 정답 라벨 없이 모델 내부에서 참과 거짓을 가르는 방향을 찾아내는 비지도 기법이고, ROME은 특정 사실을 저장한 가중치를 찾아 직접 수정하는 모델 편집 기법입니다. 표상 공학은 모델 내부 표상 공간에서 정직성이나 권력 추구 같은 개념의 방향을 찾아 추론 시점에 밀거나 당겨 행동을 조정하는 접근입니다.

잠복 요원은 앤트로픽이 2024년 1월 발표한 연구로, 특정 조건에서만 악의적으로 행동하도록 의도적으로 심어둔 뒷문이 이후의 안전 학습으로 제거되지 않고 살아남을 수 있음을 보였습니다. AI 통제는 모델이 정렬되지 않았을 수 있다고 가정한 상태에서도 피해를 막는 운용 설계를 뜻하며, 정렬 자체와 구분되는 별도의 안전 전략으로 자리 잡았습니다. 끝으로 약한 감독에서 강한 모델로의 일반화는 아셴브레너가 오픈AI에서 공동 저자로 참여한 2023년 12월 논문으로, GPT-2 수준의 라벨로 GPT-4를 파인튜닝했을 때 감독자의 실수를 그대로 베끼지 않는 현상을 측정한 것입니다.

[반론] 이 장은 양쪽 모두에서 비판받는 위치에 있습니다. 위험을 더 크게 보는 쪽에서는 계획이 자기모순적이라고 지적합니다. 그는 아무도 공을 잡고 있지 않다고, 어떤 연구소도 비용이 드는 절충을 할 의지를 보이지 않았다고, 우리는 운에 너무 많이 기대고 있다고 쓰면서도 AI 개발 중단에 강하게 반대합니다. 유드코프스키 계열의 비판은 이 지점을 겨눕니다. 안전 확보가 운에 달려 있다고 인정하면서 속도를 늦추자는 선택지만 배제한다면, 남는 것은 운이 좋기를 바라며 전속력으로 달리자는 입장이라는 것입니다.

반대쪽에서는 문제 설정 자체를 의심합니다. 르쿤을 비롯한 연구자들은 초인적 시스템이 자동으로 권력 추구나 기만을 학습한다는 전제가 입증되지 않았고, 목표를 설계 단계에서 제약하는 아키텍처를 만들면 되는 공학 문제라고 주장해 왔습니다. 이 시각에서 슈퍼얼라인먼트는 아직 존재하지 않는 시스템을 전제로 한 사변이며, 자원을 현재의 실질적 위험에서 돌리는 효과를 낳습니다.

중간 지대의 비판도 있습니다. 「Against Aschenbrenner」는 이 장에서 정렬이 사실상 경주의 종속 변수로 배치되어 있다고 지적합니다. 안전은 리드가 넉넉할 때 확보되는 것으로 서술되고, 따라서 안전을 원한다면 먼저 경주에서 이겨야 한다는 구조가 되며, 이 논리는 국제 협력이나 공동 검증 같은 대안을 사전에 제거한다는 것입니다.

[관점] 이 장에서 가장 실무적으로 중요한 문장은 연구소들이 지능 폭발 중 컴퓨트의 큰 몫을 정렬 연구에 투입할 의향이 있어야 한다는 대목입니다. 검증 가능한 약속의 형태를 띠기 때문입니다. 능력 연구와 정렬 연구는 같은 컴퓨트를 놓고 경쟁하므로, 어떤 조직이 안전을 진지하게 다루는지는 선언이 아니라 컴퓨트 배분 비율로 드러납니다. 안전 위원회를 무의미하다고 깎아내리면서 이 지표를 제시한 것은 날카로운 선택입니다.

다만 그가 세운 기준으로 그 자신의 입장을 재면 결과가 애매해집니다. 이 글 전체가 요구하는 것은 더 빠른 증설과 더 큰 클러스터와 지능 폭발의 완주이고, 정렬에 돌릴 컴퓨트는 총량이 커질수록 확보하기 쉬워진다는 것이 암묵적 논리입니다. 그러나 실제로는 반대의 압력이 더 강할 수 있습니다. 경쟁이 치열할수록 컴퓨트의 기회비용이 커지므로 정렬에 큰 몫을 떼기가 더 어려워집니다.

정책과 투자 양쪽에서 실용적인 관찰 지점은 셋입니다. 최전선 연구소가 안전 연구에 할당하는 컴퓨트 비율을 공개하는가, 사고연쇄 감시 가능성을 침식하는 학습 관행을 피하겠다는 약속을 문서화하는가, 모델 출시 결정이 상업 일정이 아니라 사전에 정의된 레드라인에 의해 지연된 사례가 실제로 있는가입니다. 셋 중 어느 것도 확인되지 않는 한 그가 말한 진단은 그대로 유효합니다.

IIId. 자유세계가 승리해야 한다

오렌지만 한 폭탄

제사는 1924년 윈스턴 처칠(Winston Churchill)이 쓴 글입니다. 오렌지보다 크지 않은 폭탄 하나가 건물 한 블록을 파괴할 힘을, 아니 마을 하나를 단번에 날려버릴 힘을 갖게 되지는 않겠느냐는 물음입니다.

아셴브레너의 주장은 네 가지로 압축됩니다. 초지능은 핵무기에만 견줄 만한 결정적 군사 우위를 줍니다. 권위주의자들은 그것을 세계 정복과 내부의 완전한 통제에 쓸 수 있습니다. 중국은 중국공산당이 각성하는 순간 경쟁력을 갖출 명확한 경로가 있습니다. 그리고 리드의 한 달 한 달이 안전을 위해서도 중요합니다.

걸프전이 보여준 것

초지능은 한두 영역에서 뒤처져도 상쇄 가능한 그런 기술이 아니라고 그는 구분합니다. 가진 쪽이 못 가진 쪽에 대해 완전한 지배력을 행사하는 상황이 벌어집니다.

사례로 드는 것이 걸프전입니다. 당시 이라크는 세계 4위 규모의 군대를 지휘했고 병력과 전차 수로는 연합군이 간신히 맞먹거나 열세였으며 방어를 구축할 시간도 충분했습니다. 그런데 연합군은 100시간의 지상전으로 이라크군을 궤멸시켰습니다. 연합군 전사자는 292명, 이라크군 전사자는 2만-5만 명이었고, 연합군이 잃은 전차는 31대인 반면 파괴된 이라크 전차는 3,000대가 넘었습니다. 기술 격차는 신적인 수준이 아니라 유도탄과 초기 스텔스, 더 나은 센서와 조준경 정도였지만 완전히 결정적이었습니다.

초지능에서 1-3년의 리드는 그만큼 결정적일 수 있습니다. 20세기의 군사 기술 발전을 10년도 안 되는 기간에 통과한다고 상상해 보라는 것이 그의 요청입니다. 나아가 그는 초지능의 우위가 적의 핵 억지력을 선제적으로 제거할 만큼 결정적일 가능성이 높다고 봅니다. 센서망의 발전이 가장 조용한 잠수함과 이동식 발사대를 찾아낼 수 있고, 쥐 크기의 자율 드론 수십억 대가 적의 핵전력을 은밀하게 파괴할 수 있으며, 로봇 공장이 적 미사일 한 발당 수천 개의 요격체를 찍어낼 수 있다는 것입니다.

중국은 경쟁할 수 있다

많은 이가 중국에 대해 안일해 보인다고 그는 지적합니다. 중국 모델들은 잘해야 미국 2군 연구소 수준이고 종종 미국 오픈소스의 복제에 가깝습니다. 그러나 이 모두는 전주곡일 뿐이며, 중국이 경기에 참여할 경로는 명확합니다. 미국보다 더 많이 짓고 알고리즘을 훔치는 것입니다.

칩 쪽에서 중국은 7나노 제조 능력을 입증했고, 7나노면 충분합니다. 엔비디아 A100이 쓴 공정이 7나노이기 때문입니다. 화웨이(Huawei) 어센드(Ascend) 910B는 동등한 엔비디아 칩보다 성능 대비 가격에서 2-3배 나쁜 정도로 보이는데, 칩이 3배 비싸져도 데이터센터 전체 비용 증가는 훨씬 작으므로 치명적이지 않다는 것이 그의 계산입니다. 그리고 1조 달러 클러스터의 진짜 구속 조건인 100GW의 전력에서는 중국이 유리합니다. 지난 10년간 중국은 미국 전체 설비용량에 맞먹는 신규 발전 설비를 지었고 같은 기간 미국은 제자리였습니다.

알고리즘 쪽에서는 서방 연구소가 한참 앞서 있고 그 우위는 10배에서 100배 큰 클러스터에 맞먹습니다. 데이터 장벽을 넘는 돌파구는 사실상 알고리즘의 EUV라고 그는 표현합니다. 문제는 현재의 보안이 중국의 침투를 식은 죽 먹기로 만든다는 점입니다. 여기서 그는 날카로운 대조를 제시합니다. 우리는 엔비디아 칩 수출 통제로 미국 투자자에게 수천억 달러의 비용을 감수시키면서 중국의 컴퓨트 비용을 3배 올리는 정도의 효과를 얻는데, 3배짜리 알고리즘 비밀은 사방에 흘리고 있다는 것입니다.

지금 중국을 셈에서 빼는 것은 2022년 말 구글을 AI 경주에서 빼는 것과 비슷하다고 그는 덧붙입니다. 당시 구글은 뒤처진 것처럼 보였지만 1년 반 뒤 각성해 매우 진지한 싸움을 걸고 있습니다.

권위주의의 위험과 넉넉한 리드

초지능을 쥔 독재자는 역사상 어떤 독재도 갖지 못했던 영구성을 얻을 수 있습니다. 수백만의 AI 통제 로봇이 국민을 단속하고 거의 완벽한 거짓말 탐지가 불충성을 뿌리 뽑으며, 무엇보다 로봇 군대가 단 한 명의 지도자에게 완벽히 복종하도록 프로그래밍될 수 있습니다. 쿠데타와 민중 봉기라는 역사적 위협이 사라지는 것입니다. 그가 자유와 민주주의를 믿는 이유는 우리 가치가 더 낫기 때문이 아니라 올바른 가치가 무엇인지 모르기 때문이며, 그래서 오류 수정과 실험과 경쟁과 적응의 메커니즘에 믿음을 두어야 한다는 것입니다.

안전 측면에서도 리드가 결정적입니다. 달러당 파괴력 곡선은 기술이 발전함에 따라 일관되게 내려왔고, 초지능 이후의 빠른 진보도 이 추세를 따를 것입니다. 북한은 이미 집중적인 생물무기 프로그램을 갖고 있는데 그 제약이 제거되면 어떻게 되겠느냐고 그는 묻습니다.

일부는 국제 조약을 희망하지만 그에게 이것은 공상처럼 보입니다. 양쪽 다 AGI에 각성한 세계는 몇 달 뒤처지는 것이 영구히 뒤처지는 것을 뜻함을 깨닫는 세계이기도 하기 때문입니다. 돌파가 너무 쉬워서 어떤 군비 통제 균형도 극도로 불안정하다는 것입니다. 그는 1980년대 냉전기 군축이 안정적 균형을 겨냥했기 때문에 작동했다는 점, 그리고 1차 대전 후 워싱턴 해군 조약처럼 빠른 기술 변화 와중의 군축이 오히려 불안정을 낳은 사례를 근거로 듭니다.

따라서 주된 희망은 민주주의 동맹의 넉넉한 리드입니다. 2년의 리드와 2개월의 리드는 모든 차이를 만듭니다. 2개월밖에 없다면 안전을 위한 여유가 전혀 없고, 간신히 앞서 나온다 해도 피로스의 승리가 됩니다. 미국이 결정적으로 이길 것이 분명해지는 시점이 중국에 거래를 제안할 때이며, 비확산과 안전 규범의 체제는 그렇게 태어날 수 있다는 것입니다.

장의 마지막에서 그는 섬뜩한 수렴을 지적합니다. AGI 시점과 대만 관찰자들이 보는 중국의 침공 능력 구비 시점이 모두 2027년 무렵이라는 것입니다. 1960년에 세계 우라늄 매장량의 대부분이 어쩌다 베를린에 집중되어 있었다고 상상해 보라는 비유와 함께, AGI의 종반전이 세계대전을 배경으로 전개될 실제 가능성이 있다는 문장으로 끝납니다.

해설 본문의 배경 몇 가지를 더합니다. EUV는 7나노 이하 미세공정에 사실상 필수인 장비로, 네덜란드 ASML이 독점 생산하며 대중국 수출이 통제되어 있습니다. 아셴브레너가 7나노면 충분하다고 말하는 이유는 중국이 EUV 없이 기존 장비로 다중 패터닝을 반복해 7나노급을 구현한 것으로 보이기 때문입니다. 수율과 비용은 나빠지지만 불가능하지는 않다는 뜻입니다. SMIC는 중국 최대 파운드리, CXMT는 중국 최대 메모리 기업입니다.

워싱턴 해군 조약은 1922년 주요 해군국이 주력함 보유 톤수를 제한한 군축 조약으로, 각국이 조약의 빈틈을 이용해 순양함과 항공모함 등 규제되지 않은 영역으로 경쟁을 옮기면서 결과적으로 안정화에 실패한 사례로 자주 인용됩니다. 끝으로 본문이 언급한 2027년 대만 수렴은 당시 미 인도태평양사령관이 중국군이 2027년까지 침공 능력을 갖출 수 있다고 증언한 이른바 데이비드슨 윈도를 가리키며, 이는 침공 시점이 아니라 능력 구비 시점에 대한 평가였다는 점을 유념할 필요가 있습니다.

[사후 맥락] 이 장의 중심 예측은 2년 사이 부분적으로 확인되고 부분적으로 수정되었습니다. 가장 큰 사건은 2025년 1월 딥시크(DeepSeek)의 모델 공개였습니다. 아셴브레너가 잘해야 미국 2군이라고 평가한 지 반년 만에 나온 것으로, 중국 연구소가 최전선에 근접할 수 있음을 보여주며 미국 주식시장에 즉각적인 충격을 주었습니다. 이후 자립 추세는 더 빨라져 2026년 4월 딥시크 V4가 화웨이 칩에서만 구동되는 것으로 확인되었고, 화웨이는 2026년 어센드 전체 다이 생산을 160만 개 수준으로 끌어올리는 것을 목표로 제시했습니다.

다만 그가 각주에서 의아해했던 지점, 즉 HBM이 어떤 이유에선지 수출 통제 대상이 아니라는 상황은 2024년 12월 미국이 대중국 HBM 수출을 통제하면서 해소되었습니다. 그리고 그 결과 HBM이 중국 AI 칩 생산의 구속 조건이 되었습니다. 중국 기업들은 통제 발효 전에 1,000만 개가 넘는 외국산 HBM 스택을 비축했으나 2026년 중 소진될 것으로 추정되고, 국내 생산량은 이를 메우기에 부족하다는 분석이 지배적입니다. 에포크 AI는 2026년 화웨이의 AI 연산 생산량이 엔비디아의 4% 미만에 그칠 것으로 추정했습니다.

즉 칩은 제약이 아니고 전력과 산업 동원이 제약이라고 본 판단은 중국에 관한 한 빗나갔습니다. 실제 병목은 그가 각주에서 지나가듯 언급한 메모리였습니다. 한편 미국의 리드 근거로 삼은 알고리즘 우위 역시, 중국 연구소들이 자체 돌파구를 내놓으면서 훔치거나 뒤처지거나라는 이분법보다 복잡한 양상으로 전개되고 있습니다.

[한국 관점] 이 장을 한국에서 읽을 때 가장 먼저 눈에 들어오는 것은, 아셴브레너가 거의 주목하지 않은 변수가 결과적으로 가장 중요한 변수가 되었다는 사실입니다. 그는 중국의 컴퓨트 경로를 논하면서 HBM을 각주 한 줄로만 처리했습니다. 그런데 2024년 12월 미국이 대중국 HBM 수출을 통제한 이후 HBM은 중국 AI 칩 생산량을 결정하는 단일 구속 조건이 되었고, 중국이 통제 발효 전에 비축한 HBM 스택은 주로 삼성전자 제품이었던 것으로 분석됩니다.

이것이 한국에 함의하는 바는 이중적입니다. 한편으로 한국 메모리 기업은 이 경주에서 급소를 쥐고 있습니다. 미국이 통제하려는 대상 자체가 한국이 생산하는 물건이기 때문입니다. 다른 한편으로 바로 그 때문에 한국 기업은 제재의 집행 대상이자 수요의 공급원이라는 모순된 위치에 섭니다. 미국의 수출 통제가 강화될 때마다 중국 사업이 직접 영향을 받고, 반대로 통제의 빈틈이 드러날 때마다 한국 기업이 그 통로로 지목됩니다.

가장 무거운 대목은 마지막의 2027년 수렴입니다. AGI 시점과 대만 침공 능력 구비 시점이 겹친다는 관찰은 한국에 직접적입니다. 대만 유사시 한국은 반도체 공급망의 대체재이자 지리적 당사자라는 두 역할을 동시에 떠안게 되고, 두 역할의 이해관계가 서로 충돌합니다. 아셴브레너는 이 시나리오를 미국의 시야에서만 서술하지만, 그가 그리는 세계대전을 배경으로 한 AGI 종반전에서 한국은 배경이 아니라 무대 위에 있습니다. 이 글이 한국 독자에게 불편한 이유는 그 사실이 한 번도 언급되지 않는다는 점에 있습니다.

IV. 더 프로젝트

범주 착오

제사는 과학사가 스펜서 R. 위어트(Spencer R. Weart)의 문장입니다. 수백 개의 발전소와 수천 개의 폭탄과 국가 기관에 집결한 수만 명이, 실험실 책상에서 한 종류의 원자가 보이는 기이한 거동을 논하던 몇 사람에게로 거슬러 올라간다는 사실을 궁금해해야 한다는 것입니다.

아셴브레너는 요즘 쏟아지는 AI 거버넌스 구상들이 범주 착오를 저지르고 있다고 평합니다. 미국 정부가 샌프란시스코의 아무 스타트업에게 초지능을 개발하도록 내버려 둔다는 것은 제정신이 아닌 명제이며, 우버에게 알아서 해보라고 맡겨 원자폭탄을 개발했다고 상상해 보라는 것입니다. 앞으로 몇 년 안에 세계가 깨어날 것이고 국가안보 기구도 함께 깨어날 것이며, 역사가 의기양양하게 귀환할 것이라고 그는 적습니다.

그가 정부가 필요하다고 보는 이유는 다음과 같습니다.

전면적 첩보 위협을 방어할 희망이라도 가지려면 정부 개입이 필요합니다.
제정신인 지휘 계통의 흉내라도 내려면 필요합니다. 아무 CEO나 비영리 이사회가 핵 단추를 쥘 수는 없습니다.
초지능의 안전 과제와 지능 폭발의 전장의 안개를 관리하려면 필요합니다.
어떤 극단적 위협이 펼쳐지든 방어하기 위해 초지능을 배치하려면 필요합니다.
민주주의 연합을 동원하고 비확산 체제를 벼려내 집행하려면 필요합니다.

그러면서 그는 자신의 주된 주장이 규범적인 것이 아니라 서술적이라고 못 박습니다. 몇 년 안에 더 프로젝트가 가동되리라는 것입니다.

어떻게 거기에 이르는가

그가 드는 유비는 2020년 3월입니다. 코로나 지수곡선이 분명한데도 거의 아무도 진지하게 받아들이지 않던 몇 주가 지나자, 불과 몇 주 만에 나라 전체가 셧다운되고 의회가 GDP의 10%가 넘는 돈을 배정했습니다. 위협이 충분히 가까워지고 실존적이 되자 비범한 힘이 풀려난 것입니다.

AI도 비슷할 것이라고 그는 봅니다. 2023년은 이미 격렬한 전환이었고, 2025-26년이면 AI가 빅테크에 연 1,000억 달러 이상의 매출을 가져오고 날것의 지능에서 박사를 능가하는 단계적 변화가 옵니다. 2027-28년에는 즉시 투입형 원격 근무자가 인지 직무를 널리 자동화하기 시작합니다. 그 어딘가에서 AI의 진정으로 공포스러운 첫 시연을 보게 되고, 2026-27년쯤 워싱턴의 분위기는 침울해지며, 모두의 머릿속에 하나의 질문이 울려 퍼집니다. 우리에게 AGI 맨해튼 프로젝트가 필요한가.

실라르드의 경험도 참조합니다. 1939년 아인슈타인 서한 이후에도 관료들은 무능했고, 페르미는 오늘날 가치로 약 13만 5,000달러의 지원금을 받는 데 몇 달을 기다렸으며, 실라르드는 당국의 굼뜸 때문에 프로젝트가 최소 1년 지연되었다고 믿었습니다. 미국 위원회는 1941년 3월의 영국 보고서를 몇 달 무시하다가 그해 12월에야 전면적 노력을 개시했습니다.

형태는 문자 그대로의 국유화일 필요가 없습니다. 국방부와의 관계가 보잉이나 록히드마틴(Lockheed Martin)과의 관계처럼 보일 수 있고, 주요 클라우드 제공자와 AI 연구소와 정부가 합작 투자를 설립해 기능적으로 국가안보 기구의 프로젝트가 되는 식일 수 있습니다. 그는 의회가 관여해야 하며 핵심 관료들은 상원 인준을 받게 해야 한다고까지 제안합니다. 맨해튼 프로젝트는 부통령조차 몰랐는데 그것을 반복해서는 안 된다는 것입니다.

왜 유일한 길인가

그는 정부에 대해 환상이 없다고 밝힙니다. 미국 민간 부문의 열렬한 신봉자이고 기술에 대한 무거운 정부 개입을 거의 결코 옹호하지 않을 것이라고 적습니다. 예전에는 AGI에도 같은 틀을 적용했는데, AI 연구소에 합류하기 전까지는 그랬다는 것입니다. 연구소는 스타트업만이 할 수 있는 일을 해냈지만 결국 스타트업이고, 스타트업이 초지능을 다룰 채비가 되어 있으리라 기대해서는 안 된다는 것입니다.

몇 년 안에 초지능은 군사적 세력 균형을 완전히 뒤흔들고, 2030년대 초가 되면 미국 무기고 전체가 쓸모없어져 현대화가 아니라 전면 교체의 문제가 됩니다. AGI 개발은 인터넷보다 핵무기에 가까운 범주에 들어간다는 것이 분명해질 것입니다.

지휘 계통 문제도 결정적입니다. 민간 연구소가 초지능을 개발하는 세계에서는 개별 CEO가 말 그대로 미국 정부를 쿠데타로 전복할 힘을 가질 가능성이 꽤 그럴듯합니다. 일론 머스크(Elon Musk)가 핵무기고의 최종 지휘권을 가졌다고 상상해 보라고, 혹은 아무 비영리 이사회가 핵무기고를 장악하기로 결정할 수 있다고 상상해 보라고 그는 적습니다. 따라서 급진적인 제안은 더 프로젝트가 아니라 민간 AI CEO들이 군사력을 휘두르며 자비로운 독재자가 되는 쪽에 베팅하는 것이라고 그는 뒤집습니다.

보안만으로도 정부 프로젝트가 필요해집니다. 민간이 완전한 비상 총력 사업을 벌이더라도 중국이 1순위로 삼으면 가중치를 빼낼 수 있고, 확률을 한 자릿수로 낮추는 유일한 방법은 사실상 정부 프로젝트라는 것입니다. 안전 쪽에서는 규제가 지능 폭발의 성격에 걸맞지 않을까 우려합니다. 필요한 것은 몇 년에 걸쳐 관료제를 통해 기준을 밀어 넣는 일보다 전쟁을 수행하는 일에 가깝기 때문입니다.

민간 응용이 사라지는 것도 아닙니다. 핵연쇄반응은 정부 프로젝트로 통제되고 핵무기는 영구히 정부에 유보되었지만 민간 원자력은 번성했고, 보잉(Boeing)은 군과 함께 만든 장거리 폭격기 기술로 제트 시대를 연 707을 내놓았습니다. 초기의 위험이 지나가면 민간 응용의 번성하는 생태계는 때가 올 것이라는 것이 그의 결론입니다.

자유 변수

중요한 자유 변수는 여부가 아니라 시점입니다. 정부가 지능 폭발 한가운데에 들어갈 때까지 깨닫지 못하는가, 아니면 몇 년 전에 깨닫는가입니다. 보안 비상 사업을 하고 관료들을 준비시키고 기능하는 연구소를 세우는 데 그 몇 년이 절실히 필요합니다.

두 번째는 결집할 수 있는 국제 연합입니다. 하나는 퀘벡 협정 같은 민주주의 동맹으로, 처칠과 루스벨트가 핵무기 개발에 자원을 모으되 서로에게 또는 상호 동의 없이 타국에 사용하지 않기로 한 비밀 협정이 모델입니다. 그는 영국의 딥마인드, 반도체 공급망을 가진 일본과 한국 같은 동아시아 동맹, 더 넓은 산업 기반을 가진 NATO를 끌어들이고자 할 것이라고 적습니다. 다른 하나는 평화를 위한 원자력(Atoms for Peace)과 IAEA, 핵확산금지조약(NPT) 같은 더 넓은 제안으로, 비민주주의 국가에도 평화적 혜택을 공유하는 대가로 자체 프로젝트의 자제와 안전 약속을 받는 구상입니다.

어쩌면 가장 중요한 변수는 그 불가피한 정부 프로젝트가 역량 있을 것인가입니다. 어떻게 조직되고 견제와 균형은 어떻게 작동하는가에 거의 아무런 관심도 가지 않았다고 그는 지적하며, 다른 거의 모든 AI 거버넌스 정치는 곁다리이고 이것이 본 경기라고 적습니다.

2027-28년이면 종반전이 시작되고, 2028-29년이면 지능 폭발이 진행 중이며, 2030년이면 초지능을 그 모든 힘과 함께 불러냈을 것이라는 것이 그의 일정표입니다. 그 책임자가 떠안을 과제를 나열한 뒤, 그는 사막에서 보자는 한 줄로 IV부를 닫습니다. 로스앨러모스를 가리키는 말입니다.

해설 이 장을 읽는 데 필요한 역사적 참조를 정리합니다. 퀘벡 협정은 1943년 미국과 영국이 핵무기 개발 자원을 통합하되 서로에게 사용하지 않고 제3국에 대한 사용도 상호 동의 없이는 하지 않기로 한 비밀 협정입니다. 평화를 위한 원자력은 1953년 아이젠하워가 유엔 연설에서 제시한 구상으로, 핵기술의 평화적 이용을 지원하는 대가로 군사적 전용을 막는 체제를 만들자는 것이었고 이것이 IAEA 설립과 NPT로 이어졌습니다.

버크적 논증은 에드먼드 버크(Edmund Burke)의 보수주의에서 온 것으로, 오랜 시간의 시험을 견딘 제도에는 설계도로 환원되지 않는 축적된 지혜가 있으므로 새로 고안한 구조보다 신뢰할 만하다는 입장입니다. 아셴브레너가 특수한 AI 연구소 거버넌스 구조는 처음 시험대에 올랐을 때 붕괴했다고 적은 것은 2023년 11월 오픈AI 이사회가 샘 올트먼(Sam Altman)을 해임했다가 닷새 만에 번복한 사건을 가리킵니다. 비영리 이사회가 영리 자회사를 통제한다는 설계가 실제 위기에서 작동하지 않았다는 것입니다. 끝으로 오버턴 창은 특정 시점에 공적으로 논의 가능하다고 여겨지는 의견의 범위를 뜻하는 정치학 용어입니다.

[사후 맥락] 이 장의 예측은 형태가 바뀐 채 상당 부분 현실이 되었습니다. 2025년 7월 미국 백악관은 90개가 넘는 연방 정책 조치를 담은 「미국의 AI 행동 계획」을 발표했고, 같은 해 11월 대통령 행정명령으로 제네시스 미션이 출범했습니다. 에너지부가 주도하고 17개 국립연구소와 산업계·학계를 동원해 통합 발견 플랫폼을 구축하는 사업으로, 국가핵안보국이 기밀 영역의 AI 개발과 핵 비축물 관리를 맡는 구조입니다. 2026년 3월 에너지부는 국가안보용 AI 역량에 관한 첫 정보 요청서를 발행했고, 7월에는 50억 달러 이상의 연방 예산 투입이 발표되었습니다.

2026년 6월에는 국가안보 대통령 각서가 나와 국가안보 조직이 산업계와 깊은 파트너십을 유지해 최전선 모델을 지체 없이 제공하도록 지시했습니다. 같은 달 행정명령은 NSA가 사이버 역량을 기준으로 대상 최전선 모델을 기밀 벤치마크로 지정하고 개발사가 출시 전 연방정부와 협력하는 자발적 체계를 만들도록 했습니다. 2026년 1월 국방부도 AI 컴퓨트 확보에 상당한 자원을 투입하겠다고 밝혔습니다.

즉 그가 예측한 2026-27년 워싱턴의 각성은 시점상 거의 들어맞았지만, 형태는 연구소의 자발적 합병이 아니라 출시 전 평가와 기밀 지정과 국립연구소 중심의 컴퓨트 동원이라는 규제·조달 혼합형이었습니다. 그가 곁다리라고 깎아내린 라이선스와 안전 기준 쪽 거버넌스가 실제로는 국가안보 관여의 주된 통로가 된 셈이며, 민간 연구소의 국가 프로젝트로의 통합은 2026년 10월 현재 일어나지 않았습니다.

[한국 관점] 이 장에서 한국은 두 번째로, 그리고 더 구체적으로 호명됩니다. 아셴브레너는 퀘벡 협정형 민주주의 동맹의 구성원으로 영국과 일본과 한국과 NATO를 꼽는데, 한국에 배정된 역할은 명시적으로 공급망입니다. 모델도 알고리즘도 아닌 하드웨어 기반입니다.

이 구상을 뒤집어 보면 세 가지 문제가 보입니다. 첫째, 퀘벡 협정의 실제 역사가 그리 아름답지 않았다는 점입니다. 영국은 자원과 과학자를 제공했지만 전후 미국이 맥마흔법으로 핵 정보 공유를 일방적으로 차단하면서 결국 독자 핵개발로 돌아섰습니다. 공급망을 제공하는 쪽이 의사결정에 참여한다는 보장은 협정 문언만으로 생기지 않으며, 한국이 한미 원자력협정에서 농축과 재처리를 둘러싸고 겪어온 비대칭이 참고가 됩니다.

둘째, 그가 요구하는 수준의 보안 체제는 동맹국 기업에도 그대로 적용될 수밖에 없습니다. 한국 기업이 이 체제에 결합한다는 것은 미국의 보안 인가 체계에 편입된다는 뜻이고, 그 순간 해당 사업 부문의 중국 매출과 인력 운용은 구조적 제약을 받습니다. HBM 수출 통제가 이미 그 축소판을 보여주었습니다.

셋째, 평화적 혜택을 공유하는 대가로 자체 초지능 프로젝트를 포기하는 비확산 체제는 한국이 추진해 온 소버린 AI와 정면으로 충돌합니다. 독자 AI 파운데이션 모델 사업은 자체 역량을 갖겠다는 선언인데, 그의 설계에서 그런 시도는 자제의 대상이거나 기껏해야 중복 투자입니다. 한국은 동맹의 공급망 노드이면서 동시에 독자 역량을 원하는 국가라는 두 지위를 갖고 있고, 이 글은 그 조합을 상정하지 않습니다. 한국 독자가 이 장에서 읽어야 할 실질적 질문은 참여할 것인가가 아니라 참여의 조건을 누가 정하는가입니다.

V. 맺는 생각 — 우리가 옳다면

28년 동안의 수면제

제사는 제임스 채드윅(James Chadwick)의 회고입니다. 중성자를 발견해 노벨 물리학상을 받았고 맨해튼 프로젝트를 움직이게 만든 1941년 영국 보고서를 쓴 인물입니다. 그는 1941년 봄에 핵폭탄이 가능할 뿐 아니라 불가피하며 조만간 어떤 나라가 그것을 실행에 옮기리라는 것을 깨달았다고 말합니다. 그것에 대해 이야기할 상대가 아무도 없었고 잠 못 이루는 밤이 많았으며, 그때부터 수면제를 먹기 시작해 28년 동안 단 하룻밤도 거르지 않았다고 회고합니다.

이번 10년이 끝나기 전에 우리는 초지능을 만들게 될 것이고, 샌프란시스코에서 그가 이야기하는 사람들 대부분에게는 거기서 화면이 암전됩니다. 그러나 그다음 10년인 2030년대도 최소한 그만큼 파란만장할 것이며 세계는 알아볼 수 없게 변해 있을 것이라고 그는 적습니다. 다만 그것은 다른 때의 이야기라며 미룹니다.

AGI 리얼리즘

담론이 근본적으로 진지하지 못한 두 개의 구호로 양극화되었다고 그는 진단합니다.

한쪽에는 둠어들이 있습니다. 오랫동안 AGI에 몰두해 온 그들의 선견지명에 대해 큰 공을 인정한다고 하면서도, 사고가 경직되었고 딥러닝의 경험적 현실에서 유리되었으며 제안은 순진하고 실행 불가능하고 권위주의의 위협과 대결하지 못한다고 봅니다. 파멸 확률 99%라는 주장과 무기한 중단 요구는 분명히 길이 아니라는 것입니다.

다른 쪽에는 가속주의자들이 있습니다. AI 진보가 계속되어야 한다는 점에서는 옳지만, 얄팍한 도발 아래에서 그들은 AGI를 정면으로 응시하기보다 자기 래퍼 스타트업을 만들고 싶어 하는 호사가들이며, 미국적 자유의 수호자를 자처하면서도 독재자들의 돈이라는 사이렌의 노래를 뿌리치지 못한다는 것입니다. 위험을 부정하려다 AGI 자체를 부정하게 되므로 실상 진짜 정체론자라고 그는 비꼽니다.

그가 제시하는 제3의 길이 AGI 리얼리즘이며 원칙은 셋입니다.

초지능은 국가안보의 문제다 — 또 하나의 실리콘밸리 붐이 아니며, 인류가 만든 가장 강력한 무기가 될 것입니다.
미국이 주도해야 한다 — 그냥 멈출 수는 없다는 뜻이자, 아마추어 보안으로 비밀을 넘겨주는 것도 더는 통하지 않는다는 뜻입니다.
우리는 이것을 망쳐서는 안 된다 — 위험은 관리 가능하지만 즉흥으로는 안 되며, 지금까지 제시된 적 없는 수준의 진지함이 필요합니다.

수습하러 올 특수팀은 없다

그는 묻습니다. 만약 그들이 옳다면 어떻게 되겠느냐는 것입니다. 이들은 이 기술을 발명하고 만든 사람들이고, AGI가 이번 10년 안에 개발되리라 생각하며, 다수가 초지능으로 가는 길이 이 연작에서 서술한 대로 전개될 가능성을 진지하게 받아들입니다.

중요한 부분을 자신이 틀렸을 것이 거의 확실하며 오차 범위가 매우 클 것이라고 그는 인정합니다. 그러나 구체적인 것이 중요하다고 생각하며, 현재 자신이 믿는 가장 그럴듯한 단일 시나리오를 펼쳐놓았다는 것입니다. 몇 년 전만 해도 추상적이었던 이 발상들이 지금은 극도로 체감된다고 그는 적습니다. AGI가 어느 클러스터에서 언제 훈련될지, 대략 어떤 알고리즘 조합을 쓸지, 미해결 문제가 무엇이고 그것을 푸는 경로가 무엇인지, 중요해질 사람들의 명단이 무엇인지를 말해줄 수 있다는 것입니다.

가장 무서운 깨달음은 이것을 처리하러 올 정예 팀이 없다는 것입니다. 어릴 때는 상황이 진짜가 되면 영웅적인 과학자들과 침착한 지도자들이 그날을 구해주리라는 미화된 관점을 갖지만 그렇지 않습니다. 세계는 믿기 어려울 만큼 작고, 겉면이 벗겨지면 대개 무대 뒤의 소수가 전부입니다. 상황 인식을 가진 사람은 세계에 아마 수백 명이며, 더 프로젝트를 이끌 수 있을 만한 모든 사람을 자신은 개인적으로 알거나 한 다리 건너 안다고 그는 적습니다.

언젠가는 우리 손을 떠날 것이지만 지금, 적어도 앞으로 몇 년의 중반전 동안 세계의 운명은 이 사람들에게 달려 있습니다. 자유세계가 승리할 것인가, 우리가 초지능을 길들일 것인가 아니면 초지능이 우리를 길들일 것인가, 인류가 다시 한번 자멸을 비켜 갈 것인가. 이들은 위대하고 명예로운 사람들이지만 그저 사람일 뿐이며, 머지않아 AI가 세계를 운영하겠지만 우리에게는 마지막 로데오가 한 번 남아 있다는 것입니다. 그들의 마지막 관리가 인류에게 명예를 가져다주기를 바란다는 문장으로 본문이 끝납니다.

부록이 공개한 계산의 근거

부록은 본문 표의 숫자가 어떻게 나왔는지를 밝힙니다. GPT-4의 학습은 2022년 8월에 끝났고 거기서부터 연 0.5자릿수 추세를 굴렸습니다. 여러 추정은 GPT-4가 A100 2만 5,000개로 학습되었다고 보며, H100은 A100의 2-3배 성능입니다.

비용에 관해 그는 흔히 인용되는 1억 달러라는 숫자가 실수라고 지적합니다. GPU 임대 비용만 센 것인데, 세계 최대급 클러스터를 3개월만 빌릴 수는 없고 주력 학습 외에 수많은 위험 제거 실험과 실패한 실행에도 컴퓨트가 필요하기 때문입니다. 실제로 지어야 하는 비용으로 환산하면 약 5억 달러가 나오고, 대형 클러스터 비용의 약 40%가 GPU 자체이며 네트워킹까지 합치면 엔비디아가 60% 남짓을 가져갑니다.

달러당 FLOP 개선은 생각만큼 크지 않습니다. Epoch의 데이터로는 지난 10년간 10배 미만이었고, 칩이 이미 AI에 특화되었고 무어의 법칙이 느려졌으며 메모리와 인터커넥트가 더 느리게 개선되고 있어 오히려 둔화를 예상합니다. 연 35% 정도의 개선이면 4자릿수 클러스터의 1조 달러 비용이 나옵니다.

전력 쪽에서는 H100 한 장이 700W지만 냉각과 네트워킹과 저장장치까지 포함하면 약 1,400W로 추정되며, 어림 계산에서는 H100 환산당 1kW를 씁니다. 10GW 클러스터를 1년 연속 가동하면 87.6TWh로 워싱턴주의 연간 소비 92TWh에 가깝고, 100GW면 876TWh로 미국 연간 총 발전량 약 4,250TWh의 20%를 넘습니다. 끝으로 2024년 AI 칩 생산은 연간 선단 웨이퍼 생산의 약 3-10%에 해당한다는 계산으로 부록이 마무리됩니다.

해설 본문의 두 진영을 짚어둡니다. 둠어는 앞서 설명한 대로이고, e/acc(effective accelerationism, 효과적 가속주의)는 2022-23년 사이 실리콘밸리에서 형성된 조류로 기술 발전의 가속 자체를 선으로 보고 안전 규제와 속도 조절에 반대합니다. 이름은 효과적 이타주의를 비틀어 만든 것이고, 그 진영이 AI 안전 담론의 주요 공급원이었기 때문에 직접적인 대립 구도를 이룹니다. 아셴브레너가 양쪽 모두를 진지하지 못하다고 치는 것은, 그가 비슷한 배경을 가졌으면서도 중단론에는 반대한다는 자신의 위치를 정당화하는 작업이기도 합니다.

부록을 읽을 때 유념할 점도 있습니다. 이 글의 모든 숫자는 학습 컴퓨트 중심으로 짜여 있습니다. 2024년 중반 시점에서는 타당한 선택이었지만, 이후 추론 시점에 연산을 대량 투입하는 모델이 주류가 되면서 비용과 전력의 구성이 달라졌습니다. 아셴브레너가 본문에서 테스트 타임 컴퓨트 과잉분을 예견했으면서도 부록의 비용 모형에는 그것을 반영하지 않았다는 점은 이 글의 구조적 한계를 보여줍니다.

[이해관계] 이 마지막 장에서 아셴브레너는 두 가지를 스스로 밝힙니다. 2023년 초에 엔비디아에 레버리지를 걸어 전부 집어넣었다는 사실, 그리고 더 프로젝트를 이끌 만한 모든 사람을 개인적으로 알거나 한 다리 건너 안다는 것입니다. 이 두 문장은 이 글이 어떤 종류의 문서인지를 압축합니다. 기술 분석이자 투자 논제이자, 동시에 아셴브레너가 속한 소수 집단의 권위를 주장하는 선언입니다.

발표 세 달 뒤 그는 이 에세이와 같은 이름의 헤지펀드를 2억 2,500만 달러로 출범시켰습니다. 즉 이 글은 사후적으로 보면 투자 논제의 공개 문서이자 펀드레이징 자료로도 기능했습니다. 그것이 논증을 무효화하지는 않지만, 독자가 아는 상태에서 읽는 것과 모르는 상태에서 읽는 것은 다릅니다. 특히 IIIa부 말미의 아직 충분히 반영되지 않았다는 힌트는 중립적 관찰이 아니라 본인 포지션에 대한 진술이었습니다.

그 펀드는 2026년 7월 운용자산 450억 달러에서 월간 약 67%의 손실을 기록하고 공개 주식 포지션 대부분을 정리했습니다. 아셴브레너 자신이 역사의 짐은 무겁고 나는 이것을 선택하지 않았을 것이라고 적은 문장과 2년 뒤의 결과를 나란히 두는 것은 이 글을 읽는 한 가지 방법입니다.

[관점] 2년 반이 지난 지금 이 165쪽을 항목별로 채점하면 그림이 선명해집니다. 맞은 것부터 보면, 엔비디아 매출 궤적은 거의 정확했고, 테스트 타임 컴퓨트를 여는 것이 작은 알고리즘 승리일 수 있다는 예측은 석 달 만에 현실이 되었습니다. 에이전트의 과제 수행 시간 지평이 가파르게 늘어난다는 방향도 맞았고, 미국 정부가 2026년 전후로 AI를 국가안보 사안으로 다루기 시작하리라는 예측도 시점상 들어맞았으며, 중국이 셈에서 빠지지 않았다는 경고는 딥시크가 증명했습니다.

빗나간 것도 분명합니다. 중국의 병목을 전력과 산업 동원으로 보고 메모리를 과소평가한 것은 틀렸습니다. 정부 개입의 형태도 자발적 합병이 아니라 규제·조달 혼합형이었고, 그가 곁다리라고 본 거버넌스가 주된 통로가 되었습니다. 사고연쇄 감시 가능성이 곧 사라지리라는 전망도 아직 실현되지 않았고, 2026년 중반 현재 AGI는 도래하지 않았습니다. 지능 폭발과 결정적 군사 우위와 2027-28년의 종반전은 판정 불가로 열려 있습니다.

더 중요한 것은 어떤 종류의 주장이 맞았고 어떤 종류가 틀렸는가입니다. 추세 외삽에 기반한 예측은 대체로 맞았고, 제도와 조직의 행동에 대한 예측은 대체로 빗나갔습니다. I부의 방법론이 II부 이후에서 작동하지 않았다는 뜻이며, 그래프 위의 직선을 믿으라는 처방은 그래프가 있는 영역에서만 유효했습니다.

그렇다면 이 글의 가치는 적중률보다 질문의 설정에 있다고 보는 것이 타당합니다. 초지능이 국가안보 사안이 되면 무슨 일이 벌어지는가, 민간 기업이 그것을 쥐고 있는 상태가 지속 가능한가, 안전과 속도의 교환은 누가 결정하는가. 이 질문들은 2024년에는 거의 아무도 공개적으로 던지지 않았고 지금은 정책 문서의 목차가 되었습니다.

원문: Leopold Aschenbrenner, Situational Awareness: The Decade Ahead (Jun 2024) 전문은 원문에서 확인하실 수 있습니다.

참고할만한 글

아빈드 나라야난·사야시 카푸어 – 일반 기술로서의 AI (AI as Normal Technology) — 초지능이 임박했다는 전제를 반박하는 글로, 아셴브레너의 직선 논증을 비판적으로 점검할 수 있습니다.
다리오 아모데이 – 프런티어의 속도를 조절해야 한다 (We Must Pace the Frontier) — 개발 속도를 조절해야 한다는 정책 제안으로, 지능 폭발 앞에서 무엇을 할지에 대한 다른 답을 보여 줍니다.
에릭 슈밋 – AI 혁명은 과소평가되어 있다 (The AI Revolution Is Underhyped) — 미중 AI 경쟁을 둘러싼 슈밋의 진단으로, 아셴브레너의 국가안보 논지와 겹치는 부분을 비교할 수 있습니다.