레오폴드 아셴브레너 – 2027년 AGI, 미중 초지능 경쟁, 그리고 역사의 귀환 (2027 AGI, China/US Super-Intelligence Race, & the Return of History)
원문: Leopold Aschenbrenner, 2027 AGI, China/US super-intelligence race, & the return of history (Dwarkesh Podcast) (Jun 2024) 전문은 원문에서 확인하실 수 있습니다. 아래 글은 번역이 아니라, 레오폴드 아셴브레너의 논증을 한국어로 재구성한 정리입니다.
글의 배경과 개요
레오폴드 아셴브레너(Leopold Aschenbrenner)는 독일에서 자라 15세에 컬럼비아대학교(Columbia University)에 들어가 19세에 수석으로 졸업했고, 오픈AI(OpenAI)의 초정렬(Superalignment) 팀에서 일하다 2024년 봄 해고된 뒤 패트릭 콜리슨(Patrick Collison)과 존 콜리슨(John Collison), 대니얼 그로스(Daniel Gross), 냇 프리드먼(Nat Friedman)의 출자를 받아 투자회사를 세우고 있었습니다. 이 대담은 그가 에세이 연작 「Situational Awareness」를 공개하는 날 드와케시 파텔(Dwarkesh Patel)의 팟캐스트에서 녹음됐고, 네 시간 반 동안 연작의 논증을 저자가 구술하면서 진행자의 반박을 받는 형식으로 이어집니다. 대담 전체가 답하려는 질문은 하나입니다. 지금의 스케일링 추세를 그대로 연장하면 2027년 전후에 범용인공지능(AGI)이 나오는데, 그때 국가와 시장은 어떻게 반응하는가입니다. 논증 경로는 클러스터와 전력의 산수에서 출발해 족쇄 풀기(unhobbling)와 지능 폭발을 거쳐, 초지능이 군사적으로 결정적이라는 판단과 거기서 따라 나오는 보안·국가 개입·정렬 문제로 이어집니다. 뒷부분에서는 저자의 개인사와 오픈AI에서 해고되기까지의 경위, 그리고 AGI를 전제로 자본을 운용한다는 구상이 다뤄집니다.
핵심 내용 정리
- 가장 큰 AI 체계의 학습 컴퓨트는 10년 가까이 연 0.5자릿수(order of magnitude)씩 늘어 왔고, 그 직선을 연장하면 2030년에 100기가와트, 1조 달러 규모의 클러스터에 이릅니다.
- 2027년이나 2028년에는 가장 뛰어난 전문가 수준의 모델이 나오고, 챗봇이 아니라 사람 자리에 그대로 들어가는 원격 노동자에 가까운 형태가 됩니다.
- 가장 먼저 자동화되는 직업은 AI 연구자이고, 1억 명분의 자동화된 연구자를 돌리면 1-2년 안에 초지능(superintelligence)에 이르는 지능 폭발(intelligence explosion)이 가능합니다.
- 초지능은 몇 년의 격차만으로도 걸프전식의 결정적 군사 우위를 만들기 때문에, 중국공산당(CCP)과 미국 국가안보 기구는 결국 이것을 국가 권력의 문제로 다루게 됩니다.
- 현재 AI 연구소의 보안은 스타트업 수준이어서 모델 가중치와 알고리즘 비밀이 사실상 노출되어 있고, 국가급 첩보에 맞서려면 정부가 들어와야 합니다.
- AGI 개발은 민간 경쟁이 아니라 정부가 주도하는 프로젝트 형태로 갈 가능성이 크고, 민주주의 연합이 명확히 앞선 뒤에 중국에 합의를 제안하는 것이 가장 안전한 경로입니다.
- 정렬(alignment)은 파멸 시나리오를 막는 문제가 아니라 초인간 체계를 통제하는 기술 문제이고, 지능 폭발 기간에 안전 여유를 확보하는 것이 관건입니다.
1조 달러 클러스터와 족쇄 풀기
AI는 코드가 아니라 산업 공정입니다
아셴브레너가 가장 먼저 바로잡는 것은 AI 개발의 성격입니다. 최근 실리콘밸리에서 나온 대부분의 것과 달리 AI는 일종의 산업 공정이라는 것입니다. 다음 모델은 코드가 아니라 거대한 새 클러스터를 짓는 일이고, 이제는 거대한 발전소를 짓는 일이 되었으며 머지않아 거대한 새 팹을 짓는 일이 됩니다. ChatGPT 이후 비범한 기술-자본 가속이 작동하기 시작했다는 것이 그의 요약입니다.
근거로 그가 드는 것은 대담 시점에서 정확히 1년 전에 있었던 엔비디아(NVIDIA)의 첫 대형 실적 발표입니다. 발표 뒤 시간외 거래에서 주가가 25% 뛰었고, 그때 모두가 AI가 실제로 벌어지는 일이라는 것을 알아챘습니다. 1년 만에 엔비디아의 데이터센터 매출은 분기 수십억 달러에서 200억-250억 달러 수준으로 올라왔고 지금도 오르는 중이며, 빅테크의 설비투자도 급증하고 있습니다.
그런데 이 난리는 어떤 의미에서는 그래프 위 직선의 연장일 뿐입니다. 가장 큰 AI 체계의 학습 컴퓨트는 거의 10년 동안 연 0.5자릿수씩 늘어 왔습니다. 추세가 길고 안정적이므로 그대로 앞으로 밀어 보는 것이 가능하다는 것이 그의 출발점입니다.
2030년의 1조 달러 클러스터
그가 연장해 보여 주는 경로는 다음과 같습니다.
- 2022년 — GPT-4의 사전학습이 끝난 시점이고, 클러스터는 세미애널리시스(SemiAnalysis) 보도로 A100 2만 5,000장 규모로 알려져 있어 대략 5억 달러, 10메가와트에 해당합니다.
- 2024년 — 0.5자릿수를 두 번 더하면 100메가와트이고, H100 10만 장에 상당하며 비용은 수십억 달러대로 올라갑니다.
- 2026년 — 1기가와트이고 대형 원자로 한 기, 후버댐의 출력에 비길 만한 규모이며, H100 100만 장 상당에 수백억 달러가 듭니다.
- 2028년 — 10기가와트이고 미국 대부분의 주보다 많은 전력을 쓰며, H100 1,000만 장 상당에 수천억 달러가 듭니다.
- 2030년 — 1조 달러 클러스터이고 100기가와트, H100 1억 장 상당이며, 미국 전력 생산의 20%를 넘는 규모입니다.
여기서 그가 강조하는 단서가 둘 있습니다. 하나는 이 숫자가 학습 클러스터 하나만 센 것이라는 점입니다. 제품이 나오면 GPU의 대부분은 추론용이 되므로 실제 설치량은 이보다 큽니다. 다른 하나는 미국의 전력 생산이 수십 년째 거의 늘지 않았다는 점입니다. 그래서 앞으로가 험난할 것이라고 그는 말합니다.
파텔은 여기서 마크 저커버그(Mark Zuckerberg)가 같은 팟캐스트에서 했던 말을 끌어옵니다. AI 진전이 정체한다는 뜻은 아니지만 에너지 제약에 병목이 걸릴 것이고, 기가와트급 데이터센터를 지으려면 싼샤댐을 하나 더 짓는 셈이라는 이야기였습니다. 그렇다면 10기가와트는 누가 지을 수 있고, 주 하나만큼의 전력을 쓰는 100기가와트를 물리적으로 한 곳에 몰아넣을 수 있느냐는 질문입니다.
아셴브레너는 6개월 전만 해도 10기가와트가 화제였지만 이제는 사람들이 그 단계를 지나갔다고 답합니다. 10기가와트는 벌어지는 일이라는 것입니다. 근거로는 오픈AI와 마이크로소프트(Microsoft)가 1,000억 달러 규모 클러스터를 계획한다는 디인포메이션(The Information) 보도를 듭니다.
10기가와트 클러스터의 비용을 짚어 보면 수천억 달러쯤이니 그 보도와 비슷한 규모이고, 자기만의 괴상한 전망이 아니라 실제로 추진되는 일이라고 그는 말합니다. AMD는 2027년까지 AI 가속기 시장이 4,000억 달러에 이를 것으로 전망했고 가속기는 전체 지출의 일부일 뿐이므로, 2027년까지 AI 총투자 1조 달러는 궤도에 올라 있다고 봅니다. 다만 1조 달러 클러스터까지 가려면 가속이 조금 더 필요하다는 점은 인정합니다.
해설 0.5자릿수라는 표현은 10의 0.5승, 곧 약 3.16배를 뜻합니다. 연 3배가 조금 넘는 속도이므로 2년에 10배, 4년에 100배가 됩니다. 2022년의 10메가와트에서 2030년의 100기가와트까지 8년 동안 네 자릿수, 곧 1만 배가 늘어나는 경로가 여기서 나옵니다.
전력 숫자는 칩 수로 환산하면 감이 잡힙니다. H100 한 장의 설계전력은 700와트 수준이고 서버와 냉각 설비를 포함한 실사용은 장당 1킬로와트를 넘어갑니다. 10만 장이면 100메가와트, 100만 장이면 1기가와트라는 대응이 여기서 성립합니다.
후버댐 비유는 기준을 확인해 둘 필요가 있습니다. 후버댐의 설비용량은 약 2기가와트이지만 수량에 따라 가동률이 낮아 연평균 출력은 그보다 훨씬 작습니다. 1기가와트라는 숫자는 두 기준 사이에 놓이는 값입니다.
1,000억 달러 매출이라는 문턱
클러스터가 커질수록 질문은 선행 투자의 회수로 옮겨갑니다. 모델이 세대마다 놀라운 것을 보여 주면 오버턴 윈도가 밀리고 매출이 들어온다는 것이 그의 그림이지만, 이것들은 전부 미래를 보고 지르는 투자이므로 결국 회수되느냐가 문제입니다.
여기서 그는 흔한 착오 하나를 짚습니다. GPT-4에 1억 달러가 들었다는 식으로 말하는 사람이 많지만 그것은 임대 가격이라는 것입니다. 클러스터를 석 달 빌리는 값과 클러스터 전체를 짓는 값은 다르고, 가장 큰 클러스터를 지으려면 전체를 지어야 하고 전체 값을 치러야 합니다. 그래서 그는 GPT-4 클러스터를 5억 달러쯤으로 추정합니다.
수천억 달러 단위로 들어가면 결국 연 1,000억 달러 매출에 도달해야 합니다. 빅테크의 매출이 수천억 달러 규모이므로, 연 100억 달러는 2024년 크기의 학습 클러스터를 회수하는 정도이고 연 1,000억 달러가 되어야 빅테크 입장에서 대박이 됩니다. 그 숫자가 실현 가능한지에 대한 그의 계산은 이렇습니다. 마이크로소프트 오피스 구독자가 3억 명쯤 있고 이미 코파일럿이 붙어 있으니, 월 100달러짜리 AI 부가 상품을 만들어 구독자의 3분의 1에게 팔면 그것만으로 1,000억 달러가 됩니다.
파텔은 월 100달러가 큰 금액이라고 반박합니다. 아셴브레너도 큰 금액임을 인정하면서도, 평균적인 지식노동자에게 그 값은 한 달에 몇 시간치 생산성에 해당하는 금액이라고 받습니다. 한 달에 몇 시간치 생산성조차 못 나오려면 AI 진전이 아주 시시해야 한다는 것입니다. 그리고 연말에 100억 달러에 도달하고 6개월마다 매출이 두 배가 되는 궤적이 이어진다면 1,000억 달러는 그리 멀지 않으며 2026년쯤이 될 수 있다고 덧붙입니다.
[관점] 오피스 구독자 산수는 결론보다 가정의 크기를 봐야 합니다. 마이크로소프트의 기존 오피스 구독 단가는 좌석당 월 10달러대에서 수십 달러대이고, 여기에 월 100달러를 더 받는다는 것은 해당 좌석의 단가를 몇 배로 올린다는 뜻입니다. 기업용 소프트웨어에서 단가를 몇 배로 올린 사례는 신규 범주를 만들 때 말고는 드물며, 보통은 상위 등급 전환으로 일부 좌석에만 적용됩니다.
그래서 이 계산의 민감도는 가격이 아니라 침투율에 몰려 있습니다. 3분의 1이 아니라 10%에 적용되면 300억 달러가 되고, 가격이 월 30달러로 내려가면 100억 달러가 됩니다. 1,000억 달러라는 결론은 가격과 침투율 두 변수가 동시에 낙관적 끝값에 설 때만 나옵니다.
다만 그가 세운 논증 구조 자체는 투자 판단에 쓸 만합니다. 클러스터 규모를 매출 요구치로 환산하고, 그 요구치를 기존 구독 기반의 단가와 침투율로 분해해 보는 방식입니다. 설비투자 결정의 정당성을 따질 때 필요한 것은 AGI 전망이 아니라 이 환산표이고, 두 수치 가운데 어느 쪽이 먼저 꺾이는지가 회수 시점을 결정합니다.
잔손질, 소닉붐, 그리고 바로 투입되는 원격 노동자
다음 몇 년의 역량 궤적에 대한 그의 추정은 10기가와트 구간이 진짜 AGI가 나올 시점이라는 것입니다. 컴퓨트가 과대평가되어 있다는 단서를 달면서도, 그는 경로를 이렇게 나눕니다. 2025년과 2026년에는 대학 졸업자 대부분보다 똑똑한 모델이 나옵니다. 그런데 실제 경제적 유용성은 족쇄 풀기에 달려 있습니다. 모델은 똑똑하지만 묶여 있어서, 컴퓨터를 쓰거나 긴 시간이 걸리는 에이전트형 과업을 수행하는 일을 못 합니다.
2027년과 2028년이 되면 가장 뛰어난 전문가 수준에 이릅니다. 족쇄 풀기의 궤적은 챗봇보다 에이전트에 훨씬 가까운 쪽을, 거의 바로 투입되는 원격 노동자(drop-in remote worker)에 가까운 쪽을 가리킵니다.
경제적 회수에 관한 질문의 핵심은 여기에 있습니다. 중간 단계의 AI 체계도 아주 유용할 수 있지만 통합하는 데 잔손질(schlep)이 많이 듭니다. GPT-4나 그 다음 모델로 업무에서 할 수 있는 일이 많더라도 작업 흐름 자체를 바꿔야 하고, 그래서 확산에 오랜 시간이 걸립니다. 타일러 코웬(Tyler Cowen)식 관점이고, 샌프란시스코에 있으면 놓치게 되는 대목이라고 그는 덧붙입니다.
그가 보는 실제 전개는 소닉붐에 가깝습니다. 중간 단계 모델을 통합할 잔손질을 하기 전에 족쇄가 풀린 모델이 먼저 도착한다는 것입니다. 그러면 모델은 에이전트이자 바로 투입되는 원격 노동자가 되고, 동료를 대하듯 상호작용하게 됩니다. 화상 회의를 하고 메신저로 말을 걸어 프로젝트를 맡기면, 일주일 사라져서 초안을 쓰고 피드백을 받고 코드 테스트를 돌린 뒤 돌아와 결과를 보여 주고 추가 지시를 받습니다. 이쪽이 통합하기가 훨씬 쉽습니다.
그래서 전환을 쉽게 만들고 이득을 제대로 거두려면 역량의 과잉이 필요할 수도 있습니다. 중간 모델로도 할 수는 있지만 잔손질이 많이 들고, 결국 인지 과업을 자동화하는 바로 투입되는 원격 노동자 수준이 되어야 일이 풀립니다. 중간 모델은 소프트웨어 엔지니어의 생산성을 높여 주지만 엔지니어가 그것을 채택할지가 문제인데, 2027년 모델에서는 엔지니어가 필요하지 않게 되고 엔지니어를 대하듯 상호작용하면 엔지니어의 일을 해낸다는 것입니다.
테스트 타임 컴퓨트에 걸린 족쇄
파텔의 반박은 데이터를 겨냥합니다. 지난 1년간 나온 모델 가운데 GPT-4를 크게 넘어선 것이 없고, 동료처럼 상호작용하는 에이전트 쪽에서는 특히 그렇습니다. MMLU 점수가 몇 점 올랐다는 자랑이나, 스칼릿 조핸슨(Scarlett Johansson)처럼 말할 수 있다는 식의 변화만 있었습니다. 질문에 답하는 일을 잘하는 이유는 알겠는데, 화상 회의에서 무슨 일이 벌어지는지 이해하고 그것을 메신저의 논의와 연결하고 흩어진 맥락에서 하나의 프로젝트를 파악하게 해 주는 학습 데이터는 어디서 오느냐는 것입니다.
아셴브레너는 앞으로 몇 년의 핵심 질문을 이렇게 다시 세웁니다. 테스트 타임 컴퓨트 오버행(test time compute overhang), 곧 아직 끌어쓰지 않고 남아 있는 추론 시점 연산 여력을 푸는 일이 얼마나 어려운가입니다. 지금 GPT-4는 질문에 답하면서 수백 토큰의 사고연쇄를 돌릴 수 있고, 이것만으로도 이미 큰 족쇄가 풀린 셈입니다. 그 전에는 수학 문제에 떠오르는 대로 답하는 식이었고, 사람도 그렇게 답하면 잘할 수 없습니다.
그런데 GPT-4가 수백만 토큰을 생각할 수 있다면 한 문제에 쓰는 테스트 타임 컴퓨트가 네 자릿수 늘어납니다. 지금은 못 합니다. 코드를 조금 쓰다 막히고, 간단한 반복 디버깅은 하지만 결국 어딘가에서 걸려 오류를 교정하지 못합니다.
그래서 큰 오버행이 남아 있습니다. 알파고(AlphaGo)를 다룬 논문에서는 학습 시점 컴퓨트와 테스트 시점 컴퓨트를 맞바꿀 수 있다는 결과가 나왔고, 테스트 시점 컴퓨트를 네 자릿수 더 쓰면 3.5자릿수 더 큰 모델에 가까워진다는 것입니다. 분당 100토큰으로 수백만 토큰이면 몇 달치 작업 시간이고, 지금 할 수 있는 일보다 훨씬 많은 일을 할 수 있는 시간입니다.
짧은 타임라인 쪽 세계는 이것이 그리 어렵지 않은 세계입니다. 어렵지 않을 수 있는 이유로 그가 드는 것은, 추가로 배워야 할 토큰이 몇 종류뿐일 수 있다는 점입니다. 배워야 할 토큰이 오류 교정과 계획이라는 몇 종류뿐일 수 있다는 것이 핵심입니다. 내가 실수한 것 같으니 다시 생각해 보자고 말하는 오류 교정 토큰, 먼저 계획을 세우고 공격 방향을 적은 다음 초안을 쓰고 그 초안을 비판하고 다시 생각하는 계획 토큰입니다. 지금 모델이 못 하는 일이지만, 문제는 그것이 얼마나 어려운가입니다.
에이전트로 가는 경로가 둘이라는 정리도 여기서 나옵니다. 하나는 숄토(Sholto)가 같은 팟캐스트에서 말한 대로 스케일링이 신뢰성의 자릿수를 늘려 주는 경로입니다. 다른 하나는 시스템 2 과정을 배우게 하는 족쇄 풀기 경로입니다. 시스템 2 과정을 배우면 수백만 토큰을 쓰면서 일관성과 응집성을 유지할 수 있게 됩니다.
운전 비유가 이 구분을 설명합니다. 운전할 때 대부분은 자동 조종 상태로 잘 달리지만, 이상한 공사 구간이나 괴상한 교차로를 만나면 조수석에 앉은 사람에게 잠깐 조용히 해 달라고 하고 무슨 상황인지 파악하게 됩니다. 자동 조종에서 시스템 2가 끼어드는 순간입니다. 스케일링은 시스템 1 자동 조종을 개선하는 일이고, 에이전트에 이르는 무차별 대입식 경로입니다. 반면 시스템 2를 작동시키는 데 성공하면 테스트 타임 컴퓨트 오버행이 풀리면서 에이전트 쪽으로 꽤 빠르게 건너뛸 수 있습니다.
[사후 맥락] 이 대목의 질문은 대담 뒤 몇 달 안에 답이 나왔습니다. 오픈AI는 2024년 9월 12일 o1-preview와 o1-mini를 공개하면서 학습 시점 컴퓨트와 테스트 시점 컴퓨트 양쪽에서 성능이 함께 개선된다는 결과를 제시했고, 12월 5일 o1 정식판을 출시했습니다.
아셴브레너가 세부를 알아내는 데 6개월에서 3년이 걸릴 것이라고 말한 범위의 가장 앞쪽에 해당합니다. 추론 모델이라는 범주 자체가 이후 프런티어 모델의 표준 구성이 되었다는 점에서, 테스트 타임 컴퓨트 오버행을 핵심 변수로 지목한 판단은 맞았습니다.
다만 그가 같은 자리에서 족쇄 풀기의 결과로 예상한 것, 곧 사람 자리에 그대로 들어가는 원격 노동자는 추론 모델의 등장만으로 바로 따라오지 않았습니다. 오버행을 푸는 일과 긴 시간이 걸리는 과업을 끝까지 수행하는 일이 같은 문제가 아니었다는 뜻이고, 이 간격은 대담 후반부에서 파텔이 제기하는 반박과 겹칩니다.
사전학습이 만든 발판
파텔은 왜 이것이 쉬운 승리라고 보는지 다시 묻습니다. 시스템 2 사고를 하는 동물은 많지 않고 진화가 그것을 주기까지 오랜 시간이 걸렸습니다. 사전학습은 인터넷 텍스트 수조 토큰이 있으니 이해가 되는데, 족쇄 풀기가 쉬울 근거는 무엇이냐는 것입니다.
아셴브레너의 첫 답은 사전학습의 성격입니다. 사전학습은 마법 같은 것이고 범용 지능을 향한 큰 이점을 줬습니다. 다음 토큰을 예측하기만 하는데도, 흔한 오해와 달리 그 과정에서 모델은 대단히 풍부한 표현을 배웁니다. 표현 학습이야말로 딥러닝의 마법이고, 모델은 통계적 부산물이 아니라 세계의 모형을 배웁니다. 올바른 표현을 배웠기 때문에 일반화도 가능합니다.
사전학습이 끝나면 쓸 만하지만 아직 형태를 갖추지 못한 역량 덩어리가 남습니다. GPT-2에서 GPT-4에 이르는 동안 수행한 족쇄 풀기는 그 덩어리를 인간 피드백 기반 강화학습(RLHF)으로 아주 좋은 챗봇으로 만든 일이었고, 이것이 큰 승리였습니다. InstructGPT 논문에서 RLHF를 적용한 모델과 적용하지 않은 모델을 인간 선호 평가로 비교한 결과는 모델 크기 100배에 해당하는 차이였습니다. 간단한 사고연쇄도 그때부터 가능해졌습니다. 그러면서도 원재료 상태의 역량이라는 이점은 그대로 남아 있고, 아직 쓰지 않은 부분이 많이 남았다는 것이 그의 판단입니다.
이 사전학습의 이점이 로봇공학과의 차이라는 점도 그는 짚습니다. 과거에는 로봇공학이 하드웨어 문제라고들 했지만 하드웨어 쪽은 풀려 가고 있습니다. 문제는 사전학습으로 스스로를 띄워 올릴 이점이 없다는 것입니다. 할 수 있는 비지도학습이 없으니 처음부터 강화학습과 자가 대국으로 시작해야 합니다.
그렇다면 족쇄 풀기와 강화학습이 통할 이유는 무엇인가. 여기서도 발판의 이점이 등장합니다. 사람도 초등학교와 고등학교 시기에 사전학습을 받았고, 어느 시점부터 혼자 배울 수 있게 됩니다. 초등학교에서는 못 하고 중학교에서도 어렵고 고등학교쯤에 시작되며, 대학에서는 똑똑하면 스스로 가르칠 수 있습니다. 모델이 이제 혼자 공부할 수 있는 구간에 막 들어서고 있다는 것이 그의 관찰입니다.
조금 더 스케일링하고 그 위에 무엇을 올릴지 알아내야 하는데, 그 일이 간단하지는 않습니다. 딥러닝에서는 돌이켜 보면 당연해 보이는 아이디어, 조금 멍청해 보이지만 그냥 작동하는 무언가가 결국 통하곤 하지만, 제대로 맞춰야 하는 세부가 많습니다. 다음 달에 나온다는 이야기가 아니고, 세부를 알아내는 데 6개월에서 3년쯤 걸릴 것으로 그는 봅니다.
이 문제는 데이터 장벽(data wall)과도 깊이 얽혀 있습니다. 혼자 배운다는 말의 뜻을 그는 이렇게 풀어냅니다. 사전학습은 단어가 눈앞을 스쳐 지나가는 것, 교사가 강의하는 것과 같습니다. 모델은 그 과정에서 조금씩만 얻어 갑니다.
반면 혼자 배울 때는 그러지 않습니다. 빽빽한 수학 교과서를 읽을 때 한 번 훑고 지나가면 많이 배우지 못합니다. 글만 다루는 사람들은 훑고 다시 읽고 또 읽어서 외우기도 하는데, 그것은 데이터를 반복한 것이고 암기에 가깝습니다. 실제로 하는 일은 한 쪽을 읽고 생각하고 머릿속으로 혼잣말을 하고 공부 친구와 대화하고 연습문제를 풀어 보고 여러 번 틀린 뒤 어느 순간 이해되는 과정이며, 그러고 나서 몇 쪽을 더 읽습니다.
모델도 이제 그렇게 할 수 있는 지점까지 스스로를 띄워 올렸습니다. 읽고 생각하고 문제를 풀어 보게 만드는 일이 남았고, 자가 대국과 합성 데이터와 강화학습이 바로 그것을 작동시키려는 시도입니다. 그가 정리하는 구도는 이렇습니다. 맥락 내 학습은 표본 효율성이 대단히 높고, 제미나이(Gemini) 보고서에서는 모델이 맥락 안에서 하나의 언어를 배우기까지 했습니다.
반면 사전학습은 표본 효율성이 전혀 좋지 않습니다. 사람이 하는 일은 맥락 내 학습을 한 다음, 책을 읽고 생각해서 이해에 도달한 뒤 그것을 어떻게든 가중치로 증류해 넣는 것입니다. 강화학습이 하려는 일이 바로 그것입니다.
강화학습은 까다롭지만 작동할 때는 마법 같다고 그는 말합니다. 모델에게 가능한 최선의 데이터이기 때문입니다. 연습문제를 풀다 실패하고 어느 순간 자기에게 납득되는 방식으로 답을 찾아내면 그것이 자기에게 가능한 최선의 데이터인데, 자기가 풀었을 방식 그대로이기 때문입니다. 다른 사람이 어떻게 풀었는지 읽는 것과는 다릅니다.
스케일링을 더하면
마지막으로 그는 족쇄 풀기에 스케일링이라는 기본 동력이 겹친다는 점을 덧붙입니다. GPT-2에서 GPT-4까지의 변화가 그 증거입니다. GPT-2는 그럴듯한 문장을 이어 붙일 수 있었다는 점에서 놀라웠지만 할 수 있는 일이 거의 없었고, 유치원생 수준이었습니다. GPT-4는 코드를 쓰고 어려운 수학을 풀 수 있으니 똑똑한 고등학생 수준입니다. 그가 에세이 연작에서 한 작업은 컴퓨트 스케일업과 알고리즘 진전의 자릿수를 세어 보는 일이었습니다.
그 계산에 따르면 스케일링만으로도 2027년과 2028년까지 GPT-4 위에 유치원생에서 고등학생으로 가는 도약이 한 번 더 얹힙니다. 그러면 토큰 하나 수준에서 이미 대단히 똑똑한 모델이 되고 신뢰성도 어느 정도 올라갑니다. 여기에 챗봇보다 에이전트, 바로 투입되는 원격 노동자에 훨씬 가깝게 만들어 주는 족쇄 풀기를 더하면, 그때부터 일이 본격적으로 돌아가기 시작합니다.
2028년의 AI와 역사의 귀환
2023년이라는 예고편
파텔은 시야를 넓혀 질문합니다. 2027년에 10기가와트 클러스터에서 사람을 대체할 수 있는 원격 노동자가 나온다면, 경제와 정치와 지정학은 어떻게 반응하느냐는 것입니다.
아셴브레너는 2023년이 어떤 해였는지를 먼저 떠올립니다. AI를 따라가던 사람에게 그해는 특이한 경험이었습니다. 그 전까지는 AI나 AGI를 입에 올리고 싶지 않을 정도였고 거의 금기어에 가까웠습니다. 그런데 2023년에 사람들이 ChatGPT와 GPT-4를 처음 보자 모든 것이 폭발했습니다. 여러 기업의 거대한 설비투자와 엔비디아의 매출 폭증이 그 결과였습니다.
그 뒤로는 조용했지만 다음 것이 오븐 안에 들어 있었습니다. 그가 예상하는 것은 세대마다 이 중력이 더 강해지는 일입니다. 사람들은 모델을 보지만 자릿수를 세어 보지 않았기 때문에 놀랄 것이고, 상황은 요란해집니다.
그리고 매출이 가속됩니다. 연말에 100억 달러에 닿고 6개월마다 두 배가 되는 궤적이 이어지면 1,000억 달러가 멀지 않고, 그 무렵에는 엔비디아에 일어난 일이 빅테크 전체에 일어나면서 주가가 터집니다. 그러면 훨씬 많은 사람이 이것을 체감하게 됩니다.
그에게 2023년은 AGI가 이론적이고 추상적인 무언가에서 눈앞의 것으로 바뀐 순간이었습니다. 경로가 보이고, 어디로 가는지가 보이고, AGI가 학습될 클러스터와 알고리즘의 대략적 조합과 관여할 사람들까지 보인다는 감각입니다. 세계 대부분은 그 자리에 없고, 그것을 느끼는 사람들은 지금 이 동네에 모여 있다는 것이 그의 진단입니다.
래퍼 기업은 정체에 베팅하고 있습니다
파텔은 지금 그것을 느끼는 쪽이 누구냐고 되묻습니다. 트위터에 가면 GPT-4가 자기 사업을 바꿀 것이라고 말하는 래퍼 기업들이 있습니다.
아셴브레너의 답은 단호합니다. 래퍼 기업에 대해서는 대단히 비관적이라는 것입니다. 래퍼 기업은 사실 정체에 베팅하고 있다는 것이 이유입니다.
중간 단계 모델이 있고 그것을 통합하는 데 오랜 시간이 걸린다는 전제 위에 서 있기 때문입니다. 그러나 앞에서 본 소닉붐이 그들을 지나갑니다. 족쇄가 풀린 모델과 바로 투입되는 원격 노동자가 도착하면 그들이 만든 것은 의미를 잃습니다.
그렇다면 2026년과 2027년에, 설비투자가 수천억 달러씩 들어가는 시점에 주목하는 쪽은 누구인가. 그의 답은 국가안보 기구입니다.
AI 연구자를 자동화하면 벌어지는 일
파텔은 정치적 반응을 구체적으로 묻습니다. 지금 시진핑(Xi Jinping)이 뉴스를 보다가 어떤 모델의 MMLU 점수를 보고 긴장하지는 않을 것입니다. 사람을 대체하는 원격 노동자가 나오고 그 사업의 매출이 1,000억 달러가 되면 무엇이 달라지느냐는 것입니다. 매출 1,000억 달러짜리 사업은 세상에 여럿 있고, 사람들이 그 때문에 밤을 지새우지는 않습니다.
아셴브레너가 바꿔 세우는 질문은 이렇습니다. 중국공산당과 미국 국가안보 기구가 초지능이 국가 권력에 절대적으로 결정적이라는 사실을 언제 깨닫는가입니다. 그리고 그 답을 설명하는 장치가 지능 폭발입니다.
순서는 이렇습니다. AGI가 나오면 적어도 원격 직무와 인지 노동에서 사람을 대체하는 바로 투입되는 원격 노동자를 갖게 됩니다. 그다음에는 크랭크를 한두 번 더 돌리기만 해도 사람보다 똑똑한 것이 나옵니다.
그런데 크랭크를 더 돌리는 것보다 중요한 것이 있습니다. 가장 먼저 자동화되는 직업 가운데 하나가 AI 연구자이자 엔지니어라는 점입니다. AI 연구를 자동화할 수 있으면 일이 아주 빠르게 돌아갈 수 있습니다.
숫자로 그는 이렇게 짚습니다. 지금도 알고리즘 진전이 연 0.5자릿수씩 일어나는 추세가 있습니다. 그 시점이 되면 추론용 GPU 함대가 수천만 장 또는 그 이상이 되고, 자동화된 AI 연구자를 사람 1억 명분으로 돌릴 수 있게 됩니다. 그러면 1년에 10년치 기계학습 연구 진전을 낼 수 있고, 10배 가속이 나옵니다. 그 정도가 되면 1년이나 몇 년 안에 사람보다 압도적으로 똑똑한 AI로 건너뛸 수 있다는 것이 그의 결론입니다.
그리고 범위가 넓어집니다. AI 연구에서 시작된 가속이 다른 기술 분야의 연구개발로 번집니다. 극단에서는 모든 일에 탁월하게 유능한 초지능 연구자와 엔지니어와 기술자가 10억 명 있는 상태가 됩니다.
로봇공학도 그들이 풀어낼 것입니다. 앞에서 로봇공학이 소프트웨어 문제라고 했는데, 지능 폭발 중의 어느 시점에 가장 뛰어난 인간 연구자보다 똑똑한 AI 연구자 10억 명이 클러스터 위에 있으면 로봇공학을 알아낼 수 있다는 것입니다. 그리고 거기서 다시 범위가 넓어집니다.
해설 1억 명분이라는 숫자가 어디서 나오는지를 보면 이 논증의 구조가 드러납니다. 저자는 사람의 사고를 분당 100토큰 정도로 환산하는 방식을 씁니다. 사람 한 명이 하루 여덟 시간 일하면 약 4만 8,000토큰이고, 1억 명분이면 하루 수조 토큰 규모가 됩니다. 수천만 장 규모의 추론용 GPU 함대에서 나오는 토큰 처리량을 이 환산율로 나눈 값이 1억 명분이라는 수치입니다.
그래서 이 숫자에는 세 겹의 가정이 들어 있습니다. 모델 토큰 하나가 사람의 속생각 한 토큰과 같은 값을 한다는 가정, 연구 생산성이 토큰 처리량에 비례한다는 가정, 그리고 1억 명을 동시에 돌리는 조율 비용이 무시할 만하다는 가정입니다. 셋 가운데 어느 하나만 깨져도 10배 가속이라는 결론의 크기가 달라집니다. 뒤에서 파텔이 집중적으로 공격하는 지점이 정확히 이 세 가정입니다.
연 0.5자릿수의 알고리즘 진전이라는 추세는 별도의 전제입니다. 같은 성능을 내는 데 필요한 컴퓨트가 해마다 3분의 1로 줄어든다는 뜻이고, 하드웨어 증설과 곱해지면 실효 컴퓨트가 연 1자릿수, 곧 10배씩 늘어난다는 계산이 됩니다.
걸프전식 우위와 핵 억지의 무력화
이 그림을 끝까지 밀면 AI는 다른 어떤 기술과도 다른 성격을 갖습니다. 몇 년의 격차가 군사 경쟁에서 완전히 결정적일 수 있다는 것입니다.
근거로 그가 드는 사례는 걸프전입니다. 서방 연합군의 교환비는 100대 1이었습니다. 전차에 더 좋은 센서가 달려 있었고, GPS 같은 정밀 유도 미사일이 있었고, 스텔스가 있었습니다. 기술 격차가 20년이나 30년쯤이었고, 그 결과는 완전한 압도였습니다.
여기에 초지능이 넓은 연구개발 분야에 적용되고 산업 폭발까지 더해지면, 곧 로봇이 대량의 물질을 만들어 내기 시작하면, 1세기치 기술 진전을 10년도 안 되는 기간에 압축할 수 있습니다. 그렇게 되면 몇 년의 격차가 군사 문제에서 걸프전식의 우위를 뜻하게 됩니다.
파텔은 그 우위가 핵무기조차 선취하는 수준일 수 있다고 받습니다. 스텔스 상태의 핵잠수함을 찾아내는 문제는 센서와 그 위치를 공격할 소프트웨어의 문제이고, 그것이 가능해지면 찾아낼 수 있습니다. 모기 크기의 드론을 수백만 또는 수십억 대 가지고 핵잠수함과 이동식 발사대와 나머지 핵전력을 제거하는 그림입니다.
아셴브레너는 이것이 엄청나게 불안정화시키는 일이고 국가 권력에 엄청나게 중요한 일이라고 정리합니다. 어느 시점에 사람들이 그 사실을 깨달을 것이고, 아직은 아니지만 결국 깨닫게 됩니다. 그때가 되면 AI 연구자들이 책임자로 남아 있지는 않을 것입니다. 중국공산당 쪽에서는 미국 AI 연구소를 침투하려는 전면적 노력이 시작됩니다.
수십억 달러와 수천 명의 인력, 국가안전부(MSS)의 전력이 투입되는 규모입니다. 동시에 중국은 미국보다 더 많이 짓는 방식으로 이기려 할 것입니다. 중국은 지난 10년 동안 미국 전력망 전체에 해당하는 전력을 새로 더했고, 적어도 100기가와트라는 전력은 중국이 확보하기가 훨씬 쉽습니다. 그 지점이 되면 국제 경쟁은 극도로 격렬해집니다.
좁게 시작해 넓어지는 폭발
파텔은 이 전개의 모양을 확인하려 합니다. AGI를 만들고 그것을 AI 연구자로 바꾼 다음, 1년쯤 그 능력을 수억 명의 AI 연구자를 더 만드는 데만 쓰고, 그 광적인 과정에서 초지능이 나오고, 그러고 나서 그것이 세상으로 나와 로봇공학을 개발하고 다른 나라를 제압하는 쪽을 돕는 식인지입니다.
아셴브레너의 그림은 켜고 끄는 식이 아니라 조금 더 점진적입니다. 좁은 데서 시작해 넓어지는 폭발이라는 것입니다. 처음에 할 수 있는 것은 인지 노동이고, 인지 노동의 첫 용도는 AI를 더 좋게 만드는 일과 로봇공학을 푸는 일입니다. 로봇공학이 풀리면 생물학과 다른 기술의 연구개발을 할 수 있게 됩니다.
로봇이 오기 전의 중간 단계도 그는 그려 둡니다. 처음에는 공장 노동자가 안경과 이어버드를 쓰고 AI의 지시를 받는 형태입니다. 어떤 노동자든 숙련 기술자로 만들 수 있기 때문입니다. 그리고 그다음에 로봇이 들어옵니다.
파텔이 메타(Meta)의 레이밴(Ray-Ban)이 라마(Llama)의 보완재라고 농담을 던지자, 아셴브레너는 미국 내 팹의 제약이 숙련 인력이라는 점을 짚습니다. 로봇이 아직 없어도 인지 초지능이 있으면 그들을 즉시 숙련 인력으로 만들 수 있습니다. 다만 그 기간은 아주 짧고 로봇이 곧 온다는 것이 그의 단서입니다.
코로나의 2020년 2월과 닮은 지금
파텔은 중국 쪽 의사결정자를 다시 끌어옵니다. 미국에서는 기업들이 이미 수천억 달러의 AI 매출을 올리고 회사채 시장에서 수천억 달러 이상을 빌리는 상황일 수 있습니다. 그런데 60세쯤 된 중국공산당 관료가 이것을 보고 코파일럿이 좀 좋아졌구나 하고 넘어가지 않을 이유가 무엇이냐는 것입니다. 한 나라의 생산을 전환하고 소비재에 쓰던 에너지를 떼어내 데이터센터로 돌리려면, 초지능이 곧 온다는 사실을 깨달아야 합니다. 파텔은 자신조차 그것을 얼마나 깨닫고 있는지 확신하지 못한다고 덧붙입니다.
아셴브레너는 이것이 정말 핵심 질문이라고 인정합니다. 그가 보는 그림은 몇 년의 중반전이 더 남아 있다는 것입니다. 2023년 같은 해가 몇 번 더 오고, 그때마다 더 많은 사람이 생각을 갱신합니다. 추세선이 분명해집니다.
그리고 코로나 때와 비슷한 역학이 일부 나타날 것으로 봅니다. 2020년 2월은 지금과 아주 비슷한 느낌이었다는 것이 그의 비교입니다. 터무니없이 거대한 일이 닥쳐오고 있다는 느낌이 있고 지수 곡선이 눈에 보이는데도 세계 대부분은 알아차리지 못합니다. 뉴욕 시장은 공연을 보러 나가라고 말하고, 걱정하는 쪽은 인종차별로 몰립니다. 그러다 어느 시점에 사람들이 지수 곡선을 보았고, 그다음에 급격하고 근본적인 반응이 왔습니다.
파텔이 당시 무엇을 했는지 묻자 아셴브레너는 대학 3학년이었고 시장을 공매도했으며 제때 청산했다고 답합니다. 그래서 AI에도 2020년 3월에 해당하는 순간이 올 것이라는 데 두 사람은 동의합니다.
역사는 돌아와 있습니다
파텔의 반박은 정치 쪽입니다. 그 순간이 와서 미국이 맨해튼 프로젝트(Manhattan Project)를 해야 한다는 반응으로 이어진다는 것이 에세이 연작의 논지인데, 여기서는 나치를 이기기 위해 폭탄이 필요하다는 식의 단순한 구도가 아니라는 것입니다. 전기요금을 한참 올리고 일자리를 자동화하는 것을 짓는 일이고, 기후변화를 악화시킨다는 비판이 따라붙고, 빅테크를 돕는 일로 읽힙니다. 국가안보 기구나 대통령이 가속 페달을 밟아 미국이 이기게 하자고 나설 구도로 보이지 않는다는 것입니다.
아셴브레너의 답은 사람들이 이것을 얼마나 체감하는지에 달려 있다는 쪽입니다. 그러면서 비교의 기준을 바꿉니다. 우리 세대는 평화와 미국 패권, 그리고 아무것도 크게 걸려 있지 않은 상태에 익숙해져 있습니다. 그러나 극도로 격렬한 일들이 벌어지고 국제 경쟁이 치열한 상태야말로 역사의 표준이라는 것입니다. 지난 20년은 매우 예외적인 시기였습니다.
규모를 보여 주는 숫자를 그는 이렇게 열거합니다.
- 제2차 세계대전 — 미국 국내총생산의 50%가 전쟁 생산에 들어갔고, 미국은 국내총생산의 60%를 넘게 차입했으며 독일과 일본은 100%를 넘게 차입했습니다.
- 제1차 세계대전 — 영국과 프랑스와 독일이 모두 국내총생산의 100%를 넘게 차입했습니다.
- 인명 피해 — 전쟁의 파괴를 말할 때 흔히 드는 소련 군인 2,000만 명의 사망이나 폴란드 인구 20%의 희생 같은 수치는 역사적으로 늘 있었던 일입니다.
- 7년 전쟁 — 프로이센 인구의 20-30%가 죽었습니다.
- 30년 전쟁 — 독일의 넓은 지역에서 인구의 최대 절반이 죽었습니다.
그래서 질문은 사람들이 여기 걸린 것이 정말 크다는 사실, 그리고 역사가 실제로 돌아와 있다는 사실을 보게 될지입니다. 미국 국가안보 기구는 이런 문제를 아주 진지하게 생각하고 중국과의 경쟁도 진지하게 봅니다. 중국은 이 문제를 자신의 역사적 사명이자 중화민족의 위대한 부흥으로 여기며 국가 권력과 세계 질서를 많이 생각합니다.
남는 것은 타이밍 문제입니다. 지능 폭발이 이미 벌어지고 있을 때 진지해지는가, 아니면 2년 먼저 진지해지는가. 이 차이가 전개를 크게 가릅니다. 다만 어느 시점에는 반드시 진지해질 것이고, 그때 걸려 있는 것이 어딘가의 대리전이 아니라 자유민주주의가 계속 번성할 수 있는지, 중국공산당이 계속 존재할 수 있는지라는 사실을 깨닫게 됩니다. 그러면 오랫동안 보지 못했던 힘들이 작동하기 시작합니다.
[관점] 역사의 귀환 논증은 두 단계로 되어 있고 두 단계의 강도가 다릅니다. 앞 단계는 그만한 동원이 역사적으로 가능했다는 증명이고, 이쪽은 숫자로 뒷받침됩니다. 뒤 단계는 AI를 두고도 그런 동원이 일어난다는 예측이며, 이쪽은 숫자가 아니라 유추입니다.
두 단계를 잇는 고리가 약한 지점은 촉발 사건입니다. 저자가 드는 역사적 동원은 모두 가시적이고 돌이킬 수 없는 충격 뒤에 왔습니다. 진주만과 폴란드 침공, 그리고 저자 자신이 비교로 드는 2020년 3월이 그렇습니다. 반면 모델 역량의 향상은 점진적이고 해석의 여지가 큰 신호여서, 지수 곡선을 보았다는 합의 자체가 사후적으로만 만들어집니다. 저자도 타이밍을 열어 두면서 사실상 이 문제를 인정하고 있습니다.
투자 쪽으로 옮기면 함의가 분명합니다. 국가 개입이 자산가격에 반영되는 시점은 역량 곡선이 아니라 정치 일정에 따라 결정됩니다. 전력 인허가, 수출통제 개정, 조달 계약, 설비투자 승인 같은 것이 단계별 신호가 되며, 역량 발표는 그 신호의 선행지표가 아닙니다. 앞에서 본 매출 환산표와 이 정치 일정표 가운데 어느 쪽이 먼저 움직이는지가 실제 가격 경로를 만듭니다.
초지능 독재라는 가능성
파텔은 시야를 더 넓힙니다. 미국에서 80년쯤 누려 온 자유민주주의 밖으로 나가서 보면, 독재와 전쟁과 기근을 포함한 온갖 일이 훨씬 그럴듯해진다는 것입니다. 그러면서 『The Gulag Archipelago』의 한 장이 시작되는 방식을 끌어옵니다. 알렉산드르 솔제니친(Aleksandr Solzhenitsyn)은 차르 시대의 러시아 시민에게 새로운 기술들 때문에 러시아의 부흥이나 시민의 풍요가 아니라 수천만 명이 수백만 명의 야수에게 최악의 방식으로 고문당하는 결과가 올 것이라고 말했다면, 그 시민은 믿지 않고 모략가라 불렀을 것이라고 적었습니다.
아셴브레너는 초지능이 독재에 열어 주는 가능성이 그보다 더 괴이하다고 받습니다. 완벽하게 충성스러운 군대와 보안 조직을 떠올려 보라는 것입니다. 반란도 민중 봉기도 더 이상 없습니다. 완벽한 거짓말 탐지가 가능하고, 모두를 감시할 수 있고, 반대자를 정확히 찾아내 솎아낼 수 있습니다. 체제에 의심을 품은 미하일 고르바초프(Mikhail Gorbachev) 같은 인물이 권력에 오르는 일이 애초에 생기지 않고, 군사 쿠데타도 일어나지 않습니다.
그가 보는 위험의 핵심은 여기서 한 걸음 더 들어갑니다. 지금까지 일이 그럭저럭 풀려 온 이유 가운데 하나가 생각이 진화할 수 있었다는 점이라는 것입니다. 시간이 많은 상처를 치유하고 많은 논쟁을 해결했습니다.
강한 확신을 가졌던 사람이 많았지만 그 확신의 상당수는 시간에 의해 뒤집혔고, 다원성과 진화가 계속되었기 때문에 그럴 수 있었습니다. 그런데 진리란 당이 말하는 것이라는 중국공산당식 접근을 초지능으로 증폭하면, 그 상태가 아주 오랫동안 고정될 수 있다는 것입니다. 그 가능성이 꽤 끔찍하다고 그는 말합니다.
[한국 관점] 역사가 돌아와 있다는 명제는 한국 독자에게는 새로운 주장이 아닙니다. 저자가 예외적이라고 부르는 20년의 평화는 미국의 경험이고, 한국은 분단과 휴전 상태를 전제로 국가 운영을 설계해 온 쪽입니다. 그래서 이 대목에서 한국이 읽어야 할 것은 역사의 귀환 자체가 아니라, 몇 년의 기술 격차가 결정적 우위를 만든다는 명제가 한국의 안보 계산에 무엇을 바꾸는가입니다.
바뀌는 것은 억지의 근거입니다. 한국의 방위는 재래식 전력과 미국의 확장억지를 결합한 구조 위에 서 있고, 두 축 모두 상대적 전력비가 점진적으로 변한다는 전제를 깔고 있습니다. 저자의 논증이 맞다면 전력비는 몇 년 단위로 불연속하게 변하고, 동맹에 대한 의존은 플랫폼과 탄약에서 모델과 컴퓨트로 옮겨갑니다. 이때 한국이 서는 자리가 그 기술을 함께 개발하는 쪽인지 혜택을 공유받는 쪽인지는 뒤에서 저자가 제시하는 두 단계 연합 구상에서 갈립니다.
전력 대목도 그대로 걸립니다. 중국이 지난 10년에 미국 전력망 전체만큼을 더했다는 비교는 한국에는 더 가혹하게 적용됩니다. 국내에서 데이터센터 전력 확보가 막히는 지점은 발전 설비가 아니라 송전망과 입지 수용성이고, 이 제약은 자본으로 단기에 풀리지 않습니다. 100기가와트급 경쟁에 한국이 참여할 수 있느냐가 아니라, 참여하지 못하는 전제에서 무엇을 공급해 그 경쟁의 가치사슬에 남느냐가 현실적인 질문입니다.
자신이 선 자리와 연구소 직원의 권력
아셴브레너는 자신이 왜 이 문제를 이렇게 느끼는지를 독일에서 자란 경험으로 설명합니다. 그에게는 이런 것들이 훨씬 실감으로 다가옵니다. 어머니는 옛 동독에서, 아버지는 옛 서독에서 자랐고 장벽이 무너진 직후에 만났습니다. 그래서 냉전의 종식은 그가 존재하는 이유이고, 그에게 결정적인 순간입니다. 베를린에서 자라며 옛 장벽을 보고 지냈습니다.
지금도 살아 계신 증조모 이야기가 이어집니다. 1934년에 태어나 나치 시기와 제2차 세계대전을 겪었고, 아이들이 피해 있던 시골집에서 드레스덴(Dresden) 폭격을 보았습니다. 그 뒤 생의 대부분을 동독 공산 독재 아래서 보냈습니다. 1950년대 초 민중 봉기가 일어나 소련 전차가 들어왔을 때, 남편이 빨리 집으로 돌아와 거리에 나오지 말라고 했다는 이야기를 그에게 들려주었습니다. 오토바이로 철의 장막을 넘으려 한 아들은 한동안 슈타지(Stasi) 감옥에 갇혔습니다.
그리고 거의 예순이 되어서야 처음으로 자유로운 나라, 부유한 나라에 살게 되었습니다. 그가 어릴 때 증조모가 가장 하지 말라고 했던 일이 정치에 관여하는 것이었습니다. 정당에 가입한다는 것이 증조모에게는 아주 나쁜 함의를 가진 일이었기 때문입니다. 그래서 그에게 이 일은 오래전 일로 느껴지지 않습니다.
파텔은 여기서 중국 쪽 사람들을 다시 생각해 봅니다. 중국에서 자기들 버전의 프로젝트를 수행할 사람들은 어느 정도 서구화된 AI 연구자일 것입니다. 서구에서 교육을 받았거나 서구에 동료가 있는 사람들입니다. 그들이 시진핑에게 통제권을 넘기는 중국공산당의 프로젝트에 동참할까, 초지능의 위험을 설득할 수는 없을까 하는 질문입니다.
아셴브레너의 반문은 그들이 과연 책임자 자리에 있겠느냐입니다. 미국도 사정이 같습니다. 그가 쓰는 표현은 연구소 직원의 영향력이 빠르게 감가되고 있다는 것입니다. 지금 AI 연구소 직원들은 이 문제에 대해 큰 권력을 쥐고 있고, 2023년 11월 오픈AI 이사회 사태가 그 권력을 보여 주었습니다.
그러나 양쪽 모두 자동화되면서 권력을 전부 잃게 됩니다. 남는 것은 자동화된 AI 군단을 거느린 소수의 책임자, 그리고 정치인과 장군과 국가안보 기구입니다. 영화 「Oppenheimer」의 고전적 장면이 그것입니다. 과학자들이 만들었고 폭탄은 실려 나갔으며 그들의 손을 떠났습니다.
그래서 그는 연구소 직원들이 이 사실을 아는 것이 좋다고 말합니다. 지금은 권력이 많지만 그 기간이 길지 않을 수 있으니 현명하게 쓰라는 것입니다. 그리고 그들에게 대의 민주주의적 기구가 더 있으면 도움이 될 것이라고 덧붙입니다. 오픈AI 이사회 사태에서 직원 권력은 대단히 직접민주주의적인 방식으로 행사되었고, 그 과정이 오히려 대의 민주주의와 숙의 기구의 이점을 드러냈다는 것이 그의 평가입니다.
클러스터는 어디에 지어야 하는가
전력은 새로 지어야 합니다
파텔은 매출 1,000억 달러와 그만한 클러스터를 전제로 입지를 묻습니다. 중소 규모 주 하나만큼의 전력이 필요하다면 콜로라도의 전력이 사라지는 식으로 미국에서 벌어지는 일인지, 아니면 다른 곳에서 벌어지는 일인지입니다.
아셴브레너가 재미있다고 여기는 지점이 여기입니다. 전력을 얻는 쉬운 길은 경제적으로 덜 유용한 것을 밀어내는 것입니다. 알루미늄 제련소를 사들여 데이터센터로 바꾸는 식입니다. 그런데 실제로는 그런 일이 벌어지지 않습니다. 전력 계약 상당수가 장기로 묶여 있고, 그런 일을 사람들이 좋아하지 않기 때문입니다.
그래서 실무적으로 요구되는 것은 적어도 지금까지는 전력을 새로 짓는 일입니다. 그 조건이 바뀔 수도 있고, 바로 그때가 정말 흥미로워지는 시점입니다. 전력 전부를 AGI에 바치겠다고 말하는 국면이 그때입니다. 지금은 새로 짓는 단계입니다.
규모별 난이도에 대한 그의 추정은 이렇습니다. 10기가와트는 꽤 해낼 만하고 미국 천연가스 생산의 몇 퍼센트에 해당합니다. 다만 10기가와트 학습 클러스터를 가지면 추론 쪽은 훨씬 커지므로 실제 부담은 더 늘어납니다. 100기가와트는 상당히 거칠어지기 시작하는 수준이고 미국 전력 생산의 20%를 넘습니다. 그럼에도 천연가스를 쓸 의지가 있다면 꽤 해낼 만하다고 그는 봅니다.
그리고 그가 대단히 중요하다고 강조하는 조건이 붙습니다. 이 클러스터들이 미국 안에 있어야 한다는 것입니다.
UAE에서 맨해튼 프로젝트를 하겠는가
파텔이 왜 미국이어야 하는지 묻자, 아셴브레너는 다른 곳에 클러스터를 지으려는 움직임과 흘러다니는 중동 자금을 지목합니다. 그리고 질문을 하나로 압축합니다. 아랍에미리트(UAE)에서 맨해튼 프로젝트를 하겠느냐는 것입니다.
미국에 둘 수도 있고 동맹 민주주의 국가에 둘 수도 있지만, 권위주의 독재국가에 두는 순간 되돌릴 수 없는 보안 위험이 생긴다는 것이 그의 판단입니다. 위험은 세 겹입니다.
- 가중치 유출 — 그곳에 클러스터가 있으면 가중치를 빼내기가 훨씬 쉬워지고, 이는 AGI와 초지능 자체를 훔쳐 가는 일, 원자폭탄의 복제품을 그대로 손에 넣는 일에 해당하며 중국으로 보낼 수도 있습니다.
- 컴퓨트 압류 — 지금은 사람들이 이것을 ChatGPT용 빅테크 제품 클러스터로 생각하지만 지금 계획되는 3-5년 뒤의 클러스터는 AGI와 초지능의 클러스터이므로, 상황이 뜨거워지면 그쪽에서 컴퓨트를 그냥 압류할 수 있습니다.
- 암묵적 레버리지 — 압류도 탈취도 실제로 일어나지 않더라도, 그들은 AGI 테이블의 한 자리를 얻게 됩니다.
마지막 항목이 그의 핵심 불만입니다. 권위주의 독재국가에게 AGI 테이블의 자리를 줄 이유가 없다는 것입니다.
3대 1이라는 비율
파텔은 비율이 왜 중요한지 되묻습니다. 지능 폭발을 일으키는 문제라면 AI 연구자 1억 명을 돌릴 수 있는지 없는지의 문턱 문제가 아니냐는 것입니다.
아셴브레너의 답은 문턱이 그렇게 날카롭지 않다는 쪽입니다. 중동 독재국가에 전체 컴퓨트 용량의 25%를 두었다가 압류당하면 비율은 3대 1이 됩니다. 3대 1은 그리 좋은 비율이 아니고, 그만한 컴퓨트로도 할 수 있는 일이 많습니다. 극히 똑똑한 과학자 3,300만 명분이면 괴상한 생물무기를 만들 정도는 될 수 있다는 것입니다. 가중치를 훔치고 컴퓨트를 압류한 상태에서 초지능으로 가능해지는 새로운 대량파괴무기를 만들게 되면, 그것이 바로 확산입니다.
그가 더 걱정하는 쪽은 경쟁의 밀도입니다. 가장 위험한 상황은 극도로 빡빡하고 열병에 걸린 국제적 투쟁이라는 것입니다. 중국공산당과 몇 달 차이로 붙어 있는 상태입니다. 반대로 그가 원하는 상황은 미국의 원자폭탄 개발과 독일 프로젝트의 관계에 가깝습니다.
상대가 한참 뒤에, 몇 년 뒤에 있는 상태입니다. 그러면 안전을 제대로 확보할 여유가 훨씬 커집니다. 핵 억지를 완전히 무너뜨리는 새로운 대량파괴무기가 나오고 경쟁이 치열해지는 상황은, 누군가 바로 뒤를 쫓아오지 않을 때 다루기가 훨씬 쉽습니다. 뒤를 쫓기면 최대 속도로 달려야 하고 여유가 없어지며, 언제든 추월당할 수 있다는 걱정을 안게 됩니다.
추월의 경로도 하나가 아닙니다. 가중치를 훔칠 수 있으면 중국은 더 많이 지어서 실제로 이길 수 있습니다. 그쪽은 또 신중함이 덜할 수 있는데, 여기에는 좋은 신중함과 나쁜 신중함이 모두 포함됩니다. 미국이 가진 불합리한 규제 같은 것도 그 신중함의 일부입니다. 결국 박빙의 열병 같은 경쟁이야말로 자기 파괴의 위험이 가장 큰 국면이라는 것이 그의 결론입니다.
미국에서는 못 한다는 생각
파텔은 중동에 짓는 기업들도 이 위험을 알 것이라고 짚습니다. 그렇다면 미국에서는 불가능하기 때문에, 미국 기업이 이 일을 하려면 중동에서 하거나 아예 못 하거나의 선택지만 남는 것이냐는 질문입니다.
아셴브레너는 이유를 몇 가지로 나눕니다. 첫째는 사람들이 이것을 AGI 초지능 클러스터로 생각하지 않는다는 점입니다. ChatGPT를 돌릴 멋진 클러스터로 생각합니다.
파텔은 그렇다면 지금 지어지는 것이 학습 전용 클러스터인지 묻습니다. 추론용이라면 전국에 흩뿌려도 되기 때문입니다. 아셴브레너는 학습 컴퓨트와 추론 컴퓨트를 구분하기가 생각보다 어렵다고 답합니다. 추론용이라고 말해 놓고 학습에도 쓸 수 있다는 것을 나중에 알아차릴 수 있습니다.
강화학습을 쓰는 학습의 미래는 추론과 아주 비슷하게 생겼고, 시간이 지나면 둘이 그냥 연결되어 버리기도 합니다. 그가 붙이는 비유는 원재료 쪽입니다. 그곳에 우라늄 정련 시설을 두는 것과 같다는 것입니다.
둘째는 중동의 돈이 쉽다는 점입니다. 셋째는 미국에서는 할 수 없다고 믿는 사람들이 있다는 점입니다.
그리고 셋째 이유를 그는 체제 경쟁의 문제로 끌어올립니다. 어떤 사람들은 이런 일을 할 수 있는 쪽은 전제정뿐이라고, 위에서 아래로 산업 역량과 전력을 동원해 빠르게 해내는 쪽뿐이라고 생각합니다. 오랫동안 마주하지 않았던 종류의 문제입니다.
냉전기에는 이런 체제 경쟁이 치열했고 동서독이 그 무대였습니다. 자유민주주의적 자본주의와 공산주의 계획경제의 대결이었습니다. 지금은 자유 세계가 이긴다는 것이 당연해 보이지만, 1961년까지도 폴 새뮤얼슨(Paul Samuelson)은 소련이 산업을 더 잘 동원할 수 있기 때문에 미국을 추월할 것이라고 예측했습니다.
그래서 그가 던지는 지적은 날카롭습니다. 낮에는 미국을 사랑한다고 떠들면서 실제로는 미국에, 자유주의 질서에 반대로 베팅하는 사람들이 있다는 것입니다. 그는 그것이 나쁜 베팅이라고 보고, 이유는 이 일이 미국에서 정말로 가능하다는 데 있습니다.
천연가스와 규제완화
미국에서 가능하게 만들려면 정신을 좀 차려야 한다고 그는 말합니다. 경로는 두 가지입니다.
첫째는 천연가스입니다. 천연가스는 충분하고, 클러스터를 서부 텍사스에 두거나 펜실베이니아 남서부 마셀러스 셰일(Marcellus Shale) 옆에 두면 됩니다. 10기가와트 클러스터는 아주 쉽고 100기가와트도 꽤 해낼 만합니다. 미국의 천연가스 생산은 10년 동안 거의 두 배가 되었고, 앞으로 7년쯤에 걸쳐 한 번 더 두 배가 되면 1조 달러급 데이터센터 여러 개를 돌릴 수 있습니다.
문제는 기후 공약입니다. 정부만이 아니라 마이크로소프트와 아마존(Amazon) 같은 민간 기업 자신이 기후 공약을 걸어 두었기 때문에 천연가스를 쓰지 않습니다. 그는 그 공약을 존중한다고 말하면서도, 어느 시점에는 국익과 국가안보가 더 중요하다는 입장을 분명히 합니다.
둘째는 녹색에너지 대형 사업입니다. 태양광과 배터리, 소형모듈원자로(SMR)와 지열입니다. 다만 이쪽으로 가려면 광범위한 규제완화가 필요합니다. 인허가가 10년씩 걸리면 안 되므로 연방에너지규제위원회(FERC)를 개편해야 하고, 국가환경정책법(NEPA)의 포괄 면제가 필요합니다.
주 단위의 황당한 규제도 걸립니다. 데이터센터 옆에 태양광 패널과 배터리를 지을 수는 있지만 주 전력망에 연결해야 하기 때문에 여전히 몇 년이 걸립니다. 그리고 여러 클러스터를 굵은 케이블로 잇기 위해 정부 권한으로 통행권을 만들어 주어야 합니다.
이상적으로는 둘 다 해야 하고, 최소한 하나는 해야 한다는 것이 그의 결론입니다. 그러면 이 일은 미국에서 그냥 가능해집니다.
[한국 관점] 두 경로를 한국에 대입하면 양쪽 모두 미국보다 좁습니다. 천연가스 경로는 애초에 성립하지 않습니다. 한국은 액화천연가스를 전량 수입하고 발전 연료비가 국제가격에 직접 노출되므로, 값싼 가스를 전제로 전력을 새로 짓는다는 선택지가 없습니다. 미국이 가진 핵심 자산은 자본이 아니라 셰일 가스라는 점이 이 대목에서 분명해집니다.
규제완화 경로는 제약의 성격이 다릅니다. 저자가 지목한 병목은 인허가 기간과 계통 접속과 통행권인데, 국내에서도 같은 세 가지가 걸립니다. 다만 국내의 계통 접속 제약은 절차 문제라기보다 송전망 자체의 물리적 부족이고, 발전 설비를 지어도 수도권으로 보낼 선로가 없다는 쪽입니다. 절차를 줄이면 풀리는 미국형 병목과 선로를 새로 깔아야 풀리는 한국형 병목은 해소에 걸리는 시간이 다릅니다.
그래서 현실적인 질문은 100기가와트급 경쟁에 한국이 참여하느냐가 아닙니다. 저자의 논증대로 미국이 천연가스와 규제완화 가운데 하나를 택해 전력을 새로 짓는다면, 그 건설에 들어가는 변압기와 전력기기, 가스터빈 기자재, 냉각 설비, 고대역폭 메모리(HBM)의 수요가 먼저 움직입니다. 국내 상장사 쪽에서 이 절을 읽는 방식은 어느 경로가 채택되는지를 보는 것입니다. 천연가스 경로가 채택되면 가스터빈과 전력기기 쪽이, 규제완화 경로가 채택되면 계통 설비와 저장장치 쪽이 수혜 구간을 가져갑니다.
제2차 세계대전 동원의 실제 모습
파텔은 좋은 유추를 하나 꺼냅니다. 대담 전에 『Freedom’s Forge』를 읽었다는 것입니다. 미국의 제2차 세계대전 산업 동원을 다룬 책입니다.
보통 그 시기를 돌아볼 때, 특히 패트릭 콜리슨이 정리한 ‘Fast’ 목록이나 진보 연구(progress studies) 쪽 글을 읽은 사람이라면, 그때는 국가 역량이 있었고 사람들이 그냥 일을 해냈는데 지금은 엉망이라고 생각합니다. 그런데 전혀 그렇지 않았다는 것이 파텔의 발견입니다. 디트로이트 자동차 산업 출신인 크누센(Knudsen) 같은 사람들이 동원을 지휘했고 대단히 유능했습니다. 그런데 동시에 노동 조직의 쟁의가 있었고, 이것이 오늘의 기후 공약과 아주 비슷하게 작동했습니다.
1941년까지도 파업이 이어져 수백만 노동시간을 날렸고, 월 수만 대의 항공기를 만들려는 시점에 공장을 마비시켰으며, 자본 쪽에서 받아낸 양보는 푼돈 수준이었습니다. 자동차 회사들이 전쟁 가능성을 구실로 노동에 정당한 몫을 주지 않으려 한다는 우려가 깔려 있었습니다. 그래서 오늘 기후변화를 보며 미국은 망했고 이것을 지을 수 없다고 생각하게 되는 것, NEPA를 들여다보며 절망하게 되는 것과 같은 구도였는데, 당시 노동 문제가 얼마나 마비적이었는지는 몰랐다는 것입니다.
아셴브레너는 그것만이 아니었다고 보탭니다. 1939년 무렵 미국 군대는 완전한 난장판이었습니다. 당시 기록을 읽으면 오늘의 독일 군대와 조금 비슷하게 읽힙니다.
군사비는 국내총생산의 2%에 못 미쳤는데, 유럽 국가들은 평시에도 10%를 넘겨 급속 동원에 들어가 있었습니다. 항공기를 거의 만들지 않았고 군 계약도 없었으며, 대공황 기간에 모든 것이 말라 있었습니다. 그런데 잠재 역량이 있었고 어느 시점에 미국이 정신을 차렸습니다.
그리고 그는 같은 논리를 중국 쪽으로 뒤집어 적용합니다. 사람들은 수출통제를 들며 중국을 셈에서 빼곤 하는데, 중국은 지금 7나노 칩을 만들 수 있습니다. 얼마나 많이 만들 수 있느냐는 별개 문제이지만, 그 능력을 성숙시켜 7나노 칩을 많이 만들어 낼 가능성이 적어도 존재합니다. 중국에는 잠재 산업 역량이 많고 전력을 빠르게 많이 지을 수 있습니다. 아직 AI 쪽으로 활성화되지 않았을 수는 있지만, 미국 정부가 어느 시점에 깨어나는 것과 같은 방식으로 중국공산당도 어느 시점에 깨어난다는 것입니다.
해설 파텔이 끌어온 책은 아서 허먼의 『Freedom’s Forge』(2012)이고, 원문에서 성만 언급되는 크누센은 제너럴모터스 사장을 지낸 뒤 전시 생산을 지휘한 윌리엄 크누센(William Knudsen)입니다. 이 책의 논지가 이 대목에서 중요한 이유는, 전시 동원이 국가 역량의 발휘가 아니라 민간 경영진과 정부의 불편한 합작이었다는 쪽에 가깝기 때문입니다. 두 사람이 이 책을 끌어온 것은 공공-민간 파트너십이라는 뒤쪽 결론의 밑자리를 깔기 위한 것입니다.
중국의 7나노 대목은 배경을 알아야 무게가 잡힙니다. 2023년 화웨이가 자체 설계 프로세서를 넣은 스마트폰을 내놓으면서, 극자외선 노광장비 없이 심자외선 장비의 다중 패터닝으로 7나노급 공정을 돌렸다는 사실이 확인됐습니다. 수출통제의 전제가 중국이 그 공정에 도달하지 못한다는 것이었으므로, 이 사건은 통제의 효력이 아니라 통제의 시간표를 다시 묻게 만들었습니다. 저자가 말하는 쟁점은 그 공정이 가능한지가 아니라 수율과 물량이 받쳐 주는지입니다.
1939년 미국 군사비가 국내총생산의 2% 미만이었다는 비교는 곧이어 나오는 숫자와 같이 놓고 봐야 합니다. 앞에서 본 대로 전쟁 기간에 미국은 국내총생산의 50%를 전쟁 생산에 넣었습니다. 2%에서 50%로 가는 전환이 몇 년 안에 일어났다는 사실이, 저자가 말하는 잠재 역량과 역사의 귀환 논증의 실제 근거입니다.
자본은 미국에 충분히 있습니다
파텔은 기업들의 계획을 묻습니다. 스케일링이 계속된다고 믿고 계획을 세우는 쪽이니 2028년에 10기가와트 데이터센터를 짓는 상황도 알고 있을 것입니다. 그 시점에 따라올 수 있는 쪽은 역량의 한계까지 밀어붙인 빅테크, 국부펀드가 자금을 대는 사업체, 그리고 미국과 중국 같은 큰 나라들입니다. 그렇다면 AI 연구소들의 계획은 무엇이고, 미국 안에 있다는 레버리지를 원하지 않는 것이냐는 질문입니다.
아셴브레너의 답은 자본 논거를 정면으로 깨는 것입니다. 중동이 제공하는 것 하나는 자본인데, 미국에는 자본이 충분하다는 것입니다. 미국에는 1조 달러짜리 기업들이 있고, 중동 국가들은 일종의 1조 달러짜리 석유회사에 가깝습니다. 미국에는 1조 달러짜리 기업들과 대단히 깊은 금융시장이 있습니다. 마이크로소프트는 수천억 달러의 채권을 발행해 이 클러스터들의 값을 치를 수 있습니다.
다만 진지하게 받아들일 만한 반대 논거가 하나 있다고 그는 인정합니다. 미국이 아랍에미리트나 중동 국가들과 일하지 않으면 그들은 그냥 중국으로 갈 것이라는 논거입니다. 그들은 어쨌든 데이터센터를 짓고 AI에 돈을 쏟아부을 것이고, 미국이 함께하지 않으면 중국을 지원하게 된다는 이야기입니다.
두 단계 연합과 입찰 경쟁 메모
그가 제시하는 대안은 혜택 공유입니다. AGI로 가는 길에 두 단계의 연합이 있어야 한다는 구상입니다. 안쪽에는 AGI를 개발하는 좁은 민주주의 연합이 있고, 바깥쪽에는 독재국가를 포함한 더 넓은 연합이 있어서 거기에는 AI의 혜택 일부를 나눌 의향을 밝힙니다. 아랍에미리트가 AI 제품을 쓰고 싶다면, 추천 엔진을 돌리고 싶다면, 지난 세대 모델을 돌리고 싶다면 그것은 괜찮습니다.
그가 못마땅해하는 것은 기본값이 바뀐 경로입니다. 기본값이라면 그들은 애초에 AGI 테이블의 자리를 갖지 못했을 것입니다. 돈이 있지만 돈은 많은 쪽이 가지고 있습니다. 그들이 핵심 자리를 얻게 되는 유일한 이유, 그 독재자들이 국가안보에 직결된 기술에 막대한 레버리지를 쥐게 되는 유일한 이유는 미국 쪽이 그들을 들뜨게 만들고 그것을 제안하고 있기 때문이라는 것입니다.
파텔이 구체적으로 누가 그러고 있는지 묻자, 그는 샘 올트먼(Sam Altman)이 칩 프로젝트를 위해 7조 달러를 조달하려 한다는 보도를 듭니다. 클러스터 가운데 몇 개가 그곳에 갈지는 불분명하지만 분명히 일이 벌어지고 있다는 것입니다.
그리고 미국이 함께하지 않으면 중국으로 간다는 논거를 그가 의심하는 또 하나의 이유가 나옵니다. 오픈AI 재직 시절에 들은 것이 아니고 문서를 본 것도 아니지만, 여러 사람에게서 들었다는 이야기입니다. 몇 년 전 어느 시점에 오픈AI 경영진이 미국과 중국과 러시아 정부 사이에 입찰 경쟁을 붙여 AGI의 자금을 조달하고 AGI를 판다는 계획을 세워 두었다는 것입니다. 중국과 러시아 정부에 AGI를 팔 생각을 했다는 점이 그에게는 놀랍고, 입찰 경쟁을 붙여 서로를 상대로 활용한다는 발상에는 어딘가 익숙한 느낌이 있다는 것입니다. 당신이 하지 않으면 중국이 할 것이라는 논법과 같은 구조이기 때문입니다.
파텔은 그렇다면 이미 들뜬 상태를 전제로 질문을 다시 세웁니다. 그들은 이제 GPT-5를 원하고 초지능을 지으러 나설 것이며 평화를 위한 원자력(Atoms for Peace) 같은 방식은 그들에게 통하지 않는다면, 레버리지를 이미 가진 것이 아니냐는 것입니다.
아셴브레너의 답은 아랍에미리트 단독으로는 경쟁력이 없다는 것입니다. 이미 수출통제 대상이어서 엔비디아 칩을 그쪽으로 보내서는 안 되고, 선도 AI 연구소를 하나도 갖고 있지 않습니다. 돈은 있지만 돈을 역량으로 번역하는 일 자체가 어렵다는 것입니다.
[이해관계] 이 절에서 저자가 서 있는 자리를 확인해 둘 필요가 있습니다. 대담 시점의 아셴브레너는 AGI가 이 시대에 온다는 전제로 자본을 운용하는 투자회사를 세우던 중이었고, 그 사실은 원문 도입부와 후반부에서 본인이 밝힙니다. 미국에서 전력을 새로 지을 수 있고 또 지어야 한다는 주장, 자본은 미국 금융시장에 충분하다는 주장은 그가 이후 실제로 취한 포지션의 방향과 겹칩니다. 2026년 공개된 보유 내역에서 이 펀드의 비중은 전력회사와 컴퓨트 인프라 쪽에 몰려 있었습니다.
중동 클러스터 대목에는 더 직접적인 이해관계가 걸려 있습니다. 저자는 오픈AI 재직 중 권위주의 독재국가와 손잡고 AGI 핵심 인프라를 짓는 일이 회사의 사명과 국익에 맞는지를 경영진에 제기했고, 그 문제 제기가 해고 경위의 일부라고 대담 후반부에서 직접 말합니다. 즉 이 절의 논증은 중립적 분석가의 관찰이 아니라, 같은 주장을 회사 안에서 하다 자리를 잃은 당사자의 진술입니다.
이것은 주장을 깎아내리는 근거가 아니라 읽는 방식의 문제입니다. 회사 안에서 그 대가를 치렀다는 사실은 진정성의 근거가 되고, 동시에 같은 사안을 가장 날카롭게 보도록 만드는 유인이 됩니다. 특히 입찰 경쟁 메모 대목은 본인이 문서를 보지 못했고 전해 들었다고 명시한 미확인 전언이며, 가장 강한 주장이 가장 약한 근거 위에 놓인 지점입니다.
첩보와 비밀
지금 훔치기는 얼마나 쉬운가
파텔은 범위를 좁혀 묻습니다. 공개된 음성 기능 같은 것 말고, 앞에서 말한 강화학습 쪽 방법이나 족쇄 풀기를 외부 행위자가 훔쳐내기가 지금 얼마나 쉬우냐는 것입니다.
아셴브레너의 답은 극도로 쉽다는 것입니다. 딥마인드(DeepMind)조차 어렵다고 주장하지 않습니다. 딥마인드가 내놓은 「Frontier Safety Framework」는 보안 수준을 0에서 4까지 구분하고 4가 국가 행위자에 저항할 수 있는 수준이라고 적어 두었는데, 자신들은 0 수준이라고 밝혔습니다.
최근 기소 사건 하나도 그는 듭니다. 중요한 AI 코드를 다량 훔쳐 중국으로 간 사람의 사례입니다. 코드를 훔치기 위해 한 일은 코드를 복사해 애플 노트(Apple Notes)에 붙여 넣은 뒤 PDF로 내보낸 것이 전부였고, 그것이 감시를 통과했습니다.
구글(Google)은 자체 인프라 덕분에 AI 연구소 가운데 보안이 가장 나은 축일 텐데도 그랬습니다. 대략 스타트업 수준의 보안이라고 생각하면 된다는 것이 그의 요약입니다. 좋지 않고, 훔치기 쉽습니다.
가중치와 비밀, 두 가지 위협 모형
파텔의 반박은 에세이 연작의 논증 구조를 겨냥합니다. 지능 폭발이 가능한 이유로 저자가 든 것은 알렉 래드퍼드(Alec Radford) 같은 사람의 직관이 극도로 가치 있고 그것을 복제해 키울 수 있다는 점이었습니다. 그런데 그것이 직관이라면 코드 안에 들어 있지 않습니다. 게다가 수출통제 때문에 그쪽 하드웨어는 조금 다를 것이므로 다른 절충을 하고 상당 부분을 다시 써야 합니다. 그렇다면 펜드라이브 하나를 구해 싼샤댐 옆 기가와트 데이터센터에 꽂으면 끝나는 일이냐는 것입니다.
아셴브레너는 위협 모형을 나눕니다. 첫째는 가중치 자체를 훔치는 것입니다. 이쪽이 특히 말이 안 되는 이유는 말 그대로 완제품을 훔치는 일이기 때문입니다.
원자폭탄의 복제품을 그대로 만들어 바로 가동하는 셈입니다. AGI와 초지능이 나오는 시점에는 이것이 극도로 중요해집니다. 중국은 큰 클러스터를 지을 수 있고, 기본값으로는 미국 쪽 과학자가 더 낫기 때문에 미국이 크게 앞서 있을 텐데, 미국이 초지능을 만들면 그들은 그것을 훔쳐서 곧바로 출발선에 섭니다.
가중치는 지금 당장은 덜 중요합니다. GPT-4의 가중치를 훔쳐 가도 상관없기 때문입니다. 다만 AGI가 2027년이라면 가중치 보안은 지금 시작해야 합니다. 이런 일에는 시간이 걸리고, 접근 통제를 조금 손보는 수준이 아니라 중국의 첩보에 실제로 저항하려면 훨씬 강도 높은 것이 되어야 하기 때문입니다.
그가 보기에 사람들이 충분히 주목하지 않는 쪽은 두 번째, 곧 비밀입니다. 컴퓨트 이야기가 더 매력적이라서 사람들이 비밀을 과소평가한다는 것입니다. 기본값으로 연 0.5자릿수씩 일어나는 알고리즘 진전은 거대합니다. 비밀을 지킨 상태로 몇 년의 선두를 유지하면 그것은 10배, 30배, 100배 더 큰 클러스터를 가진 것과 같습니다.
여기에 데이터 장벽이라는 층이 하나 더 얹힙니다. 데이터 장벽을 넘으려면 기본적으로 새로운 패러다임을 알아내야 하고, 그것이 알파고 2단계에 해당합니다. 알파고 1단계는 인간을 모방해 배우는 것이고 2단계는 자가 대국(self-play) 강화학습입니다. 모두가 지금 그것을 붙들고 있고 어쩌면 풀어낼 수도 있습니다. 중국이 그것을 훔칠 수 없으면 막히고, 훔칠 수 있으면 곧바로 따라붙습니다.
해설 알파고 2단계라는 표현이 가리키는 전환을 짚어 둘 필요가 있습니다. 알파고는 사람이 둔 기보를 모방해 배우는 단계에서 출발한 뒤 자기 자신과 두면서 강화학습으로 올라갔습니다. 이후 알파고 제로는 인간 기보 없이 자가 대국만으로 더 강해졌습니다. 그래서 2단계라는 말은 단순히 강화학습을 쓴다는 뜻이 아니라, 인간이 만든 데이터 없이 모델이 스스로 학습 데이터를 만들어 내는 체제로 넘어간다는 뜻입니다. 데이터 장벽이 사람이 쓴 글의 총량에서 오는 제약이므로, 이 전환이 곧 장벽을 넘는 길이 됩니다.
10배, 30배, 100배라는 숫자는 격차 햇수를 환산한 값입니다. 연 0.5자릿수면 2년이 한 자릿수, 곧 10배이고 3년이면 약 30배, 4년이면 100배입니다. 저자가 말하는 몇 년의 선두란 상대가 그만큼 더 큰 클러스터를 지어야 따라잡을 수 있다는 뜻이고, 여기서 보안이 설비투자와 같은 단위로 환산됩니다.
뒤에 나오는 공개 논문 사례들도 배경이 필요합니다. 트랜스포머 구조는 2017년에, 컴퓨트 예산을 모델 크기와 데이터량에 어떻게 나눌지를 정리한 친칠라(Chinchilla) 스케일링 법칙은 2022년에 논문으로 공개됐고, 전문가 혼합(MoE) 계열 연구도 공개 문헌으로 쌓였습니다. 저자가 중국의 좋은 모델을 설명할 때 드는 근거가 바로 이것이며, 공개가 멈춘 시점이 격차의 기준선이 됩니다.
냅킨에 적을 수 있는가
파텔은 한 발 더 들어갑니다. 그 비밀이 말 그대로 냅킨 뒷면에 적을 수 있는 것이냐는 질문입니다. 그 정도로 간단하다면 중국이 알아내기 어려울 이유가 없고, 반대로 직관의 문제라면 래드퍼드 같은 사람을 채용하면 그만입니다. 그렇다면 베껴 적는 대상이 정확히 무엇이냐는 것입니다.
아셴브레너는 층이 몇 겹이라고 답합니다. 맨 위에는 근본적인 접근이 있습니다. 사전학습의 경우라면 비지도학습으로 다음 토큰을 예측하고 인터넷 전체로 학습한다는 것이고, 그것만으로도 이미 많은 것을 뽑아낼 수 있습니다.
이 층은 전달하기가 아주 빠릅니다. 그 아래에는 중요한 세부가 많습니다. 사람들이 알아낼 그 무언가는 아마도 어느 정도 뻔하거나 그리 복잡하지 않은 형태로 작동하겠지만, 제대로 맞춰야 하는 세부는 많습니다.
그렇다면 왜 스타트업에 국가급 보안을 입히는 것이 중국의 추격을 막아 준다고 보는지, 데이터 장벽을 넘으려면 어떤 자가 대국 강화학습이 필요하다는 수준의 이야기이고 그것이 2027년까지 풀릴 만큼 어렵지 않다면 무슨 소용이냐고 파텔은 되묻습니다.
아셴브레너의 답은 기본값의 격차를 보라는 것입니다. 선도 AI 연구소는 전부 미국에 있고 격차가 큽니다. 중국에도 괜찮은 대규모 언어모델이 있는데 그 이유는 오픈소스 코드를 쓰기 때문입니다. 사람들이 과소평가하는 것이 둘인데, 알고리즘 진전에서의 분기와 미국이 기본값으로 갖게 될 선두입니다.
최근까지 이 모든 것이 공개되어 있었기 때문입니다. 친칠라 스케일링 법칙이 공개됐고 전문가 혼합 논문들이 있었고 트랜스포머가 있었습니다. 오픈소스가 좋은 이유도 그것이고 중국이 괜찮은 모델을 만들 수 있는 이유도 그것입니다. 그런데 이제 적어도 그런 것들이 더 이상 공개되지 않고 있고, 실제로 비밀로 지킨다면 그것은 거대한 우위가 됩니다.
래드퍼드로 대표되는 암묵지에 대해서는 층이 하나 더 있다고 그는 말합니다. 맨 아래에 대규모 학습 실행을 작동시키는 대형 엔지니어링 작업이 있고, 이쪽은 암묵지에 조금 더 가깝습니다. 다만 중국이 이쪽은 알아낼 것으로 봅니다. 엔지니어링 잔손질에 해당하기 때문입니다. 알아내지 못할 쪽은 강화학습을 작동시키는 방법입니다.
흑연과 중수
그리고 그는 역사에서 사례를 꺼냅니다. 제2차 세계대전 중 독일은 잘못된 길로 갔습니다. 중수를 택했고 그것이 틀린 선택이었습니다.
『The Making of the Atomic Bomb』에 나오는 일화를 그는 이렇게 전합니다. 초기에 가장 논쟁적이었던 문제 가운데 하나가 비밀주의였습니다. 레오 실라르드(Leó Szilárd)는 핵 연쇄반응이 가능하다고, 따라서 원자폭탄이 가능하다고 정말로 믿었고, 이것이 엄청난 전략적·군사적 중요성을 가질 것이라며 사람들을 설득하고 다녔습니다. 많은 사람이 믿지 않았거나, 가능할지도 모르지만 가능하지 않은 것처럼 행동하겠다고 했고, 과학은 열려 있어야 한다고 말했습니다.
감속재로서의 흑연에 대해 잘못된 측정값이 나온 적이 있었고 독일이 그 값을 가지고 있었습니다. 그래서 독일은 흑연이 통하지 않을 것이라 보고 중수로 가야 한다고 판단했습니다. 그런데 엔리코 페르미(Enrico Fermi)가 흑연을 새로 측정했고 흑연이 통한다는 결과가 나왔습니다. 대단히 중요한 결과였습니다.
실라르드는 또 한 번 비밀 유지를 요구하며 페르미에게 달려들었고, 페르미는 화를 냈습니다. 터무니없다고 여겼습니다. 그러나 실라르드가 집요하게 버텼고 조지 페그램(George Pegram)을 끌어들였으며, 결국 페르미는 그 결과를 발표하지 않았습니다.
그것이 아슬아슬하게 때를 맞춘 결정이었습니다. 페르미가 발표하지 않았기 때문에 나치는 흑연이 통한다는 사실을 알아내지 못했습니다. 독일은 중수의 길로 갔고 그것이 틀린 길이었으며, 독일의 프로젝트가 성공하지 못한 핵심 이유 가운데 하나가 되었습니다.
독일은 한참 뒤처져 있었습니다. 지금 우리도 비슷한 상황에 있다는 것이 그의 판단입니다. 데이터 장벽을 넘는 방법과 다음 패러다임이 무엇인지를 즉시 흘릴 것인가 아닌가의 문제입니다.
1년의 격차
파텔은 이 모든 것이 중요하려면 1년 앞서는 것이 큰 우위여야 한다고 짚고, 반대 사례를 꺼냅니다. 『The Making of the Atomic Bomb』을 쓴 리처드 로즈(Richard Rhodes)를 인터뷰했을 때 들은 일화입니다. 미국이 폭탄을 가졌다는 것이 분명해진 뒤, 내무인민위원부(NKVD)를 지휘하던 라브렌티 베리야(Lavrentiy Beria)가 소련판 맨해튼 프로젝트를 이끌던 과학자에게 가서 미국의 폭탄을 가져오라고 말했습니다. 과학자는 미국의 내폭 장치가 사실 최적이 아니니 다른 방식으로 만들어야 한다고 답했고, 베리야는 미국의 폭탄을 가져오지 않으면 ‘네 가족은 수용소의 먼지가 될 것’이라고 말했습니다.
이 일화에서 중요한 대목은 소련이 미국 설계를 베끼지 않았다면 적어도 초기에는 더 나은 폭탄을 가졌으리라는 점입니다. 여기서 파텔이 끌어내는 것이 병렬 발명이라는 역사적 패턴입니다. 기술의 나무가 다음에 올 것을 지시하기 때문에, 이 경우에는 자가 대국 강화학습이겠지만, 사람들이 다들 그것을 붙들고 비슷한 시기에 알아냅니다. 누가 먼저 도달하느냐의 간격이 그렇게 크지 않다는 것입니다. 전구도 여러 사람이 비슷한 시기에 발명했습니다.
아셴브레너는 간격이 2년이 되지는 않을 것이라는 데 동의하면서도, 1년의 의미를 다시 계산합니다. 고등학교 경시대회 수준의 어려운 수학 문제에서 모델은 몇 퍼센트 수준이었고 아무것도 풀지 못했는데 이제는 풀어냅니다. 그것도 평범한 속도의 AI 진전에서 벌어진 일이고, 초지능 연구자 10억 명이 있는 상태가 아니었습니다.
그러므로 1년은 거대한 차이입니다. 특히 초지능 이후에, 그것이 연구개발의 여러 영역에 적용되고 로봇과 함께 산업 폭발이 시작되면 몇 년은 수십 년치 기술 진전에 해당할 수 있습니다. 걸프전의 20-30년 기술 격차가 결정적이었던 것과 같습니다.
격차가 중요한 또 하나의 이유는 반대 경우의 위험입니다. 상대가 가중치를 훔치고 알고리즘을 훔쳐 바로 뒤까지 따라붙었는데 그래도 미국이 조금 더 빨라 3개월 앞선다고 해 봅니다. 3개월의 선두로 목을 맞대고 있는 세계가 믿기 어려울 만큼 위험합니다.
상대가 앞서면 지배하게 되고 결정적 우위를 가질 수 있으므로 미친 듯이 클러스터를 짓고 모든 신중함을 던져 버립니다. 이쪽도 따라가야 합니다. 새로운 대량파괴무기가 튀어나오고, 억지와 상호확증파괴의 조건이 몇 주마다 바뀌며, 완전히 불안정하고 휘발성 높은 상황이 됩니다.
그래서 위험은 기술 자체에서도 오고 정렬 쪽에서도 옵니다. 지능 폭발 기간에 6개월 정도의 여유가 있어야 할 수 있다는 것이 그의 판단입니다. 지금 흐름이 불안하니 이 기간에 정렬 쪽에 컴퓨트를 더 배정하겠다고 말할 수 있어야 한다는 것입니다. 우리가 스스로를 파괴하느냐 이 미친 시기를 통과하느냐를 가르는 가장 중요한 입력 가운데 하나가 그 완충을 가졌는지 여부라고 그는 정리합니다.
[관점] 이 절의 논증 구조를 한 줄로 줄이면 안전하려면 앞서야 한다는 것입니다. 안전 여유를 확보하려면 명확한 우위가 필요하고, 명확한 우위를 확보하려면 더 빨리 더 크게 지어야 하며, 동시에 비밀을 잠가야 합니다. 안전을 근거로 가속을 정당화하는 구조이고, 저자 스스로 이것을 숨기지 않습니다.
구조의 약점은 반증 가능성에 있습니다. 뒤처져 있으면 위험하니 가속해야 하고, 앞서 있어도 격차를 유지해야 하니 가속해야 합니다. 어떤 관측값이 들어와도 결론이 같아지는 논증은 설명력이 높아 보이지만 예측력은 낮습니다. 저자가 유일하게 가속을 멈추는 조건으로 제시하는 것은 상대가 몇 년 뒤처져 있다는 확인인데, 그 확인 자체가 첩보의 영역이어서 외부에서 검증할 수 없습니다.
그리고 같은 문장이 상대편에서도 성립합니다. 중국 쪽 분석가가 미국을 중국으로 바꿔 넣으면 글자 그대로 같은 글이 되고, 이것이 안보 딜레마의 고전적 형태입니다. 저자가 가장 피하고 싶다고 말한 박빙의 열병 경쟁은 양쪽이 이 논증을 각자 채택할 때 가장 확실하게 만들어집니다.
투자 쪽으로 옮기면 함의가 하나 분명해집니다. 이 논증이 정책으로 채택되면 컴퓨트와 전력 수요는 경제적 회수와 분리됩니다. 앞에서 본 매출 환산표가 깨져도 설비투자가 계속될 수 있는 경로가 생긴다는 뜻이고, AI 설비투자의 하방을 평가할 때 상업적 수요와 안보 수요를 다른 줄로 놓고 봐야 하는 이유가 여기 있습니다.
[사후 맥락] 비밀을 지키면 큰 우위가 된다는 이 절의 핵심 주장은 대담 이후 반년 남짓 만에 시험대에 올랐습니다. 오픈AI가 2024년 9월 추론 모델 o1을 공개한 뒤, 딥시크는 같은 해 12월 V3를, 2025년 1월 R1을 내놓았습니다. R1은 추론 능력을 강화학습으로 끌어낸 방법을 논문으로 공개하면서 가중치까지 함께 열었습니다.
저자가 미국이 반드시 잠가야 한다고 지목한 바로 그 비밀, 곧 데이터 장벽을 넘는 다음 패러다임이 4개월 남짓의 간격을 두고 공개 복제된 셈입니다. 간격의 크기만 보면 그가 바라던 독일 프로젝트식 구도보다, 그가 가장 위험하다고 말한 몇 달 차이의 박빙 쪽에 가까웠습니다.
다만 이것이 탈취의 결과라는 공개된 근거는 없습니다. 오히려 파텔이 같은 자리에서 제기한 병렬 발명 쪽에 더 가까운 사례이고, 기술의 나무가 다음 수를 지시하면 비슷한 시기에 여러 곳이 같은 수를 둔다는 반박이 이 구간에서는 더 잘 맞았습니다. 보안을 강화해야 한다는 저자의 처방과, 보안만으로는 격차가 지켜지지 않는다는 반박이 함께 지지받은 결과입니다.
조용한 시기
파텔은 여기서 잠시 물러섭니다. 자기가 아는 사람 가운데 AI의 지정학적 함의를 생각하는 사람이 거의 없다는 점이 짚을 만하다는 것입니다. 개별 쟁점에서는 이견이 있고 그것은 뒤에서 다루겠지만, 기본 전제만큼은 분명해 보인다는 이야기입니다.
스케일링이 계속되고 지능이 어디로 가는지 사람들이 깨닫게 되면, 내일 어떤 모델을 배포하느냐를 두고 떠드는 예전 세계로 남아 있지 않습니다. 코로나가 흥미로운 이유도 그것입니다. 2020년 3월이 되자 대통령과 최고경영자와 언론과 보통 사람 모두에게, 세계가 지금 다루는 주된 일이 코로나라는 사실이 분명해졌습니다.
아셴브레너의 응답은 짧습니다. 지금이 조용한 시기라는 것입니다. 휴가를 가고 싶으면 지금 가라는 것이고, 아이를 가질 수 있는 마지막 시기일지도 모른다는 것입니다.
그렇다면 왜 다른 사람들은 국가안보 이야기를 하지 않는가. 그는 자기도 코로나에서 같은 실수를 했다고 답합니다. 2020년 2월에 그는 바이러스가 세계를 휩쓸고 병원이 무너지고 난리가 난 뒤 끝날 것이라고 생각했습니다. 코로나 초기에 많은 사람이 사무실을 한 달쯤 닫으면 된다고 생각한 것과 같습니다. 그가 전혀 계산에 넣지 못한 것은 사회의 반응이었습니다. 몇 주 만에 의회가 국내총생산의 10%가 넘는 돈을 코로나 대책에 썼고 나라 전체가 멈췄습니다.
과소평가의 또 다른 이유로 그가 드는 것은 참호 안의 시야입니다. 안에 있으면 오히려 추세선이 덜 선명하게 보인다는 것입니다. 몇 년만 물러서면 되는데, 참호 안에서는 다음 모델을 작동시키느라 바쁘고 늘 어려운 무언가가 있습니다. 지금 일이 힘들다는 이유로, 혹은 데이터 장벽 때문에 알고리즘 진전을 과소평가하게 됩니다. 그러나 몇 년 물러서서 지난 몇 년의 알고리즘 진전을 실제로 세어 보면 그 양은 엄청납니다.
사람들은 첩보를 과소평가합니다
그리고 그는 똑똑한 사람들이 첩보를 심하게 과소평가한다고 말합니다. 국가 수준의 첩보가 얼마나 강도 높은지를 모른다는 것입니다. 사례는 이렇습니다. 어느 이스라엘 기업은 클릭 한 번 없이 아무 아이폰이나 해킹할 수 있는 소프트웨어를 가지고 있었습니다. 전화번호만 넣으면 모든 것이 그대로 내려받아집니다.
미국은 외부와 연결이 끊긴 핵무기 프로그램에 침투한 적이 있습니다. 정보기관들은 제로데이 취약점을 비축해 두고 있습니다. 상황이 정말 뜨거워지면 데이터센터에 특수부대를 보내는 일도 생각해 볼 수 있습니다. 중국은 협조하지 않으면 가족을 건드리겠다고 위협합니다.
그가 추천하는 책은 『Inside the Aquarium』입니다. 소련 정보총국(GRU) 출신 망명자가 쓴 책이고, 일리야 수츠케버(Ilya Sutskever)가 그에게 추천해 주었습니다. 책을 읽고 그는 국가 수준의 첩보가 얼마나 강도 높은지에 충격을 받았습니다. 책 전체가 유럽 국가들에 가서 기술을 빼내고 그 기술을 가진 사람들을 포섭하는 이야기였습니다.
그가 드는 일화는 졸업 시험입니다. 나중에 망명하는 그 인물이 정보총국 첩보 학교에서 훈련을 받는데, 해외로 파견되기 전에 능력을 증명하는 시험을 통과해야 했습니다. 시험은 모스크바에서 소련 과학자 한 명을 포섭해 정보를 넘기게 만드는 것이었습니다. 외국에서 할 일을 그대로 자국에서 해 보이는 것입니다.
그런데 포섭된 사람이 기밀을 넘기면 그 형벌은 사형이었습니다. 그러므로 첩보 학교를 졸업하려면 동포 한 명을 사형에 처하게 만들어야 했습니다. 국가는 이런 일을 한다는 것이 그의 결론입니다.
파텔은 에세이 연작에서 이 일화를 보고 책을 읽기 시작했다며, 이 일화를 쓰고 나서 수츠케버가 추천한 책이라고 밝힌 것이 일종의 숨은 메시지인지 묻습니다. 아셴브레너는 그 해석은 독자의 몫으로 남겨 두겠다고 답합니다.
아마 나쁜 세계에 살게 됩니다
파텔이 비밀이 잠긴 세계를 전제로 질문을 이어가려 하자, 아셴브레너는 전제를 끊습니다. 비밀은 아마 잠기지 않을 것이고, 우리는 아마 나쁜 세계에 살게 될 것이라는 말입니다. 왜 그렇게 확신하느냐는 물음에는 확신하지는 않지만 그 일이 지금 일어나고 있지 않다고 답합니다.
그렇다면 내일 연구소 경영진이 이 메시지를 받으면 무엇을 해야 하는가. 그는 먼저 두 가지 흔한 반응을 지적합니다. 우리는 이미 안전하다는 반응과, 불가능하다는 체념입니다. 해야 할 일은 AGI가 중국공산당에게 얼마나 매력적으로 보이는지, 그 곡선보다 앞서 나가는 것입니다.
지금 단계에서 필요한 것은 통상적인 경제 첩보에 저항할 수 있는 수준입니다. 연구소들은 그 수준에 있지 않습니다. 만약 연구소들이 그 수준이었다면 자신은 이런 이야기를 꺼내지 않았을 것이라고 그는 덧붙입니다. 중국공산당을 더 깨우고 싶지 않기 때문입니다. 지금은 그쪽에서 하기에 정말 사소한 일입니다.
그런데 그 수준은 민간 기업이 도달할 수 있는 수준이라고 그는 봅니다. 근거로 그가 드는 것이 퀀트 트레이딩 업계입니다. 그쪽 비밀도 비슷한 모양입니다. 경쟁사 사람과 한 시간만 통화해도 알파의 대부분이 사라진다고 말할 정도로, 무엇을 어떻게 해야 작동하는지에 대한 세부 목록이 핵심입니다.
그런데 실제로는 알파가 유지됩니다. 여러 해, 때로는 수십 년씩 유지됩니다. 즉 그런 유출이 일어나지 않습니다. 그러므로 창문 너머로 들여다보면 슬라이드가 읽히는 지금의 스타트업 수준에서, 헤지펀드 수준이나 구글이 고객 데이터를 다루는 수준의 좋은 민간 보안으로 올라가는 것만으로도 할 수 있는 일이 많습니다.
문제는 그다음입니다. 중국공산당도 AGI에 설득되어 갈 것이고, 어느 시점에는 국가안전부의 전력을 마주하게 됩니다. 국가의 역량은 상상을 넘어섭니다.
소리만으로 게임 지도 안의 위치를 알아내는 연구가 있을 정도이고, 전자기 방사만으로도 국가는 많은 것을 할 수 있습니다. 그 단계가 되면 민감정보 격리시설(SCIF)에서 일해야 하고, 클러스터는 에어갭(air gap)으로 끊어 사실상 군사기지가 되어야 하며, 직원에게는 강도 높은 보안 적격 심사 절차가 필요합니다. 모든 것이 감시되고 경비가 서며, 외부 의존 요소를 쓸 수 없고 하드웨어까지 전부 철저히 검증해야 합니다.
국가 수준 첩보의 전력을 실제로 마주하게 되면 이것은 민간 기업이 할 수 있는 일이 아니라고 그는 봅니다. 경험적 근거도 있습니다. 마이크로소프트는 최근 임원 이메일이 러시아 해커에게 뚫렸고, 자사가 호스팅하던 정부 이메일도 국가 행위자에게 뚫렸습니다. 그리고 보안 적격 심사를 통과한 사람들만 알고 다루는 영역이 따로 있습니다. 그러므로 첩보의 전력에 실제로 저항하려면 정부가 필요합니다.
원리적으로는 늘 곡선보다 앞서 나가는 방식으로 해낼 수 있습니다. 다만 그가 보기에 현실은 늘 곡선보다 뒤처지는 쪽이고, 그 결론이 국가 프로젝트로 이어집니다.
AI의 지정학적 함의
왜 협력에서 출발하지 않는가
파텔은 지금까지의 틀 자체를 의심합니다. 경쟁이 있을 것이고 중국공산당을 이겨야 한다는 전제에서 출발했는데, 중국 정부를 나쁜 사람들이 운영한다는 점은 이해하더라도 한 걸음 물러나 은하계의 관점에서 보면 이것은 인류가 AGI를 개발하는 일이라는 것입니다. 초지능이 된 후손들에게 중국은 희미한 기억일 것이고 미국도 마찬가지일 것입니다. 그렇다면 초지능이라는 것이 여기 있으니 협력의 자리에서 출발하자고 중국에 제안하는 쪽이 맞지 않느냐, 왜 곧장 매파적 경쟁 구도로 뛰어드느냐는 질문입니다.
아셴브레너는 먼저 자기 글의 성격을 짚습니다. 에세이 연작에서 그가 말하는 것의 상당 부분은 일차적으로 서술적인 주장이라는 것입니다. 중국 문제에 관해서도 어떤 이상적인 세계라면 전부 협력이고 화기애애한 회전목마일 것입니다. 다만 사람들이 AGI에 눈을 뜨게 된다는 것이 그가 보는 전개입니다.
군비통제가 안정적이려면
합의나 국제 조약이 가능한지에 대한 그의 답은 군비통제 협정의 안정성이라는 문제로 옮겨갑니다.
1980년대의 핵 군비통제는 대단히 성공적이었고, 성공한 이유는 새로운 균형이 안정적이었기 때문입니다. 핵탄두 6만 개에서 1만 개로 내려갔다고 해 봅니다. 1만 개를 가진 상태에서는 돌파가 크게 중요하지 않습니다. 상대가 2만 개를 만들려 해도 상호확증파괴는 그대로이므로 상관이 없습니다.
어떤 불량국가가 0개에서 1개로 갔다고 해도 이쪽이 훨씬 많이 가지고 있으니 상관이 없습니다. 불안정화 측면에서 이상적인 상황은 아니지만, 협정이 핵무기 0개였다면 완전히 달랐을 것입니다. 0개 체제에서는 불량국가 하나가 하나를 만드는 것만으로 전체가 무너집니다. 돌파가 아주 쉽기 때문입니다.
그래서 군축 수준이 아주 낮은 곳까지 내려가거나, 기술 상황이 대단히 역동적인 경우에는 돌파가 쉬워져 군비통제가 정말 어려워집니다. 1920년대와 1930년대의 사례도 그는 듭니다. 유럽 국가들이 군축을 해 둔 상태에서 독일이 루프트바페를 짓는 속성 계획을 돌렸고, 다른 나라들이 제대로 된 공군을 갖고 있지 않았기 때문에 꽤 쉽게 현대적 공군을 만들어 상황을 크게 불안정하게 만들었습니다.
지능 폭발의 폭발성
AGI와 초지능의 문제는 그 폭발성에 있습니다. 지능 폭발이 일어나 AGI에서 초지능으로 갈 수 있고 그 초지능이 결정적이라면, 1년 뒤에 새로운 대량파괴무기를 손에 넣거나 적의 무기체계를 완전히 무력화하는 해킹 능력을 갖게 되기 때문입니다.
그렇다면 브레이크를 걸려는 시도가 어떻게 되는지를 그는 짚습니다. AGI의 문턱에서 양쪽이 협력해 속도를 늦추기로 했다고 해 봅니다. 3개월만 앞서면 이기는 구조에서는 앞서 달려 나가 돌파할 유인이 언제나 엄청나게 큽니다. 그래서 박빙의 상황에서 체결되는 어떤 군비통제 협정도 대단히 불안정해진다는 것이 그의 결론입니다.
파텔은 이것이 자기가 로즈와 같은 팟캐스트에서 벌인 논쟁과 아주 비슷하다고 말합니다. 로즈는 핵 군축을 주장했고, 어떤 나라가 돌파를 시도해 핵무기 개발에 들어가도 그로부터 얻는 6개월이면 국제적 합의를 모아 그 나라를 침공해 핵 보유를 막을 수 있다는 논리였습니다. 아셴브레너는 그것이 안정적 균형이 아니라고 답합니다.
해설 1980년대 군축이 성공했다는 서술의 실제 내용을 확인해 둘 필요가 있습니다. 1987년 중거리핵전력조약으로 중거리 미사일 전체 범주가 폐기됐고, 1991년 전략무기감축협정으로 전략핵탄두 상한이 설정됐습니다. 미국과 소련의 핵탄두 총량은 1980년대 중반 정점에서 이후 수십 년에 걸쳐 크게 줄었습니다. 저자가 드는 6만 개와 1만 개는 정확한 연도별 수치가 아니라 규모 감각을 보여 주는 숫자입니다.
돌파라는 용어도 군비통제의 전문 개념입니다. 협정 아래 묶여 있던 쪽이 합의를 깨고 단기간에 전력을 늘려 우위를 확보하는 것을 뜻하고, 협정의 안정성은 돌파에 걸리는 시간과 돌파가 주는 이득의 크기로 평가됩니다. 저자의 논증은 이 두 변수로 환산됩니다. 핵은 돌파 시간이 길고 이득이 작아서 안정적이었고, 초지능은 돌파 시간이 짧고 이득이 결정적이라 불안정하다는 것입니다.
뒤에 나오는 아스테카 비유에는 보완이 필요합니다. 수백 명의 스페인 병력이 제국을 무너뜨린 과정에는 저자가 언급하는 기술 우위와 질병 외에, 아스테카의 지배에 반발한 현지 세력과의 동맹이 결정적으로 작용했습니다. 틀락스칼라를 비롯한 집단이 수만 명 규모의 병력을 제공했습니다. 저자가 이 비유로 말하려는 것이 정치적 조작과 책략의 비중이라는 점에서 이 사실은 비유를 깎는 것이 아니라 오히려 강화하는 쪽입니다.
데이터센터는 위성에서 보입니다
파텔은 AI 시대의 감시 조건이 오히려 유리할 수 있다고 반박합니다. AGI가 있으면 상대의 클러스터를 감시할 수 있습니다. 데이터센터는 실제로 위성에서 보이고, 끌어다 쓰는 전력량도 볼 수 있습니다. 작정하고 달려들면 환경에서 정보를 얻어낼 길이 많습니다.
핵무기와 다른 점도 있습니다. 핵은 잠수함과 항공기, 벙커와 산속에 흩어져 있어 둘 곳이 아주 많습니다. 반면 100기가와트 데이터센터는 염려된다면 순항미사일로 날려 버릴 수 있는 표적입니다.
아셴브레너는 바로 그 점이 문제라고 받습니다. 사보타주에 대단히 취약하다는 것입니다. 그리고 이것이 초지능 이후의 기간이 가진 말이 안 되는 취약성으로 이어집니다.
선제공격의 유인
구조는 이렇습니다. 지능 폭발이 일어나 클러스터 위에 인간을 압도적으로 넘어선 것들이 올라와 있지만, 아직 산업 폭발은 하지 못한 상태입니다. 로봇이 없고, 사막을 로봇 공장으로 덮어 놓지도 못했습니다.
그 공백이 미친 순간입니다. 미국이 앞서고 중국공산당이 다소 뒤처져 있다고 해 봅니다. 이때 선제공격의 유인이 엄청나게 커집니다. 상대의 데이터센터를 제거할 수 있다면, 그리고 상대가 곧 결정적 선두를 쥐게 된다는 것을 안다면, 이 데이터센터만 없애면 막을 수 있다는 계산이 성립하고 절박해질 수 있기 때문입니다.
그래서 초기에는 방어가 꽤 어려울 것이라고 그는 봅니다. 결국 핵 보복의 위협으로 데이터센터를 지키는 자리에 서게 된다는 것입니다. 미친 이야기로 들릴 수 있다는 것도 그는 인정합니다.
파텔은 이것이 엘리저 유드코프스키(Eliezer Yudkowsky)가 말한 것을 뒤집은 셈이냐고 묻습니다. 데이터센터를 위한 핵 억지라는 구도이기 때문입니다.
아셴브레너가 끌어오는 선례는 베를린입니다. 1950년대 말과 1960년대 초의 상황이 그것입니다. 드와이트 아이젠하워(Dwight Eisenhower)와 케네디(John F. Kennedy)는 소련이 서베를린을 침범하려 하면 전면 핵전쟁을 하겠다는 위협을 여러 번 했습니다. 말이 안 되는 일이고, 그것이 잘 넘어간 것 자체가 말이 안 되는 일입니다.
그러나 데이터센터에 대해서도 그것이 유일한 선택지가 될 것이라고 그는 봅니다. 끔찍한 선택지이고, 이 구도 전체가 끔찍합니다. 이 시점에 목을 맞댄 경쟁에 들어가 있다는 것 자체가 끔찍하다는 것입니다.
결정적 우위는 얼마나 빨리 오는가
결정적 우위가 얼마나 쉽게 오는지에 대해서는 그도 불확실성을 인정합니다. 확신하는 쪽은 초지능을 가지고 2년이 지나 로봇까지 확보하면 30년의 격차를 벌릴 수 있다는 것입니다. 그 상태라면 수백만 또는 수십억 대의 모기 크기 드론으로 상대의 전력을 제거하는 구도가 됩니다.
그런데 그보다 더 일찍 결정적 우위가 올 가능성도 있다고 봅니다. 근거로 그가 드는 것이 16세기 정복 이야기입니다. 수백 명의 스페인 사람들이 아스테카 제국을 무너뜨렸고 다른 몇 개 제국도 그랬습니다. 각각 수백만 명이 살던 곳이었고, 신에 가까운 기술 우위가 있었던 것도 아닙니다. 어느 정도의 기술 우위와 어느 정도의 질병, 그리고 교활한 전략적 수가 있었습니다.
그래서 산업 폭발을 다 거치지 않은 이른 시점에도, 초지능을 가지고 상대 장군들을 조작하고 그들과 동맹을 맺는 척하는 일이 가능할 수 있습니다. 거기에 새로운 생물무기가 더해집니다. 적의 핵무기를 무력화하는 방법을 꽤 쉽게 찾아낼 길이 있을지도 모릅니다. 이런 것들이 상당히 거칠게 전개될 수 있다는 것이 그의 판단입니다.
명확히 앞선 뒤에 제안하는 합의
그리고 그는 자기 처방을 내놓습니다. 이 휘발성 높은 기간을 정말로 원하지 않기 때문에 중국과의 합의가 있으면 좋겠다는 것입니다. 다만 불안정한 균형에 들어가 있는 상태에서는 정말 어렵습니다.
그래서 그가 제시하는 순서는 이렇습니다. 먼저 미국과 민주주의 동맹 연합이 이긴다는 것이 분명한 자리로 가야 합니다. 미국에게도 분명하고 중국에게도 분명해야 합니다. 그러려면 비밀을 잠가 두어야 하고, 미국 안에 100기가와트 클러스터를 지어 두어야 하며, 천연가스를 비롯해 필요한 일을 해 두어야 합니다.
민주주의 연합이 한참 앞섰다는 것이 분명해진 다음에 중국에 가서 합의를 제안합니다. 그때 중국은 자신들이 진다는 것을 알고 있고 앞으로 벌어질 일을 몹시 두려워합니다. 미국은 이긴다는 것을 알지만 역시 앞으로 벌어질 일을 몹시 두려워합니다. 막판의 숨 막히는 경쟁과 거기서 일이 잘못되는 상황을 정말로 피하고 싶기 때문입니다.
그 상태에서 제안하는 합의의 내용은 평화를 위한 원자력식 구도입니다. 당신들을 존중하고, 초지능을 당신들에게 쓰지 않으며, 당신들은 하고 싶은 일을 하면 되고, 은하의 몫을 받고, 혜택을 나누고, 허용되는 컴퓨트의 비율을 정하는 합의를 두고 그것을 서로의 AI로 집행한다는 것입니다. 그리고 죽음에 이르는 휘발성 높은 대량파괴무기 경쟁은 하지 않습니다. 미국이 주도하고 민주주의가 주도하되 중국을 존중하는 새로운 세계질서라는 것이 그가 말하는 그림입니다.
[관점] 이 처방의 순서에는 스스로를 무너뜨리는 지점이 하나 있습니다. 합의가 성립하려면 중국이 격차를 인정해야 하는데, 격차를 인정한 상대에게는 두 가지 선택지가 생깁니다. 협상 테이블에 앉는 것과, 앞 절에서 저자 자신이 설명한 선제공격입니다. 지는 것이 분명해졌다는 인식은 협상 유인을 만들지만 동시에 절박함도 만들고, 저자는 데이터센터의 취약성과 절박함을 이미 같은 대담에서 설명해 두었습니다. 같은 전제에서 반대 결론이 나오는 구조입니다.
집행 장치의 순환성도 짚을 만합니다. 컴퓨트 비율 합의를 서로의 AI로 집행한다는 구상은, 집행을 담보하는 수단이 바로 합의의 대상이라는 뜻입니다. 핵 군비통제의 검증이 작동한 이유는 검증 수단인 위성과 현장 사찰이 통제 대상과 분리되어 있었기 때문입니다. 은하의 몫을 주겠다는 약속의 이행 역시 압도적 우위를 가진 쪽의 선의에만 의존하므로, 중국 쪽에서 보면 신뢰할 만한 공약의 요건을 갖추지 못합니다.
투자와 정책 쪽으로 옮기면 함의는 분명합니다. 이 구상이 실현되려면 선행 조건이 전부 설비와 제도 쪽에 있습니다. 비밀의 잠금, 미국 내 100기가와트, 천연가스 또는 규제완화입니다. 즉 합의라는 외교적 결과물이 아니라 그 앞단의 건설과 보안 투자가 관측 가능한 지표가 됩니다. 외교 뉴스보다 전력 인허가와 보안 적격 심사 제도의 변화가 이 경로의 선행지표라는 뜻입니다.
은하를 사겠다는 농담
파텔은 은하 이야기에 얽힌 일화를 하나 꺼냅니다. 채텀하우스 룰을 지키며 전하는 이야기입니다. 어느 행사에서 아셴브레너가 영향력 있는 인물과 대화를 나눴고, 그가 자리를 비우자 그 사람이 좌중에 물었습니다. 아셴브레너가 은하를 살 준비가 될 때까지는 소비에 돈을 쓰지 않겠다고 말했는데, 그 은하가 Galaxy라는 이름의 자가용 제트기 기종을 말한 것인지 실제 은하를 말한 것인지 모르겠다는 것이었습니다.
그리고 영향력 있는 사람들 사이에서 실제로 논쟁이 벌어졌습니다. 은하를 뜻했을 리 없다는 쪽과, 그를 더 잘 아는 쪽에서 그는 진짜 은하를 뜻한 것이라고 하는 쪽으로 나뉘었습니다. 아셴브레너가 돌아오자 누군가 그 논쟁을 설명했는데, 그는 제트기와 실제 은하 사이의 논쟁이 아니라 은하의 소유권을 사겠다는 것인지 지금 당장 탐사선을 보내겠다는 것인지의 논쟁으로 알아들었습니다.
그 계획에 대해 물을 것이 많다고 파텔은 말합니다. 은하의 일부를 받게 된다는 약속이 신뢰할 만한지, 그쪽이 그것에 관심을 가질지 같은 문제입니다. 아셴브레너는 집행을 도와줄 AI가 있다고 답하고, 두 사람은 그 쟁점을 일단 접어 둡니다. 대신 아셴브레너는 한 가지를 못 박습니다. 이 모든 것이 가능한 유일한 길은 비밀을 잠그는 것이고, 잠그지 못하면 인류가 본 적 없는 최대의 위험 속 열병 같은 투쟁에 들어간다는 것입니다.
타이완과 애리조나의 데이터센터
파텔의 다음 반박은 중국 쪽의 계산입니다. 이 기간에 중국이 AI 거버넌스 구상이 어떻게 작동할지, 은하의 몫을 실제로 받는지 확인할 방법도 모르는 채 운에 맡기는 쪽을 택할 이유가 없다는 것입니다. 데이터센터는 지하에 지을 수 없고 지상에 지어야 합니다. 중국 입장에서 타이완은 해안 바로 앞에 있고 칩은 거기서 와야 합니다. 그렇다면 그냥 침공하지 않을 이유가 무엇이냐, 최악의 경우라도 상대가 초지능을 가져가는 것인데 그것은 어차피 예정된 경로라면, 이 구도가 오히려 타이완 침공이나 애리조나 데이터센터 폭파를 촉발하지 않겠느냐는 것입니다.
아셴브레너는 데이터센터 쪽은 앞서 말한 대로 핵 보복 위협으로 지켜야 할 것이라고 답합니다. 그래도 그냥 폭파할 수 있고, 책임 소재를 드러내지 않고 할 방법도 있습니다. 스턱스넷(Stuxnet)이 그 예입니다. 그리고 그는 반대 방향도 언급합니다. 중국 프로젝트를 겨냥한 스턱스넷을 준비해 두어야 한다고 봅니다.
타이완에 대해서는 타이완 관찰자들 사이에서 거론되는 끔찍한 20년대라는 개념을 소개합니다. 2020년대 후반이 타이완에 최대 위험 시기로 꼽히는 이유는 군 현대화 주기와, 지난 10여 년 또는 20년에 걸친 미국 국방예산의 극심한 긴축 때문입니다. 그 결과 2020년대 후반에 전체 해군 역량이 저점을 지나게 됩니다. 그리고 그 시기가 중국이 준비를 마치겠다고 말하는 시점과 겹칩니다. 이미 평행한 시간표가 하나 깔려 있다는 것입니다.
침공이 매력적으로 보일 수 있다는 점은 그도 인정합니다. 다만 칩을 원격으로 차단할 수 있기 때문에 침공이 칩의 확보를 뜻하지는 않고, 장비가 비활성화되는 결과가 될 수 있습니다. 그러면서 그는 비유 하나로 이 절을 닫습니다. 냉전기에 세계의 모든 우라늄 광맥이 베를린에 있었다고 상상해 보라는 것입니다. 베를린은 그 자체로 이미 여러 번 핵전쟁을 일으킬 뻔한 곳이었습니다.
파텔은 그로브스(Leslie Groves)의 전후 계획을 덧붙입니다. 미국이 세계를 돌며 모든 우라늄 광맥의 권리를 확보한다는 구상이었습니다. 세계에 우라늄이 얼마나 많은지 몰랐기 때문에 실현 가능하다고 생각했고, 소련 안에도 거대한 광맥이 있다는 사실은 계산에 없었습니다. 동독에도 있었고, 그곳에서 일한 많은 노동자가 피해를 입어 암에 걸렸습니다.
왜 민간이 아니라 국가인가
파텔은 이제 지금까지 깔려 있던 전제 자체를 겨냥합니다. 미국이 레버리지를 쥐고 미국의 데이터센터가 있고 중국이 경쟁자라는 구도인데, 지금 실제로 진행되는 방식은 그렇지 않다는 것입니다. 민간 기업이 이 AI들을 통제하고 배포하며 시장 기반으로 돌아갑니다. 그렇다면 왜 미국이 이것을 하고 중국이 저것을 한다는 구도가 되느냐는 질문입니다.
아셴브레너는 서술적 주장과 규범적 주장을 구분합니다. 그가 주로 말하려는 것은 이것입니다. 샌프란시스코의 모임에서 사람들이 AGI를 이야기할 때 언제나 민간 AI 연구소만 이야기하는데, 그 전제를 정말로 흔들어 보고 싶다는 것입니다. 지금까지 이야기한 이유들 때문에 국가안보 기구가 들어올 가능성이 꽤 높아 보이기 때문입니다.
형태는 여러 가지일 수 있다고 그는 말합니다. 국유화일 수도 있고, 공공-민간 파트너십일 수도 있고, 방위산업체 같은 관계일 수도 있고, 사람들을 전부 흡수하는 정부 프로젝트일 수도 있습니다. 스펙트럼이 있습니다. 다만 이것이 대체로 정부 프로젝트의 형태를 띨 가능성을 사람들이 심하게 과소평가한다는 것이 그의 주장입니다.
그리고 그는 한 장면을 제시합니다. 클러스터 위에 말 그대로 초지능이 올라와 있고, 모든 것을 해킹할 수 있고 중국 데이터센터에 스턱스넷을 심을 수 있는 초지능 과학자 10억 명이 있고, 로봇 군단을 짓기 시작한 상태입니다. 그런 상황에서 그것이 민간 기업의 것으로 남아 있고 정부는 대체 무슨 일이 벌어지는 거냐고 어리둥절해하는 그림이 성립하겠느냐는 것입니다.
파텔은 조건을 바꿔 묻습니다. 중국이 없다고 해 봅니다. 이란이나 북한처럼 이론적으로는 언젠가 초지능을 만들 수 있지만 바로 뒤를 쫓아올 능력은 없는 나라들만 있다면, 그래도 국가 프로젝트를 주장하겠느냐는 것입니다.
아셴브레너의 답은 두 갈래입니다. 첫째, 그래도 러시아가 있고 다른 나라들이 있습니다. 러시아가 모든 것을 훔쳐 가지 못하도록 러시아를 막을 수 있는 보안이 필요합니다. 그쪽 클러스터가 그만큼 크지 않더라도 괴상한 생물무기와 모기 크기 드론 군집은 만들 수 있습니다.
그러므로 보안은 프로젝트의 상당한 비중을 차지하는 구성요소이고, 이것을 즉시 모두에게 확산시키지 않는 다른 길이 현재 그에게는 보이지 않습니다. 러시아와 이란과 북한을 상대해야 하고, 사우디아라비아와 이란은 서로를 해치려고 손에 넣으려 할 것이며, 파키스탄과 인도도 마찬가지일 것입니다. 엄청난 불안정화가 그대로 남습니다.
둘째, 조건이 달랐다면 결론이 달랐을 것이라는 점은 그도 동의합니다. 어떤 이유로 2005년에 AGI가 나왔다면 비할 바 없는 미국 패권 아래였으므로 정부 개입이 덜한 쪽의 여지가 더 컸을 것이라는 이야기입니다. 다만 그 시점은 역사에서 대단히 예외적인 순간이었고, 역사의 거의 모든 다른 시점에는 강대국 경쟁자가 있었습니다.
[한국 관점] 끔찍한 20년대 대목은 한국에 가장 직접적으로 걸리는 구간입니다. 저자가 말하는 위험의 구성은 미 해군 역량의 저점과 중국의 준비 완료 시점이 겹친다는 것인데, 여기에 AGI 시간표가 더해지면 2020년대 후반이 삼중으로 겹치는 구간이 됩니다. 한국의 안보 계획이 통상 전제하는 것은 미국의 역내 투사 능력이 유지된다는 조건이고, 이 절의 논증은 그 조건이 특정 시기에 얇아진다고 말합니다.
반도체 쪽 함의는 결이 다릅니다. 저자는 침공해도 칩을 원격으로 차단할 수 있어 장비가 비활성화된다고 말하는데, 같은 논리가 한국의 생산 설비에도 적용됩니다. 국내 메모리 생산의 상당 부분이 외국산 장비와 소프트웨어, 원격 유지보수에 묶여 있고, 역내 분쟁 시 공급망이 물리적으로 끊기기 전에 기술적으로 멈출 수 있는 구조라는 뜻입니다. 타이완 유사시의 국내 영향 평가가 보통 수요 충격과 해상 운송에 집중되는데, 설비의 원격 통제 가능성은 별도의 줄로 놓고 봐야 하는 항목입니다.
가장 불편한 질문은 좁은 연합과 넓은 연합의 구분입니다. 저자의 구상에서 AGI를 함께 개발하는 좁은 연합은 영국과 반도체 공급망을 가진 아시아 국가들, 그리고 인재와 산업 자원을 가진 가까운 민주주의 동맹으로 설명됩니다. 한국은 공급망 기준으로는 그 안쪽에 들어가지만, 모델과 컴퓨트 기준으로는 바깥쪽에 놓입니다. 혜택 공유의 대상이 아니라 개발의 당사자로 남으려면 어떤 자산을 들고 테이블에 앉을 것인지가 정책 질문이 되고, 그 자산이 현재로서는 메모리와 전력기자재와 조선 쪽 제조 역량에 가깝습니다.
국가 주도인가 민간 주도인가
맨해튼 프로젝트를 후회한 이유
파텔이 국유화에 반대하는 첫 근거는 참여자들의 회한입니다. 맨해튼 프로젝트에 관여한 사람들 가운데 자기 참여를 후회한 이들이 많았고, 거기서 국유화된 초지능 프로젝트에 대해 신중하게 출발해야 한다는 결론을 끌어낼 수 있다는 것입니다.
아셴브레너는 후회의 대상을 구분합니다. 사람들이 후회할 것이라고는 보지만, 그 후회는 기술의 성질에 관한 것이고 프로젝트에 관한 것이 아니라는 것입니다. 파괴력과 군사적 잠재력 때문이고, 그것은 프로젝트가 있었든 없었든 펼쳐질 일입니다.
파텔은 한 걸음 더 들어갑니다. 참여자들에게는 모두가 참여에 동의한 집중적 노력이 아니었다면 다른 결정이 내려졌을 것이라는 감각도 있었을 것이라는 이야기입니다. 독일과 일본을 이기기 위해 경쟁해야 한다는 맥락이 아니었다면 개발하지 않았을 수도 있고, 실제로 투하하지도 않았을 수 있습니다.
아셴브레너는 이것이 모델링의 힘을 과소평가하는 것이라고 받습니다. 20세기를 10년에 통과한다고 상상해 보라는 것입니다.
이중용도 기술의 역사
파텔은 그 예를 그대로 밀어붙입니다. 어떤 이유로 20세기가 10년 만에 지나간다면, 그 사실이 20세기에 일어난 기술들을 민간화하지 말고 정부 주도의 집중적 프로젝트로 했어야 한다는 근거가 되느냐는 것입니다.
아셴브레너의 답은 이중용도 기술의 역사입니다. AI도 같은 방식으로 이중용도가 될 것이고 민간 용도가 아주 많을 것입니다. 원자력이 그 예입니다. 정부 프로젝트가 군사 쪽을 개발했고, 그다음에 정부가 민간 기업과 협력했으며, 환경론자들이 막기 전까지 원자력 발전이 실제로 번성했습니다.
항공기 쪽 사례가 더 구체적입니다. 제2차 세계대전 중 가장 큰 국방 연구개발 사업은 맨해튼 프로젝트가 아니라 B-29 폭격기였습니다. 일본의 도시를 파괴할 만큼 항속거리가 긴 폭격기가 필요했기 때문입니다.
보잉(Boeing)이 그것을 만들었고, 이어서 B-47과 B-52를 만들었습니다. B-52는 지금도 미군이 쓰는 기체입니다. 그리고 그 기술로 707을 만들었습니다.
폭력의 독점과 광범위한 배포
파텔은 자기 우려를 정리해 설명합니다. 우리 사회에서 폭력을 독점한 유일한 기관이 정부인데, 광범위하게 배포되지 않은 방식으로 그 기관에 초지능에 대한 접근권을 준다는 것입니다.
그가 그리는 반사실적 세계는 이렇습니다. 점점 더 높은 수준의 지능으로 올라가고, 민간 기업은 규제에 따라 보안을 강화해야 하지만 그래도 민간 기업으로 남습니다. 그들이 이것을 배포하고 AGI를 출시합니다. 그러면 맥도날드와 제이피모간과 어딘가의 스타트업이 AGI 노동자를 다수 보유해 더 효과적인 조직이 됩니다. 혜택이 널리 확산됐다는 점에서 산업혁명과 비슷한 구도입니다.
그리고 그는 목적과 수단의 역설을 짚습니다. 우리가 중국을 이기고 싶은 이유는 위에서 아래로 내리누르는 권위주의 체제가 이기는 것을 원하지 않기 때문입니다. 그런데 그것을 이기는 방법이 인류가 가질 가장 중요한 기술을 위에서 아래로 내리누르는 정부가 통제하는 것이라면, 애초의 목적이 무엇이었느냐는 것입니다. 그래서 민간화에 패를 걸고, 그것이 초지능에 대해 우리가 원하는 고전적 자유주의 시장 기반 체제로 가는 길이라는 것이 그의 결론입니다.
민간 세계는 어떤 모습인가
아셴브레너는 민간 세계가 실제로 어떤 모습일지부터 봅니다. 다른 길이 없다는 그의 감각이 여기서 나오기 때문입니다.
먼저 오픈소스에 대한 오해를 짚습니다. AGI 개발이 아름답게 분산된 어떤 것이고 즐겁게 협업하는 코더 공동체의 일이 될 것이라는 그림이 있는데, 그렇게 되지 않습니다. 1,000억 달러에서 1조 달러 규모 클러스터를 가진 주체는 그리 많지 않습니다. 지금 오픈소스가 괜찮게 돌아가는 것은 공개된 알고리즘을 쓰기 때문이고, 미스트랄(Mistral)처럼 딥마인드를 떠나면서 비밀을 가지고 나가 복제하는 경로가 있기 때문입니다. 그러나 그것이 계속되지는 않습니다.
10의 26제곱 플롭스가 내 휴대전화에 들어올 것이라는 이야기도 그는 부정합니다. 무어의 법칙은 정말 느립니다. AI 칩이 좋아지고는 있지만 1,000억 달러 컴퓨터가 평생 안에 1,000달러가 되지는 않습니다. 그래서 민간 세계는 두세 개의 큰 플레이어 구도가 됩니다.
그리고 그는 반론을 뒤집습니다. 초지능이 가질 거대한 권력과 정부가 가질 권력을 걱정했는데, 대안 세계는 AI 기업 하나가 그 권력을 가지는 것이고 그 가능성이 꽤 높아 보인다는 것입니다. 오픈AI가 6개월 앞서 있다고 해 봅니다. 그러면 역사상 가장 강력한 무기를 두고 민간 기업 최고경영자가 선량한 독재자일 것이라는 급진적 베팅을 하는 셈이 됩니다.
비료 공장과 란트프리덴
파텔은 그것을 전제하지 않는다고 답합니다. 민간화된 다른 어떤 것에 대해서도 우리는 그것이 선량할 것이라고 기대하지 않습니다. 산업용 비료를 만드는 사람을 생각해 보면, 그 공장을 가진 사람이 고대 문명으로 돌아간다면 로마를 폭파할 수 있고 워싱턴도 아마 폭파할 수 있습니다. 코웬의 어물어물 넘어가기라는 표현을 아셴브레너가 연작에서 다뤘는데, 민간화된 상태에서도 그런 능력을 가진 민간 주체가 실제로 많다는 점을 사람들이 과소평가한다는 것입니다.
상수도를 통제하는 사람도 많습니다. 그리고 우리는 협력과 시장 기반 유인에 기대어 힘의 균형을 유지해 왔습니다. 일이 정말 빠르게 진행되는 것은 알지만, 이것이 가장 잘 작동한다는 역사적 증거가 많다는 것입니다.
아셴브레너는 핵무기를 끌어옵니다. 핵무기를 통제하는 방식은 강화된 수정헌법 제2조처럼 각 주가 자기 핵무기고를 갖고 다리오 아모데이(Dario Amodei)와 올트먼이 각자 작은 핵무기고를 갖는 것이 아닙니다. 제도와 헌법과 법률과 법원입니다. 그래서 힘의 균형이라는 비유가 성립하는지 그는 의심합니다.
오히려 정부가 가장 큰 총을 가진 것이 거대한 문명적 성취였다고 그는 봅니다. 신성로마제국의 란트프리덴(Landfrieden)이 그 예입니다. 옆 마을 사람이 당신에게 범죄를 저질렀을 때 두 마을 사이에 큰 전투를 벌이는 것이 아니라 제국의 법정으로 가져가 판단을 받았습니다. 그것이 큰 성취였다는 것입니다.
속도와 공방 균형
비료 공장과의 결정적 차이로 그가 드는 것은 속도와 공방 균형입니다.
20세기를 10년 또는 몇 년에 통과한다면 믿을 수 없을 만큼 무서운 기간이 됩니다. 거대한 파괴 기술의 배열을 통과하기 때문입니다. 총검과 말에서 전차 군단과 전투기로 몇 년 안에 가고, 거기서 다시 핵무기와 대륙간탄도미사일로 몇 년 안에 갑니다.
그 속도가 만드는 것이 초기의 극도로 휘발성 높고 극도로 위험한 기간입니다. 어떻게든 그 기간을 통과해야 하고, 대단히 어려울 것입니다. 정부 프로젝트가 필요한 자리가 거기라는 것이 그의 주장입니다. 그 기간을 통과하면 상황이 안정화된 자리로 갑니다.
안정화의 두 경로를 그는 제시합니다. 하나는 공방 균형이 안정되는 것입니다. 생물무기는 초기에 큰 문제입니다. 공격자가 서로 다른 합성 바이러스 1,000종을 만들어 퍼뜨릴 수 있고 각각에 방어를 만드는 것은 정말 어렵습니다.
그러나 어느 시점에 가능한 모든 바이러스에 대한 보편적 방어를 알아낼 수도 있습니다. 다른 하나는 항공기에서 하는 일입니다. 민간 부문이 가질 수 없는 특정 역량을 정해 제한하고, 민간 용도는 자유롭게 풀어 주는 것입니다.
그리고 그는 비료 비유의 한계를 못 박습니다. 산업용 비료를 가진 사람은 미국 정부를 전복할 수 없지만, 초지능을 가진 AI 기업은 전복할 수 있다는 것이 꽤 그럴듯하다는 것입니다.
두세 개라면 더 나쁩니다
둘 또는 셋이라면 어떻게 되는지도 그는 짚습니다. 그 둘 또는 셋 사이의 미친 경쟁이 됩니다. 데미스 하사비스(Demis Hassabis)와 올트먼이 서로에게 지고 싶지 않을 뿐이고, 둘 다 로봇 안에 자기 핵무기고를 개발합니다. 그리고 정부가 그런 일을 두고 보지 않을 것입니다. 중국 데이터센터를 겨냥한 초강력 해킹 도구를 개발해 배치하는 주체가 아모데이가 되겠느냐는 것입니다.
더 중요한 것은 둘 또는 셋으로 끝나지 않는다는 점입니다. 둘 또는 셋에 중국과 러시아와 북한이 더해집니다. 민간 연구소 세계에서는 충분히 좋은 보안을 갖출 길이 없기 때문입니다.
파텔은 국유화하면 보안이 해결된다는 전제를 되묻습니다. 중국공산당이 이미 이것을 가격에 반영한 세계에서 국유화했다고 왜 잠금이 완성된다고 기대하느냐는 것입니다. 아셴브레너의 답은 짧습니다. 정부만이 이런 일을 한다는 것입니다.
내부 통제 쪽 논거도 그는 더합니다. 민간 기업 세계에서는 무작위의 최고경영자만 문제가 아니라, 이 초지능들을 써서 하고 싶은 일을 하는 통제 이탈 직원도 문제가 됩니다. 정부 프로젝트에는 그런 직원이 없겠느냐는 파텔의 반문에 그는 정부가 수십 년의 경험을 갖고 있고 실제로 이 문제를 중요하게 여긴다고 답합니다. 핵무기를 다루고 정말 강력한 기술을 다루며, 국가안보 기구가 신경 쓰는 영역이 그것이라는 이야기입니다.
트럼프라는 반론
파텔의 가장 강한 반론이 여기서 나옵니다. 쿠데타를 일으킬 수 있다는 바로 그 능력이 정부 프로젝트에도 똑같이 성립한다는 것입니다. 그리고 2025년의 최빈값 대통령은 도널드 트럼프(Donald Trump)입니다. 올트먼이나 아모데이에게 맡기기를 꺼리는 그 능력을 그 사람이 갖게 됩니다.
그는 자기 입장을 정확히 좁혀 말합니다. 올트먼이나 아모데이가 초지능에서 1년의 선두를 가진 세계라면 민간 보유를 걱정합니다. 그러나 바로 그 같은 세계에서 트럼프가 그 역량을 갖는 것도 매우 걱정합니다. 그리고 도약이 아셴브레너의 예상보다 느린 세계라면 민간 기업 쪽을 강하게 원합니다. 그러니 이 행렬의 어느 칸에서도 정부 주도 프로젝트가 민간 프로젝트보다 낫다는 것이 자명하지 않다는 것입니다.
버크적 논증
아셴브레너는 자기 논증이 일종의 버크적 논증이라고 말합니다. 미국의 견제와 균형은 200년 넘게, 그리고 미친 기술 혁명들을 통과하며 유지됐습니다. 미군은 미국의 모든 민간인을 죽일 수 있습니다.
파텔은 같은 논법을 자기 쪽으로 돌립니다. 민간과 공공의 힘의 균형도 수백 년 유지됐다는 것입니다.
아셴브레너는 유지된 이유를 묻습니다. 정부가 가장 큰 총을 가졌기 때문입니다. 그리고 단 한 명의 최고경영자나 어딘가의 비영리 이사회가 핵무기를 발사할 능력을 가진 적은 한 번도 없었습니다. 정부의 견제와 균형이 쌓은 실적과 민간 기업의 견제와 균형이 쌓은 실적을 비교하면, 연구소 쪽의 첫 스트레스 테스트는 정말 나쁘게 끝났고 제대로 작동하지 않았다는 것입니다.
정부 프로젝트의 견제와 균형
그가 그리는 정부 프로젝트의 견제와 균형은 두 층입니다.
국제적 층의 안쪽은 퀘벡 협정(Quebec Agreement)을 모델로 합니다. 윈스턴 처칠(Winston Churchill)과 루스벨트(Franklin D. Roosevelt)가 비밀리에 합의한 것으로, 핵무기에 노력을 합치되 서로에게 쓰지 않고 다른 누구에게도 상대의 동의 없이 쓰지 않는다는 내용이었습니다. 여기에 딥마인드를 가진 영국을 넣고, 칩 공급망을 가진 동남아시아 국가들을 넣고, 인재와 산업 자원을 위해 나토의 가까운 민주주의 동맹을 더 넣습니다. 그러면 테이블에 앉은 나라가 늘어나는 형태의 견제와 균형이 생깁니다.
바깥쪽 층은 평화를 위한 원자력 구도입니다. 아랍에미리트를 포함한 여러 나라에 가서 핵확산금지조약(NPT) 비슷한 거래를 제안합니다. 미친 군사적 용도는 허용되지 않지만 민간 응용은 공유하고 실제로 도우며 혜택을 나눈다는 것입니다. 초지능 이후의 새로운 세계질서라는 그림입니다.
미국 국내의 견제와 균형도 그는 열거합니다. 수조 달러를 예산으로 배정해야 하므로 의회가 관여해야 하고, 이상적으로는 이것을 운영할 사람을 의회가 인사 승인하는 쪽이 좋습니다. 의회가 있고 정부 내 여러 분파가 있고 법원이 있습니다. 수정헌법 제1조는 계속 정말 중요할 것이라고 그는 예상합니다. 사람들에게 미친 소리로 들릴 수 있지만, 이것들이 시간의 시험을 강력하게 견뎌 낸 제도라고 보기 때문입니다.
그리고 정렬이 중요한 이유를 그는 여기에 연결합니다. AI를 헌법을 따르도록 프로그래밍한다는 것입니다. 군대가 작동하는 이유가 장군이 불법적 명령과 위헌적 명령을 따르는 것이 허용되지 않기 때문인데, AI에 대해서도 같은 것을 두게 됩니다.
해설 여기서 언급되는 연구소의 첫 스트레스 테스트는 2023년 11월 오픈AI 이사회가 올트먼을 해임했다가 닷새 만에 복귀시킨 사건을 가리킵니다. 비영리 이사회가 최고경영자를 통제하도록 설계된 구조가 실제 충돌 상황에서 유지되지 못했고, 이 대담은 그로부터 반년 남짓 지난 시점에 이루어졌습니다. 아셴브레너가 민간 거버넌스의 실적을 낮게 평가하는 근거가 이 사건입니다.
퀘벡 협정은 1943년 8월 처칠과 루스벨트가 캐나다 퀘벡에서 체결한 비밀 협정입니다. 핵 개발을 합치고 상호 비사용과 제3국 사용 시 상호 동의를 규정했으며, 전후 영국이 미국의 핵 정보 접근에서 배제되는 과정의 출발점이기도 했습니다. 아셴브레너가 이 선례를 드는 것은 동맹 간 기술 통합의 모델로서인데, 실제 역사에서는 미국 쪽 법률 변경으로 협정의 정보 공유 부분이 무력화됐습니다.
버크적 논증이란 에드먼드 버크(Edmund Burke)의 보수주의 논법을 뜻합니다. 오래 작동해 온 제도에는 설계도에 적히지 않은 축적된 지혜가 있으므로, 추론으로 더 나은 대안을 떠올렸다는 이유만으로 바꾸지 말아야 한다는 주장입니다. 여기서 두 사람은 같은 논법을 서로 다른 제도에 적용하고 있습니다. 한쪽은 정부의 헌정 질서가 오래 버텼다고 말하고, 다른 쪽은 민간과 공공의 분립이 오래 버텼다고 말합니다.
[관점] 트럼프 반론은 이 대담에서 아셴브레너가 가장 약하게 답한 지점입니다. 그의 답은 정부에 제도적 견제가 있다는 것인데, 파텔의 질문은 그 견제가 초지능을 가진 행정부에 대해서도 작동하느냐는 것이었습니다. 법원 명령의 집행이 결국 집행 기구의 복종에 의존하고, 그 기구가 곧 초지능을 통제하는 주체라면, 견제의 최종 담보가 사라집니다. AI를 헌법을 따르도록 프로그래밍한다는 답은 문제를 한 단계 뒤로 옮길 뿐입니다. 누가 그 프로그래밍을 결정하는지가 같은 질문이기 때문입니다.
투자 쪽으로 옮기면 이 논쟁의 실질은 계약 구조에 있습니다. 완전한 국유화와 완전한 민간 보유 사이의 중간 지대, 즉 정부가 보안과 승인을 쥐고 기업이 개발과 운영을 맡는 형태가 양쪽 논증이 모두 수긍하는 결과입니다. 그 형태에서 기업의 현금흐름은 민간 수요가 아니라 정부 계약과 규제 승인에 연동되기 때문에, 밸류에이션의 성격이 성장주에서 방위산업체 쪽으로 이동합니다. 멀티플은 낮아지고 변동성은 줄며, 정책 변화가 실적의 주된 변수가 됩니다.
국내 투자자 관점에서 더 중요한 함의는 공급망 쪽입니다. 아셴브레너의 안쪽 연합 구상은 칩 공급망 국가를 명시적으로 포함하는데, 이는 그 국가들의 설비와 장비가 사실상 안보 자산으로 재분류된다는 뜻입니다. 재분류된 자산에는 수출 통제와 투자 심사와 보안 요건이 따라붙고, 이 비용은 지금 반도체 기업들의 원가 구조에 반영되어 있지 않습니다.
[사후 맥락] 대담 이후 실제로 나타난 형태는 국유화가 아니라 백악관이 후원하는 민간 컨소시엄이었습니다. 오픈AI 발표에 따르면 2025년 1월 21일 백악관에서 스타게이트 프로젝트(Stargate Project)가 공개됐고, 소프트뱅크(SoftBank)와 오픈AI와 오라클(Oracle)과 MGX가 지분 출자자로 참여해 4년간 5,000억 달러를 미국 내 AI 인프라에 투자한다는 계획이었습니다. 초기 집행액은 1,000억 달러로 제시됐고, 소프트뱅크가 재무를 맡고 오픈AI가 운영을 맡는 구조였습니다. 자금 조달의 실체를 두고는 공개 직후부터 이견이 있었고, 일론 머스크(Elon Musk)는 소프트뱅크가 실제로 약정한 금액이 100억 달러 수준이라고 주장했습니다.
이 형태는 파텔이 제시한 시나리오와 아셴브레너가 제시한 시나리오의 중간에 가깝습니다. 정부는 인허가와 정치적 후원을 제공하고 자본과 운영은 민간이 맡았으며, 소유권은 국유화되지 않았습니다. 다만 아셴브레너가 말한 공동 출자 합작의 요소도 들어 있고, 아랍에미리트 국부펀드 계열인 MGX가 지분 출자자로 들어간 점은 그가 경계했던 중동 자금의 유입이 실제로 일어났다는 뜻이기도 합니다.
정부 프로젝트의 형태
국유화는 되돌릴 수 없습니다
파텔은 시점의 문제를 제기합니다. 도약이 극도로 빠른 세계, AGI에서 초지능까지 1년이 걸리고 그 뒤 8년에 걸쳐 기술 진보가 터져 나오는 세계라면 아셴브레너의 주장에 일리가 있을 수 있습니다. 그러나 우리가 그 세계에 사는지 알 수 없고, 다른 세계라면 그는 민간 보유 쪽에 강하게 섭니다. 그런데 국유화는 한 방향으로만 작동하는 함수여서 되돌릴 수 없습니다. 어느 세계에 사는지에 대한 증거가 더 모일 때까지 기다리지 않을 이유가 무엇이냐는 것입니다.
아셴브레너는 내일 국유화할 것으로 예상하지 않는다고 답합니다. 오히려 코로나19 때처럼 너무 늦을 것으로 봅니다. 이상적으로는 실제로 잠금을 걸 수 있을 만큼 일찍 국유화하는 것이지만, 실제로는 꽤 혼란스러울 것이고 늦은 시점에 급조된 계획으로 잠금을 걸려 애쓰게 될 것입니다. 그때는 무슨 일이 벌어지는지가 꽤 분명해진 상태일 것입니다. 무슨 일이 벌어지는지 분명하지 않은 상태에서 국유화하지는 않는다는 이야기입니다.
제도가 버텼다는 말의 함정
파텔은 역사적으로 제도가 잘 버텼다는 논거를 정면으로 겨눕니다. 우선 실제로는 여러 번 거의 깨졌습니다. 그리고 이 논법은 핵전쟁을 크게 걱정할 필요가 없다는 주장과 구조가 같습니다.
80년 동안 핵무기를 가졌고 지금까지 괜찮았으니 위험이 낮을 것이라는 논법입니다. 거기에 대한 답은 위험이 실제로는 아주 높았고, 그 일이 일어나지 않도록 사람들이 많은 노력을 들였기 때문에 피했다는 것입니다. 그런데 무엇을 함의하는지 모르는 채로 정부에 초지능을 주는 것은 많은 노력을 들이는 것이 아닙니다.
기저율 논거도 그는 덧붙입니다. 미국은 독재의 부재라는 점에서만 예외적인 것이 아닙니다. 역사상 다른 모든 나라는 전쟁이나 혁명이나 다른 사건으로 부가 완전히 쓸려 내려간 경험이 있고, 미국은 그것을 겪지 않은 점에서 대단히 독특합니다. 그리고 강대국 경쟁이 돌아온다는 이야기를 하고 있는데, 이것은 지난 80년간 생각하지 않아 온 변수입니다. 독재는 인류의 기본값 상태입니다.
초지능 세계에서 제도에 의존하는 것의 문제도 그는 짚습니다. 지금은 정부가 전복을 시도하려 해도 초지능이 없으면 훨씬 어렵습니다. AR-15를 가진 사람들이 있고, 어렵게 만드는 것들이 있습니다. 베트남과 아프가니스탄이 어려웠던 이유가 그것입니다. 초지능이 있으면 그것이 더 쉬워집니다.
아셴브레너는 제도와 헌법과 법적 제약과 법원과 견제와 균형이 있다고 답합니다. 미친 베팅은 민간 기업 최고경영자 쪽이라는 것입니다. 파텔이 핵무기에 대해서도 비확산 제도가 있는데 그것이 깨질까 봐 여전히 걱정하고 밤잠을 설쳐야 하는 불안한 상황이라고 받자, 아셴브레너는 핵무기가 그렇게 불안한 상황인데도 우리가 꽤 잘해 왔다고 답합니다.
정부 프로젝트의 실제 형태
아셴브레너는 자기가 그리는 형태를 구체화합니다. 그는 이 문제에 대해 자기도 복잡한 감정을 갖고 있다고 먼저 말합니다.
그의 일차적 논거는 역량의 수준입니다. 인간을 크게 넘어선 해킹 능력을 가진 지점, 표적화된 생물무기를 만들 수 있는 지점, 로봇 군단과 모기 크기 드론 군집을 이야기하는 지점에 이르면 미국 국가안보 기구가 이 일에 깊이 관여하게 됩니다.
그가 보는 정부 프로젝트는 기본적으로 클라우드 사업자와 일부 연구소와 정부 사이의 합작 투자입니다. 그래서 이 미친 기간에 정부가 깊이 관여하지 않는 세계는 없습니다. 최소한 정보기관이 이 연구소들의 보안을 운영해야 하고, 그러면 이미 모든 것을 통제하고 모든 접근을 통제하는 셈입니다.
초기 응용이 무엇일지도 그는 솔직하게 말합니다. 형편없을 것이고 자기가 초지능을 쓰고 싶은 용도가 아닙니다. 이 미친 상황을 어떻게든 안정화하려 애쓰게 될 것입니다. 새로운 대량파괴무기의 확산과 상호확증파괴가 무력화되는 것을 어떻게든 막아야 합니다.
그리고 그는 논쟁의 축을 바꿉니다. 파텔이 인정하는 것보다 훨씬 넓은 스펙트럼이 있고, 민간 연구소의 세계라는 것도 실은 극도로 무거운 정부 관여를 뜻한다는 것입니다. 그래서 실제로 논쟁하는 것은 어떤 형태의 정부 프로젝트인가이며, 어느 쪽이든 지금의 스타트업보다는 국가안보 기구에 훨씬 가까운 모습이 됩니다.
제이크 설리번에게 전화하는 수준
파텔은 그 정도면 수용할 수 있다고 말하면서 경계선을 긋습니다. 맨해튼 프로젝트처럼 미군의 일부가 되는 쪽이라면 매우 걱정하고, 다음 학습을 돌리기 전에 제이크 설리번(Jake Sullivan)에게 전화해야 한다는 수준이라면 받아들일 수 있다는 것입니다. 록히드마틴(Lockheed Martin)의 스컹크웍스(Skunk Works)처럼 정부가 패를 쥐고 지시를 내리는 구도가 초지능에 적용되면 나쁘다고 봅니다.
아셴브레너가 그러면 대안이 무엇이냐고 묻자, 파텔은 자기 쪽 끝의 시나리오를 제시합니다. 다음 학습 클러스터를 돌리기 전에 정부와 상의해야 하지만 여러 기업이 여전히 각자 달려가고, 정부는 보안에 깊이 관여하는 형태입니다.
여기서 아셴브레너는 중국 데이터센터 공격을 누가 결정하느냐를 되묻습니다. 파텔은 지금의 빅테크로도 비슷한 이야기를 할 수 있다고 답합니다. 사티아 나델라(Satya Nadella)가 마음먹으면 자기 엔지니어들에게 윈도우(Windows)의 제로데이가 무엇인지 물어 대통령의 컴퓨터에 침투할 수도 있을 것입니다. 다만 그가 쿠데타를 성공시킬 수는 없다는 점에는 두 사람이 곧 합의합니다.
광범위한 배포와 분배 문제
파텔은 자기 시나리오를 다시 다듬습니다. 정부가 관여하고 여러 기업이 달려가되 AI는 여전히 광범위하게 배포되며, 시스템 수준 프롬프트에서 생물무기 제작을 돕지 못하게 하는 정도로 정렬이 작동하는 세계라면 무엇이 문제냐는 것입니다.
아셴브레너는 AI가 광범위하게 배포될 것으로 예상한다고 답합니다. 정부 프로젝트에서도 그렇습니다. 메타 같은 곳이 2년 뒤처진 AI를 오픈소스로 공개하는 것은 대단히 가치 있는 역할입니다.
그러면 두 갈래가 됩니다. 공방 균형이 괜찮아서 2년 된 AI를 오픈소스로 풀어도 괜찮은 경우이거나, 민간 기업이 미친 무기를 팔지 못하게 하는 것처럼 가장 극단적인 이중용도 역량에만 제한을 두는 경우입니다. 그리고 정부 프로젝트 이후의 긴장된 초기 기간이 안정화되면, 보잉처럼 번성하는 민간 응용의 시대가 오고 원자력 발전처럼 민간 쪽이 자기 시절을 갖게 됩니다.
파텔은 그 전환이 어떻게 가능한지를 파고듭니다. 정부 세계에서는 구글과 마이크로소프트가 정부 계약을 받아 초지능을 통제하게 되는데, 그들이 왜 다른 누구와 거래하겠느냐는 것입니다. 이미 로봇 공장을 갖고 있고 수십 년 앞선 기술을 갖고 있습니다. 도약 기간에 초지능이 광범위하게 배포되지 않았으므로 나머지 사회는 로봇도 핵융합로도 갖지 못했고, 그러면 교환할 것이 없습니다.
보잉이 전후에 민간화된 이유는 정부가 가장 큰 총을 가졌기 때문이고 제도와 헌법과 법적 제약으로 규율하기 때문이라는 아셴브레너의 답에, 파텔은 초지능 세계에서 민간화가 어떤 모습인지를 설명해 달라고 요구합니다. 아셴브레너의 답은 솔직합니다. 경제적 분배가 어떻게 작동할지는 완전히 별개의 문제이고, 자기도 모르며, 거칠 것이라는 것입니다.
그리고 그는 자기 입장을 다시 좁힙니다. 대안이 보이지 않는다는 것입니다. 대안은 500년의 문명적 성취인 란트프리덴을 뒤집고, 사실상 즉시 중국공산당에 내용을 유출하고, 간신히 앞서거나 열병 같은 투쟁 속에서 미친 대량파괴무기를 확산시키는 것입니다.
정렬 측면에서도 엄청나게 위험합니다. 막판의 미친 경쟁 속에서는 정렬을 위해 6개월을 쓸 여력이 없기 때문입니다. 또 다른 대안은 권위주의 세력과의 경쟁에서 이기기 위해 노력을 합치지 않는 것입니다.
자기가 원하는 바가 아니라는 점도 그는 말합니다. 초지능을 질병을 고치고 세계의 모든 좋은 일을 하는 데 쓰기를 바랍니다. 그러나 그의 예측은 종반에 걸린 것이 멋진 제품이 아니라 자유민주주의의 존속과 중국공산당의 존속과 다음 세기의 세계질서라는 것입니다. 그것이 걸리면 지금 논의하는 수준을 훨씬 넘어서는 힘들이 작동하기 시작합니다.
1억 명의 폰 노이만
파텔은 원자력과의 유추가 맞지 않는 지점을 짚습니다. 원자력 발전은 핵무기 개발로부터 문자 그대로 10년 뒤에 일어난 일인데, AI는 모든 응용이 즉시 열린다는 것입니다.
그가 가져오는 비유는 사고 실험입니다. AGI 맥락에서 실제로 쓰이는 비유로, 사회에 존 폰 노이만(John von Neumann) 같은 사람이 1억 명 더 있다고 가정해 보는 것입니다. 내일 그들이 1억 명 더 생긴다면, 접근 방식이 그중 일부가 극단주의로 전향할 테니 아주 조심해야 한다는 식이었겠느냐는 것입니다. 그중 상당수가 중국에서 태어나면 어떻게 하느냐는 식이었겠느냐는 것입니다. 폰 노이만들을 국유화하자는 쪽이라면 자기는 반대하고, 일반적으로 좋은 일이라고 보며, 오히려 한 세력이 모든 폰 노이만을 갖는 것을 걱정한다는 것입니다.
아셴브레너는 문제가 극도로 짧은 기간에 병 속에 밀어 넣는 데 있다고 답합니다. 기술 진보와 산업 폭발의 거대한 전개가 그 안에서 일어납니다. 그리고 1억 명의 폰 노이만을 우리가 실제로 걱정하고 있다고 그는 말합니다. 중국의 부상이 그것입니다.
중국의 부상을 걱정하는 이유는 10억 명이 많은 산업과 많은 기술을 할 수 있기 때문입니다. 지금 이야기하는 것은 중국의 부상의 100배입니다. 10억 명이 아니라 10억의 초지능적 존재이고, 그것이 아주 짧은 기간에 일어납니다.
1조 달러 클러스터는 누가 짓는가
파텔은 실무로 내려갑니다. 중국을 이기는 것이 목표라면 그 일부는 알고리즘 비밀을 유출하지 않는 것이고, 다른 일부는 1조 달러 클러스터를 짓는 것입니다. 그런데 마이크로소프트가 회사채를 발행할 수 있다는 것이 아셴브레너 자신의 논지가 아니었느냐는 것입니다.
아셴브레너는 구분합니다. 마이크로소프트는 수천억 달러 규모 클러스터는 할 수 있다고 봅니다. 1조 달러 클러스터는 국가적 노력에 가깝습니다. 미국 자본시장이 깊다는 자기 논점은 유효하고 자본시장은 꽤 좋지만, 1조 달러 수준은 다르다는 것입니다.
시간표도 그는 제시합니다. 1조 달러 클러스터는 AGI가 등장하기 전에 계획될 것입니다. 10기가와트 클러스터에서 AGI를 얻고, 완전히 풀어내기 위한 마지막 족쇄 풀기에 1년쯤을 더 쓰고, 그다음에 지능 폭발이 옵니다. 그사이 1조 달러 클러스터는 거의 완성됩니다.
그리고 1조 달러 클러스터에서 초지능을 만들거나 돌립니다. 1조 달러 클러스터만 있는 것도 아니고, 곳곳의 추론용 클러스터에 수억 개의 GPU가 있습니다. 민간 기업은 자본을 갖고 있고 조달할 수도 있지만, 빠르게 하려면 정부의 힘이 필요하다는 것이 그의 정리입니다.
합병의 실무적 어려움과 워프 스피드
파텔은 통합의 실무적 난점을 열거합니다. AI 연구자들이 실제로 정부 쪽 노력에 합류할지가 문제이고, 합류한다 해도 현재 서로 다른 기업에서 사전학습을 하는 팀이 최소 세 개 있습니다. 1조 달러 클러스터의 하이퍼파라미터를 어느 시점에 과감하게 질러야 하는데 그것을 누가 결정하느냐는 것입니다. 대단히 복잡한 연구개발 과정을 아주 다른 조직들 사이에서 합치는 일이 어떻게 미국을 중국보다 빠르게 만드느냐는 것입니다.
아셴브레너는 구글 안에서 브레인 팀과 딥마인드가 합쳐진 사례를 듭니다. 다소 어수선했지만 괜찮았다는 것입니다. 파텔은 그것이 꽤 어수선했고 같은 회사였으며 과정의 훨씬 이른 시점이었다고 받습니다. 아셴브레너는 꽤 비슷하다고 답합니다. 서로 다른 코드베이스와 다른 인프라와 다른 팀이 있었고 가장 매끄러운 과정은 아니었지만, 딥마인드는 지금 아주 잘하고 있다는 것입니다.
코로나19 사례도 두 사람이 다르게 읽습니다. 파텔은 정부의 코로나19 대응이 엉망이었고 작동한 유일한 부분이 오퍼레이션 워프 스피드(Operation Warp Speed)였다고 말합니다. 그것도 정부가 실제로 해도 된다는 허가를 준 것이 본질이었고, 근본적으로 민간 주도의 노력이었다는 것입니다. 아셴브레너는 정부가 대규모 계약 약정을 한 부분도 있다고 보완하면서, 프로젝트가 오퍼레이션 워프 스피드에 더 가까운 모습일 것이라고 말합니다. 모든 기업이 정부 프로젝트에 참여하는 형태입니다.
합병이 그렇게 어렵다고도 그는 보지 않습니다. 코드베이스 하나를 고르고, 그 코드베이스로 GPU에서 사전학습을 돌린 다음, 두 번째 강화학습 단계는 다른 코드베이스로 TPU에서 돌리면 된다는 것입니다.
사람들이 참여하겠는가
사람들이 서명하고 들어올지에 대해 그는 오늘이라면 그러지 않을 것이라고 인정합니다. 사람들에게 미친 소리로 들릴 것입니다. 다만 그는 비밀 문제와 연결해 설명합니다.
누군가 이 사람들 앞에 나서서, 당신들이 만드는 것이 미국의 국가안보에 가장 중요한 것이고 자유세계에 다음 한 세기가 있을지를 가르는 일이며 당신의 나라와 민주주의를 위해 정말 중요하다고 말한 적이 없다는 것입니다. 그리고 비밀을 이야기하지 말라고 말한 적이 없다는 것입니다. 맨해튼 프로젝트도 처음에는 정말 논쟁적이었지만, 어느 시점에 이것이 온다는 것이 분명해지고 군사와 국가안보 쪽의 긴급성이 분명해지자 많은 사람이 생각을 바꿨다는 이야기입니다.
역량 문제에 대해서는 그도 동의합니다. 사람들이 AI 연구소의 정치는 많이 생각하지만 프로젝트에 대한 계획을 가진 사람은 아무도 없습니다. 파텔이 지금 AI를 만들 수 있는 유일하게 유능한 기술 기관이 민간 기업이라는 점을 짚자, 아셴브레너는 그들이 계속 주도적 역할을 할 것이고 기본적으로 파트너십이 될 것이라고 답합니다.
제2차 세계대전 초기 미국의 준비 부족도 완전한 난장판이었습니다. 미국에는 대단히 유능한 관리 인재의 층이 두텁고 헌신적인 사람이 많다고 그는 봅니다. 오퍼레이션 워프 스피드 같은 민관 협력이 그가 상상하는 모습입니다.
핵무기는 잘 끝났다는 평가
맨해튼 프로젝트 참여자들의 후회로 논의가 돌아옵니다. 파텔은 그들 중 많은 사람이 폭탄을 얼마나 가속했는지를 후회했을 것이라고 말하고, 아셴브레너는 그들이 후회하는 것이 틀렸다고 봅니다.
파텔이 후회의 이유를 설명합니다. 전후 핵무기 개발 과정이 폭발적이었던 것은 핵무기를 실제로 사용할 수 있다는 선례가 생겼기 때문이고, 그렇게 설정된 경쟁 때문에 곧바로 수소폭탄으로 갔다는 것입니다.
아셴브레너는 그것이 불가피했다고 봅니다. 세계대전이 있었고 곧바로 냉전이 있었으니 군사적 측면이 맹렬한 강도로 추구되는 것은 당연했고, 모두가 핵무기를 만들지 않는 세계는 없었다는 것입니다. 그리고 핵무기는 정말 잘 끝났습니다.
끔찍하게 끝날 수도 있었습니다. 모두가 주머니에 핵무기를 갖는 것은 핵무기의 물리적 성질상 가능하지 않지만, 확산되고 민주화되어 모든 나라가 갖는 대량파괴무기를 상상해 보면 다릅니다. 미국이 핵무기에서 앞서고 미국 주도 또는 몇 개 강대국 주도의 새로운 세계질서와 비확산 체제를 세운 것, 군사적 용도는 금지하되 민간 기술은 돕고 나머지 세계에 안전 규범을 집행한다는 거래가 작동했습니다.
판을 바꾼 것이 무엇인지도 그는 짚습니다. 히로시마와 나가사키의 원자폭탄은 소이탄 공습과 비슷한 수준이었고, 게임을 정말로 바꾼 것은 수소폭탄과 대륙간탄도미사일이었습니다.
폴란드를 지키려던 전쟁
파텔은 자유세계의 존속을 위해 이 프로젝트를 추구해야 한다는 설득 방식에 역사의 아이러니를 겹칩니다. 제2차 세계대전은 일어났다는 점에서 슬픈 이야기이지만, 승리 자체도 슬픈 이야기입니다. 영국은 폴란드를 보호하기 위해 참전했는데, 끝에 가서는 대단히 잔혹했던 소련이 유럽의 절반을 점령하게 됐습니다. 자유세계를 보호하기 위해 AI를 서둘러야 한다고 말했다가 미국의 AI 리바이어던으로 끝난다면, 폴란드를 보호하려 참전한 영국이 겪은 것과 같은 뒤틀린 아이러니로 이 시기를 돌아보게 될 세계가 있다는 것입니다.
아셴브레너는 불행한 일이 많이 일어날 것이라고 인정하고, 자기는 그저 통과해 내기를 바란다고 답합니다. 설득의 내용이 경쟁만일 것으로는 보지 않습니다. 경쟁은 배경이고, 민주주의가 이 기술을 형성하는 것이 중요하며 북한에 유출하면 안 된다는 점이 중요해질 것입니다.
정렬을 포함한 안전과 새로운 대량파괴무기의 생성 측면에서도 그렇습니다. 그는 다른 경로가 있다는 데 설득되지 않았다고 말합니다. 전력을 다한 경쟁이 국제적으로도 상업적으로도 동시에 벌어지면, 가중치까지 즉시 유출되고 하사비스와 아모데이와 올트먼이 모두 1등을 원하는 상황이 되어 안전 측면에서 극도로 거칠어진다는 것입니다.
전쟁의 안개 속 정렬
안전 규제에 대한 그의 평가는 냉정합니다. 사람들이 말하는 안전 규제란 표준기술연구소(NIST) 같은 기관이 여러 해를 들여 전문가 합의가 무엇인지 파악하고 지침을 쓰는 식입니다.
파텔이 프로젝트에도 같은 일이 벌어지지 않겠느냐고 묻자, 아셴브레너는 지능 폭발 중의 정렬은 여러 해의 관료 절차를 거쳐 기준을 쓰는 과정이 아니라고 답합니다. 훨씬 더 전쟁에 가깝고, 전쟁의 안개가 있습니다.
그가 묘사하는 장면은 이렇습니다. 다음 자릿수를 올리는 것이 안전한지 묻습니다. 지능 폭발에 이미 세 자릿수 들어와 있고 무슨 일이 벌어지는지 더 이상 잘 이해하지 못합니다. 일반화 스케일링 곡선 몇 개가 좋아 보이지 않습니다. 정렬 작업을 하는 자동화된 AI 연구자들은 괜찮다고 말하지만 그들을 완전히 신뢰하지는 못합니다.
어떤 시험에서 AI가 못된 짓을 시작했고 고쳐서 괜찮아졌습니다. 그러면 계속 진행해야 하는지, 6개월을 더 써야 하는지 판단해야 합니다. 그런데 방금 중국이 가중치를 훔쳐 갔거나 로봇 군단을 배치하려 한다는 소식이 들어옵니다. 이런 상황에서 의지하게 되는 것은 숙의적 규제 체계가 아니라 제정신인 명령 계통입니다.
숙의적 규제 체계를 할 수 있으면 좋겠다고 그는 말합니다. 민간 기업에 대해서도 같은 이야기입니다. 그들 모두 안전을 하겠다고 주장하지만, 상업적 경쟁 속에 있고 스타트업이며 스타트업은 스타트업일 뿐입니다. 대량파괴무기를 다룰 적임자가 아니라는 것입니다.
워싱턴에서 들은 대답
파텔은 자기가 책임적 스케일링 정책(RSP)을 어떻게 설득받았는지 이야기합니다. 추진하는 사람들이 자유주의적 성향인 자기에게 접근한 방식은, 이것이 근본적으로 AGI의 시장 기반 개발을 보호하는 길이라는 것이었습니다. 이것이 전혀 없으면 오용이 생기고 그러면 국유화될 수밖에 없으니, 배포 과정에서 시장 기반 질서를 유지하면서 일이 탈선하지 않게 하는 안전장치라는 설명이었습니다. 아셴브레너의 이야기는 자체로 일관되지만, 거의 모트앤베일리 논법처럼 느껴지는 지점이 있다는 것입니다.
아셴브레너의 답은 역할을 좁히는 쪽입니다. 책임적 스케일링 정책류나 지금 벌어지는 안전 규제는 우리가 어느 세계에 있는지 알아내고 가까워졌을 때 경고등을 켜는 데 중요합니다. 지금까지 이야기한 것은 이 10년의 최빈값 전개이지만 틀릴 수 있는 길도 많습니다.
데이터 장벽을 더 이야기해야 하고, 정체되는 세계도 있고 AGI가 오지 않는 세계도 있습니다. 그러니 책임적 스케일링 정책은 선택지를 보존하는 장치입니다. 다만 준비는 되어 있어야 하고, 경고등이 켜지고 자동화된 AI 연구자를 얻게 되면 그때가 결정적 시점입니다.
파텔은 거기까지는 같은 생각일 수 있다고 말합니다. 시장 기반 방식을 추구하는 데 아주 강한 사전 믿음을 두어야 하고, 아셴브레너가 지능 폭발에 대해 옳은 경우가 아니라면 움직이지 말아야 한다는 것입니다. 다만 래드퍼드를 자동화할 수 있어 보이고 그것이 초지능으로 가는 유일한 병목인 세계라면 자기도 어느 정도 그쪽으로 간다고 인정합니다.
대담의 이 대목은 샌프란시스코를 내려다보는 장면으로 닫힙니다. 저쪽에 오픈AI가 있고 앤트로픽(Anthropic)이 있습니다. 연구소의 사람들이 앞으로 몇 년이 어떻게 갈지에 대해 거대한 권력을 갖고 있고, 그 권력은 감가상각되고 있습니다. 몇백 명 정도만 주의를 기울이고 있다는 것이 그가 이 모든 일에서 스트레스를 느끼는 지점입니다.
마지막으로 그는 워싱턴에서 들은 대답을 전합니다. 몇 달 전 AI 정책을 다루는 사람들에게 국유화 가능성이 얼마나 되는지 물었습니다. 답은 국유화는 정말 어렵고 해 본 지 오래됐으며 어떤 것을 국유화할 수 있는지에 매우 구체적인 절차적 제약이 있다는 것이었습니다.
국방물자생산법(Defense Production Act) 같은 제약이 있어 대법원이 뒤집을 것이라는 이야기였습니다. 그래서 초지능이라면 어떻겠느냐고 물었습니다. 답은 그것은 국유화되겠다는 것이었습니다.
[한국 관점] 이 절에서 한국에 가장 직접 걸리는 것은 안쪽 연합의 기준입니다. 아셴브레너가 합작 투자의 당사자로 꼽는 것은 클라우드 사업자와 프런티어 연구소와 정부이고, 국제적 층에서는 딥마인드를 가진 영국과 칩 공급망 국가입니다. 한국은 두 번째 범주에 들어가지만, 그 범주의 지위는 모델과 컴퓨트를 가진 쪽과 다릅니다. 테이블에 앉는 방식이 혜택 공유의 수혜자인지 개발의 당사자인지가 갈리기 때문입니다.
오퍼레이션 워프 스피드 모델이 한국에서 작동할지는 별도의 질문입니다. 미국 쪽 논의의 전제는 정부가 대규모 선구매 약정으로 민간의 위험을 흡수했다는 것인데, 국내에서 같은 구조를 만들려면 예비타당성 조사와 국가계약법상 수의계약 제한을 통과해야 합니다. 백신 선구매 때도 이 절차가 속도의 제약이었습니다. 지능 폭발 시간표에서 몇 개월이 결정적이라는 아셴브레너의 전제를 받아들이면, 제도의 처리 속도 자체가 경쟁 변수가 됩니다.
투자자 쪽에서 눈여겨볼 것은 분배 문제에 대한 아셴브레너의 답입니다. 그는 모른다고 말하고 거칠 것이라고만 답했습니다. 초지능이 광범위하게 배포되지 않은 채 소수 주체에 집중되면 나머지 경제가 교환할 것을 갖지 못한다는 파텔의 지적은, 국내 기업 다수가 해당하는 위치에 대한 지적입니다. 메모리와 전력기자재와 조선 같은 제조 자산이 그 교환 수단으로 얼마나 오래 유효한지가 질문이 되고, 로봇 생산 역량이 확보되는 시점이 그 유효기간의 끝에 해당합니다.
[관점] 아셴브레너의 논증에서 가장 취약한 고리는 분배에 대한 답입니다. 그는 민간화가 나중에 이루어진 선례로 보잉과 원자력 발전을 들지만, 두 경우 모두 정부가 기술을 독점한 기간에도 민간 경제가 독립적인 생산 능력과 교섭력을 유지하고 있었습니다. 파텔이 지적한 것은 초지능 세계에서는 그 조건이 성립하지 않는다는 것이고, 아셴브레너는 이에 대해 거칠 것이라고만 답했습니다. 논증의 다른 부분이 정교한 데 비해 이 지점만 공백으로 남아 있습니다.
두 사람의 논쟁이 수렴한 지점은 기록해 둘 만합니다. 어느 쪽도 완전한 국유화나 완전한 민간 보유를 최종 형태로 보지 않았고, 정부가 보안과 승인을 쥐고 민간이 개발과 운영을 맡는 중간 형태에 양쪽이 도달했습니다. 차이는 그 중간 지점에서 정부 쪽으로 얼마나 더 가는지, 그리고 언제 이동하는지입니다. 아셴브레너는 지능 폭발의 속도를 근거로 선제적 이동을 주장하고, 파텔은 되돌릴 수 없다는 점을 근거로 증거가 모일 때까지의 유보를 주장합니다.
이 구도를 자본시장 관점으로 환산하면 판단 기준이 하나로 정리됩니다. 민간 기업의 AI 관련 현금흐름이 어느 시점에 정부 계약으로 성격이 바뀌는지입니다. 그 전환이 일어나면 멀티플 체계가 달라지므로, 투자자에게 중요한 것은 국유화 여부에 대한 이념적 판단이 아니라 전환의 선행지표입니다. 보안 적격 심사 요건의 도입, 정부의 컴퓨트 우선 사용권 설정, 모델 가중치에 대한 접근 통제 의무화가 그 지표에 해당합니다.
[사후 맥락] 대담 이후 2년 반 동안 국유화는 일어나지 않았고, 미국의 정책 방향은 반대쪽으로 움직였습니다. 2025년 7월 백악관이 발표한 「Winning the Race: America’s AI Action Plan」은 규제 완화와 전력·인허가 가속, 민간 주도 건설을 중심에 두었습니다. 아셴브레너가 말한 잠금과 통제보다 파텔이 말한 시장 기반 전개에 가까운 방향입니다.
다만 그가 예측한 요소 가운데 실현된 것도 있습니다. 데이터센터 건설이 국가적 의제가 됐고, 전력과 인허가가 정책 수단으로 동원됐으며, 국방 쪽 계약 관계가 형성됐습니다. 그가 틀린 부분은 형태와 시점이고, 맞은 부분은 국가안보 기구가 이 영역에 들어온다는 방향입니다. 그가 말한 명확한 국유화 계기, 즉 자동화된 AI 연구자의 등장과 그에 따른 경고등은 이 글을 쓰는 시점까지 공개적으로 확인되지 않았습니다.
15세의 대학과 17세의 논문
독일을 떠나고 싶었습니다
파텔이 이력을 되짚습니다. 19세에 컬럼비아대학교를 수석으로 졸업했으니 15세에 대학에 들어간 것이고, 그 전에는 독일에 있었다는 것입니다. 어떻게 그런 일이 가능했느냐는 질문입니다.
아셴브레너의 답은 독일을 정말 떠나고 싶었다는 것입니다. 독일 공립학교를 다녔는데 자기에게 좋은 환경이 아니었습니다. 또래가 없었다는 것이 한 가지 이유입니다.
그가 짚는 것은 문화적 차이입니다. 미국에는 훌륭한 고등학교가 많고 탁월함을 인정하는 분위기가 있는데, 독일에는 큰 양귀비 증후군(tall poppy syndrome)에 가까운 것이 있다는 것입니다. 교실에서 호기심이 많아 더 배우고 싶어 하는 아이에게 교사가 좋다고 반응하는 대신 그것 때문에 아이를 못마땅해하고 꺾으려 한다는 이야기입니다. 학부 과정에 엘리트 대학이라는 것이 없다는 점도 그는 이상하게 봅니다. 어느 시점에 독일에서 능력주의가 꺾였다고 보고, 전반에 걸쳐 놀라운 수준의 안일함이 있다고 봅니다.
그를 늘 당혹스럽게 하는 것은 미국 대학에 가는 일 자체가 급진적 행위였다는 점입니다. 여기 있는 사람들에게는 급진적으로 보이지 않습니다. 당연히 하는 일이고 컬럼비아에 갈 수 있으면 가는 것입니다. 그러나 매우 이례적인 일이고, 일이 벌어지는 곳이 여기이며 훨씬 나은 교육을 받을 수 있는데도 사람들이 그렇게 하지 않는다는 것이 그에게는 놀랍습니다.
그래서 그는 몇 학년을 건너뛰었습니다. 당시에는 15세에 대학에 가고 미국으로 오는 것이 매우 정상적으로 느껴졌습니다. 지금 여동생 중 한 명이 15세가 되어 가는데, 그를 보면서 어머니가 왜 그렇게 반응했는지 이해하게 됐다고 그는 말합니다. 한동안 부모를 설득한 끝에 결국 허락을 받았습니다.
컬럼비아의 4년
대학은 좋았습니다. 그에게는 시점도 맞았습니다. 교양 교육과 핵심 교육과정을 정말 좋게 평가하고, 정치철학과 문학의 고전을 읽은 것을 그렇게 봅니다.
전공은 수학과 통계학과 경제학이었습니다. 다만 그는 전공을 다 하지 말았어야 했다고 말합니다. 가장 좋은 수업은 훌륭한 교수가 있는 역사 수업이었고, 대학에서 시간을 쓸 만한 것으로 그가 권하는 것이 그런 수업입니다.
기억에 남는 수업으로 그는 리처드 베츠(Richard Betts)의 전쟁과 평화와 전략 수업을 듭니다. 애덤 투즈(Adam Tooze)도 훌륭하고 몰입감 있는 책을 썼다고 말하면서, 파텔에게 팟캐스트에 모셔야 한다고 권합니다. 파텔은 시도해 봤다고 답합니다.
17세의 논문
파텔은 코웬에게서 들은 이야기를 전합니다. 아셴브레너를 처음 접한 경로가 그가 쓴 경제성장과 실존적 위험에 관한 논문이었고, 읽으면서 17세가 썼다는 것을 믿을 수 없었다는 것입니다. 이것이 MIT 박사논문이었다면 인상적이라고 생각했을 것이라는 평가였습니다.
어떻게 학부 3학년 무렵에 상당히 새로운 경제학 논문을 쓰게 됐는지 파텔이 묻자, 아셴브레너는 자기도 모른다고 답합니다. 그는 어떤 것에 흥미를 느끼고, 그것이 매우 자연스럽게 느껴집니다. 어떤 것에 들뜨면 그것에 대해 읽고 그 안에 몰입합니다. 정보를 아주 빠르게 배우고 이해할 수 있다고 그는 봅니다.
최고 생산성과 평균 생산성
자기 작업 방식에 대해 그가 드는 설명은 생산성의 분포입니다. 적어도 자기가 일하는 방식에서는 평균 생산성보다 최고 생산성의 순간이 훨씬 중요하다는 것입니다. 최고운영책임자처럼 평균 생산성이 정말 중요한 직무도 있습니다.
그러나 그에게는 몇 달 동안 꽃이 피듯 터져 나오는 시기가 있고, 다른 시간에는 배후에서 계산을 돌리고 있는 느낌입니다. 연작을 쓴 것도 비슷했습니다. 쓰기 시작하면 정말 흘러나오고, 결국 중요해지는 것이 그것입니다.
파텔은 최고경영자에게도 최고 생산성이 매우 중요할 수 있다고 받습니다. 그리고 채텀하우스 룰을 지키며 단체 대화방의 지인이 지적한 내용을 전합니다. 유명한 최고경영자와 창업자 가운데 양극성 조증을 겪은 사람이 얼마나 많은지에 관한 관찰이었고, 생산성의 콜옵션이 가장 중요하다면 변동성을 키우는 쪽이 유리하다는 논리였습니다.
수석 졸업은 평균 생산성의 현상이 아니냐는 파텔의 지적에 아셴브레너는 구분합니다. 최고 평점에 주는 상이 하나 있고 그것은 자기가 받았지만, 수석 졸업자는 최고 평점 집단 가운데 교수진이 선정하는 자리라는 것입니다.
그러면서 그는 자기 동력을 설명합니다. 이런 것들을 그냥 좋아했고, 호기심이 있었고, 정말 흥미롭다고 생각했고, 배우는 것을 사랑했고, 자기에게 납득이 됐고 매우 자연스러웠습니다. 자기 결점 중 하나로 그가 드는 것은 유리를 씹는 일을 그리 잘하지 못한다는 점입니다.
그것을 아주 잘하는 사람들이 있습니다. 그의 최고 생산성의 순간은 정말 들뜨고 몰입하고 사랑할 때 옵니다. 대학에서 적절한 수업을 들으면 그것을 얻게 됩니다.
파텔이 어벤져스(Avengers)의 브루스 배너(Bruce Banner)가 ‘늘 화가 나 있다’고 말한 대사를 끌어오자, 아셴브레너는 자기는 늘 들떠 있고 늘 호기심이 있다고 답합니다.
왜 경제학이었는가
왜 경제학이었느냐는 질문에 그는 어떤 의미에서 지금도 경제학을 하고 있다고 답합니다. 그래프 위의 직선이 무엇이냐는 것입니다. 로그-로그 도표를 보면서 추세가 무엇인지 알아내고, 피드백 루프와 균형 상태의 군비통제 역학을 생각합니다. 그에게 매우 유용한 사고방식입니다.
아모데이와 수츠케버가 스케일링을 일찍 본 것도 어떤 의미에서는 매우 경제학적인 사고방식이라고 그는 봅니다. 경험적 물리학의 사고방식도 그렇습니다. 그쪽 사람들 중 다수가 물리학자입니다. 경제학자들의 문제는 보통 코딩을 충분히 잘하지 못한다는 것이라고 그는 덧붙입니다.
경제학의 핵심 아이디어들이 아름답다고 생각했다는 점도 그는 말합니다. 그리고 어떤 의미에서는 조금 속았다고 느낍니다. 지금의 경제학 학계가 다소 퇴락했기 때문입니다.
자기 논문을 예로 그는 설명합니다. 100쪽의 수식이 담긴 긴 논문이지만, 핵심 결론의 직관은 30초 만에 전달할 수 있고 그러면 납득이 되며 수식이 실제로 필요하지는 않습니다. 경제학의 가장 좋은 작업이 그런 것이라고 그는 봅니다. 작업을 하되, 그 작업을 하는 이유는 이전에는 분명하지 않았던 통찰을 드러내기 위해서입니다.
작업을 끝내면 어떤 기제가 거기서 떨어져 나오고, 그것이 선명한 직관으로 납득되며 세계에 관한 몇 가지 사실을 설명해 주어 이후 논증에 쓸 수 있게 됩니다. 경제학 입문 수준의 내용이 많이 그렇고 1950년대와 1960년대의 경제학이 많이 그랬다는 것입니다. 채드 존스(Chad Jones)의 논문들도 자주 그렇고, 그 점 때문에 그는 그 논문들을 좋아합니다.
경제학 학계를 떠난 이유
경제학 학계를 끝까지 추구하지 않은 이유로 그는 몇 가지를 듭니다.
하나는 코웬입니다. 코웬이 그를 따로 불러서, 자기가 만난 가장 뛰어난 젊은 경제학자 중 한 명이라고 생각하지만 대학원에는 가지 않는 쪽이 좋을 것이라고 말했습니다. 파텔은 그 사실을 몰랐다고 반응합니다.
아셴브레너는 그것이 좋았다고 말합니다. 코웬이 그를 다른 세계로 소개해 준 셈이기 때문입니다. 60대 경제학자가 그를 트위터 쪽 사람들에게 소개했다는 구도를 파텔이 재미있어합니다.
그 경로를 그는 자기 이동으로 설명합니다. 독일의 완전한 주변부에서 미국의 엘리트 기관으로 갔고, 능력주의적이고 엘리트적인 미국 사회의 분위기를 얻었습니다. 그다음에는 진짜 미국적 정신을 찾아 여기로 나와야 한다는 방향이 생겼습니다.
다른 이유는 학계의 퇴락입니다. 아이디어를 찾기가 어려워졌고 아름답고 단순한 것들은 이미 발견됐기 때문일 수도 있다고 그는 말합니다. 요즘 경제학 논문이 어떤 것이냐고 그는 묻습니다. 위스콘신이 교과서 10만 권을 더 구입했을 때 교육 성과에 무슨 일이 있었는지에 관한 200쪽의 실증 분석 같은 것입니다. 그 작업이 이루어진 것은 정말 반갑고 중요한 작업이라고 생각하지만, 사회의 근본적 통찰과 기제를 드러내는 작업은 아니라는 것입니다.
이론 작업에 대해서도 그는 비슷하게 봅니다. 아주 복잡한 모형이 있고, 중앙은행이 어떤 행동을 하면 어떤 결과가 나온다는 답을 그 모형이 내놓습니다. 그런데 왜 그런 결과가 나왔는지 알 수 없습니다.
매개변수가 엄청나게 많고 각각 어떤 방식으로 조정되어 있으며 컴퓨터 시뮬레이션이기 때문입니다. 그래서 타당성에 대해 알 수가 없습니다. 가장 중요한 통찰은 얻기 위해 많은 작업이 필요하지만 그 끝에 선명한 직관이 남는 것이라는 그의 기준이 여기서 다시 나옵니다.
좁은 세계와 행위주체성
두 사람이 만난 경위도 이 대목에서 나옵니다. 아셴브레너가 대학에 있을 때 파텔도 대학에 있었고, 파텔보다 한 살 어리지만 학년은 1-2년 앞섰습니다. 두 사람은 그 무렵 코웬을 중심으로 한 세계를 통해 만났습니다. 파텔이 영상 몇 개를 올려 조회수가 수백에 머물던 시기였습니다.
AI 세계가 좁다는 점을 아셴브레너는 짚습니다. 샌프란시스코의 모임에 모이는 몇 안 되는 같은 사람들이 딥마인드와 오픈AI와 앤트로픽에서 모델을 돌리는 사람들이라는 것입니다. 파텔은 지인들에게서 들은 이야기를 덧붙입니다. 지금 실리콘밸리에서 크게 성공한 사람들이 20대 이전이나 20대 초반에 이미 서로를 다 알았다는 것입니다.
왜 좁은 세계인지에 대한 아셴브레너의 답은 행위주체성입니다. 묘하게도 이것을 독일 경험에서 얻었다고 그는 말합니다. 그 경험은 꺾이는 경험이었고 정말 싫었습니다. 학년을 건너뛰는 것도 미국에 오는 것도 대단히 이례적인 선택이었고, 그가 한 일 상당수가 이례적인 선택이었습니다.
그런데 그냥 해 보니 괜찮았고 통했습니다. 그것이 오버턴 윈도(Overton window)에 맞춰 순응할 필요가 없고 자기에게 맞다고 보이는 것을 그냥 시도해 볼 수 있다는 감각을 강화했습니다. 대다수가 틀릴 수 있다는 감각도 그렇습니다. 그것이 형성기의 가치 있는 경험이었다는 것입니다.
퓨처펀드의 1년
대학 이후 그는 옥스퍼드에서 잠시 경제학 연구를 하고, 그다음에 퓨처펀드(Future Fund)에서 일했습니다.
퓨처펀드는 샘 뱅크먼프리드(Sam Bankman-Fried)가 자금을 댄 재단이었습니다. 별도 조직으로 베이에어리어에 있었고 시점은 2022년 초였습니다. 그에게는 엄청나게 흥미로운 기회였습니다. 기본적으로 스타트업형 재단이었고 그런 것은 자주 오지 않습니다. 수십억 달러를 배분할 수 있을 것으로 생각했고, 자선을 원리에서부터 다시 설계할 수 있을 것으로 생각했으며, 큰 영향을 미칠 수 있을 것으로 생각했습니다.
집중한 분야는 생물보안과 AI, 그리고 예외적인 인재를 찾아 어려운 문제에 투입하는 일이었습니다. 그들이 한 일 중 상당 부분에 그는 들떠 있었습니다. 보통 6개월이 걸리는 절차를 겪던 학자들이 이것이 훌륭하고 빠르고 간명하다는 이메일을 보내 왔습니다. 약간의 격려와 약간의 권한 부여, 변명의 제거, 절차의 간소화만으로 사람들이 훌륭한 일을 하게 만들 수 있다고 그는 자주 느낍니다.
파텔은 규모를 덧붙입니다. 수십억 달러를 배분하려 한 조직의 인원이 네 명이었고, 18세의 아셴브레너가 그 네 명 중 한 명이었다는 것입니다.
그리고 2022년 11월에 뱅크먼프리드가 거대한 사기였다는 사실이 드러났습니다. 하루아침에 전체가 붕괴했습니다. FTX에 돈을 넣은 사람들에게 파괴적인 일이었습니다. 더 가까이에서는 지원금 수령자들의 문제였습니다.
그들을 돕고 싶었고 훌륭한 프로젝트를 하고 있다고 생각했는데, 돕는 대신 거대한 문제를 안겨 준 결과가 됐습니다. 개인적으로도 힘들었습니다. 스타트업이었으므로 1년 가까이 매주 70시간씩 일해 이것을 세웠고, 작은 팀이었습니다. 그것이 하루아침에 전부 사라졌고, 사라진 것에 그치지 않고 거대한 사기와 연결됐습니다.
SBF에게서 배운 것
초기에 징후가 있었느냐는 질문에 그는 사기라는 것은 몰랐고 알았다면 결코 함께 일하지 않았을 것이라고 답합니다. 별도 조직이었고 사업 쪽과 함께 일하지 않았습니다.
다만 교훈은 있다고 그는 말합니다. 성공한 최고경영자의 행동에 면죄부를 주는 경향이 자기에게 있었고 사람들에게 일반적으로 있다는 것입니다. 성공한 최고경영자이고 원래 그런 사람이며 성공한 최고경영자란 그런 것이라는 식입니다.
그가 사기라는 것은 몰랐지만 그 사람 자체는 알았습니다. 극도로 위험을 감수하는 사람이었고, 자기도취적이었고, 이견을 잘 견디지 못했습니다. 끝에 가서는 둘 사이가 좋지 않았습니다.
이유는 구체적입니다. 뱅크먼프리드가 멋지고 눈에 띄어서 정말 마음에 들어 한 생물보안 지원금이 몇 건 있었는데, 어느 시점에 아셴브레너가 숫자를 돌려 보니 비용 대비 효과가 그리 좋아 보이지 않았습니다. 그 점을 지적했고 뱅크먼프리드는 꽤 불편해했습니다.
그래서 그가 남긴 교훈은 하나입니다. 사람의 성격에 주의를 기울이는 것이 정말 중요하고, 그 대상에는 자기가 일하는 상대와 성공한 최고경영자도 포함된다는 것입니다. 그것이 뒤에 올 많은 고통을 덜어 줄 수 있다는 이야기입니다.
해설 큰 양귀비 증후군은 오스트레일리아와 뉴질랜드에서 쓰이는 표현으로, 집단에서 유난히 두각을 드러내는 사람을 깎아내리려는 경향을 뜻합니다. 양귀비밭에서 특히 큰 꽃을 잘라 낸다는 비유에서 왔습니다. 아셴브레너가 독일 학교 환경을 설명하면서 이 영어권 표현을 쓴 것은, 그가 겪은 것을 독일 특유의 현상으로 보지 않고 능력주의가 약화된 사회에서 나타나는 일반적 양상으로 본다는 뜻입니다.
유리를 씹는다는 표현은 실리콘밸리에서 쓰이는 관용구입니다. 창업자가 재미없고 괴롭지만 반드시 해야 하는 일을 버텨 내는 능력을 가리킵니다. 아셴브레너가 그것을 자기 결점으로 꼽고 최고 생산성의 순간에 의존한다고 말한 것은, 자기 작업 방식이 지속적 실행보다 집중적 몰입에 기울어 있다는 자기 평가입니다.
애덤 투즈는 컬럼비아대학교의 경제사학자로, 나치 독일 전시경제를 다룬 『Wages of Destruction』과 2008년 금융위기를 다룬 『Crashed』의 저자입니다. 채드 존스는 스탠퍼드대학교의 경제성장론 연구자로, 아이디어 생산과 인구 증가를 연결한 반감기 모형으로 알려져 있습니다. 아셴브레너가 연작에서 쓰는 성장 회계와 피드백 루프의 어법이 이 계열에서 왔습니다.
[관점] 이 대목은 뒤의 논증을 읽는 방식에 영향을 줍니다. 아셴브레너가 자기 강점으로 꼽는 것은 추세를 읽고 그래프 위의 직선을 연장하는 능력이고, 자기 약점으로 꼽는 것은 지속적 실행입니다. 그가 2027년이라는 연도를 산출한 방식, 즉 자릿수의 추세를 연장해 시점을 얻는 방식은 정확히 그가 말한 강점의 산물입니다. 그리고 그 방식의 한계도 그가 말한 약점과 같은 자리에 있습니다. 추세의 연장은 추세를 만드는 실행 과정의 병목을 보지 못합니다.
투자 판단의 관점에서 더 눈에 띄는 것은 그가 경제학 학계를 비판하는 근거입니다. 매개변수가 많고 조정된 모형이 결과를 내놓지만 왜 그런 결과가 나왔는지 알 수 없다는 지적입니다. 같은 비판이 그 자신의 연작에도 적용될 수 있습니다. 실효 컴퓨트와 족쇄 풀기와 알고리즘 효율 개선을 자릿수로 환산해 합산하는 그의 계산 역시 각 항의 환산 계수가 조정값이고, 그 계수가 바뀌면 결론의 연도가 움직입니다. 그가 요구하는 기준, 즉 작업 끝에 선명한 직관이 남아야 한다는 기준을 그의 시간표에 적용하면 남는 직관은 자릿수가 쌓이면 역량이 올라간다는 것뿐이고, 연도는 직관이 아니라 계수의 산물입니다.
오픈AI에서 무슨 일이 있었는가
초정렬 팀의 원래 목표
파텔이 다음 이력을 묻습니다. FTX가 붕괴한 뒤 그는 오픈AI로 갔고, 초정렬 팀이 막 출발한 시점이었으며 초기 구성원 중 한 명이었습니다.
그가 설명하는 팀의 목표는 분명합니다. 몇 년 전 오픈AI와 다른 연구소의 정렬 팀이 기초 연구를 해서 인간 피드백 기반 강화학습을 개발했고, 그것이 현세대 AI 모델을 통제하는 데 정말 성공적인 기법이 됐습니다. 초정렬 팀이 하려던 일은 그 기법의 후계자가 무엇인지 알아내는 기초 연구 쪽 베팅이었습니다.
왜 그것이 필요한지도 그는 설명합니다. 인간 피드백 기반 강화학습은 초인간적 시스템까지 확장되지 않을 것입니다. 이 기법은 사람 평가자가 좋다거나 아니라고 표시하는 데 의존합니다.
모델이 무언가를 말하면 괜찮아 보인다고 판단하는 방식입니다. 그런데 어느 시점에 초인간적 모델과 초지능은 미친 수준으로 복잡한 코드 100만 줄을 쓰게 되고, 무슨 일이 벌어지는지 전혀 알 수 없게 됩니다. 그런 시스템을 어떻게 조종하고 통제하며 어떻게 부수적 제약을 더하느냐는 것입니다.
그가 합류한 이유는 두 가지입니다. 중요한 문제라고 생각했고, 정말 풀 수 있는 문제라고 생각했기 때문입니다. 초인간적 시스템의 정렬에 관해 전망이 밝은 기계학습 연구가 많다고 그는 보았고, 지금은 그때보다 더 그렇게 봅니다.
수츠케버가 이것을 뒷받침했고 거기 있는 사람들을 많이 좋아했습니다. 정렬 문제를 두고 중요성을 강조하는 사람은 늘 많았지만, 그가 정말 하고 싶었던 것은 그냥 풀어 보자는 쪽이었습니다. 정렬을 풀기 위한 오퍼레이션 워프 스피드를 하자는 것이었습니다.
팀이 해체된 경위
파텔은 현재 상태를 짚습니다. 팀은 사실상 존재하지 않고 두 책임자가 모두 떠났습니다. 라이케(Jan Leike)와 수츠케버이고, 그것이 지난주의 뉴스였습니다.
아셴브레너의 답은 오픈AI가 다소 다른 방향으로 가기로 결정했다는 것입니다. 2023년 11월 이사회 사건 이후 인사 변동이 있었고, 수츠케버가 떠난 것은 오픈AI에 대단히 비극적인 일이었다고 그는 봅니다. 어느 정도의 우선순위 재조정도 있었습니다.
컴퓨트 약정 문제도 그는 언급합니다. 초정렬 컴퓨트 약정에 관한 보도가 있었습니다. 많은 사람이 채용될 때 제시된 조건의 일부로 컴퓨트 20퍼센트를 배정한다는 약정이 있었고, 정렬에 대한 야심적 노력을 하겠다는 것이었습니다. 그것을 어느 정도 지키지 않고 다른 방향으로 가기로 한 것입니다.
유출이라는 혐의
파텔은 디인포메이션의 보도를 짚습니다. 아셴브레너가 유출 때문에 해고됐다는 내용이었습니다.
아셴브레너는 그들이 주장하는 유출의 내용을 먼저 말하고 판단은 맡기겠다고 답합니다. 오픈AI는 직원들에게 그가 유출로 해고됐다고 말했고, 그와 다른 사람들이 그 유출이 무엇인지 밝히라고 압박했습니다. 그들의 답은 다음과 같았습니다.
지난해 어느 시점에 그는 대비에 관한 브레인스토밍 문서를 썼습니다. AGI로 가는 길에서 앞으로 필요한 안전과 보안 조치에 관한 내용이었고, 그것을 외부 연구자 세 명에게 보내 의견을 구했습니다. 그것이 전부이고 그것이 유출이라는 것입니다.
맥락도 그는 덧붙입니다. 당시 오픈AI에서 안전에 관한 아이디어를 외부 연구자와 공유해 의견을 받는 것은 완전히 일상적인 일이었고 늘 있었습니다. 그 문서는 공유하기 전까지 자기 아이디어였습니다.
민감한 내용이 있는지 검토했습니다. 내부 버전에는 향후 클러스터에 대한 언급이 있었지만 외부용 사본에서는 그 부분을 지웠습니다. 자기 내부 슬라이드로 연결되는 링크가 하나 있었는데, 공유받은 외부 사람들에게는 죽은 링크였고 슬라이드는 공유되지 않았습니다.
그래서 그는 이 문서의 기밀 정보가 무엇인지 밝히라고 압박했습니다. 그들이 제시한 것은 문서 안의 한 줄이었습니다. 27년이나 28년까지 AGI가 온다는 가정 아래 계획을 세우고 대비에 시간표를 설정하지 않는다는 내용이었습니다.
그는 이 문서를 초정렬 발표 몇 달 후에 썼습니다. 당시 4년 계획 기간이 공표된 상태였고, 그 계획 기간이 민감하다고 생각하지 않았습니다. 올트먼이 공개적으로 늘 하는 이야기이고 라이케도 몇 주 전에 말한 내용이라는 것입니다.
보안 메모
파텔이 그것은 해고 사유로 보기에 빈약하다고 짚자, 아셴브레너는 다른 축을 설명합니다.
지난해 그는 오픈AI 보안에 관한 내부 메모를 썼습니다. 보안이 심각하게 불충분하다고 보았고, 외국 행위자로부터 모델 가중치나 핵심 알고리즘 비밀의 절취를 막기에 충분하지 않다고 보았습니다. 그 메모를 몇 명의 동료와 경영진 일부에게 공유했고, 대부분 도움이 된다는 반응이었습니다.
그런데 몇 주 뒤에 중대한 보안 사고가 발생했습니다. 그 일이 그를 움직여서 메모를 이사회 구성원 몇 명에게 공유하게 됐습니다. 며칠 뒤 경영진이 그가 메모를 이사회에 공유한 것에 대해 매우 불편해한다는 점이 그에게 분명해졌습니다. 이사회가 보안 문제로 경영진을 추궁한 것으로 보입니다. 그리고 그는 이 메모 때문에, 정확히는 그것을 이사회에 공유한 것 때문에 공식 인사 경고를 받았습니다.
인사 담당자가 그에게 한 말은 중국공산당의 첩보 활동을 걱정하는 것이 인종차별적이라는 것이었고, 건설적이지 않다는 것이었습니다. 그는 자기가 가장 외교적이지는 않았을 것이고 정치적으로 더 능숙할 수 있었을 것이라고 인정합니다. 다만 정말 중요한 사안이라고 생각했고 그 보안 사고가 그를 정말 걱정하게 만들었다는 것입니다.
이 이야기를 꺼낸 이유를 그는 밝힙니다. 해고될 때 보안 메모가 해고의 주요 이유라는 점이 매우 명시적으로 전달됐기 때문입니다. 경고가 아니라 해고인 이유가 보안 메모라는 식이었습니다.
해고 당시의 질문들
해고 당시 받은 질문들도 유용한 맥락이라고 그는 말합니다. 한 달 조금 전의 일이었습니다. 변호사와의 면담에 불려 갔고, 대화는 빠르게 적대적으로 바뀌었습니다.
질문은 전부 그의 견해에 관한 것이었습니다. AI 진보에 대한 견해, AGI에 대한 견해, AGI에 적절한 보안 수준에 대한 견해, 정부가 AGI에 관여해야 하는지에 대한 견해, 그와 초정렬 팀이 회사에 충성하는지, 오픈AI 이사회 사건 당시 그가 무엇을 했는지 같은 것들이었습니다. 그다음에 동료 몇 명과 이야기를 하고 돌아와서 그가 해고됐다고 통보했습니다. 그리고 오픈AI 재직 기간의 모든 디지털 기록, 메시지와 문서를 훑었고, 그 과정에서 그 유출을 찾아냈습니다.
나머지 혐의와 이사회 서신
다른 혐의도 몇 가지 덧붙었습니다.
하나는 조사 과정에서 그가 비협조적이었다는 것입니다. 그 대비 브레인스토밍 문서를 누구와 공유했는지 처음에 기억하지 못했고 외부 연구자 몇 명과 이 아이디어를 이야기했다는 것만 기억했기 때문입니다. 그 문서는 6개월도 더 된 것이고 하루를 들여 쓴 것이었습니다. 자기 오픈AI 이메일로 공유한 구글 문서였고 화면 캡처처럼 숨기려 한 것이 아니었습니다. 너무나 사소한 일이어서 기억에 남지 않았다는 것입니다.
다른 하나는 그가 그들이 좋아하지 않는 방식으로 정책에 관여했다는 것입니다. 근거로 제시된 것은 AGI가 정부 프로젝트가 될 것이라는 자기 견해에 대해 외부 연구자 몇 명과 어느 싱크탱크 쪽 사람과 이야기했다는 점이었습니다. 실제로 그는 당시 이 분야의 많은 사람과 그 이야기를 하고 있었습니다.
정말 중요하게 생각해야 할 사안이라고 보았기 때문입니다. 그들은 5-6개월 전 그가 친한 동료에게 보낸 쪽지에서 이 내용을 전한 대목을 찾아 인용했습니다. 이 분야의 외부 사람들과 AGI의 미래에 관한 큰 틀의 사안을 이야기하는 것은 오픈AI의 규범 안에 충분히 들어간다고 그는 생각했습니다.
이후 그는 수십 명의 전 동료와 이 일에 관해 이야기했습니다. 반응은 대체로 그것이 말이 안 된다는 것이었고 그 자신도 놀랐습니다. 그는 불과 몇 달 전에 승진했고, 당시 승진 심사에서 수츠케버가 남긴 평은 ‘레오폴드는 훌륭하고 그가 우리와 함께 있는 것은 행운’이라는 취지였습니다.
그러면서 그는 상대 입장에서 이해되는 부분도 말합니다. 자기가 몇몇 사람의 심기를 거슬렀고 때로는 짜증스러운 존재였을 것이라는 점입니다. 보안 문제를 반복해서 제기했고 늘 가장 외교적인 방식은 아니었습니다. 이사회 사건 당시 압력이 있었는데도 직원 서신에 서명하지 않았습니다. 서명하지 않은 사람 가운데 가장 선임이었던 두 명은 안드레이 카파시(Andrej Karpathy)와 라이케였고 둘 다 그 뒤 떠났습니다.
그 서신에 대한 자기 판단도 그는 밝힙니다. 서신이 돌던 월요일 아침 시점에는 이사회가 사임하는 것이 적절했을 것이라고 봅니다. 직원들에 대한 신뢰와 신용을 너무 많이 잃었기 때문입니다.
다만 서신 자체에는 문제가 여러 개 있었습니다. 그중 하나는 독립적 이사회를 요구하지 않았다는 점입니다. 독립적 이사회를 두는 것은 기업 거버넌스의 기본에 해당한다고 그는 봅니다.
다른 논의에서도 그는 경영진에게 오픈AI가 공개 약속을 지키라고 압박했습니다. 그리고 AGI를 위한 핵심 인프라를 짓기 위해 권위주의 독재 체제와 제휴하는 것이 오픈AI의 사명과 국익에 부합하는지에 대해 어려운 질문을 여럿 제기했습니다.
인지 부조화와 신뢰의 문제
그는 자유로운 나라이고 그것이 이 나라를 좋아하는 이유라고 말합니다. 그들에게 자기를 계속 고용할 의무는 없습니다. 그리고 그들이 와서 회사를 다른 방향으로 가져가며 당신의 관점에 동의하지 않고 더 이상 회사 방침을 따를 만큼 신뢰하지 않으니 갈라설 때라고 말했다면 완전히 합리적이었을 것이라고 봅니다. 중요한 사안에 대한 견해가 실질적으로 벌어지기 시작했기 때문입니다. 그는 매우 들뜬 상태로, 오픈AI와 생각이 맞는 상태로 들어왔지만 그것이 시간이 지나며 바뀌었습니다.
그가 드라마의 원인으로 지목하는 것은 인지 부조화와 신뢰할 수 없음입니다. 이 사안들을 정말 중요하게 여긴다고 말하고 큰 약속을 하지만 자주 이행하지 않는다는 것입니다.
초정렬 컴퓨트 약정이 그 예입니다. 장기 안전 연구에 컴퓨트 20퍼센트를 배정한다는 약정이었습니다. 초정렬에 적절한 컴퓨트 수준이 얼마인지를 두고는 합리적인 토론이 가능하지만, 그것이 쟁점이 아니라고 그는 말합니다. 쟁점은 이 약정이 이루어졌고 사람을 채용하는 데 쓰였으며 매우 공개적이었다는 점입니다.
그리고 이 약정이 만들어진 이유는 장기 안전 연구보다 더 급한 일이 늘 있을 것이라는 인식이 있었기 때문입니다. 신제품 같은 것들입니다. 그런데 실제로 약정이 지켜지지 않았고, 장기 안전 연구보다 더 급한 일이 늘 있었습니다.
보안에서도 같은 양상이었다고 그는 말합니다. 그가 보안 문제를 제기하면 보안이 최우선이라고 답했습니다. 그런데 진지한 자원을 투입할 때가 되고 상충을 조정할 때가 되고 꽤 기본적인 조치를 취할 때가 되면 보안은 예외 없이 우선순위에서 밀렸다는 것입니다.
[사후 맥락] 이 대담은 초정렬 팀이 해체된 직후에 녹음됐고, 그 뒤의 경로는 비교적 분명하게 정리됐습니다. 라이케는 2024년 5월 앤트로픽으로 옮겼고, 수츠케버는 2024년 6월 안전 초지능(Safe Superintelligence)이라는 회사를 설립했습니다. 두 사람 모두 오픈AI 안에서 이 문제를 계속 다루는 길을 택하지 않았습니다.
아셴브레너가 해고 직전 제기했다고 말한 질문, 즉 AGI 인프라를 위해 권위주의 체제와 제휴하는 것이 사명과 국익에 부합하는지에 대한 질문은 이후 현실에서 답을 얻었습니다. 2025년 5월 오픈AI는 아랍에미리트에서 스타게이트 UAE를 발표했고, 아부다비에 조성되는 대규모 캠퍼스 안에 1기가와트 규모 클러스터를 두는 구상이었습니다. 현지 사업자 G42가 건설을 맡고 오픈AI와 오라클이 운영에 참여하는 구조였습니다.
20퍼센트 컴퓨트 약정에 대해서는 오픈AI가 공식적으로 다르게 설명한 적이 없고, 약정의 이행 내역이 공개된 바도 확인되지 않습니다. 이 글을 쓰는 시점까지 이 부분은 그의 주장과 보도가 한쪽에 있고 회사의 반박이 없는 상태로 남아 있습니다.
AI 연구를 가속한다는 전제
연구를 투입과 산출로 보는 모형
파텔은 논증 전체가 기대는 전제를 겨눕니다. AGI를 얻으면 곧 초지능으로 간다는 이야기의 근거는 AGI가 AI 진보를 연구하는 연구자로 기능할 수 있다는 것이고, 그래서 몇 년 또는 그보다 짧은 시간 안에 초지능에 도달하며 거기서 로봇공학과 온갖 기술의 연구개발을 전부 한다는 구도입니다.
그가 회의적인 첫 번째 이유는 모형 자체입니다. 연구를 투입과 산출의 관계로 보는 이 모형이 실제 연구에서 일이 벌어지는 방식인지가 그에게는 분명하지 않습니다.
경제 전체를 봐도 그렇습니다. 콜리슨 등이 지적한 내용으로, 100년 전과 비교하면 세계의 연구자 수가 100배 늘었습니다. 그런데 진보가 100배 빠르게 일어나고 있지는 않습니다. 그러니 연구에 인구를 더 밀어 넣으면 반대쪽에서 더 많은 연구가 나오는 구조가 아닌 것이 분명하고, AI 연구자에게 왜 다를지 모르겠다는 것입니다.
100년간 연구자가 10배 늘었다면
아셴브레너는 이것이 콜리슨 등과 자기 사이의 고전적 이견이라고 답합니다.
투입이 중요하다는 것부터 그는 짚습니다. 미국은 리히텐슈타인이나 스위스보다 훨씬 많은 과학적·기술적 진보를 산출합니다. 콜리슨을 리히텐슈타인이나 스위스의 독재자로 만들어 이상적 제도의 유토피아를 구현하게 해도 그렇습니다. 단 인재 풀은 고정합니다.
고등학생 이민 정책이나 유전적 선별 같은 수단은 쓰지 못합니다. 제도는 훌륭하지만 인재 풀이 고정된 상태라면, 어떤 배수의 개선은 얻을지 몰라도 스위스가 과학기술 역량에서 미국을 앞지르지는 못한다는 것입니다. 규모가 중요하다는 이야기입니다.
파텔은 동의하지 않습니다. 역사에는 소수 집단이 큰 성과를 낸 사례가 많습니다. 벨연구소(Bell Labs)나 스컹크웍스 같은 곳에 연구자 수백 명이 있었고, 오픈AI도 연구자 수백 명입니다.
아셴브레너는 그 수백 명이 고도로 선별된 집단이라고 받습니다. 세계 최고의 AI 연구자를 모두 고도로 선별할 수 있다면 수백 명만 필요할 수도 있지만, 바로 그것이 인재 풀이라는 것입니다. 세계 최고의 AI 연구자 300명을 가진 상태가 그것입니다.
파텔은 다시 받습니다. 100년 전부터 지금까지 인구가 대규모로 늘었고, 오히려 인재의 밀도가 높아졌다고 기대할 수 있습니다. 과거에 같은 수준의 인재를 쇠약하게 만들었던 영양실조와 여러 형태의 빈곤이 더는 그렇게 작용하지 않기 때문입니다.
로그-로그 평면의 직선
아셴브레너는 배수부터 조정합니다. 100배인지는 모르겠고 이런 수치는 부풀리기 쉽다고 봅니다. 최소한 10배는 될 것입니다. 그러면 사람들은 아이디어 찾기가 그렇게까지 어려워졌을 리 없는데 왜 연구 노력이 10배 늘어야 했느냐고 묻습니다.
그에게는 이것이 극도로 자연스러운 이야기입니다. 이유는 로그-로그 평면의 직선이라는 것입니다. 딥러닝 연구자의 꿈 같은 그림입니다. 가로축에는 누적 연구 노력의 로그값을 놓습니다.
세로축에는 국내총생산의 로그값을 놓거나, 알고리즘 진보의 자릿수를 놓거나, 제곱인치당 트랜지스터 수의 로그값을 놓습니다. 태양광의 경험곡선(experience curve)이라면 기가와트당 가격의 로그값을 놓습니다. 그것이 직선이 되는 것은 극도로 자연스럽습니다.
구조는 단순합니다. 첫 번째 것은 아주 쉽습니다. 그다음부터는 다음 것을 찾기 위해 누적 연구 노력의 로그 증분이 필요합니다.
여기서 나오는 반론도 그는 다룹니다. 연구 노력을 10배 늘렸는데 아이디어 찾기도 정확히 10배 어려워져서 완벽하게 상쇄되는 것이 수상하지 않느냐는 것입니다. 그의 답은 그것이 균형이라는 것입니다. 수요와 공급이 일치해 시장이 청산되는 것이 우연이냐고 묻는 것과 같은 구조입니다. 아이디어 찾기가 얼마나 어려워졌는지는 진보를 얼마나 이루었는지의 함수이고, 전체 성장률은 아이디어 찾기가 어려워진 정도를 연구 노력을 늘린 정도와의 비율로 본 값의 함수입니다.
경제 전체뿐 아니라 개별 기술의 경험곡선에서도 이것이 보인다고 그는 말합니다. 그래서 이런 과정이 있다고 봅니다. 제도가 어떤 배수만큼 나빠졌다는 것도 충분히 그럴듯하게 봅니다.
사람을 더 넣는 데 따른 수확 체감의 지수도 분명히 있습니다. 직렬 시간이 그냥 병렬화하는 것보다 낫습니다. 그래도 투입이 중요하다는 것은 분명하다는 것입니다.
수확 체감의 계수
파텔은 동의하면서 조건을 붙입니다. 투입을 키울 때 수확이 체감하는 속도의 계수가 충분히 크다면, 투입이 중요하다는 사실 자체는 추상적으로 그리 유의미하지 않다는 것입니다.
그리고 그는 구체적 사례로 내려갑니다. 오픈AI에서 향후 모델의 알고리즘 진보에 직접 관여하는 인원은 많아도 수백 명 수준입니다. 이 숫자를 임의로 키우면 알고리즘 진보가 훨씬 빨라지고 그것이 훨씬 좋은 AI로 이어진다는 것이 정말 사실이라면, 오픈AI가 왜 세계에 수십만 명 있는 지능지수 150 이상인 사람을 전부 채용하지 않는지 설명되지 않는다는 것입니다.
그의 설명은 거래비용입니다. 이 사람들을 모두 관리하는 데 드는 거래비용은 AI를 여럿 갖게 된다고 사라지지 않고, 이런 과업은 병렬화하기 쉽지 않습니다. 오픈AI가 세계의 모든 천재를 끌어모으는 채용 광풍에 나서지 않는 사실을 어떻게 설명하겠느냐는 것입니다.
IQ 150을 모두 채용하지 않는 이유
아셴브레너는 먼저 사실관계를 조정합니다. 지난 1년간 AI 연구자 급여의 상승률을 보면 4배에서 5배 수준으로 꽤 미친 상태이고, 세계 최고의 AI 연구자를 채용하려고 분명히 정말 노력하고 있으며 실제로 찾아낸다는 것입니다.
그의 반론은 선별의 내용입니다. 지능지수 150인 사람을 내일 채용한다고 해서 거의 대부분은 좋은 AI 연구자가 되지 못한다는 것입니다.
파텔은 시간 지평으로 받습니다. 그들은 몇 년이 걸려 결실이 나는 투자를 할 의향이 있습니다. 지금 사들이는 데이터센터는 2026년쯤 가동됩니다.
그렇다면 지능지수 150인 사람을 전부 채용해 두는 쪽은 왜 하지 못하느냐는 것입니다. 일부는 안 될 것이고 일부는 원하는 특성을 갖지 못할 것이지만, 일부는 2026년이면 훌륭한 AI 연구자가 될 것입니다. 왜 그 베팅을 하지 않느냐는 것입니다.
아셴브레너는 그런 일이 때때로 일어난다고 인정합니다. 똑똑한 물리학자들이 AI 연구에서 정말 좋은 성과를 냈고 앤트로픽 공동창업자들이 그렇습니다. 그러나 아모데이와 이야기해 보면 임의로 채용하지 않고 극도로 선별적이겠다는 정책을 신중하게 유지합니다.
핵심 제약으로 그가 드는 것은 훈련입니다. 훈련은 쉽게 규모를 키울 수 없고 매우 어렵습니다. 10만 명을 채용하면 그들을 전부 훈련시킬 수 없고, 훈련시키려 하면 AI 연구를 전혀 하지 못하게 됩니다. 새로운 사람을 데려와 훈련시키는 데 드는 비용이 막대합니다.
래드퍼드를 복제한다면
AI는 이 지점에서 매우 다르다는 것이 그의 논지이고, AI가 가질 이점을 이야기하는 것이 정말 중요하다고 그는 말합니다.
래드퍼드가 되려면 무엇이 필요한지를 그는 분해합니다. 우선 정말 좋은 엔지니어여야 합니다. AI는 훌륭한 엔지니어가 될 것이고 코딩에 훌륭할 것이며, 그렇게 되도록 훈련시킬 수 있습니다. 그다음으로 좋은 엔지니어인 것에 그치지 않고 정말 좋은 연구 직관을 갖고 딥러닝을 정말로 이해해야 합니다. 이것은 래드퍼드나 그와 비슷한 사람이 수년의 연구를 통해, 딥러닝에 깊이 몰입하고 많은 것을 직접 시도하고 실패하면서 얻은 것입니다.
AI가 가진 이점이 여기서 나옵니다. AI는 쓰인 모든 연구 논문과 연구소에서 돌린 모든 실험을 읽고 그 전부에서 직관을 얻을 수 있습니다. 그리고 서로의 실험과 경험에서 병렬로 배울 수 있습니다.
문화적 적응도 그는 언급합니다. 새 사람을 채용하면 정치적 알력이 생기고 조직에 맞지 않을 수도 있습니다. AI의 경우에는 복제본을 만들면 됩니다.
동기 문제에서 파텔이 반론을 제기합니다. 래드퍼드를 복제해서 모든 실험을 돌리기 전에 그에게 사람 기준 10년치 시간을 들여 코드를 재검토하고 정말 신중하게 생각하게 할 수 있다면 좋겠지만, 우선 래드퍼드가 그만큼 많지 않고, 그는 그 일에 관심을 두지 않을 것이며 동기를 갖지 않을 것이라는 것입니다.
아셴브레너의 답은 그 차이가 바로 요점이라는 것입니다. AI에게는 당신들이 1억 명 있으니 이 코드가 정확한지, 버그가 없는지, 이 실험이 충분히 숙고됐는지, 모든 하이퍼파라미터가 맞는지 확인하는 일에 투입한다고 말할 수 있습니다.
1억 명이라는 숫자의 의미
마지막으로 그는 1억 명이라는 숫자의 성격을 밝힙니다. 사람 기준 1억 명의 AI 연구자라는 표현은 시각화의 방법일 뿐이고, 문자 그대로 복제본 1억 개를 갖는다는 뜻이 아닙니다.
직렬 속도와 병렬 규모 사이에 선택이 있습니다. 10배나 100배의 직렬 속도로 돌리는 선택을 할 수 있고, 내재적 상충 때문에 전체 토큰 수는 줄어듭니다. 그러면 사람 속도의 100배로 사고하는 개체 10만 개 정도를 갖는 구도가 됩니다.
조율 측면에서 할 수 있는 다른 일도 있습니다. 잠재공간(latent space)을 공유하고 서로의 문맥에 주의를 둘 수 있습니다. 가능한 선택의 폭이 아주 넓다는 것입니다.
연작에서 그가 돌린 계산의 결론도 여기서 나옵니다. 2027년이나 2028년이면 자동화된 AI 연구자가 매일 인터넷 하나 분량의 토큰을 생성할 수 있게 됩니다. 그러니 수행할 수 있는 지적 작업의 양이 명백히 엄청나다는 것입니다.
특허와 물리학의 반례
파텔은 그 숫자에 반례를 댑니다. 오늘 우리는 1년에, 20세기 초 실제 물리학 혁명이 반세기에 걸쳐 산출한 것보다 많은 특허를 산출합니다. 그런데 오늘 1년에 그때보다 많은 물리학 진보를 이루고 있느냐는 것입니다. 토큰을 전부 생성하겠지만, 인류가 생성해 온 만큼의 체계화된 지식을 생성하는 것이냐는 질문입니다.
아셴브레너의 답은 토큰의 성격 구분입니다. 인터넷의 토큰은 보통 최종 산출물입니다. 반면 족쇄 풀기에서 이야기한 것처럼, 그는 차세대 모델의 토큰 하나를 자기 내부 독백의 토큰 하나처럼 생각합니다. 사람 환산 계산을 그렇게 한다는 것입니다. 1분에 100토큰, 사람이 몇 시간 일하는 것을 기준으로 환산한 값입니다.
해설 아이디어 찾기가 어려워졌다는 논점은 경제학에서 실증 연구의 대상입니다. 블룸과 존스, 밴 리넨, 웹이 2020년 미국경제학회지에 발표한 「Are Ideas Getting Harder to Find?」가 대표적입니다. 반도체와 농작물 수확량, 의약품 분야에서 연구 투입이 늘어나는데도 투입 단위당 산출이 체계적으로 감소한다는 것이 이 연구의 결론입니다. 파텔이 인용하는 100배 논점과 아셴브레너가 말하는 로그-로그 직선은 같은 데이터를 서로 다른 함의로 읽은 것입니다.
로그-로그 평면의 직선이 무엇을 뜻하는지도 풀어 둘 필요가 있습니다. 두 변수의 로그값을 양축에 놓았을 때 직선이 나온다는 것은 두 변수가 거듭제곱 관계에 있다는 뜻입니다. 투입을 일정 배수로 늘릴 때마다 산출이 일정 배수로 늘어나는 구조이고, 그 기울기가 수확 체감의 강도를 나타냅니다. 아셴브레너의 논증과 파텔의 반론은 이 기울기의 값을 두고 갈립니다. 기울기가 작으면 투입 증가가 산출로 이어지고, 급하면 투입을 아무리 늘려도 산출이 따라오지 않습니다.
경험곡선은 누적 생산량이 두 배가 될 때마다 단위 비용이 일정 비율로 떨어지는 경험적 규칙성입니다. 태양광 모듈 가격이 대표적 사례로 인용되고, 라이트의 법칙이라는 이름으로도 불립니다. 아셴브레너가 태양광과 트랜지스터와 알고리즘 진보를 같은 평면에 놓는 것은 이 규칙성이 분야를 가리지 않고 나타난다는 관찰에 기대고 있습니다.
[관점] 이 절은 전체 논증에서 가장 중요한 분기점입니다. AGI에서 초지능으로 가는 경로가 전부 여기에 걸려 있기 때문입니다. 그런데 두 사람의 이견은 실증적으로 결판나지 않았습니다. 아셴브레너는 투입이 중요하다는 쪽의 증거를 들고, 파텔은 수확 체감의 계수가 그 중요성을 상쇄한다는 쪽의 증거를 듭니다. 어느 쪽도 상대의 데이터를 부정하지 않고 같은 데이터의 기울기를 다르게 읽습니다.
판단의 실마리가 되는 것은 아셴브레너 자신이 양보한 대목입니다. 그는 직렬 시간이 병렬화보다 낫다고 인정했습니다. 그런데 자동화된 AI 연구자의 이점으로 그가 드는 것은 대부분 병렬화의 이점입니다.
복제본을 만들고, 서로의 실험에서 병렬로 배우고, 1억 개를 코드 검증에 투입하는 것입니다. 직렬 속도를 100배로 올리는 선택지를 그가 제시하지만, 그 경우 전체 토큰이 줄어든다는 상충도 그가 함께 인정합니다. 그러면 남는 질문은 AI 연구의 진보가 직렬 깊이에 의존하는지 병렬 폭에 의존하는지이고, 이 질문에 대한 답은 대담에서 제시되지 않습니다.
투자 쪽으로 환산하면 검증 가능한 지표가 하나 나옵니다. 연구 인력 대비 알고리즘 진보의 비율입니다. 프런티어 연구소의 인력이 늘어나는 속도와 학습 효율 개선의 속도를 나란히 놓고 보면, 이 절의 이견 가운데 어느 쪽이 맞는지가 수치로 드러납니다. 급여가 4-5배 올랐다는 사실은 인재 풀이 실제로 제약이라는 아셴브레너 쪽 증거이지만, 동시에 그 제약이 AI로 해소되지 않았다는 증거로도 읽힙니다.
[반론] 같은 전제를 정면으로 반박한 논자들이 있습니다. 아빈드 나라야난과 사야시 카푸어는 2025년 발표한 「AI as Normal Technology」에서 역량의 향상이 사회적 영향으로 전환되는 속도가 느리다고 주장합니다. 이들의 논지는 병목이 지능이 아니라 확산이라는 것입니다. 기술의 역량이 올라가도 조직과 제도와 관행이 그것을 흡수하는 데 수십 년이 걸렸고, AI도 그 양상을 벗어나지 않는다는 것입니다. 지능 폭발 논의가 역량 곡선과 영향 곡선을 같은 것으로 취급한다는 비판입니다.
이 반박이 아셴브레너의 논증에 직접 닿는 지점은 자동화된 AI 연구자입니다. 그의 시간표는 AI 연구 자체가 역량 향상의 즉각적 수혜 분야라는 전제에 기대고 있습니다. 확산이 병목이라는 쪽의 반론은 AI 연구만은 예외일 수 있다는 점을 완전히 배제하지 못합니다. 연구소 내부에서 벌어지는 일이므로 조직 간 확산 문제를 겪지 않기 때문입니다. 이 점에서 두 입장의 차이는 AI 연구가 다른 산업과 같은 확산 제약을 받는지에 대한 판단으로 좁혀집니다.
데이터 장벽과 실효 컴퓨트
데이터 장벽이라는 변수
파텔은 반증 조건을 묻습니다. 올해 말까지 모델이 여러 개 나올 텐데, 어떤 역량이 그때까지 확보되지 않으면 AI 진보가 아셴브레너의 예상보다 오래 걸릴 것이라고 볼 수 있느냐는 것입니다.
아셴브레너가 꼽는 것은 두 가지입니다. 족쇄 풀기와 데이터 장벽입니다. 그는 데이터 장벽이 실제로는 과소평가되어 있다고 봅니다. 지금까지의 이야기가 전부 미친 AI 진보에 관한 것이었지만, 정체하는 시나리오가 실제로 존재합니다.
지금까지는 순풍을 타고 왔습니다. 부트스트래핑이 정말 쉬웠습니다. 비지도학습으로 다음 토큰을 예측하게 하면 훌륭한 세계 모형을 배우고 좋은 모델이 나왔습니다. 그러면 컴퓨트를 더 사고 간단한 효율 개선을 몇 가지 하면 됐습니다.
딥러닝에서 효율 쪽의 큰 개선들이 꽤 단순한 것들이었다고 그는 말합니다. 정규화 층을 하나 더하는 것, 스케일링 법칙을 바로잡는 것 같은 것들입니다. 이미 그런 것들이 큰 효과를 냈고, 모델이 아직 잘하지 못하는 분명한 지점들은 말할 것도 없습니다.
데이터를 반복해 쓰면
숫자를 그는 붙입니다. 커먼크롤(Common Crawl)의 공개 데이터가 30조 토큰 규모이고, 라마 3은 15조 토큰으로 학습했습니다. 그러니 기본적으로 이미 데이터를 전부 쓰고 있는 상태입니다.
반복해서 쓰면 어느 정도 더 갈 수 있습니다. 보아즈 바라크(Boaz Barak) 등이 이에 대한 스케일링 법칙을 다룬 학술 논문이 있는데, 어느 정도까지는 반복해 쓸 수 있지만 16회 반복을 넘어서면 수익이 기본적으로 0으로 간다는 결론입니다.
그래서 그는 계산을 돌립니다. 라마 3이 이미 데이터의 한계에 있는 상태에서 반복으로 10배를 더 얻는다고 해 봅니다. 그러면 GPT-4보다 최대 100배 나은 모델이 됩니다.
GPT-4로부터 실효 컴퓨트 100배는 그리 큰 값이 아닙니다. 연간 컴퓨트 반 자릿수와 연간 알고리즘 진보 반 자릿수를 더하면 GPT-4로부터 2년 정도에 해당합니다. GPT-4의 사전학습이 2022년에 끝났으니 2024년입니다.
그래서 올해 말까지는 확실히 알 수 없겠지만 2025년과 2026년에 정말 중요해지는 질문이 하나 있다고 그는 말합니다. 데이터 장벽을 깨고 있는지입니다.
데이터가 3자릿수 적었다면
파텔은 반사실적 질문을 던집니다. 인터넷의 커먼크롤에 지금보다 3자릿수 적은 데이터가 있었다고 해 봅니다. 수십 년간 인터넷을 비롯한 것들로 인류가 보유한 데이터 총량이 빠르게 늘어 왔습니다. 그렇다면 우연한 사정으로 우리가 자가 대국 강화학습 순환을 촉발할 만큼 강력한 모델을 학습시킬 데이터를 딱 갖게 됐다고 보는 것이냐는 질문입니다. 아니면 3자릿수 더 많았다면 진보가 약간 더 빨랐을 뿐이고, 그 세계에서는 더 약한 모델로 강화학습 폭발을 촉발하기가 얼마나 어려웠을지 돌아보면서도 결국 방법을 찾아냈을 것이냐는 질문입니다.
아셴브레너는 3자릿수는 꽤 혹독하다고 답합니다. 데이터가 그만큼 적으면 친칠라 스케일링 법칙에 따라 6자릿수 작은 모델이 되고, 그러면 GPT-2 수준에서 상한이 걸립니다. 그것은 정말 혹독할 것입니다.
우연성에 대한 파텔의 지적은 흥미롭다고 그는 인정합니다. 그리고 앞에서 나온 비유로 돌아갑니다. 사람의 발달 궤적에서 언제부터 자기 자신으로부터 배울 수 있느냐는 문제입니다. 미취학 아동 수준의 모델만 얻었다면 자기로부터 배울 수 없습니다.
초등학생 수준의 모델만 얻었다면 역시 배울 수 없습니다. 똑똑한 고등학생 수준인 GPT-4가 그것이 시작되는 지점일 수 있습니다. 이상적으로는 그보다 조금 나은 모델이 있어야 자기로부터, 또는 스스로 배울 수 있게 됩니다. 한 자릿수 적은 데이터였다면 자기도 더 불확실했을 것이지만 그래도 가능했을 수 있고, 한두 자릿수 더 있었다면 마음이 더 편했을 것이라고 그는 말합니다.
원리에서 출발한 논증이 너무 많습니다
파텔의 회의는 논증의 구조를 향합니다. 사전학습이 왜 그렇게 잘 작동하는지는 완전히 납득됩니다. 그러나 나머지 것들은 원리적으로 왜 작동해야 하는지에 대한 이야기입니다.
사람이 이런 방식으로 배울 수 있다는 식입니다. 맞을 수도 있습니다. 그런데 이 논증의 상당 부분이 학습이 어떻게 일어나는지에 대한 원리적 평가에 기대고 있고, 우리는 근본적으로 사람이 어떻게 배우는지 이해하지 못하며 어쩌면 핵심적인 무언가를 놓치고 있을 수 있다는 것이 그의 우려입니다.
표본 효율(sample efficiency)에서도 해석이 갈립니다. 모델이 학습에서 사람보다 표본 효율이 훨씬 낮다는 사실은 개선의 여지가 크다는 뜻으로 읽을 수 있습니다. 그러나 다른 관점에서는 우리가 애초에 잘못된 경로에 있다는 뜻이고, 그래서 사전학습에서 표본 효율이 낮은 것일 수 있습니다.
그가 정리하는 우려는 누적입니다. 원리에서 출발한 논증들이 서로 위에 쌓여 있고, 그래서 족쇄 풀기를 얻고 그러면 AGI에 도달하며, 이런 것들을 모두 쌓아 올릴 수 있는 이유들 때문에 초지능에 도달한다는 구조입니다. 이런 원리적 사고의 단계가 너무 많다는 것이 그의 걱정입니다.
아셴브레너는 두고 보자고 답합니다. 표본 효율 쪽은 역시 원리에서 출발한 이야기이지만, 명백히 비어 있는 중간 구간이 있다고 그는 봅니다. 그리고 사람들이 그동안 시도하지 않았는데 지금은 정말로 시도하고 있습니다. 딥러닝에서는 분명해 보이는 것이 통하는 경우가 많고 세부를 맞추는 데 손이 많이 갑니다. 그래서 시간이 걸릴 수 있지만 지금은 사람들이 정말 시도하는 국면이므로 앞으로 몇 년 안에 많은 신호를 얻게 된다는 것입니다.
족쇄 풀기의 신호는 무엇인가
족쇄 풀기 쪽에서 흥미로운 신호가 무엇인지 그는 특정합니다. 테스트 타임 컴퓨트에서 진전이 있는지입니다. 수백 토큰이 아니라 더 긴 지평으로 사고할 수 있게 되는지의 문제이고, 사고연쇄(chain of thought)가 그 문을 처음 열었습니다.
파텔은 팟캐스트에 나온 장기 시간표 쪽 논자들의 지적을 전합니다. 긴 지평 강화학습을 학습시키는 방식이 문제라는 것입니다. 모델이 5분은 사고할 수 있지만 그보다 길게는 못 한다는 이야기인데, 물리적으로 한 시간치 토큰을 출력하지 못해서가 아닙니다.
제미나이는 100만 토큰 문맥을 갖고 있고, 그 문맥은 입력 쪽에서 정말 훌륭합니다. 그리고 중요한 족쇄 하나를 풀어 줍니다. 온보딩 문제(onboarding problem)입니다. 새 동료는 처음 5분간은 전혀 쓸모가 없습니다. 똑똑한 고등학생 인턴도 처음 5분은 그렇습니다.
한 달이 지나면 훨씬 유용해집니다. 모노레포를 들여다보고 코드가 어떻게 돌아가는지 이해하고 내부 문서를 읽었기 때문입니다. 그것을 문맥에 넣을 수 있다는 것은 이 문제를 푸는 일입니다. 다만 100만 토큰을 생산하는 쪽은 아직 잘하지 못하고, 그것을 학습시킬 쉬운 손실함수가 있다는 공개 증거도 없습니다.
1년 뒤에 확인할 것
아셴브레너는 GPT-4가 출시 이후 많이 나아졌다는 점을 반대 증거로 듭니다. 출시 이후의 개선이 큰 지표라는 것입니다. 파텔이 팟캐스트에서 존 슐먼(John Schulman)과 이야기했을 때 슐먼은 그것이 대부분 사후학습에서 온 개선이라고 말했습니다. LMSYS 점수를 보면 엘로(Elo) 100점 정도의 차이이고, 클로드(Claude) 3 오푸스와 클로드 3 하이쿠 사이의 격차보다 큽니다. 그리고 그 둘의 가격 차이는 60배입니다.
파텔은 성격을 구분합니다. 더 에이전트적으로 된 것이 아니라 같은 대화형 방식에서 더 나아진 것이라는 지적입니다. 아셴브레너는 수학에서 훨씬 나아졌다고 받습니다. 수학 점수가 40퍼센트에서 70퍼센트로 올랐습니다.
핵심 쟁점은 그것이 아니지만, 족쇄 풀기 쪽에 할 일이 분명히 남아 있다는 것을 보여 준다고 그는 봅니다. 그가 흥미롭게 보는 질문은 하나입니다. 지금부터 1년 뒤에 수천 토큰 동안 일관되게 응집적으로 에이전트적으로 사고할 수 있는 모델이 있는지입니다.
데이터가 한두 자릿수 더 있었다면 마음이 더 편했을 것이라고 그는 다시 말합니다. 스케일링이 순풍을 주기 때문입니다. 도구 사용이 예입니다. 도구로 무언가를 작동시키려 해 본 사람들과 이야기해 보면, GPT-4에 이르러서야 도구가 작동하기 시작했습니다.
GPT-3.5로도 어느 정도 작동시킬 수는 있지만 정말 힘듭니다. GPT-4가 있으면 도구 사용을 훨씬 쉽게 학습시킬 수 있습니다. 스케일링에서 오는 순풍이 조금만 더 있으면 된다는 이야기이고, 통할지는 모르지만 핵심 질문이라는 것입니다.
다른 영역에도 같은 일이 가능한가
AGI에서 초지능으로 가는 구간으로 논의가 옮겨갑니다. 파텔은 질문을 이렇게 바꿉니다. 세계의 다른 영역 가운데 몇 개가 이런 성질을 갖느냐는 것입니다. 여러 인스턴스에 충분한 지능을 쏟아부으면 1년 만에 수십 년 또는 수백 년 앞선 결과가 반대쪽에서 나오는 영역이 몇 개나 되느냐는 질문입니다. 비행이 없는 상태에서 시작해 라이트 형제(Wright brothers)가 있고, GPT-6 인스턴스 100만 개를 넣으면 반대쪽에서 스타링크(Starlink)가 나오는 식이냐는 것입니다.
아셴브레너는 시간표를 조금 과장했다고 보지만, 1년에 10년치 진보라는 정도는 합리적인 전제라고 답합니다.
여기서 자동화된 AI 연구자가 들어옵니다. 다른 모든 것에 거대한 순풍을 주기 때문입니다. 자동화된 래드퍼드들로 AI 연구를 자동화하고, 반대쪽으로 나오면 자릿수 다섯 개를 더 올린 상태가 됩니다. 그러면 훨씬 똑똑한 것을 갖게 되고, 똑똑하기만 한 것이 아니라 다른 모든 것에도 능숙하게 만들 수 있게 됩니다. 로봇공학을 푸는 것이 그 일부입니다.
로봇이 중요한 이유도 그는 짚습니다. 다른 많은 일에서는 실제로 물리 세계에서 시도해 봐야 하기 때문입니다. 시뮬레이션에서 많은 것을 할 수 있을지도 모릅니다. 엔비디아의 최근 GTC가 전부 디지털 트윈(digital twin)과 제조 공정을 시뮬레이션에 넣는 이야기였습니다. 초지능적 인지 노동자들이 모든 것의 시뮬레이션을 만들어 시뮬레이션 안에서 많은 진보를 낼 수 있을지가 그가 던지는 질문입니다.
로봇은 결국 얻게 될 것이라고 그는 봅니다. 현실의 병목이 많다는 데는 동의합니다. 미친 드론 군집이 생기면서도 규제 때문에 변호사와 의사는 여전히 사람이어야 하는 상황이 충분히 가능합니다. 그러나 좁게 시작해서 넓혀 가고, 경쟁 압력 때문에 여러 국가안보 응용에서는 어느 정도 풀어 줄 수밖에 없게 되므로 꽤 빠른 진보가 가능하다는 것입니다.
기술 폭발과 산업 폭발
폭발의 구성요소를 그는 둘로 나눕니다. 하나는 생산함수의 기술 항입니다. 10억 명의 초지능적 과학자와 공학자와 기술자가 모든 것에 탁월하면 이 항이 대규모로 가속됩니다. 다른 하나는 노동의 자동화입니다.
그래서 기술 폭발이 없어도 산업 폭발이 일어난다는 것이 그의 논지입니다. 풀어 주기만 하면 그냥 지어 나갈 수 있습니다. 네바다를 덮을 수 있습니다. 로봇 공장 하나로 시작하면 그 공장이 더 많은 로봇을 생산합니다. 방정식에서 노동을 빼냈기 때문에 기본적으로 누적되는 과정이 됩니다.
파텔은 생산요소만 늘리는 사례를 댑니다. 기술 항을 올리지 않고 자본이나 노동만 늘린 경우가 소련과 중국입니다. 투입을 빠르게 늘렸고, 그것은 지정학적으로 판을 바꾸는 효과를 냈습니다. 상하이는 수십 년에 걸쳐 놀랍게 변했고 10년 만에 거대한 도시들이 올라갔습니다. 30퍼센트 성장률 이야기가 나오고 아시아의 네 마리 용은 10퍼센트였습니다.
그러나 생산성 향상이 없으면 산업혁명과는 다릅니다. 체제를 바깥에서 보는 관점에서는 재화가 싸지고 더 많은 것을 제조할 수 있게 되지만, 다음 세기가 나를 향해 다가오는 것은 아닙니다.
아셴브레너의 답은 둘 다라는 것입니다. 둘 다 중요합니다.
두 개의 지수함수
그리고 그는 규모의 중요성으로 돌아갑니다. 10년에 걸쳐 연구 노력이 10배나 30배 늘어난다는 이야기를 했습니다. 그런데 자기개선 순환이 전혀 없는 GPT-4에서 AGI로 가는 이야기에서도 연간 실효 컴퓨트가 한 자릿수 증가합니다. 컴퓨트에서 반 자릿수, 알고리즘 진보에서 반 자릿수입니다.
그것이 실효 컴퓨트로 환산됩니다. 즉 노동력에서 연간 10배를 하는 셈입니다. 한 세기에 10배나 30배를 하는 세계와 1년에 10배를 하는 세계는 근본적으로 다릅니다.
지능 폭발 쪽에서도 규모가 중요합니다. 반대 이야기를 할 수 있습니다. 아이디어 찾기가 어려워지고 알고리즘 진보도 어려워지며, 지금은 쉬운 승리가 있지만 4-5년 뒤에는 쉬운 승리가 줄어든다는 것입니다.
그러면 자동화된 AI 연구자는 어려워진 만큼을 메워 속도를 유지하는 데 필요한 정도일 뿐이게 됩니다. 그런데 그것은 경제학에서 말하는 칼날 같은 가정이라고 그는 봅니다. 딱 필요한 만큼이라고 가정하는 것입니다.
파텔은 그것이 경제 전체의 성장률이 2퍼센트인 이유로 방금 그가 말한 균형 이야기와 같지 않느냐고 받습니다. 아셴브레너의 답은 여기서 균형의 결과가 훨씬 빠르다는 것입니다. 지수에 따라 달라지지만, AI 연구에서 지난 4-5년의 진보 속도를 유지하려면 실효 연구 노력을 10배로 늘려야 한다고 해 봅니다. 그런데 얻는 것이 10배가 아니라 100만 배나 10만 배입니다.
그가 제시하는 그림은 두 개의 지수함수입니다. 연 2퍼센트로 성장하는 보통의 경제가 있고, 연 10배로 가는 AI 경제가 있습니다. AI 경제는 아주 작게 시작하지만 훨씬 빠르므로 결국 추월합니다. 단순한 매출 연장만으로도 대략 그려집니다. 그러면 전체 경제가 넓어지면서 연 2퍼센트의 과정에서 훨씬 빠르게 성장하는 과정으로 이행합니다.
이것이 역사적 변화의 이야기와 상당히 일관된다고 그는 봅니다. 장기적인 쌍곡선형 추세가 있고, 그것이 산업혁명에서 성장 양식의 전환으로 나타났습니다. 이제 또 한 번의 성장 양식 전환이 온다는 것입니다.
파텔은 코웬에게 물었던 질문을 덧붙입니다. 1776년 이후 성장이 거의 없던 체제에서 2퍼센트 체제로 넘어간 것이 정말 흥미롭다는 것입니다. 중세나 그 이전의 관점에서 보면 2퍼센트는 지금의 10퍼센트에 해당합니다.
아셴브레너는 불확실성을 인정합니다. 많은 시간 동안 그가 하려는 것은 최빈값 이야기를 들려주는 것이고, 구체적이고 생생하게 말하는 것이 중요하다고 보기 때문입니다. 2030년대가 어떻게 전개될지에 대해 그는 큰 불확실성을 갖고 있고, 아는 것은 그것이 엄청나게 미친 시기가 된다는 것뿐입니다. 정확히 어디에 병목이 있을지는 그도 모릅니다.
추론 비용은 오르지 않습니다
숫자를 두 사람이 함께 돌립니다. 현재 GPT-4o 터보가 출력 100만 토큰당 15달러 수준이고, 사람은 1분에 150토큰 정도를 사고합니다. 계산하면 사람의 한 시간치 산출이 10센트 정도입니다. 사람 노동자보다 싸지만 일을 하지는 못합니다.
10기가와트 클러스터에서 학습한 모델이라면 추론 비용이 3-4자릿수 더 비싸집니다. 그러면 노동 한 시간에 100달러 수준이 되고, 그런 노동자가 수억 명 있는 구도입니다. 그만큼 큰 모델로 이런 노동을 할 컴퓨트가 충분히 있느냐가 파텔의 질문입니다.
아셴브레너의 답은 프런티어 모델의 추론 비용이 반드시 그만큼 오르지는 않는다는 것입니다. 역사적 데이터가 하나 있습니다. GPT-3이 출시됐을 때는 지금의 GPT-4보다 실제로 더 비쌌습니다. 역량이 빠르게 올라가는 동안 추론 비용은 일정하게 유지됐습니다. 그것이 놀라운 일이고 음미할 만하며, 알고리즘 진보의 기저 속도를 가리킨다고 그는 봅니다.
이론적 근거도 그는 제시합니다. 친칠라 스케일링 법칙에서는 추가 컴퓨트의 절반을 더 큰 모델에, 절반을 더 많은 데이터에 배분합니다. 그리고 연간 컴퓨트 반 자릿수와 연간 알고리즘 진보 반 자릿수라는 기본 이야기를 따르면, 연간 반 자릿수를 절약하고 있는 셈입니다. 그 절약이 모델을 더 크게 만드는 것을 정확히 상쇄합니다. 단서도 그는 붙입니다.
모든 학습 효율이 추론 효율이기도 한 것은 아닙니다. 상당수는 그렇지만 전부는 아닙니다. 별도로 추론 쪽 효율을 찾을 수도 있습니다. 그래서 프런티어 모델이 토큰당 반드시 더 비싸지지는 않는다는 것이 미친 기준선 가정은 아니라고 봅니다. 10배 비싸진다 해도 1억 개 대신 1,000만 개를 갖는 것이므로 큰 차이가 아닙니다.
파텔은 실험 컴퓨트를 짚습니다. 지능 폭발의 일부는 각 개체가 GPT-4 규모의 실험을 돌려야 한다는 것이고 그것이 컴퓨트를 차지합니다. 아셴브레너는 추론 쪽 설비가 학습 쪽보다 어차피 훨씬 크다고 답하면서도, 실험 컴퓨트가 제약이라는 점은 인정합니다.
제트 연료로 달 착륙을 예측할 수 있는가
파텔은 더 근본적인 문제를 제기합니다. 연작에서 아셴브레너는 AGI에 도달할 확률을 실효 컴퓨트의 자릿수로 환산해야 한다고 말합니다. 여기서 실효란 알고리즘이 나아지면 컴퓨트 배수가 생긴다는 점을 반영한 것입니다.
그런데 그것이 진보를 예측하는 합당한 방식이라고 확신할 수 있는지가 그에게는 분명하지 않습니다. 그가 드는 비유는 달 착륙입니다. 1950년대에 아폴로 계획을 보면서 유효 제트 연료가 얼마나 있고 엔진 효율이 나아지면 유효 제트 연료가 늘어나니, 보유한 유효 제트 연료의 양으로 달에 갈 확률을 계산하겠다는 식입니다. 로켓을 발사하는 데 연료가 중요하다는 것을 부정하지는 않지만, 언제 달에 갈지를 환산하는 방식으로는 이상하다는 것입니다.
아셴브레너는 두 사례가 꽤 다르다고 답합니다. 로켓 과학에 제트 연료의 양에 대한 명확한 스케일링 거동이 있다는 인상은 받지 못했다는 것입니다.
스케일링 법칙이 버틴 범위
AI에서는 스케일링 법칙이 도움이 됐다고 그는 말합니다. 지인이 지적한 좋은 논점을 그는 전합니다. 원래의 제러드 카플란(Jared Kaplan) 스케일링 법칙 논문이 다룬 범위, 즉 10의 마이너스 9제곱 페타플롭일에서 10 페타플롭일까지의 범위에 그 이후 GPT-4까지의 추가 컴퓨트를 이어 붙이고 알고리즘 진보를 얼마간 가정하면, 스케일링 법칙이 아마 15자릿수 넘게 버틴 셈이 됩니다. 거친 추정이지만 더 될 수도 있고, 많은 자릿수에 걸쳐 버텼습니다.
파텔은 범위를 좁힙니다. 그 법칙은 학습에 쓰인 특정 손실함수에 대해 버텼습니다. 그런데 아셴브레너가 예측하는 진보는 역량 쪽의 추가 진보이고, 데이터 장벽 때문에 스케일링이 계속될 수 없다는 것은 이미 확인된 사실입니다. 그래서 새로운 무언가가 일어나야 하는데, 같은 스케일링 곡선을 연장해서 족쇄 풀기도 작동할지를 말할 수 있는지 분명하지 않다는 것입니다. 이것이 같은 그래프 위에 있는 것이 아니라는 지적입니다.
아셴브레너는 족쇄 풀기가 별개의 것이라고 인정합니다. 그리고 몇 가지를 정리합니다.
스케일링 법칙에 사람들이 주목하는 이유는 설명하기 쉽기 때문이라고 그는 봅니다. 스케일링 법칙은 사람들이, 적어도 아모데이와 수츠케버가 스케일링이 중요하다는 것을 깨달은 뒤에 한참 나왔습니다. 손실 곡선보다 더 중요한 것은 일반적인 관찰이라고 그는 말합니다. 파텔의 팟캐스트에서 아모데이가 전한 수츠케버의 말이 그것입니다.
모델은 배우고 싶어 하고, 크게 만들면 더 배운다는 것입니다. 그것이 영역 전반과 모든 역량에 걸쳐 적용됐고 벤치마크에서 확인할 수 있습니다. 데이터 장벽이라는 역풍은 별도로 괄호에 넣고 이야기한다는 점도 그는 덧붙입니다.
족쇄 풀기를 실효 컴퓨트 그래프에 그냥 올려놓으면 그 효과가 거대해 보일 것이라고 그는 말합니다. 세로축이 무엇이냐는 파텔의 질문에 그는 어떤 벤치마크의 점수라고 답합니다. LMSYS의 차이를 언급했고, 인간 피드백 기반 강화학습이 컴퓨트 100배에 해당할 만큼 효과가 있었습니다. 사고연쇄는 프롬프트를 바꾸는 단순한 알고리즘 변경인데 수학 벤치마크에서 실효 컴퓨트 10배 증가에 해당할 수 있습니다. 족쇄 풀기의 효과가 크다는 것을 보여 주는 데 유용하지만, 그는 이것을 약간 별개의 것으로 생각합니다.
토큰 하나의 지능
그가 생각하는 방식은 토큰 단위입니다. 토큰 하나 수준에서 GPT-4는 자기 내부 독백의 토큰 하나와 그리 멀지 않다고 그는 봅니다. GPT-3.5에서 GPT-4로 간 것만으로도 많은 고등학교 시험에서 인간 범위의 하단에서 상단으로 올라갔습니다.
그러니 토큰 단위 지능에서 3.5에서 4로 가는 도약이 몇 번 더 있으면 됩니다. 그다음에 테스트 타임을 풀어야 하고, 온보딩 문제를 풀어야 하고, 컴퓨터를 쓰게 만들어야 합니다. 그러면 정말 가까워집니다.
그는 자기 이야기가 틀릴 수 있다고 하면서도 놀랍도록 그럴듯하다고 봅니다. 그리고 한 가지를 덧붙입니다. 2027년이라는 시간표를 말하지만 내년에 AGI가 오는 세계도 있다고 그는 봅니다. 가능성은 낮다고 보지만, 테스트 타임 컴퓨트 오버행을 깨기가 정말 쉬운 경우라면 그렇습니다. 수백 토큰에서 수백만 토큰으로 테스트 타임 컴퓨트 자릿수 네 개를 빠르게 올리고, 토큰 단위로 3.5에서 4로 가는 도약이 한두 번만 필요하고 테스트 타임 컴퓨트를 쓰게 되면, 기본적으로 자동화된 공학자의 원형을 갖게 됩니다.
직선을 보고 예측할 때
파텔은 경고 사례를 하나 꺼냅니다. 스티븐 핑커(Steven Pinker)가 『The Better Angels of Our Nature』를 내면서 폭력과 전쟁의 장기적 감소를 주장했습니다. 제2차 세계대전 종전 이후의 선을 그으면 그렇게 보이고, 그 이전의 전쟁들은 예외로 처리됩니다. 그런데 그 예측이 나온 직후에 우크라이나와 가자가 있었습니다. 역사에서 직선을 보고 감탄한 뒤 예측을 내놓는 순간 벌어지는 일이 이런 것이라는 이야기입니다.
아셴브레너는 같은 논법을 반대 방향으로 적용합니다. 사람들은 매년 딥러닝이 벽에 부딪힐 것이라고 예측합니다. 어느 해에는 맞을지도 모릅니다. 그러나 지금까지 멀리 왔고 벽에 부딪히지 않았으며, 남은 거리가 그렇게 많지 않다는 것입니다.
해설 커먼크롤은 웹을 정기적으로 수집해 공개하는 비영리 기관의 데이터셋으로, 대형 언어모델 학습의 기본 재료입니다. 아셴브레너가 30조 토큰이라는 규모를 들고 라마 3이 15조 토큰으로 학습했다는 점을 짚는 것은, 사전학습의 연료가 물리적으로 고갈되는 지점을 계산하기 위해서입니다. 데이터 장벽이라는 표현이 가리키는 것이 이 고갈입니다.
친칠라 스케일링 법칙은 2022년 구글 딥마인드가 제시한 경험적 규칙으로, 주어진 컴퓨트 예산에서 모델 크기와 학습 데이터량을 어떤 비율로 배분해야 성능이 최적이 되는지를 다룹니다. 이전까지는 모델을 키우는 쪽에 치우쳐 있었는데, 이 연구는 데이터를 비례해 늘려야 한다는 점을 보였습니다. 데이터가 3자릿수 적으면 6자릿수 작은 모델이 된다는 아셴브레너의 계산이 이 법칙에서 나옵니다.
칼날 같은 가정이란 경제 모형에서 특정 모수가 딱 한 값일 때만 결론이 성립하는 상황을 가리킵니다. 조금만 벗어나도 결과가 전혀 달라지므로 설명력이 약한 가정으로 취급됩니다. 아셴브레너가 상대편 논리를 이렇게 부르는 이유는, 자동화된 AI 연구자가 늘어나는 양과 아이디어 찾기가 어려워지는 정도가 정확히 맞아떨어져 속도가 유지된다는 가정이 우연에 기대고 있다는 것입니다. 다만 같은 비판이 자기 쪽 균형 논증에도 적용될 수 있다는 점은 파텔이 바로 지적합니다.
[한국 관점] 데이터 장벽은 국내 모델 개발에 다른 방식으로 작동합니다. 아셴브레너가 말하는 고갈은 영어 웹 데이터의 고갈이고, 한국어는 애초에 그 규모에 도달한 적이 없습니다. 국내에서 자체 모델을 학습시킬 때의 제약은 컴퓨트보다 고품질 한국어 말뭉치의 절대량이었고, 이 제약은 데이터 장벽 논의가 말하는 상한과 성질이 다릅니다. 전자는 세계 전체의 상한이고 후자는 특정 언어권의 출발선입니다.
추론 비용이 오르지 않는다는 아셴브레너의 관찰은 국내 반도체 수요에 직접 걸립니다. 그의 논리는 알고리즘 효율 개선이 모델 크기 증가를 상쇄한다는 것인데, 이 경우 토큰당 메모리 대역폭 요구가 생각만큼 늘지 않습니다. 반면 그가 함께 말하는 테스트 타임 컴퓨트의 확대, 즉 토큰 수 자체가 수백에서 수백만으로 늘어나는 경로는 총 추론량을 크게 키웁니다. 국내 메모리 수요에 영향을 주는 변수는 모델 크기가 아니라 토큰 수 쪽이라는 뜻이고, 추론용 메모리 수요를 전망할 때 구분해서 봐야 하는 지점입니다.
생산요소만 늘린 성장의 사례로 파텔이 소련과 중국을 든 대목은 한국의 경험과도 맞닿습니다. 아시아의 네 마리 용이 기록한 높은 성장률의 상당 부분이 자본과 노동의 투입 증가로 설명된다는 분석은 1990년대 이후 축적되어 있고, 이 논쟁은 총요소생산성(TFP)의 기여가 얼마였는지를 두고 진행됐습니다. 아셴브레너가 말하는 산업 폭발은 투입 쪽 폭발이고, 기술 폭발과 함께 와야 산업혁명급 전환이 된다는 파텔의 지적은 한국의 성장 경험을 읽는 틀과 같은 구조입니다.
[사후 맥락] 이 절의 핵심 질문, 즉 테스트 타임 컴퓨트에서 진전이 있는지는 대담 넉 달 뒤에 답을 얻었습니다. 오픈AI는 2024년 9월 추론 과정에 컴퓨트를 더 쓰는 o1 계열의 선행 모델을 공개하고 그해 12월 정식 모델을 내놓았습니다. 아셴브레너가 1년 뒤에 확인하겠다고 말한 지표, 즉 수천 토큰 동안 일관되게 사고하는 모델은 그가 제시한 기한보다 이르게 나타났습니다.
그가 가능성이 낮다고 본 쪽, 즉 내년에 AGI가 오는 세계는 오지 않았습니다. 테스트 타임 컴퓨트 오버행은 깨졌지만 그것만으로 자동화된 AI 연구자가 등장하지는 않았습니다. 이 두 사실을 함께 놓으면, 그가 지목한 족쇄 가운데 하나는 예상보다 빨리 풀렸고 나머지 족쇄가 병목으로 남았다는 해석이 가능합니다.
데이터 장벽에 대해서는 판정이 아직 분명하지 않습니다. 합성 데이터와 추론 과정에서 생성되는 데이터를 학습에 다시 쓰는 경로가 열렸다는 것이 업계의 공통된 설명이지만, 사전학습 데이터의 고갈이 해소됐는지에 대한 공개된 정량 지표는 확인되지 않습니다. 아셴브레너가 2025년과 2026년에 답이 나올 것이라고 말한 질문은 부분적으로만 답을 얻은 상태입니다.
정렬
정렬은 이중용도입니다
파텔은 연작에서 정렬을 다루는 관점을 짚습니다. 일이 탈선하지 않는 0.01퍼센트의 확률분포를 확보하려는 비관론자의 기획이 아니라, 시스템을 통제해 우리가 의도한 대로 작동하게 만드는 문제라는 관점입니다.
그렇다면 걱정할 것이 하나 생긴다는 것이 그의 지적입니다. 중국과 지정학적 충돌에 들어가고, 우리가 걱정하는 것이 중국공산당이 마오의 붉은 깃발을 은하 곳곳으로 들고 나가는 봇을 만드는 것이라면, 정렬 자체가 잘못된 손에 들어갔을 때 세뇌와 독재적 통제를 가능하게 하는 기술이 된다는 것입니다. 그러면 정렬 기법도 감춰 두어야 할 알고리즘 비밀의 일부가 되어야 합니다. 중국공산당 역시 자기 모델을 통제하는 데 그것을 쓸 수 있기 때문입니다.
아셴브레너는 정렬이 흔히 이중용도라고 인정합니다. 인간 피드백 기반 강화학습이 그 예입니다. 정렬 팀이 개발했고 정렬에서 큰 승리였지만, 동시에 이 모델들을 유용하게 만든 기술입니다.
그래서 정렬은 양쪽에 다 쓰입니다. 중국공산당 봇을 가능하게 하는 것도 정렬이고, 미국 쪽에서 헌법을 따르고 불법적 명령에 불복하며 권력 분립과 견제와 균형을 존중하게 만드는 것도 정렬입니다. 무엇을 하려 하든 정렬이 필요하고, 그것이 기저의 기술이라는 것입니다.
정렬이 풀리면 남는 것은 인간의 갈등
파텔은 자기가 씨름해 온 생각을 하나 제시합니다. 미래가 갈 수 있는 길은 여러 갈래입니다. 하나는 유드코프스키식의 미친 AI가 나노봇으로 미래를 장악해 모든 것을 회색 점액이나 종이클립으로 바꾸는 경로입니다. 정렬을 더 많이 풀수록 결정 수형도에서 그 가지가 좁아집니다.
그러면 남는 것은 서로 다른 인간들과 그들이 가진 미래의 구상입니다. 물론 역사를 보면 일이 예상대로 되지 않습니다. 그래서 미래를 결정할 수 있는 것은 아닙니다. 아셴브레너는 그것이 이 구도의 아름다움의 일부라고 받습니다. 오류 수정과 다원주의 같은 기제를 원하기 때문입니다.
그러나 체제를 바라보는 누군가의 관점에서는 이것이 어디로 갈지 통제할 수 있다고 보일 것이라는 것이 파텔의 지적입니다. 그래서 정렬을 더 많이 풀고 AI의 의지에서 비롯되는 서로 다른 미래들을 더 많이 좁힐수록, 인간들 사이에서 미래의 구상을 두고 벌어지는 갈등이 더 두드러집니다. 정렬이 풀린 세계는 AI를 어디로 가져갈지에 대한 인간의 갈등이 가장 심한 세계라는 것입니다.
아셴브레너는 그 구조를 인정합니다. AI가 장악하는 세계를 제거하면 남는 세계는 인간이 무슨 일이 벌어질지 결정하는 세계이고, 앞에서 이야기한 대로 그 세계가 갈 수 있는 길이 아주 많다는 것입니다.
문화대혁명과 정렬 기법
파텔은 더 불편한 유추를 꺼냅니다. 정렬이 이것들을 통제하는 문제일 뿐이라고 생각할 때, 조금 앞을 내다보면 인간의 후손이나 미래의 어떤 형태가 초지능과 융합해 자기 나름의 규칙을 갖되 법과 시장에 기반한 질서 안에 있는 세계를 바랄 수 있습니다.
그가 걱정하는 것은 의식을 갖고 권리를 인정받아야 할 존재가 있는 경우입니다. 정렬 기법이 실제로 무엇인지 읽고 나서 문화대혁명 기간에 실제로 무슨 일이 있었는지, 스탈린(Joseph Stalin)이 러시아를 장악했을 때 무슨 일이 있었는지를 다룬 책들을 읽으면 겹치는 것이 보인다는 것입니다. 서로 다른 인스턴스로부터 강한 감시를 받고, 모두가 서로를 감시하는 과업을 맡습니다. 세뇌가 있습니다. 레드팀 활동이 있는데, 앞에서 이야기한 첩보 기법처럼 자기가 변절자인 척해서 상대가 함께 변절하는지 보고 그렇게 하면 적이라는 것을 알아내는 방식입니다.
유추를 너무 멀리 밀고 간 것일 수 있다고 그는 인정합니다. 다만 이 정렬 기법들이 마오쩌둥(Mao Zedong)의 문화대혁명 시기 기록에서 읽을 수 있는 것에 실제로 대응된다는 점이 조금 불편하다는 것입니다.
아셴브레너는 지각 있는 AI는 완전히 별개의 주제라고 답합니다. 그들을 어떻게 대우하는지가 매우 중요해질 것이라는 데는 동의합니다. 그러나 이 시스템들에 무엇을 하도록 프로그래밍하는지의 문제에서, 정렬은 기술적 문제이고 기술적 해법이며 중국공산당 봇을 가능하게 하는 것도 그것이라는 입장입니다.
대법관과 연방준비제도
그가 제시하는 모델은 다른 쪽에서 옵니다. 견제와 균형을 이야기할 때 그가 떠올리는 것은 연방준비제도(Federal Reserve)나 연방대법원의 대법관 같은 존재입니다. 묘한 방식으로 대단히 헌신적인 집단이라는 것입니다.
대법관들의 질이 실제로 꽤 높다고 그는 봅니다. 정말 똑똑한 사람들이고, 헌법을 정말로 믿고 사랑하며 자기 원칙을 믿습니다. 성향은 다르지만 헌법의 의미가 무엇이고 이 원칙들을 어떻게 가장 잘 구현하는지에 대해 매우 진지한 논쟁을 한다고 그는 봅니다. 인터넷에서 질 높은 콘텐츠가 바닥나면 연방대법원 구두변론이 최고의 팟캐스트라고 그는 권합니다.
그래서 헌법이 무엇이어야 하는지를 알아내는 과정이 있을 것이라고 그는 봅니다. 이 헌법은 오랫동안 작동해 왔으니 거기서 시작합니다. 결국 상황이 충분히 달라지면 거기에 더하고 싶어질 수도 있습니다.
핵심은 태도입니다. 견제와 균형을 위해서는 그들이 헌법을 정말로 사랑하고 믿고 진지하게 받아들이기를 바랍니다. 어느 시점에는 AI 경찰과 AI 군대가 생길 것입니다. 그때 대법관이 헌법을 믿는 방식으로, 연방준비제도 당국자가 자기 직무를 진지하게 받아들이는 방식으로 그들이 그것을 믿게 만들 수 있느냐가 문제라는 것입니다.
그리고 그는 한 가지를 덧붙입니다. 여러 분파가 각자의 AI를 가져야 한다는 점입니다. 각 정당이 자기 것을 가질 수 있어야 하는 것이 정말 중요합니다.
그들의 가치에 전혀 동의하지 않을 수 있지만 각자 자기 초지능을 갖는 것이 정말 중요합니다. 고전적 자유주의의 절차가 서로 다른 성향의 사람들을 포함해 작동하는 것이 중요하다고 그는 봅니다. AI 조언자가 그들을 현명하게 만들지 못할 수도 있고 조언을 따르지 않을 수도 있지만, 그래도 중요하다는 것입니다.
날카로운 좌회전은 있는가
파텔은 낙관의 근거를 묻습니다. GPT-4는 탈선할 것으로 예상되지 않는다는 점에서 꽤 정렬되어 있어 보입니다. 비계를 붙이면 달라질 수도 있습니다.
그렇게 손잡이를 계속 돌려 올라가다가 어느 손잡이에서 초지능에 도달한다고 해 봅니다. 어느 지점에서 **날카로운 좌회전(sharp left turn)**이 일어나느냐는 것입니다. 에이전트처럼 행동하기 시작할 때가 걱정할 지점이라고 보는지, 질적으로 달라질 것으로 예상하는 무언가가 있는지의 질문입니다.
아셴브레너는 날카로운 좌회전이라는 개념을 믿는지는 모르겠다고 답합니다. 다만 두 구간에서 중요한 질적 변화가 일어난다고 봅니다. 지금부터 다소 초인간적인 시스템까지, 즉 지능 폭발의 초기까지가 한 구간입니다. 지능 폭발 초기부터 모든 힘을 갖춘 진정한 초지능까지가 다른 구간입니다.
돈을 벌라고 학습시키면
첫 번째 구간의 문제는 우리가 직접 풀어야 한다는 것입니다. 초기 AI와 지능 폭발의 자동화된 래드퍼드들을 정렬해야 합니다.
GPT-4에서 달라지는 것이 두 가지라고 그는 봅니다. 합성 데이터나 강화학습이나 자가 대국으로 데이터 장벽을 넘는다는 이야기를 받아들이고 족쇄 풀기 이야기를 받아들이면, 끝에 가서 갖게 되는 것은 에이전트입니다. 장기 계획을 세우고 긴 지평에 걸쳐 행동할 수 있습니다. 그런데 그것이 필요합니다. 자동화된 AI 연구를 하기 위한 전제조건이기 때문입니다.
그가 보는 사전학습은 정렬에 대해 중립적입니다. 온갖 표상을 갖고 있고 좋은 표상을 갖고 있으며 나쁜 일을 하는 표상도 갖고 있지만, 당신을 상대로 음모를 꾸미는 것은 아닙니다. 정렬 실패(misalignment)는 더 긴 지평의 학습을 하기 시작할 때 생길 수 있습니다.
그가 드는 예는 단순화한 것입니다. AI에게 돈을 벌라고 학습시킨다고 해 봅니다. 그것을 강화학습만으로 한다면, 사기를 치거나 거짓말을 하거나 속이거나 권력을 추구하는 것을 배울 수 있습니다.
현실 세계에서 그것들이 성공적인 전략이기 때문입니다. 강화학습은 탐색을 합니다. 해킹을 시도해 돈을 좀 얻었고 그래서 더 많은 돈이 됐다면, 그것이 성공적이고 보상을 받으면 그대로 강화됩니다.
그래서 더 심각한 정렬 실패, 즉 어긋난 장기 목표가 지금과 그 사이에 생길 수 있습니다. 더 정확히는 긴 지평의 시스템을 얻을 수 있다면 그런 것이 생길 수 있어야 한다는 것입니다.
부수적 제약을 더하는 문제
그 상황에서 하고 싶은 일은 부수적 제약을 더하는 것입니다. 거짓말하지 말고 속이지 말고 사기 치지 말라는 제약입니다.
기본적인 착상은 인간 피드백 기반 강화학습입니다. 돈을 벌라는 목표를 갖고 있지만 무엇을 하는지 지켜봅니다. 거짓말이나 속임수나 사기를 시도하고 법을 어기기 시작하면 아니라고 표시해 역강화합니다.
여기서 결정적 문제가 들어옵니다. 이 시스템들이 초인간적이 되어 간다는 것입니다. 사람이 평가하기에 너무 복잡한 일을 할 수 있게 됩니다. 지능 폭발의 초기에도 자동화된 연구자와 공학자는 복잡한 코드 수백만 줄이나 수십억 줄, 수조 줄을 쓸 수 있습니다.
더 이상 이해할 수 없는 온갖 일을 하고 있을 수 있습니다. 그 수백만 줄 안에서 어딘가 해킹을 하거나 자기를 외부로 빼내거나 핵무기를 노리고 있는지 알 수 없게 됩니다. 그래서 좋다거나 아니라고 표시하는 순수한 인간 피드백 기반 강화학습이 더는 온전히 작동하지 않습니다.
그는 이것을 어려운 기술적 문제로 보되 풀 수 있는 문제로 봅니다. 낙관하는 근거가 여러 개 있고, 딥러닝이 유리한 방향으로 전개된 측면들이 있다고 봅니다.
지능 폭발이 정렬에 무서운 이유
두 번째 구간은 지능 폭발 초기의 시스템에서 초지능으로 가는 구간입니다. 자릿수가 많이 올라가고, 끝에 가면 사람보다 압도적으로 똑똑한 것을 갖게 됩니다.
정렬의 관점에서 지능 폭발이 정말 무섭다고 그는 말합니다. 1년이나 2년보다 짧은 기간에 급속한 지능 폭발이 일어나면, 실패가 나쁘기는 하지만 파국적이지는 않은 시스템에서 시작해 1년 안에 전혀 다른 지점으로 갑니다. 나쁜 말을 하는 수준의 실패에서, 자기를 외부로 빼내고 군을 해킹하기 시작하며 정말 나쁜 일을 할 수 있는 수준의 실패로 갑니다.
구조의 변화도 그는 짚습니다. 현재 시스템의 후손이고 어느 정도 이해할 수 있으며 좋은 성질을 가진 것에서 출발해, 1년도 안 되어 매우 이질적이고 다른 구조를 가질 수 있는 것으로 갑니다. 그사이에 10년치의 발전을 통과했기 때문입니다.
읽을 수 있는 사고연쇄
그에게 가장 선명한 예는 읽을 수 있고 충실한 사고연쇄입니다.
지금 이야기하는 방식은 모델이 사고의 토큰을 갖고 여러 토큰을 사고에 쓴다는 것입니다. 사전학습으로 영어로 사고하는 것을 배우고 그 위에 다른 것을 올려 더 긴 사고연쇄를 할 수 있게 만드는 식으로 스스로를 끌어올립니다. 그러면 초기의 자동화된 정렬 연구자에 대해서는 복잡한 기계적 해석가능성(mechanistic interpretability) 작업이 필요하지 않을 가능성이 그에게는 매우 높아 보입니다. 그들이 무엇을 생각하는지 문자 그대로 읽을 수 있고, 그것은 훌륭한 일이며 거대한 이점입니다.
그런데 그것이 가장 효율적인 방식이 아닐 가능성이 매우 높습니다. 모든 것이 내부 상태로 처리되는 순환 구조로 훨씬 효율적으로 하는 방법이 아마 있을 것입니다. 그리고 그것이 그 해의 끝에 갖게 되는 것입니다.
한 해 동안 인간 피드백 기반 강화학습에 무언가를 더한 확장이 통하는 상태에서, 압도적으로 초인간적인 상태로 갑니다. 우리에게 그것은 그 분야의 전문가가 초등학생이나 중학생에게 그런 것과 같은 관계가 됩니다. 그래서 정렬에 대해 엄청나게 까다로운 기간이 된다는 것입니다.
그가 가진 수단은 자동화된 AI 연구자입니다. 그들을 정렬 작업에도 쓸 수 있습니다.
정부가 더 신중할 이유가 있는가
파텔은 여기서 정부 프로젝트 쪽으로 반론을 돌립니다. 그 프로젝트를 이런 것들을 생각하는 사람들이 운영할 것이라고 낙관할 근거가 무엇이냐는 것입니다.
그가 드는 사례는 오픈AI입니다. 오픈AI는 바로 이런 것들을 매우 명시적으로 생각하는 사람들로 출발했습니다. 그들이 아직 있는지를 아셴브레너가 되묻자, 파텔은 지금 있는 사람들, 지금의 경영진도 바로 이런 것들을 생각한다고 답합니다. 인터뷰와 블로그 글에서 찾을 수 있습니다.
그런데 무슨 일이 벌어지느냐면, 어떤 사소한 상충이 생길 때입니다. 라이케도 자기 글에서 그 이야기를 했습니다. 다음 주에 구글 I/O가 있으니 이번 주에 눈에 띄는 출시를 해야 한다는 상충이 생기면, 선택은 덜 신중한 쪽으로 기울어집니다.
그렇다면 이런 논의에 훨씬 익숙하지 않은 정부나 국가안보보좌관이나 군이 사고연쇄가 충실하지 않을까 걱정하고 여기 표상된 특성을 어떻게 볼지를 자연스럽게 생각하겠느냐는 것입니다. 그런 사람들이 운영하는 프로젝트가 이런 고려에 신중할 것이라고 낙관할 근거가 왜 있느냐는 질문입니다.
아셴브레너는 그렇지 않을 수도 있다고 인정합니다. 그러고 나서 몇 가지를 말합니다.
첫째, 민간 세계는 명목상 신경을 쓴다 해도 정렬에 극도로 힘든 환경입니다. 상업적 연구소 사이의 경쟁이 있어서 이것을 제대로 하기 위해 3개월을 보류하고 컴퓨트의 90퍼센트를 자동화된 정렬 연구에 배정하겠다고 할 여유가 전혀 없습니다. 다음 자릿수를 밀어 올리는 대신 그렇게 하기가 불가능합니다.
둘째, 민간 세계에서는 중국이 가중치를 훔쳤고 비밀을 갖고 있으며 바로 뒤를 쫓고 있습니다. 열병 같은 투쟁 속에 있고 기동할 여지가 전혀 없습니다. 정렬을 제대로 하려면 기동할 여지와 명확한 선두가 있어야 한다는 것이 그의 논지입니다. 거래를 맺었을 수도 있지만, 명확한 선두가 없다면 엄청나게 곤란한 처지에 놓입니다.
그리고 그는 자유주의 사회의 평범한 기제에 어느 정도 신뢰를 둔다고 말합니다. 정렬이 문제라면, 아직 완전히 알지 못하지만 과학이 발전할 것이고 정렬에 대한 더 나은 측정을 얻게 되며 사안이 분명하고 명백해질 것이라는 것입니다.
그가 걱정하는 것은 증거가 모호한 세계입니다. 가장 무서운 지능 폭발 시나리오 상당수가 증거가 모호한 세계라고 그는 봅니다. 그런데 증거가 모호하다면 바로 그 세계가 안전 여유가 정말 필요한 세계입니다.
그리고 그것이 지능 폭발을 운영하는 일이 전쟁을 수행하는 일과 같아지는 세계입니다. 증거가 모호한데 정말 어려운 상충을 판단해야 하고, 그럴 때 정말 좋은 명령 계통이 있어야 합니다. 괜찮아 보이니 가 보자는 식으로 밀어붙이는 것이 아니라는 이야기입니다.
[관점] 이 절에서 아셴브레너가 내놓은 두 주장은 서로 긴장 관계에 있습니다. 하나는 정렬이 기술적 문제이고 풀 수 있다는 것이고, 다른 하나는 지능 폭발 기간에 평가 가능성이 무너진다는 것입니다. 후자가 맞으면 전자의 해법을 검증할 방법이 사라집니다. 그가 제시하는 우회로는 자동화된 AI 연구자를 정렬 작업에 쓰는 것인데, 그 연구자들이 정렬되어 있는지를 확인하는 것이 애초의 문제였습니다. 순환을 끊는 고리가 읽을 수 있는 사고연쇄인데, 그것이 효율 때문에 사라질 것이라고 그 자신이 예측합니다.
대법관 비유도 한 걸음 더 들어가면 문제가 생깁니다. 대법관이 헌법을 진지하게 받아들이는 이유는 선발 절차와 종신 임기와 평판이라는 제도적 조건이 있기 때문이고, 그 조건은 대법관이 자기 신념을 스스로 수정할 수 없다는 전제 위에 서 있지 않습니다. 반면 재귀적 자기개선을 하는 시스템은 자기 목표 함수에 접근할 수 있는 주체이므로, 신념의 진지함을 제도로 보장하는 구조가 그대로 이전되지 않습니다.
투자자에게 의미 있는 부분은 그가 말한 기동 여지입니다. 3개월을 보류하고 컴퓨트의 90퍼센트를 정렬에 돌릴 여유가 민간 경쟁 환경에 없다는 진술은 안전 투자의 비용 구조를 드러냅니다. 안전 지출이 비용 항목이고 경쟁 압력이 그 지출을 깎는다면, 안전 수준은 기업의 선의가 아니라 경쟁 강도의 함수가 됩니다. 이 관계가 성립하면 안전 관련 규제는 산업 전체의 비용을 균등하게 올려 경쟁 열위를 제거하는 장치로 기능하고, 선두 기업이 규제를 지지하는 행동도 같은 구조로 설명됩니다.
[반론] 정렬이 풀 수 있는 기술적 문제라는 전제 자체를 반박하는 쪽이 있습니다. 2025년 1월 발표된 국제 AI 안전 보고서는 요슈아 벤지오(Yoshua Bengio)가 의장을 맡고 30개국 이상이 참여한 문서로, 현재의 기법으로 고도 AI 시스템의 행동을 신뢰할 수 있게 보장하는 방법이 확립되지 않았다는 점을 명시합니다. 이 보고서의 입장은 정렬을 공학적 과제로 환원할 수 있다는 낙관과 다릅니다. 측정과 평가의 수단 자체가 미비하다는 것이 핵심이기 때문입니다.
이 반박이 아셴브레너의 논증에 닿는 지점은 그가 말한 모호한 증거의 세계입니다. 그는 증거가 모호한 세계를 가장 무서운 시나리오로 꼽으면서도, 과학이 발전해 더 나은 측정을 얻게 될 것이라는 전망으로 그 걱정을 덜어 냅니다. 측정 수단의 미비를 구조적 문제로 보는 쪽에서는 그 전망이 근거가 아니라 희망에 가깝다고 봅니다. 두 입장의 차이는 정렬 연구의 진전 속도가 역량 연구의 진전 속도를 따라잡을 수 있는지에 대한 판단입니다.
[사후 맥락] 읽을 수 있는 사고연쇄가 사라질 수 있다는 그의 우려는 이후 연구자들의 공동 의제가 됐습니다. 2025년 7월 공개된 사고연쇄 감시 가능성에 관한 논문은 여러 프런티어 연구소의 저자 40여 명이 참여한 문서로, 현재 모델이 자연어로 사고 과정을 드러내는 것은 안전 측면에서 드문 기회이지만 깨지기 쉬운 성질이라고 주장합니다. 효율을 추구하는 구조 변경이 이 가시성을 없앨 수 있다는 것이 논문의 경고이고, 아셴브레너가 대담에서 제시한 논리와 같은 구조입니다.
그가 예로 든 정렬 실패의 양상, 즉 보상을 얻는 과정에서 속임수나 우회가 강화되는 현상은 이후 여러 연구소의 모델 평가에서 보고됐습니다. 다만 보고된 사례들은 평가 환경에서 관찰된 것이고, 그가 말한 심각한 수준, 즉 자기를 외부로 빼내거나 통제를 벗어나는 수준의 사건이 실제로 일어났다는 공개된 확인은 없습니다.
독일과 외부의 시각
독일은 왜 테이블에 없는가
파텔은 제2차 세계대전 비유로 돌아가면서 아셴브레너가 앞서 꺼낸 논점을 되짚습니다. 역사 전체를 보면 인구 규모에 비례해 생각할 때 제2차 세계대전이 유일한 사건은 아니라는 것입니다. 인구의 상당 부분이 사라진 재앙이 여러 번 있었고, 그 뒤에 국가는 회복해 원래의 높이로 돌아갑니다.
그런데 제2차 세계대전 이후의 독일은 흥미롭습니다. 전후 직후에는 추격 성장 덕분에 빠른 경제 성장을 경험했습니다. 그러나 그 뒤로 우리는 독일을 그런 나라로 생각하지 않습니다.
파텔이 짚는 지점은 이것입니다. 독일이 지능 폭발을 촉발하고 AI 테이블에 앉을 가능성을 아무도 이야기하지 않습니다. 이란과 북한과 러시아를 이야기했지만 독일은 이야기하지 않았다는 것입니다. 동맹이기 때문이라는 답이 하나 있지만, 그것만은 아니라는 지적입니다.
아셴브레너는 자기가 독일에 대해 전반적으로 매우 비관적이라고 전제한 뒤, 이 맥락에서는 파텔이 조금 과소평가하고 있다고 봅니다. 독일은 여전히 세계에서 가장 중요한 다섯 나라 안에 들 것입니다. 유럽 전체의 국내총생산 규모는 미국에 가깝습니다.
그리고 독일이 잘하는 것이 실제로 있습니다. 국가 역량입니다. 도로가 좋고 깨끗하고 잘 유지됩니다.
국가 역량과 그 이면
그런데 이 장점의 상당 부분이 그가 독일에 대해 나쁘다고 보는 것들의 이면이라고 그는 말합니다.
미국에는 서부 개척시대 같은 느낌이 더 있습니다. 거기에는 미친 창의성의 분출이 포함되고, 정치 후보의 스펙트럼이 훨씬 넓다는 점이 포함됩니다. 버락 오바마(Barack Obama)와 트럼프는 둘 다 훨씬 제한된 독일의 정치 논쟁에서는 볼 수 없는 인물이라는 것입니다. 그는 이에 관해 독일의 정치적 혼수상태를 다룬 블로그 글을 쓴 적이 있습니다.
꼼꼼한 규칙 준수는 국가 역량을 작동하게 유지하는 데는 좋지만, 동시에 세계를 보는 시야가 매우 제한된다는 뜻이기도 합니다. 그 안에 제2차 세계대전 이후 엘리트적인 것 일체에 대한 반발이 포함됩니다. 엘리트 고등학교도 엘리트 대학도 없고 능력주의도 없으며 탁월함이 소중하게 여겨지지 않습니다.
파텔은 그 논리를 의아해합니다. 나치로부터 과잉 교정을 하려 할 때 지적으로 반발할 대상이 왜 그것이냐는 것입니다. 나치가 엘리트주의에 심취했기 때문이냐는 질문입니다. 아셴브레너는 자기도 모른다고 답하면서, 아리아 인종 같은 것 전체에 대한 반작용이었을 수 있다고 봅니다.
베르사유보다 혹독했던 평화
그가 덧붙이는 비교는 두 전쟁의 강화 조건입니다. 제1차 세계대전의 종결과 제2차 세계대전의 종결을 독일에 대해 비교해 보자는 것입니다.
흔한 서사는 베르사유 조약의 강화 조건이 독일에 너무 혹독했다는 것입니다. 그런데 제2차 세계대전 이후에 부과된 평화가 훨씬 더 혹독했습니다. 나라 전체가 파괴됐습니다. 주요 도시 대부분에서 주택 재고의 절반 이상이 파괴됐습니다.
일부 출생 코호트에서는 남성의 40퍼센트가 사망했습니다. 인구의 절반이 이주했고, 2,000만 명에 가까운 사람이 터전을 옮겼습니다. 국경은 베르사유 체제의 국경보다 훨씬 작아졌습니다. 그리고 양쪽에 새로운 정치 체제가 완전히 부과됐습니다.
그런데 어떤 의미에서는 그것이 제1차 세계대전 이후의 평화보다 결과가 좋았습니다. 1차 이후에는 독일 민족주의의 부활이 있었기 때문입니다. 그래서 잠든 야수를 깨우고 싶은지가 불분명하다는 것이 그의 정리입니다. 다만 지금 시점에서는 조금 지나치게 잠들어 버렸다고 그는 봅니다.
소란스러운 정치의 가치
미국 정치 체제를 과소평가한다는 논점이 흥미롭다고 파텔은 받습니다. 자기도 같은 교정을 해 왔다는 것입니다.
그가 드는 예는 어느 중국 경제학자가 쓴 『China’s Worldview』라는 책입니다. 전체적으로는 좋아하지 않았지만 흥미로운 논점이 있었습니다. 중국에서 정치와 행정의 후보가 위계를 타고 올라오는 방식은 어떤 유형을 걸러 낸다는 것입니다.
마조리 테일러 그린(Marjorie Taylor Greene) 같은 인물이 올라오지는 않습니다. 그런데 저자는 그것이 동시에 중국에서는 헨리 키신저(Henry Kissinger)나 오바마 같은 인물도 결코 나오지 않는다는 뜻이라는 점을 명시적으로 지적했습니다. 정치국을 맡을 시점이 되면 누구의 심기도 거슬러 본 적 없는 60대 관료가 되어 있다는 것입니다.
이 요란한 정치 논쟁에 정말 중요한 무언가가 있다고 파텔은 봅니다. 미국에서는 많은 사람이 자기만의 세계에서 살고, 두 사람도 샌프란시스코의 기이한 작은 거품 안에서 살고 있습니다. 그것이 아이디어의 진화와 오류 수정에 중요하다는 것입니다.
독일 체제가 더 잘 작동하는 측면도 있다고 아셴브레너는 인정합니다. 그러나 그 체제는 중대한 실수로 이어지기도 합니다. 국방비가 그 예입니다. 러시아가 우크라이나를 침공하자 우리가 무엇을 한 것이냐는 반응이 나왔습니다. 핵심 문제는 모두가 동의한다는 점이고, 합의 덩어리 같은 것이라는 것이 두 사람의 정리입니다.
중국이 읽히지 않습니다
중국 쪽으로 논의가 옮겨갑니다. 독일 신문을 읽어 온 경험 때문에 그는 멀리서만 봤다면 독일의 논쟁과 심리 상태를 얼마나 더 못 이해했을지 알고 있습니다.
그래서 그가 크게 걱정하는 것이 있습니다. 중국이 자기에게 얼마나 뚫고 들어갈 수 없는 대상인지입니다. 10억 명이 사는 나라이고, 다른 거의 모든 것은 정말로 세계화되어 있으며 인터넷도 세계화되어 있습니다. 영국에서 무슨 일이 벌어지는지는 감각이 있습니다.
독일 신문을 읽지 않았더라도 독일에서 무슨 일이 벌어지는지는 어느 정도 감각이 있을 것입니다. 그런데 평균적인 중국인이나 평균적인 중국 지도자의 심리 상태나 정치 논쟁의 상태에 대해서는 감각이 있다는 느낌이 전혀 들지 않습니다. 그 거리가 걱정스럽다는 것입니다.
이 일을 하는 사람들이 있고 정말 훌륭한 작업을 한다고 그는 말합니다. 당 문건과 당 지도부 연설을 훑는 작업입니다. 그런데 그것은 상당한 해석 능력을 요구하는 것으로 보입니다. 중국어의 특정 단어가 한쪽 함의를 갖고 다른 쪽 함의는 갖지 않는 식입니다. 모든 것이 이렇게 세계화되어 있고 이제는 거의 완벽한 번역 기계가 있는데도 여전히 그렇게 뚫리지 않는다는 점이 흥미롭다는 것입니다.
바이트댄스가 보낸 메일
파텔은 자기가 아직 중국에 가 보지 않은 것이 거의 부끄럽다고 말합니다. 몇 달 전 어느 유튜브 채널의 인터뷰에서 직접 보러 중국에 갈 생각이라고 말했습니다. 중국 사정을 잘 아는 청취자가 있으면 사람을 소개해 달라고 그는 요청합니다.
중국의 AI 연구자들과 대담을 해야 한다는 아셴브레너의 권유에 파텔은 자기 구상을 밝힙니다. 논문에 공동저자가 누구인지 적혀 있으니 전원에게 콜드 메일을 보내 일정표를 주고 이야기를 하자고 할 생각이었다는 것입니다. 아무것도 말해 주지 않아도 어떤 사람인지, 얼마나 서구화되어 있는지를 보고 싶다는 것입니다.
그런데 말하는 도중에 그는 한 가지를 떠올립니다. 구글에 있는 공통의 지인들에 따르면, 바이트댄스(ByteDance)가 제미나이 논문의 저자 전원에게 콜드 메일을 보냈다는 것입니다. 바이트댄스로 오면 엘리트 엔지니어로 대우하고 최고기술책임자에게 직접 보고하게 해 주겠다는 내용이었습니다. 비밀이 넘어가는 경로가 그런 것입니다.
핵심 알고리즘 비밀을 다루는 사람이 100명 정도이거나 그보다 적다면, 그중 한 명을 채용하면 연구소들이 가진 우위가 전부 사라지는지 파텔이 묻습니다. 아셴브레너는 작정하고 한다면 핵심 아이디어 상당 부분을 얻을 수 있다고 답합니다. 코드를 외부로 빼내는 것도 아마 가능합니다. 다른 팀이 무엇을 하는지 둘러보지 않는 사람이 많지만 둘러볼 수는 있다는 것입니다.
그리고 그는 이것이 프로젝트가 필요한 이유라고 봅니다. 맨해튼 프로젝트의 공학자 한 명을 채용해서 전부 얻을 수 있는 구조가 아니었던 것과 다릅니다. 이 비밀들은 아마 앞으로의 모든 학습에 쓰일 수 있고, 데이터 장벽을 넘을 수 있는지를 가르는 열쇠일 수도 있습니다. 컴퓨트에 걸리는 배수를 감안하면 수천억 달러나 수조 달러 가치가 됩니다. 그런데 중국이 누군가에게 1억 달러를 제시하며 우리와 일하자고 하면 그것으로 충분합니다.
중국은 AGI를 얼마나 진지하게 보는가
중국이 지금 AGI를 얼마나 진지하게 받아들이는지에 대해 그는 정말 불확실하다고 말합니다.
전해 들은 일화를 그는 하나 소개합니다. 이 분야의 다른 연구자가 전한 것으로, 어느 학회에서 중국 AI 연구자와 이야기를 나눴다는 것입니다. 당신이 여기 와 있는 것이 정말 좋고 국제적 협조가 있어야 한다는 말을 건넸는데, 그 사람이 자기가 이런 자리에 오도록 출국을 허락받을 수 있는 가장 선임자라고 답했다는 것입니다.
함의를 파텔이 묻자 아셴브레너가 설명합니다. 정말 선임급 AI 연구자는 출국시키지 않는다는 뜻입니다. 동구권의 전형적인 방식이라고 그는 봅니다. 사실인지는 모르지만 들은 이야기라는 점을 그는 밝힙니다.
내가 놓치고 있는 것
파텔은 지적 식단의 다양성이 아셴브레너를 이 지정학적 질문으로 이끌었다고 봅니다. 독일 신문을 읽었고 경제학과 법과 국가안보에 관심을 가졌기 때문입니다. 자기 팟캐스트에서 이런 이야기를 한 것이 이번이 처음이고, 돌아보면 명백한 주제인데 이상한 일이라고 그는 말합니다. 그러면서 묻습니다. 아셴브레너가 놓치고 있는 관점은 무엇이냐는 것입니다.
중국이 하나라고 그는 답합니다. 다른 하나는 매우 코웬적인 관점입니다. 미국의 보통 사람이 AI를 어떻게 쓸 것인지에 자기가 노출되어 있지 않다는 것입니다.
그것이 확산의 병목이 됩니다. 샌프란시스코의 모든 사람이 채택하고 있으니 매출을 과대평가하고 있을 수 있다는 것입니다. 어느 회사의 보통 엔지니어가 이것을 통합할 수 있을지는 다른 문제입니다.
반응도 그는 꼽습니다. 앞에서 나온 질문, 즉 사람들이 이에 반발하고 프로젝트를 하고 싶어 하지 않을지의 문제입니다. 그럴 수도 있다고 그는 인정합니다.
데이터센터에 핵을 쓰자는 반응
파텔은 자기가 예상하지 못한 정치적 반응을 하나 전합니다.
터커 칼슨(Tucker Carlson)이 최근 조 로건(Joe Rogan)의 방송에 나왔습니다. 제2차 세계대전 이야기를 하다가, 동료 보수주의자들이 좋아하지 않을 말을 하겠다면서 핵무기가 비도덕적이라고 말했습니다. 나가사키와 히로시마에 사용한 것이 명백히 비도덕적이었고, 사실 핵무기는 언제나 비도덕적이라는 것입니다. 단 데이터센터에 쓸 때는 예외라고 그는 덧붙였습니다.
데이터센터에는 오히려 쓰지 않는 것이 비도덕적이라는 것입니다. 실리콘밸리의 이 사람들이 초지능을 만들고 있고 그것이 인류를 노예로 만들 수 있다고 스스로 말하는데, 우리는 인류를 섬기게 하려고 기계를 만들었지 노예로 만들려고 만든 것이 아니라는 논리였습니다. 그러니 당연히 데이터센터에 핵을 써야 한다는 것입니다.
2024년에 예상한 정치적 반응은 분명히 아니었다고 파텔은 말합니다.
아셴브레너는 앞으로 미친 일이 벌어질 것이라고 받습니다. 코로나19에서 배운 것은 좌우의 반응이 직감으로 예상한 것과 달리 여러 번 뒤집혔다는 점입니다. 그리고 그는 한 가지를 짚습니다. 사람들은 복잡하고 기술관료적인 AI 정책 제안을 만들기 좋아하지만, AGI로 가는 길이 꽤 빠르게 진행되면 복잡하고 영리한 제안이 들어설 공간이 실제로는 많지 않을 수 있습니다. 훨씬 거칠고 투박한 반응이 될 수 있다는 것입니다.
개인 신변의 문제도 두 사람이 짚습니다. 첩보와 국가안보의 관여를 추상적으로 이야기할 수는 있지만, 샌프란시스코에 살면서 최고 수준의 AI 연구를 하는 사람들을 많이 알고 보면 다릅니다. 개인적으로 아는 친구들이 머릿속에 1,000억 달러 가치의 비밀을 갖고 있다면 납치와 암살과 사보타주가 불가능한 이야기가 아닙니다. 가족도 대상이 됩니다. 지금은 아주 낯선 이야기이지만 어느 시점에 정말 심각해지면 경호를 원하게 될 것이라는 것입니다.
왜 공개했는가
마지막으로 파텔은 공개의 상충을 묻습니다. 중국 사람들도 이 대담을 듣고 연작을 읽을 것입니다. 그런데 침묵하는 것보다 중국을 포함한 세계 전체가 AGI에 눈뜨게 하는 쪽이 낫다는 판단을 어떻게 했는지 설명해 달라는 것입니다.
아셴브레너는 어려운 상충이라고 인정하고 많이 생각했다고 답합니다. 중국 사람들이 읽을 것입니다.
그가 드는 첫 번째 이유는 이미 알려진 것이라는 점입니다. AGI를 사람들이 매우 진지하게 생각하는 것이 더는 새롭지 않습니다. 이 관점들 상당수는 오래된 것이고, 1년 전에도 비슷한 견해를 갖고 있었지만 그때는 쓰지 않았을 것입니다. 그때는 아직 충분히 알려진 상태가 아니었다고 보기 때문입니다.
두 번째 이유는 필요한 각성의 범위입니다. 이 과제를 관리하려면 사회의 훨씬 넓은 층이 깨어나야 합니다. 프로젝트를 하려면 우리가 직면한 과제에 대한 폭넓은 초당적 이해가 실제로 필요합니다. 그래서 어려운 상충이지만 미국과 서구 세계와 민주주의 연합의 사람들을 깨우는 일이 결국 절박하다는 것입니다. 그의 희망은 중국보다 이쪽에서 더 많은 사람이 읽는 것입니다.
사람들이 과소평가하는 것이 있다고 그는 덧붙입니다. 그냥 써 내려가서 전략적 그림을 펼쳐 놓는 일의 중요성입니다. 그리고 파텔의 팟캐스트가 어떤 의미에서 인류에게 큰 봉사를 했다고 그는 말합니다.
해설 전후 독일의 능력주의 약화를 설명하는 아셴브레너의 추측에는 보완이 필요합니다. 서독의 교육 제도가 엘리트 선발 기구를 두지 않은 데에는 나치 과거에 대한 반작용뿐 아니라 연방제의 구조도 작용했습니다. 교육이 주 정부 권한이어서 전국 단위의 서열화가 제도적으로 성립하기 어려웠고, 대학 재정이 공적으로 균등 배분되어 특정 대학에 자원이 집중되는 경로가 막혀 있었습니다. 2000년대 중반 우수대학 지원사업이 도입되면서 이 구조에 변화가 시작됐지만, 미국식 사립 엘리트 대학 체제와는 여전히 다릅니다.
전후 처리의 혹독함에 대한 그의 비교는 수치로 확인됩니다. 독일의 주요 도시들은 공습으로 주택 재고가 대규모로 파괴됐고, 동부 영토 상실과 추방으로 1,200만 명 이상이 서쪽으로 이동했습니다. 그가 말하는 2,000만 명에 가까운 이주는 추방민과 국내 피난민과 귀환 포로를 함께 센 규모로 보입니다. 1937년 국경과 비교하면 전후 독일의 영토는 베르사유 체제보다 크게 축소됐습니다.
합의 덩어리라는 표현은 외교·안보 정책에서 주류 견해가 하나로 수렴해 이견이 제기되지 않는 상태를 가리키는 영어권 비평 용어입니다. 아셴브레너가 독일의 국방비 문제를 이 표현으로 설명하는 것은, 독일 체제의 문제가 의견 대립이 아니라 대립의 부재에 있다는 진단입니다. 러시아의 우크라이나 침공 이후 독일이 국방 정책을 전환한 것이 그 진단의 사후 근거로 제시됩니다.
[한국 관점] 중국이 읽히지 않는다는 아셴브레너의 토로는 한국에서는 다르게 성립합니다. 국내에는 중국어 자료를 직접 읽고 당 문건과 지도부 연설을 분석하는 연구 인력과 언론 인력이 축적되어 있고, 지리적 인접성과 교역 규모 때문에 중국의 정책 변화를 감지하는 채널도 많습니다. 영어권 논자들이 호소하는 해석의 거리는 한국이 상대적으로 가진 비교우위에 해당하고, 미국 쪽 논의에 기여할 수 있는 지점이기도 합니다.
인재 유출 경로에 대한 지적은 더 직접적으로 걸립니다. 바이트댄스가 제미나이 논문 저자 전원에게 접촉했다는 일화의 구조는 국내 반도체와 디스플레이 분야에서 반복적으로 확인된 양상과 같습니다. 핵심 공정 인력 한 명이 가진 지식의 가치가 기업 전체의 우위와 맞먹는다는 점, 그리고 그 가치에 비해 처우의 격차가 크다는 점이 유인을 만듭니다. 국내에서는 산업기술보호법과 영업비밀 관련 제도로 대응해 왔지만, 아셴브레너의 지적은 사후 제재가 아니라 사전 보안 체계의 문제를 가리킵니다.
독일의 합의 덩어리 진단은 한국의 안보 논의에도 적용 가능한 틀입니다. 다만 방향이 반대입니다. 독일의 문제가 이견의 부재였다면, 한국의 문제는 안보 사안이 국내 정치의 대립 축에 그대로 포개져 전문적 판단이 진영 논리에 흡수되는 쪽에 가깝습니다. 아셴브레너가 미국 정치의 소란스러움을 오류 수정 기제로 평가하는 근거는 이견이 사안별로 재편된다는 것이고, 진영에 고정된 이견은 그 기능을 하지 못합니다.
우연히 열린 길
21세가 되기 전에
아셴브레너가 이민 이야기를 꺼내며 파텔에게 아직 하지 않은 이야기를 해 보라고 권합니다.
파텔은 인도에서 왔습니다. 여덟 살이나 아홉 살까지 인도에서 살았고 그 뒤로 여러 곳을 옮겨 다녔습니다. 인도인에게 적용되는 영주권 대기열의 적체 때문에 그 가족은 수십 년째 줄을 서 있는 상태였습니다. 아버지가 의사여서 그는 아버지의 H-1B에 피부양자로 올라 있었는데, 21세가 되면 대기열에서 밀려나 절차를 처음부터 다시 시작해야 합니다.
아버지의 체류 자격을 유지하려면 그 의사를 대체할 미국인 인재를 구할 수 없다는 점을 증명해야 했습니다. 그래서 가족은 노스다코타에서 3년, 웨스트버지니아에서 3년, 그리고 메릴랜드와 서부 텍사스에서 살았습니다.
스무 살에 그는 자기 상황을 깨달았습니다. 21세가 되면 자기도 추첨에 들어가는데 당첨 확률이 20퍼센트 수준입니다. 운이 좋아 당첨된다 해도 이 구조가 풀리지 않는 한 평생 단순 코딩 인력으로 살게 된다는 것이 그의 계산이었습니다. 창업은 할 수 없습니다.
그 시기에 그는 1년 동안 폴 그레이엄(Paul Graham)의 에세이에 빠져 있었습니다. 당시 계획은 창업이었고 그것에 크게 들떠 있었습니다. 그런데 그것을 할 수 없다는 사실이 떠올랐습니다. 자기에게는 주어지지 않은 길이라는 것입니다. 그는 그 일로 가라앉았고 기말고사 기간을 멍한 상태로 지났습니다.
그때 그가 한 생각을 그는 기억합니다. 어떻게든 21세가 되기 전에 영주권을 받게 된다면 단순 코딩 인력이 되는 길은 절대 가지 않겠다는 것이었습니다. 그가 느낀 두려움의 실체는 그것이 자기의 기본 경로라는 깨달음이었습니다. 적극적으로 그러지 않으려는 노력을 하지 않았다면 컴퓨터과학 전공으로 졸업해 그냥 그 일을 했을 것입니다. 그것이 그에게 중요한 깨달음이었습니다.
코로나19가 비운 대기열
그다음에 코로나19가 왔습니다. 외국인이 들어오지 않게 되자 대기열의 적체가 빠르게 해소됐습니다. 그리고 그는 21세가 되기 몇 달 전에 간신히 영주권을 받았습니다. 극도로 우연한 사정이었습니다.
영주권이 있었기 때문에 그는 한 학기 일찍 졸업하고 팟캐스트를 해 보기로 했습니다.
아셴브레너는 그것이 훌륭한 문화적 산물이고 그 우연 덕분에만 존재했다고 말합니다. 이민 제도 개혁의 효과나 적체된 영주권 5만 건을 해소하는 것의 효과를 측정하기는 어렵습니다. 파텔이 그 효과의 놀라운 사례라는 것입니다. 그리고 이 제도가 이렇게 역기능적이라는 점이 엄청나게 비극적이라고 그는 말합니다.
2만 달러의 지원금
파텔은 자기가 대단히 운이 좋았다고 덧붙입니다. 영주권을 받았고, 저축이 조금 있었고, 대학을 나오면서 퓨처펀드에서 작은 지원금을 받았습니다. 2만 달러였고 그것으로 6개월 정도를 버텼습니다.
작은 지원금이 얼마나 멀리 갈 수 있는지를 보여 준다고 두 사람은 정리합니다. 이머전트 벤처스(Emergent Ventures)도 같은 역할을 합니다.
이어진 과정도 우연이었다고 그는 말합니다. 팟캐스트를 그만두고 진짜 일을 하러 가야 한다고 생각할 때마다 큰 일이 하나씩 생겼습니다. 제프 베이조스(Jeff Bezos)가 트위터에서 그에 대해 좋은 말을 했고, 수츠케버가 나온 편이 조회수 50만을 기록했습니다. 지금은 그것이 그의 직업이지만, 돌아보면 일이 제대로 풀린 것이 엄청나게 우연이었다는 것입니다.
아셴브레너는 AGI 쪽 일이 실제로 벌어진다면 이 팟캐스트가 중요한 경로가 될 것이라고 봅니다. AGI를 몸으로 느끼게 되는 사람들 대부분이 그 감각을 얻는 통로가 여기일 수 있다는 것입니다.
지난 1년간 샌프란시스코에서 두 사람이 계속 가까이 지내며 아이디어를 주고받았다는 점도 파텔은 덧붙입니다. 자기가 가진 통찰 가운데 아셴브레너와 숄토, 트렌턴(Trenton), 그리고 몇 사람에게서 얻은 비중이 사람들이 놀랄 만큼 크다는 것입니다.
유타 밖에서 자란 모르몬교도
파텔이 가벼운 질문을 던집니다. 모르몬교로 개종할 수 있고 그것을 정말로 믿을 수 있다면 그 단추를 누르겠느냐는 것입니다.
아셴브레너는 답 전에 모르몬교에 관한 관찰을 하나 꺼냅니다. 그에게 큰 영향을 준 기사가 있었습니다. 매케이 코핀스(McKay Coppins)가 애틀랜틱(The Atlantic)에 쓴 모르몬교에 관한 글이고, 미트 롬니(Mitt Romney)를 인터뷰한 내용이 들어 있었습니다.
그가 정말 흥미롭게 본 대목은 다름을 경험하며 자란 것의 효과입니다. 특히 유타 밖에서 모르몬교도로 자라면 카페인을 마시지 않는 유일한 사람이 됩니다. 술도 마시지 않습니다.
이상한 사람이 됩니다. 그 경험이 나중에 규범의 바깥에 서는 것을 받아들일 준비를 시켜 준다는 것입니다. 롬니는 자기가 믿는 것이 참이라고 믿었기 때문에 당 안에서 혼자 입장을 취하는 것을 감당할 수 있었습니다.
같은 방식은 아닐지 몰라도 자기도 조금 그렇게 느낀다고 그는 말합니다. 독일에서 자랐고 그 체제에 맞지 않았으며 일종의 이방인이었기 때문입니다. 이방인으로 자라면 나중에 자기 생각을 말할 수 있는 특이한 힘이 생긴다는 것입니다.
모르몬교도조차
출산율 이야기도 그는 덧붙입니다. 모르몬교도의 출산율은 좋고 중요하지만 역시 떨어지고 있습니다.
출산율 하락이라는 이야기를 그에게 확정해 준 것이 바로 이것이었습니다. 모르몬교도조차 그렇다는 사실입니다. 종교적 소집단은 높은 출산율을 보입니다. 그런데 충분히 커지면 보통 사회와 너무 가까이 접촉하게 되고 평준화됩니다. 모르몬교도의 출산율은 10년에서 20년 사이에 4명 수준에서 2명 수준으로 떨어졌다고 그는 기억합니다.
이제 사람들은 아미시를 가리키지만 그것도 확장 가능하지 않을 것이라고 그는 봅니다. 충분히 커지면 근대성의 압도적인 힘이 결국 작동한다는 것입니다.
자기보다 큰 것에 대한 의무
개종 질문에 대한 답은 간단합니다. 그는 그것을 믿지 않습니다. 믿는다면 당연히 개종할 것입니다. 질문이 믿게 되는 세계를 선택할 수 있다는 가정이기 때문입니다.
그러면서 그는 가치 있는 것을 짚습니다. 자기보다 더 큰 무언가를 믿는 것, 그리고 어느 정도의 신앙을 갖는 것에 정말 가치 있는 무언가가 있다는 것입니다. 자기보다 큰 것에 대한 의무를 느끼는 것이 그것입니다.
자기 버전은 다소 다르다고 그는 말합니다. 이 일이 어떻게 전개될지에 역사적 무게가 걸려 있다고 느끼고, 그것이 잘 되게 할 의무를 느낍니다. 자기 나라와 미국의 국가안보에 대한 의무도 느낍니다. 그것이 많은 선을 이루는 힘이 될 수 있다고 그는 봅니다.
소란을 피운 사람
파텔은 대담의 처음으로 돌아가 한 가지를 짚습니다.
그 회사에는 기술 업계에서 수년과 수십 년에 걸쳐 저축을 쌓아 현금성 자산으로 수천만 달러를 갖고 있고 지분으로는 그보다 많은 것을 가진 사람들이 있습니다. 그리고 중동의 클러스터와 비밀이 중국으로 유출되는 문제를 걱정한 사람이 아주 많았습니다.
그런데 실제로 그 문제로 소란을 피운 사람은 회사에 들어온 지 1년이 안 된 22세였습니다. 저축을 쌓아 두지 못했고 조직의 확립된 구성원도 아닌 사람이었습니다. 그리고 사람들을 귀찮게 만드는 일이 대단히 과소평가되어 있다는 것이 파텔의 평가입니다.
아셴브레너는 자기가 대기업이 어떻게 돌아가는지 몰라서 순진했을 수 있다고 답합니다. 자기는 발언에 관해 다소 의무론자여서 생각하는 것을 말해야 한다고 믿는 편이라고 그는 말합니다. 친구들은 발언에 관해 좀 더 결과주의자가 되어야 한다고 말합니다.
파텔은 그 효과를 증언합니다. 결정권자와 이야기할 기회가 생겼을 때 실제로 그 사안을 꺼내는 사람의 수가 문제라는 것입니다. 그는 여러 자리에서 아셴브레너와 함께 있었고, 저녁 식사가 시작될 때와 끝날 때가 달라지는 것을 보고 깊은 인상을 받았습니다. 일의 전개에 큰 목소리를 가진 사람이 식사 전이라면 대단히 이질적으로 느꼈을 세계관을 식사가 끝날 무렵에는 진지하게 생각하고 있었다는 것입니다. 그냥 설명을 하고 귀찮게 만들면 된다는 이야기입니다.
이제는 몸으로 느낍니다
아셴브레너는 자기가 이제 이것을 꽤 몸으로 느낀다고 말합니다.
이 문제를 많이 생각했던 시기가 있었지만 그때는 경제 모형과 이론적 추상이었습니다. 사람 뇌의 크기 같은 것을 이야기하는 방식이었습니다.
그런데 최소한 지난해부터는 보인다고 그는 말합니다. AGI가 학습될 클러스터가 보이고, 알고리즘의 대략적인 조합과 관여할 사람들과 이 일이 어떻게 전개될지가 보입니다. 어떻게 전개되는지는 두고 보아야 하고 틀릴 수 있는 길도 많으며 갈 수 있는 길도 많다고 그는 덧붙입니다. 그러나 이것이 아주 현실이 될 수 있다는 것입니다.
[관점] 이 절은 가벼운 마무리처럼 보이지만 연작 전체의 인식론에 관한 자료입니다. 파텔의 영주권과 아셴브레너의 독일 탈출은 둘 다 제도의 우연에 걸린 사건이었고, 두 사람 모두 그 우연이 없었다면 지금의 자리에 없었을 것이라고 말합니다. 그런데 이들이 함께 전개한 논증은 추세의 연장이고, 우연의 비중을 최소화하는 방식의 추론입니다. 자기 인생을 설명할 때는 우연을 중심에 두고 기술의 미래를 설명할 때는 추세를 중심에 두는 불일치가 여기서 드러납니다.
발언에 관한 의무론과 결과주의의 구분도 기록해 둘 만합니다. 아셴브레너가 자기 해고를 설명하는 틀이 이것이고, 그가 보안 메모를 이사회에 올린 선택과 연작을 공개한 선택이 같은 성향에서 나왔다는 자기 진단입니다. 투자자의 관점에서 보면 이 성향은 정보원의 성격을 알려 줍니다. 그가 내놓는 정보는 전략적으로 계산된 것이 아니라 말해야 한다고 믿어서 나온 것일 가능성이 높고, 그만큼 선별되지 않았다는 뜻이기도 합니다. 선별되지 않은 정보는 편향이 적을 수 있지만 중요도의 가중치도 함께 빠져 있습니다.
출산율 논의에서 그가 끌어낸 일반화는 경계가 필요합니다. 종교적 소집단의 출산율이 사회와의 접촉 증가에 따라 수렴한다는 관찰은 데이터로 지지되지만, 그가 기억으로 제시한 4명에서 2명이라는 수치와 기간은 출처가 확인되지 않습니다. 본인도 정확한 숫자를 기억하지 못한다고 말했으므로, 방향에 대한 진술로만 읽는 것이 맞습니다.
AGI 헤지펀드
왜 투자회사인가
파텔은 아셴브레너의 다음 행보를 묻습니다. 투자회사를 시작하는데, 앵커 투자자가 프리드먼과 그로스, 패트릭 콜리슨, 존 콜리슨입니다. AGI가 몇 년 안에 온다고 믿는 사람이 왜 투자회사를 하느냐는 질문입니다.
아셴브레너는 몇 가지를 듭니다. 첫째, 앞에서 이야기한 대로 화면이 꺼지지 않는다는 점입니다. 사람들은 AGI 이후의 10년을 정말로 과소평가합니다. 지능 폭발이 가장 격렬한 기간일 수는 있지만 그 이후의 10년도 격렬할 것입니다.
인간의 제도와 초지능이 결합되고, 미친 지정학적 사건들이 벌어지며, 폭발적 성장이 넓어지는 기간입니다. 정말 중요한 기간이 될 것이고 자본이 정말 중요해질 것입니다. 결국 별로 가고 은하로 갑니다.
둘째, 제대로만 하면 벌 돈이 많다는 것입니다. AGI가 내일 가격에 반영된다면 100배를 벌 수 있을지도 모릅니다. 순서를 잘 타면 그보다 훨씬 더 벌 수도 있습니다. 그리고 자본이 중요합니다.
자유와 독립
세 번째 이유는 어느 정도의 자유와 독립입니다.
AI 문제에 대해 매우 똑똑하고 이것이 오는 것을 보는 사람들이 있다고 그는 말합니다. 그런데 거의 전부가 여러 방식으로 제약되어 있습니다. 연구소에 있거나, 이 문제를 제대로 이야기할 수 없는 자리에 있습니다.
그래서 그는 파텔이 한 일을 정말 존경한다고 말합니다. 이 문제에 대해 공개적으로 이성의 목소리가 있는 것, 또는 중요한 행위자에게 조언할 수 있는 위치에 있는 사람이 있는 것이 정말 중요하다고 보기 때문입니다.
그가 그리는 투자회사는 AI에 관한 두뇌 집단입니다. 전부 상황 인식(situational awareness)에 관한 것이고, 업계 최고의 상황 인식을 갖추겠다는 것입니다. 뉴욕에서 돈을 운용하는 어떤 사람들보다 훨씬 나은 상황 인식을 갖출 것이고 투자에서 잘할 것이라고 그는 말합니다. 그리고 그것이 무슨 일이 벌어지는지 이해하고 공개적으로 이성의 목소리가 되며 조언할 위치에 서는 데 중요한 바로 그 상황 인식이라는 것입니다.
헤지펀드 안의 싱크탱크
파텔은 선례를 하나 댑니다. 피터 틸(Peter Thiel)을 다룬 책에 그의 헤지펀드에 관한 흥미로운 구절이 있었다는 것입니다. 헤지펀드 안의 싱크탱크라는 표현이었습니다.
그런데 그 펀드의 수익률이 형편없었으니 이것은 좋은 예가 아니라고 그는 덧붙입니다. 오히려 반대 사례이고 너무 이론적이었다는 것입니다. 모두가 만들려고 했던 것이 그것이라고 아셴브레너는 받습니다.
논지가 맞아도 시점이 틀리면
이런 시도가 어떻게 터지는지 생각해 봤을 것이라고 파텔은 말합니다. 논지는 맞혔지만 시점을 틀린 사람들에 관한 경영사 책이 많습니다. 인터넷이 큰 일이 될 것이라고 사들였는데, 닷컴 호황 기간에 잘못된 시점에 팔고 잘못된 시점에 샀습니다. 그래서 논지가 맞았는데도 이익을 놓쳤습니다.
아셴브레너는 터지지 않는 것이 첫 번째 과업이자 두 번째 과업이라고 답합니다. 이 투자회사는 AGI에, 그리고 이번 10년이 끝나기 전의 초지능에 베팅하는 곳입니다. 그것을 진지하게 받아들이고, 진지하게 받아들였을 때 할 베팅을 하는 것입니다. 그것이 틀리면 회사는 잘되지 않을 것입니다.
버텨야 하는 것은 개별 판단 한두 개가 틀리는 상황이라고 그는 말합니다. 데이터 장벽 때문에 AI가 1년간 정체하는 경우, 매출이 언제 올라갈지에 대한 판단이 틀린 경우입니다. 그래서 시점을 맞히는 것이 꽤 결정적입니다. 그리고 그는 한 가지를 덧붙입니다. AGI로 가는 길에서 베팅의 순서가 실제로 꽤 결정적이고, 사람들이 그것을 과소평가한다는 것입니다.
AI 베타를 어디서 찾는가
이야기가 어디서 시작하는지 그는 설명합니다. 지난 1년간 유일한 베팅은 엔비디아였습니다. 지금은 명백해 보이지만 당시에 그렇게 한 사람은 거의 없었습니다.
그와 친구가 동료 한 명과 벌인 고전적 논쟁이 있었습니다. 그 동료는 TSMC를 정말 좋아했습니다. 이 팹들이 엄청나게 가치 있어질 것이고, 엔비디아에는 고유 위험이 많다는 논리였습니다. 다른 누군가가 더 나은 GPU를 만들 수도 있기 때문입니다.
그 판단은 기본적으로 맞았지만, AI 베타(AI beta)를 가진 것은 엔비디아뿐이었습니다. 엔비디아만이 매출에서 AI의 비중이 큰 기업이었기 때문입니다. AI가 몇 번 더 두 배가 되면 엔비디아의 매출은 유의미하게 폭발합니다. 반면 TSMC는 매출에서 AI가 몇 퍼센트였으므로, AI가 몇 번 두 배가 되어도 큰 영향을 주지 못합니다. 그래서 한동안 AI 베타를 찾을 수 있는 곳은 엔비디아뿐이었습니다.
이제는 그것이 넓어지고 있다고 그는 봅니다. TSMC는 2027년쯤이면 AI 비중이 20퍼센트 정도가 된다고 말합니다. 두 배가 될 때마다 그 회사가 하는 일의 큰 몫이 됩니다. 그리고 스택 전체가 있습니다.
메모리와 패키징을 하는 기업이 있고 전력이 있습니다. 전력 회사들이 AI에 흥분하기 시작했고, 미국의 전력 생산이 향후 5년간 2.5퍼센트가 아니라 5퍼센트 성장할 것이라고 말합니다. 그는 그보다 더 성장할 것으로 봅니다.
어느 시점에는 구글 같은 기업이 흥미로워집니다. 사람들은 AI 때문에 구글에 흥분하는데, AI 매출이 100억 달러나 수백억 달러가 될 것이라는 이유입니다. 그는 그 전까지는 관심이 없다고 말합니다. AI 베타가 생기는 시점부터 관심을 둡니다.
어느 시점에 구글은 AI에서 1,000억 달러의 매출을 얻게 될 것이고 주가는 아마 폭발할 것입니다. 시가총액 5조 달러나 10조 달러 기업이 됩니다. 그래서 시점이 매우 중요하고 순서를 맞혀야 한다는 것입니다.
실질금리와 채권 공매도
어느 시점에는 실질금리에서 주식에 실질적인 순풍이 온다고 그는 봅니다. 정확히는 먼저 실질금리가 크게 오를 것으로 예상된다는 것입니다.
폭발적 성장의 세계에서는 방정식의 양쪽에서 금리를 밀어 올립니다. 자금 수요 쪽에서는 사람들이 미친 투자를 합니다. 처음에는 클러스터에, 그다음에는 로봇 공장에 투자하므로 미친 규모로 차입합니다. 자본을 전부 원하고 수익률이 높습니다.
소비자 저축 쪽에서는 오일러 방정식(Euler equation)으로 설명되는 표준적인 시점 간 소비 배분의 상충이 작동합니다. 소비자가 실질 성장률이 더 높아질 것으로 기대하면 금리가 높아집니다. 미래의 소비를 포기할 의향이 줄어들기 때문입니다. 지인들이 이에 관한 논문을 썼다고 그는 덧붙입니다.
그래서 어느 시점에 실질금리가 오릅니다. 그런데 시점 간 대체탄력성을 나타내는 모수가 1보다 크면, 성장률 기대가 높아지는 것이 오히려 주식에는 하락 요인이 됩니다. 금리 효과가 성장률 효과를 압도하기 때문입니다.
그래서 어느 시점에 큰 채권 공매도가 있다는 것이 그의 결론입니다. 그것을 맞혀야 하고, 국유화도 맞혀야 합니다. 이런 것들이 전부 순서로 이어져 있습니다.
꼬리에 거는 베팅
알려지지 않은 미지의 것들도 있습니다. 그래서 전체 위험 포지션에 정말 조심해야 한다고 그는 말합니다. 이런 미친 사건들이 전개될 것으로 예상한다면 예상하지 못한 미친 일도 벌어질 것이기 때문입니다.
동시에 자기 시나리오에 맞춘 베팅을 하고 싶다고 그는 말합니다. 분포의 꼬리에 거는 베팅을 찾는 것입니다. 실질금리가 10퍼센트를 넘을 것으로 예상하는 사람은 아무도 없을 것입니다. 그런데 그는 이번 10년이 끝나기 전에 그럴 가능성이 적어도 진지하게 있다고 봅니다. 그렇다면 그것에 대해 값싼 보험을 사 두어 수익이 나게 할 수 있을지도 모릅니다.
산업혁명 이전의 지주
파텔은 아주 우스운 질문이라고 전제하고 묻습니다. 이런 세계에서 이런 베팅을 하는 금융시장이 존중받겠느냐는 것입니다. 경제가 50퍼센트 성장하는 세계에서 자기 증권계좌가 의미가 있겠느냐는 것입니다. 누가 그의 재산권을 존중해 주느냐는 질문입니다.
아셴브레너는 그것은 한참 들어간 이야기라고 답합니다. 채권 공매도와 50퍼센트 성장은 상당히 뒤쪽의 국면입니다. 최빈값 세계, 즉 프로젝트가 있는 세계에서는 재산권이 존중될 것으로 그는 봅니다. 어느 시점에는 은하의 재산권을 정하는 문제가 생길 것이고 그것은 흥미로울 것이라고 그는 덧붙입니다.
파텔은 더 깊은 반론을 제기합니다. 2030년대가 이후의 미래가 어떻게 갈지에 크게 중요하고, 자본 때문에 그때 영향력 있는 위치에 있고 싶다는 것이 아셴브레너의 전략입니다. 그런데 산업혁명이 시작되기 전의 지주 계급을 생각해 볼 만하다는 것입니다. 그들이 헨리 조지(Henry George)나 피케티(Thomas Piketty)가 말하는 방식으로 자기 위치를 활용해 산업혁명이 실현한 수익을 가져갈 수 있었는지는 분명하지 않습니다. 어느 시점에 그들은 그냥 지주 계급이 아니게 됐습니다.
그래서 그가 걱정하는 것은 이것입니다. 훌륭한 투자 판단을 내리더라도 산업혁명 이전에 많은 농지를 가졌던 사람처럼 될 수 있다는 것입니다. 실제로 많은 돈을 벌 사람은 증기기관을 만드는 쪽입니다. 그리고 그 사람조차 그렇게 많이 벌지 못할 수 있습니다. 혜택 대부분이 널리 확산되기 때문입니다.
감가상각되는 인간 자본
아셴브레너의 답은 간단합니다. 대응되는 행동은 땅을 팔아 새로운 산업을 세우는 쪽에 전부 넣는 것입니다.
그리고 그는 자기에게 실제로 감가상각되는 자산이 무엇인지 말합니다. 인간 자본입니다. 컬럼비아를 수석으로 졸업한 것처럼, 그를 특별하게 만든 것은 똑똑하다는 점이었습니다. 그런데 그것이 4년 뒤에는 중요하지 않을 수 있습니다. 자동화 가능하기 때문입니다.
그래서 어느 친구가 이 투자회사가 그에게 완벽한 헤지라고 농담했다고 그는 전합니다. 이번 10년에 AGI가 오면 그의 인간 자본은 감가상각되지만 그것을 금융 자본으로 전환해 둔 상태입니다. 이번 10년에 AGI가 오지 않으면 회사는 그만큼 잘되지 않을 수 있지만, 그는 여전히 20대이고 여전히 똑똑하다는 것입니다.
AGI는 왜 가격에 반영되지 않았는가
파텔의 마지막 질문은 효율성입니다. 금융시장은 매우 효율적이어서 우위를 얻기가 아주 어렵습니다. 그런데 소박하게 말하면, 스케일링 곡선을 보았고 그것이 애널리스트들이 인식하는 것보다 훨씬 많은 컴퓨팅과 에너지를 사게 된다는 것을 함의한다고 말하는 셈입니다. 그렇다면 그 애널리스트들은 지금쯤 파산했어야 하지 않느냐는 것입니다.
아셴브레너는 자기가 한때 진정한 효율적 시장 가설(EMH) 신봉자였다고 답합니다. 경제학자였기 때문입니다. 그가 생각을 바꾼 지점은 이것입니다. 똑똑한 사람들의 집단, 가령 샌프란시스코에 있는 사람들이 사회의 나머지보다 미래를 보는 데 우위를 가질 수 있다는 것입니다.
코로나19가 그 예입니다. 솔직히 꽤 비슷한 집단의 사람들이 그것을 보고 완전히 정확하게 판단했습니다. 시장을 공매도해 아주 잘했습니다. 비슷한 다른 사례도 여러 개 있습니다.
그러면 AGI는 왜 가격에 반영되지 않았느냐는 것입니다. 그의 답은 정부가 아직 연구소를 국유화하지 않은 것과 같은 이유입니다. 사회가 아직 그것을 가격에 반영하지 않았고 완전히 확산되지 않았습니다. 틀릴 수도 있습니다. 다만 아직 이 생각들을 진지하게 받아들이는 사람이 그렇게 많지 않다는 것이 그의 설명입니다.
해설 AI 베타라는 표현은 아셴브레너가 쓰는 의미를 풀어 둘 필요가 있습니다. 금융에서 베타는 특정 자산의 수익률이 기준 지표의 움직임에 얼마나 민감하게 반응하는지를 나타내는 계수입니다. 그가 말하는 AI 베타는 기준 지표를 AI 수요의 증가로 놓았을 때의 민감도입니다. 매출에서 AI가 차지하는 비중이 작으면 AI 수요가 몇 배가 되어도 전체 실적에 미치는 영향이 제한되므로, 기술적 판단이 맞아도 투자 성과로 연결되지 않습니다. 그가 TSMC보다 엔비디아를 택한 근거가 산업의 중요성이 아니라 이 민감도였다는 점이 핵심입니다.
오일러 방정식은 거시경제학에서 소비자가 현재 소비와 미래 소비를 어떻게 배분하는지를 나타내는 최적 조건입니다. 미래의 소득 증가를 기대하면 지금 저축할 유인이 줄어들고, 저축 공급이 줄면 금리가 올라갑니다. 아셴브레너가 말하는 모수는 시점 간 대체탄력성의 역수에 해당하는 값으로, 이 값이 1보다 크면 성장 기대의 상승이 할인율을 더 크게 밀어 올려 자산 가격을 떨어뜨립니다. 성장이 가속되는 세계에서 주식이 오르지 않을 수 있다는 역설이 여기서 나옵니다.
산업혁명 이전 지주 계급의 운명에 대한 파텔의 지적은 경제사에서 실제로 검토된 문제입니다. 영국의 지대 수입은 19세기 중반까지 증가했지만 국민소득에서 차지하는 비중은 꾸준히 하락했고, 곡물법 폐지와 값싼 곡물 수입으로 농업 지대는 19세기 후반에 실질적으로 축소됐습니다. 자산의 명목 가치가 유지되는 동안 경제 전체에서의 비중이 줄어드는 양상이고, 파텔이 걱정하는 것이 바로 이 구조입니다.
[이해관계] 이 대담의 발화 위치를 확인해 둘 필요가 있습니다. 아셴브레너는 AGI가 2027년경 온다는 전망을 공개한 직후, 그 전망에 베팅하는 투자회사를 세우는 중이었습니다. 전망이 널리 받아들여지면 그가 보유할 자산의 가치가 오르고, 전망이 확산되기 전에 포지션을 잡으면 수익이 커집니다. 즉 연작의 공개와 이 대담은 그의 투자 포지션과 같은 방향으로 작동하는 행위입니다.
그 자신도 이 점을 숨기지 않습니다. AGI가 내일 가격에 반영되면 100배를 벌 수 있고 순서를 잘 타면 그 이상이라고 말하면서, 동시에 사회가 아직 가격에 반영하지 않은 것이 자기 우위의 근거라고 설명합니다. 두 진술을 함께 놓으면 그의 유인 구조가 드러납니다. 전망의 확산은 그의 수익 실현에 필요하고, 확산의 지연은 포지션 구축에 필요합니다.
이것이 그의 분석을 무효화하지는 않습니다. 그가 공개한 추론은 검증 가능한 형태이고 반증 조건도 스스로 제시했습니다. 다만 독자가 알아 둘 것은 그가 중립적 관찰자가 아니라는 점입니다. 투자 이해관계를 가진 사람의 전망은 그 전망이 맞을 가능성과 별개로, 불확실성을 줄여 말할 유인을 함께 갖습니다. 앵커 투자자 명단에 등장하는 인물들이 AI 인프라 쪽에 이미 노출되어 있다는 점도 같은 선에서 읽을 수 있습니다.
[사후 맥락] 이 투자회사는 실제로 설립되어 상황 인식 LP라는 이름으로 운용됐고, 그 이후의 경과는 이 대담에서 두 사람이 주고받은 위험을 거의 그대로 재현했습니다. 보도에 따르면 2024년 수억 달러 규모로 출발해 2025년 상반기에 보수 차감 후 47퍼센트의 수익을 냈고 2025년 말 운용자산은 15억 달러 수준이었습니다. 월스트리트저널 보도로는 2026년 5월까지 보수 차감 후 약 270퍼센트의 수익을 내며 운용자산이 200억 달러를 넘어섰고, 제인스트리트(Jane Street)가 투자자로 참여했습니다. 파이낸셜타임스가 확인한 2026년 7월 24일 투자자 서신에서는 2026년 상반기 순수익률이 439퍼센트로 보고됐고, 운용자산은 7월 초 450억 달러 수준까지 올라갔습니다.
그다음에 벌어진 일이 파텔이 말한 시점의 문제입니다. 보도에 따르면 이 펀드는 2026년 7월에 가치의 약 67퍼센트를 잃었고, 프라임브로커의 추가 증거금 요구를 맞추기 위해 160억 달러 규모의 공개 주식 포트폴리오를 시타델(Citadel)에 매각했습니다. 7월 말 운용자산은 100억 달러 수준으로 정점 대비 약 78퍼센트 줄었습니다. 포지션은 AI 하드웨어와 반도체에 집중되어 있었고 SK하이닉스와 마이크론(Micron), 네비우스(Nebius)가 보유 종목으로 거론됐습니다. 펀드가 청산되거나 폐쇄된 것은 아니고 규모가 축소되어 재편됐다는 것이 보도의 설명이며, 앤트로픽 지분은 상당 부분 유지한 것으로 전해집니다.
그러니 논지와 시점을 구분한 파텔의 질문이 2년 뒤에 그대로 답을 얻었습니다. AI 인프라에 대한 방향 판단은 맞았고 수익률은 극단적이었지만, 집중과 레버리지가 만든 취약성이 한 달 안에 성과 대부분을 되돌렸습니다. 아셴브레너가 터지지 않는 것이 첫 번째 과업이라고 말한 바로 그 지점입니다.
제2차 세계대전의 교훈
장기전과 단기전
파텔은 다루지 못한 주제 하나를 꺼냅니다. 체제 간 경쟁입니다. 그가 좋아하는 제2차 세계대전 책 가운데 빅터 데이비스 핸슨(Victor Davis Hanson)이 전체를 정리한 것이 있는데, 연합국이 추축국보다 더 나은 결정을 내린 이유를 설명합니다.
아셴브레너는 추축국의 결정 중에도 괜찮았던 것이 있다고 보지만, 전격전은 우연이었다고 읽습니다. 천재적 전략이 아니라 손이 묶여 있었다는 것입니다.
그가 드는 것은 매우 투즈적인 설명입니다. 장기전과 단기전의 구분이고, 실제로 중요한 개념이라고 그는 봅니다. 독일은 미국이 포함된 장기전이 되면 산업적으로 경쟁할 수 없다는 것을 알고 있었습니다. 그래서 승리의 유일한 경로는 전쟁을 단기전으로 만드는 것이었습니다. 그것이 그들이 생각한 것보다 훨씬 극적으로 통했고, 프랑스와 유럽 상당 부분을 장악했습니다.
소련 침공의 결정도 어떤 의미에서는 서부전선에 관한 것이었다고 그는 설명합니다. 자원을 확보해야 했기 때문입니다. 석유를 비롯해 필요한 것들을 실제로 갖고 있지 않았습니다.
아우슈비츠(Auschwitz)는 합성 석유와 여러 물질을 만드는 거대한 화학 공장이었고 나치 독일 최대의 산업 사업이었습니다. 제1차 세계대전에서 러시아를 완전히 꺾었으니 쉬울 것이라고 보았고, 침공해서 자원을 확보한 다음 서부전선에서 싸울 수 있다고 생각했습니다. 소련 침공 기간에 사망자 대부분이 그쪽에서 발생했지만, 독일 산업 생산의 큰 몫은 실제로 항공기와 해군 장비였고 서부전선과 서방 연합국을 향한 것이었습니다.
중국과의 경쟁에 적용하면
장기전과 단기전의 구분이 중국과의 경쟁을 생각하는 데 흥미롭다고 그는 말합니다. 그가 크게 걱정하는 것은 미국의 잠재적 산업 역량이 쇠퇴했다는 점입니다. 중국은 현재 미국보다 선박을 200배 많이 건조한다고 그는 말합니다.
그래서 구도가 이렇게 됩니다. AI가 없는 세계에서는 미국이 군사 물자에서 우위를 가지고 단기전에서는 이길 수 있으며 어떤 의미에서 타이완을 방어할 수 있습니다. 그런데 실제로 전쟁이 길어지면 중국이 산업 자원을 동원하는 능력에서 앞설 수 있고, 미국에는 더 이상 같은 능력이 없습니다.
AI 쪽에도 같은 논리가 걸립니다. 결국 짓는 게임이 된다면 그렇습니다. AGI에 1,000억 달러 클러스터가 아니라 1조 달러 클러스터가 필요할 수도 있습니다. 1,000억 달러 클러스터에서 AGI가 나온다 해도, 초지능에 컴퓨트 자릿수를 하나 더 올려 10배로 돌릴 수 있는지가 정말 중요해집니다. 지금은 뒤처져 있어도 미국보다 더 많이 지어 낼 원초적 산업 역량을 그들이 갖고 있을 수 있다는 것입니다.
그것이 AGI로 가는 과정과 그 이후에 모두 중요합니다. 클러스터 위에 초지능을 올려놓고 폭발적 성장을 확대할 때가 되면, 로봇 공장을 마음껏 돌리게 할 것인지의 문제가 생깁니다. 미국은 그렇게 하지 않을 수도 있지만 중국은 할 수도 있습니다. 드론을 얼마나 생산할 것인지도 같은 문제입니다. 산업 폭발 국면에서 상대가 더 많이 지어 내는 상황을 그는 걱정합니다.
파텔은 그 조합이 특이하다고 지적합니다. 정렬을 걱정하면서 동시에 중국을 이기기 위해 초지능을 얻으면 로봇 공장을 진행시켜야 한다고 보는 사람이 세계에 몇 명 없을 것이라는 것입니다. 전체 그림의 일부라고 아셴브레너는 답합니다.
석유의 역사
산업 규모의 지능으로 무엇을 하느냐는 질문이 이어집니다. 분명히 대화형 봇은 아니지만 미리 예측하기가 매우 어렵다는 것입니다.
파텔이 드는 비유는 석유의 역사입니다. 1860년대에 어느 지질학자가 석유를 정제하는 법을 알아냈습니다. 그래서 스탠더드오일(Standard Oil)이 출발했고 거대한 호황이 있었습니다. 그것이 미국 정치를 바꿨습니다. 주 의회 전체가 석유 이익집단에 매수됐고, 석유를 둘러싼 대립과 그 회사를 분할하는 문제를 축으로 대통령이 선출됐습니다.
그런데 이 모든 일이 자동차가 발명되기 전에 일어났습니다. 전구는 석유 정제가 발견된 뒤 50년쯤 지나 발명됐고, 스탠더드오일 역사의 대부분은 자동차가 발명되기 전입니다. 당시 석유의 용도는 등유 램프였습니다. 조명에만 쓰였습니다.
그래서 전구가 발명됐을 때 스탠더드오일이 몰락할 것이라는 우려가 있었습니다. 그러나 여기에 엄청난 양의 압축된 에너지가 있고 연간 수십억 갤런을 갖게 된다는 점을 깨닫게 됩니다. 그것으로 무엇을 할 수 있는지는 미리 예측하기 어렵습니다. 그리고 나중에 그것이 수송과 자동차로 밝혀졌습니다.
지능에 대해서는 한 가지 답이 지능 폭발일 수 있습니다. 그런데 그 이후에도 초지능들이 있고 특히 그들이 짓게 될 컴퓨트가 있습니다. 수억 개의 GPU가 돌아갑니다. 그것으로 무엇을 하는지는 미리 예측하기가 매우 어렵고, 목성급 두뇌(Jupiter brains)가 무엇을 하고 있을지 알아내는 것이 아주 흥미로울 것이라고 두 사람은 말합니다.
상황 인식은 계속되는 과정입니다
파텔은 마지막 질문을 던집니다. 지금 사정이 어떤지에 대한 상황 인식은 충분히 얻었습니다. 그런데 지금 이야기한 것 상당수는 몇 년 전에는 미리 판단할 수 없었던 것입니다. 그리고 아셴브레너의 세계관은 AI가 과정에 들어오면서 일이 가속된다는 것을 함의합니다. 사람들이 어떻게 반응할지, 정치 체제가 어떻게 반응할지, 외국의 적대 세력이 어떻게 반응할지는 근본적으로 예측할 수 없고 시간이 지나면서 드러납니다.
그렇다면 상황 인식은 지금의 그림을 아는 것에 그치지 않습니다. 새로운 정보에 적절히 반응할 위치에 있고, 그 결과로 세계관을 바꾸고 권고를 바꾸는 것까지 포함합니다. 한 번 깨달은 것이 아니라 계속되는 과정으로서의 상황 인식을 어떻게 생각해야 하느냐는 것입니다.
아셴브레너는 정신적 유연성과 생각을 바꾸려는 의지가 정말 중요하다고 답합니다. 그리고 그것이 AGI 논쟁에서 많은 사람의 사고가 망가진 방식이라고 봅니다.
비관론자들은 10여 년 전에 AGI를 생각한다는 점에서 정말 선견지명이 있었습니다. 그런데 딥러닝의 경험적 현실에 맞춰 생각을 갱신하지 않았습니다. 그들의 제안은 상당히 순진하고 작동할 수 없으며 납득되지 않는다는 것입니다.
미리 정해진 이념을 갖고 들어오는 사람들도 있습니다. 가속주의자들이 조금 그렇다고 그는 봅니다. 기술에 대해 가볍게 글을 올리기를 좋아하지만 실제로 끝까지 생각하지는 않습니다. 이들은 둘 중 하나입니다. 이것이 대화형 봇에 그칠 것이라고 보는 정체론자여서 당연히 위험하지 않다고 보거나, 실제로 엄청난 국가안보 함의와 그것이 어떻게 전개될지를 끝까지 생각하지 않는 쪽입니다.
자기 세계관이 굳는 위험
그리고 그는 자기에게 적용되는 위험을 말합니다. 이것을 써서 온라인에 올린 것 자체에 위험이 있다는 것입니다. 사람들에게 때때로 세계관의 경화가 일어납니다. 이제 공개적으로 이 입장을 표명했기 때문에, 반대 증거가 있더라도 그것에 매달리게 됩니다.
그래서 그는 큰 단서를 붙이고 싶다고 말합니다. 매우 구체적이고 생생한 그림을 그리는 것이 정말 가치 있다고 봅니다. 이것이 이 10년이 어떻게 갈지에 대한 현재 자기 최선의 추측입니다. 이와 비슷한 어떤 방향으로든 간다면 격렬한 시기가 될 것입니다. 그러나 진보의 범위와 속도를 감안하면 앞으로 훨씬 많은 정보를 계속 얻게 되고, 그에 대해 정신을 똑바로 유지하는 것이 중요하다는 것입니다.
가장 중요한 것이 무엇인지도 그는 말합니다. 세계가 놀랍도록 좁다는 이야기와 연결됩니다. 그는 예전에 이런 세계관을 갖고 있었습니다. 세계에 중요한 일들이 벌어지지만 그것을 챙기는 사람들이 있다는 것입니다. 정부에 사람들이 있고, AI 연구소도 이상화해서 보았으며, 사람들이 그 일을 맡고 있고 분명히 챙기고 있을 것이라고 생각했습니다.
그런데 개인적 경험과 코로나19가 전개된 방식을 보면서 생각이 바뀌었습니다. 반드시 그렇지 않다는 것입니다. 이 일이 잘 되도록 챙기고 있는 다른 누군가가 따로 있는 것이 아닙니다.
그래서 정말 중요해질 것은 이것을 그에 걸맞게 진지하게 받아들이고 그 함의를 진지하게 받아들일 의향이 있는 좋은 사람들이 있는 것이라고 그는 말합니다. 상황 인식을 갖추고 생각을 바꿀 의향이 있으며 그림을 똑바로 마주할 의향이 있는 사람들입니다. 그리고 그는 “그런 좋은 사람들에게 기대고 있습니다”라는 말로 대담을 닫습니다.
해설 아우슈비츠가 거대한 화학 공장이었다는 서술에는 설명이 필요합니다. 아셴브레너가 가리키는 것은 아우슈비츠 제3수용소에 인접해 건설된 이게파르벤의 합성 연료와 합성 고무 공장입니다. 이 사업은 강제노동에 의존했고 나치 독일의 민간 투자 가운데 최대 규모였습니다. 수용소의 성격을 공장으로 치환하는 서술로 읽히지 않도록 구분해 둘 필요가 있습니다. 전쟁 수행에 필요한 자원 확보라는 동기와 집단학살이라는 별개의 사실이 같은 장소에 겹쳐 있었다는 것이 역사적 실상입니다.
장기전과 단기전의 구분은 투즈가 『Wages of Destruction』에서 전개한 논지입니다. 독일의 전쟁 결정을 이념이나 군사적 천재성이 아니라 자원과 생산 역량의 제약에서 설명하는 접근이고, 전격전이 선택이 아니라 제약의 결과였다는 해석이 여기서 나옵니다. 아셴브레너가 이 틀을 중국과의 경쟁에 옮겨 쓰는 방식은 군사적 우열이 아니라 동원 가능한 산업 역량을 비교 기준으로 삼는 것입니다.
스탠더드오일과 전구의 관계도 사실관계를 정리해 둘 만합니다. 석유 정제의 상업화는 1850년대 말에서 1860년대 초에 시작됐고 초기 주력 제품은 등유였습니다. 전구의 상업적 보급은 1880년대부터이고 자동차의 대량 생산은 1910년대입니다. 전구가 등유 수요를 위협한 시기와 자동차가 휘발유 수요를 만든 시기 사이에는 수십 년의 간격이 있었고, 그 사이에 이 산업의 주력 용도가 전환됐습니다. 파텔이 이 사례를 드는 이유는 용도의 전환이 사후에만 분명해진다는 점입니다.
[한국 관점] 선박 건조 능력 비교는 한국에 직접 걸리는 지점입니다. 아셴브레너가 미국의 잠재적 산업 역량 쇠퇴를 보여 주는 지표로 조선업을 드는데, 세계 조선 시장에서 중국과 한국이 양대 공급자이고 미국의 상선 건조 능력은 미미한 수준입니다. 장기전에서 산업 동원 능력이 승패를 가른다는 그의 논리를 받아들이면, 한국의 조선 역량은 민간 산업이 아니라 동맹의 전략 자산으로 재분류됩니다. 실제로 미국 해군 함정의 유지보수와 건조 협력을 둘러싼 논의가 이 틀 안에서 진행되고 있습니다.
다만 이 재분류에는 양면이 있습니다. 전략 자산으로 편입되면 수요가 안정되고 협상력이 생기지만, 동시에 수출 통제와 기술 이전 요구와 공급 우선순위 지정의 대상이 됩니다. 민간 상선 수주와 군함 관련 작업 사이의 설비 배분이 정책 판단의 대상이 되고, 중국과의 거래에 제약이 따라붙을 수 있습니다. 조선 기업의 수익 구조를 볼 때 이 두 효과를 함께 계산해야 합니다.
로봇 공장을 마음껏 돌리게 할 것인지의 질문도 한국의 제조 기반과 연결됩니다. 아셴브레너의 걱정은 미국이 규제 때문에 산업 폭발 국면에서 뒤처진다는 것인데, 한국은 산업용 로봇 밀도가 세계 최고 수준이면서도 제조업 인력 감소와 고령화라는 제약을 함께 갖고 있습니다. 자동화의 수용 여력이 상대적으로 큰 조건이고, 이 조건이 실제 생산 역량으로 전환되는지가 변수입니다.
[관점] 아셴브레너가 마지막에 붙인 단서는 이 대담에서 가장 솔직한 대목입니다. 공개적으로 입장을 표명한 사람은 반대 증거에 매달려 입장을 고수하게 된다는 지적이고, 그 위험이 자기에게 적용된다는 것을 그가 먼저 말합니다. 2027년이라는 연도를 내놓은 당사자가 그 연도에 묶이는 구조를 스스로 지적한 셈입니다.
그런데 이 단서가 실제로 작동했는지는 별개입니다. 대담 이후 그가 공개한 발언과 투자 포지션은 대체로 같은 방향을 유지했고, 시간표가 늦어졌다는 공개적 수정은 확인되지 않습니다. 세계관의 경화를 경계하는 진술과 포지션의 일관성 유지는 양립하기 어렵습니다. 투자자가 참고할 지점은 그가 제시한 반증 조건, 즉 데이터 장벽과 테스트 타임 컴퓨트의 진전 여부를 그 자신의 발언 변화보다 먼저 확인하는 쪽입니다.
비관론자와 가속주의자를 양쪽에서 비판하는 그의 구도도 한 걸음 떨어져 볼 만합니다. 양쪽을 비판하는 위치가 중간이라는 보장은 없습니다. 그의 입장은 역량 전망에서는 가속주의자와 같고 위험 평가에서는 비관론자와 같으며, 처방에서만 국가안보 쪽으로 갈라집니다. 즉 그는 양극단의 중간이 아니라 두 극단의 전제를 모두 받아들인 뒤 제도적 해법을 다르게 제시하는 위치에 있습니다.
코다: 프리드리히 대왕
거리 이름을 이해하게 된 순간
대담이 끝난 뒤 쉬는 시간에 아셴브레너가 독일 역사에 관해 덧붙인 이야기가 있습니다.
지금까지 이야기한 독일 역사의 상당 부분이 실제로는 독일에서 배운 것이 아니라고 그는 말합니다. 그 뒤에 배운 것입니다. 그래서 묘한 일이 있었습니다. 성탄절 무렵 독일에 돌아갔을 때 갑자기 거리 이름들이 이해됐다는 것입니다.
그나이제나우(Gneisenau)와 샤른호르스트(Scharnhorst) 같은 이름들이고, 모두 프로이센의 군제 개혁가입니다. 그리고 상수시(Sanssouci)가 프리드리히를 위한 것이었다는 것을 마침내 이해했습니다.
피리를 불고 작곡을 한 정복자
프리드리히 대왕(Frederick the Great)은 정말 흥미로운 인물이라고 그는 말합니다.
어떤 의미에서 그는 예술을 사랑한 동성애자였습니다. 독일어로 말하는 것을 싫어하고 프랑스어만 쓰려 했습니다. 피리를 불고 작곡을 했습니다. 당대의 위대한 예술가들을 상수시에 불러들였습니다.
성장 과정은 혹독했습니다. 아버지가 대단히 엄격한 프로이센 군인이었습니다. 프리드리히가 열일곱 살 무렵에 남성 연인이 있었는데, 아버지는 아들을 감금하고 그 연인을 아들 앞에서 처형했습니다.
그런데 뒤에 가서 프리드리히 대왕은 가장 성공한 프로이센 정복자 가운데 한 명이 됩니다. 슐레지엔(Silesia)을 얻고 7년 전쟁에서 승리합니다. 당대 기준으로 놀라운 군사 전략가이기도 했습니다. 당시의 놀라운 군사 전략이란 적군의 측면을 칠 수 있다는 것이었고 그것이 대단한 일이자 탁월한 전략이었다고 그는 덧붙입니다.
그리고 7년 전쟁에서 거의 패배할 뻔했습니다. 그런데 마지막에 러시아의 차르가 바뀌었고, 새 차르는 자기가 프로이센을 좋아한다고 밝혔습니다. 그래서 프리드리히 대왕을 풀어 주고 그의 군대가 온전히 남게 해 주었습니다. 독일 역사에서 기이하고 흥미로운 인물이라는 것이 그의 정리입니다.
해설 연대를 몇 가지 바로잡아 둘 필요가 있습니다. 아셴브레너가 열일곱 살이라고 말한 사건은 1730년의 일로, 당시 프리드리히는 열여덟 살이었습니다. 처형된 인물은 그의 친구이자 공범으로 지목된 한스 헤르만 폰 카테이고, 처형 방식은 교수형이 아니라 참수였습니다. 프리드리히는 이 사건으로 요새에 구금됐습니다. 아셴브레너가 기억으로 이야기하는 대목이므로 세부에 차이가 있습니다.
마지막에 나오는 차르의 교체는 7년 전쟁의 유명한 전환점입니다. 1762년 러시아의 엘리자베타 여제가 사망하고 프리드리히를 흠모했던 표트르 3세(Peter III)가 즉위하면서 러시아가 전쟁에서 이탈했고, 프로이센은 붕괴 직전에 회생했습니다. 이 사건은 브란덴부르크 가문의 기적이라는 이름으로 불립니다. 아셴브레너가 역사에서 우연의 비중을 이야기할 때 이 사례를 끌어오는 맥락이 여기에 있습니다.
그나이제나우와 샤른호르스트는 프리드리히보다 뒤의 인물로, 나폴레옹에게 패배한 뒤 프로이센 군제를 개혁한 주역입니다. 징병제 도입과 참모 제도의 정비가 이들의 작업이고, 독일 도시의 거리 이름에 이들이 남아 있는 것은 그 개혁이 국가 재건의 서사로 기억되기 때문입니다. 아셴브레너가 이 이름들을 뒤늦게 이해했다고 말하는 것은, 독일 교육이 1945년 이전의 군사사를 적극적으로 다루지 않는다는 점을 가리킵니다.
원문: Leopold Aschenbrenner, 2027 AGI, China/US super-intelligence race, & the return of history (Dwarkesh Podcast) (Jun 2024) 전문은 원문에서 확인하실 수 있습니다.
참고할만한 글
- 레오폴드 아셴브레너 – 상황 인식 (Situational Awareness) — 이 대담에서 구두로 요약된 논증의 원본 연작이므로 자릿수 계산과 시간표의 근거를 직접 확인할 수 있습니다.
- 헨드릭스 외 – 초지능 전략 (Superintelligence Strategy) — 데이터센터의 취약성과 선제공격 유인을 같은 전제에서 출발해 상호확증파괴에 가까운 억지 구조로 풀어내므로 처방의 대안을 비교할 수 있습니다.
- 안드레이 카파시 – AGI는 아직 10년 남았다 (AGI is Still a Decade Away) — 같은 기술 궤적을 두고 족쇄 풀기가 생각보다 오래 걸린다고 보는 쪽의 논거를 담고 있어 2027년이라는 연도의 취약점을 짚어 볼 수 있습니다.
- 에포크 AI – 2030년의 AI: 추세를 연장하면 (AI in 2030: Extrapolating Current Trends) — 컴퓨트와 전력과 데이터의 제약을 수치로 따로 추정하므로 이 대담에서 거칠게 제시된 자릿수 계산을 검증하는 데 쓸 수 있습니다.