Amodei (5)

다리오 아모데이 – 우리는 지수 곡선 끝에 와 있다 (We Are Near the End of the Exponential)

ByThe Context

원문: Dario Amodei, We are near the end of the exponential (Dwarkesh Podcast) (Feb 2026)
전문은 원문에서 확인하실 수 있습니다. 아래 글은 번역이 아니라, 다리오 아모데이의 논증을 한국어로 재구성한 정리입니다.

글의 배경과 개요

다리오 아모데이(Dario Amodei)는 앤트로픽(Anthropic)을 공동창업해 이끌고 있는 최고경영자이고, 이 글은 2026년 2월 드와케시 파텔(Dwarkesh Patel)의 팟캐스트에 출연해 나눈 세 시간 남짓한 대담의 녹취록입니다. 두 사람이 같은 주제로 마주 앉은 것은 3년 만이며, 아모데이는 그동안 기술의 지수 곡선이 대체로 자기 예상대로 움직였다고 말하면서도 정작 가장 놀라운 일은 그 곡선의 끝이 얼마나 가까운지를 세상이 알아차리지 못하는 것이라고 말합니다. 대담 전체는 곡선의 끝이 눈앞이라면 기술과 돈과 규제에서 무엇이 달라져야 하는가라는 질문을 따라갑니다. 논증은 지금 우리가 키우고 있는 것이 정확히 무엇인지에서 출발해, 모델 능력의 성장과 경제 확산의 속도 차이, 지속 학습이 반드시 필요한 조건인지, 타임라인이 그렇게 짧다면 왜 컴퓨트를 더 사지 않는지, 프런티어 연구소가 어떻게 이익을 낼 수 있는지로 이어집니다. 마지막 두 절은 규제가 AI의 혜택을 망칠 가능성과, 미국과 중국이 동시에 천재들의 나라를 갖는 세계를 다룹니다. 파텔은 거의 모든 대목에서 반론을 던지는 쪽이고, 아모데이는 자기 주장의 강한 형태와 약한 형태를 구분해 가며 답합니다.

핵심 내용 정리

  • 기반 기술의 지수 곡선은 아모데이가 예상한 대로 흘렀고, 정작 놀라운 것은 그 곡선의 끝이 얼마나 가까운지를 대중이 인식하지 못한다는 점이라고 말합니다.
  • 2017년에 쓴 거대한 컴퓨트 덩어리 가설은 지금도 유효하며, 사전학습에서 보던 로그선형 스케일링이 강화학습에서도 똑같이 나타나고 있다고 봅니다.
  • 10년 안에 데이터센터 속 천재들의 나라(a country of geniuses in a datacenter)가 등장할 확률을 90%로 보고, 거기에 1-2년, 길어야 1-3년이라는 자신의 직감을 덧붙입니다.
  • 능력의 지수 곡선과 경제 확산의 지수 곡선은 둘 다 아주 빠르지만 무한히 빠르지는 않으며, 앤트로픽의 연 10배 매출 성장이 그 중간 세계의 모습이라고 말합니다.
  • 수요 예측이 1년만 어긋나도 파산하기 때문에 1조 달러어치 컴퓨트를 살 수 없고, 이것이 자신이 말한 책임 있는 스케일링의 실제 의미라고 설명합니다.
  • 주 규제를 10년간 금지하는 유예에는 반대하지만 연방 기준에 의한 선점은 지지하며, 투명성에서 시작해 위험이 확인되면 빠르게 움직여야 한다고 주장합니다.
  • 치료제는 권위주의 국가에 팔아도 되지만 칩과 데이터센터는 안 되며, 규칙이 정해지는 순간 민주주의 국가들이 더 강한 패를 쥐고 있어야 한다고 말합니다.

우리는 정확히 무엇을 키우고 있는가

3년 동안 가장 놀라웠던 것

아모데이는 지난 3년을 돌아보며 기반 기술의 지수 곡선 자체는 대체로 자기가 예상한 대로 흘렀다고 말합니다. 여기서 1-2년, 저기서 1-2년의 오차는 있었지만 모델이 똑똑한 고등학생에서 똑똑한 대학생으로, 다시 박사과정과 전문직의 일을 시작하는 수준으로 행진해 온 경로는 예상 범위 안에 있었다는 것입니다. 다만 코드 분야가 구체적으로 어느 방향으로 갈지는 자기도 예측하지 못했을 것이라고 덧붙이고, 코드에서는 모델이 그 수준을 이미 넘어섰다고 봅니다. 프런티어는 분야마다 조금씩 들쭉날쭉하지만 전체적인 모양은 예상대로라는 평가입니다.

예상을 벗어난 것은 기술이 아니라 바깥 세상의 반응이었습니다. 아모데이가 꼽은 가장 놀라운 일은 지수 곡선의 끝이 얼마나 가까운지에 대한 공적 인식이 거의 없다는 사실입니다. 업계 안쪽에 있는 사람이든 바깥에 있는 사람이든 여전히 해묵은 정치 쟁점을 똑같은 방식으로 이야기하고 있는데, 그 주변에서는 지수 곡선이 끝나가고 있다는 것입니다. 그는 이 상황이 그야말로 기이하다고 표현합니다.

파텔은 그렇다면 지금 그 곡선이 어떻게 생겼는지를 알고 싶다고 되묻습니다. 3년 전 녹음에서 그가 던진 첫 질문은 스케일링이 왜 작동하느냐는 것이었고, 그때는 컴퓨트를 여러 자릿수 늘릴 때 손실이 어떻게 개선되는지를 보여주는 잘 알려진 공개 추세가 있었습니다. 지금은 강화학습(reinforcement learning) 스케일링이 등장했는데 여기에는 공개적으로 알려진 스케일링 법칙이 없습니다. 모델에 기술을 가르치는 것인지 메타학습을 가르치는 것인지조차 분명하지 않은 상태에서, 지금 시점의 스케일링 가설은 대체 무엇이냐는 질문입니다.

거대한 컴퓨트 덩어리 가설

아모데이의 답은 자기 가설이 2017년 이래 바뀌지 않았다는 것입니다. 그는 그해에 거대한 컴퓨트 덩어리 가설(The Big Blob of Compute Hypothesis)이라는 문서를 썼는데, 당시는 GPT-1이 막 나온 시점이라 언어모델 스케일링만을 다룬 글이 아니었습니다. 그때만 해도 로보틱스가 있었고, 추론을 언어모델과 별개의 문제로 연구하는 사람들이 있었으며, 알파고(AlphaGo)나 오픈AI(OpenAI)의 도타(Dota), 딥마인드(DeepMind)의 스타크래프트 플레이어 알파스타(AlphaStar)처럼 강화학습을 키우는 흐름도 있었습니다. 그래서 그 문서는 좀 더 일반적인 주장으로 쓰였고, 리처드 서튼(Richard Sutton)이 2년쯤 뒤에 내놓은 「The Bitter Lesson」과 기본적으로 같은 내용이라고 그는 말합니다.

가설의 요지는 영리함이 거의 중요하지 않다는 것입니다. 온갖 기법들, 새로운 방법이 필요하다는 식의 주장들은 큰 영향을 주지 못하고, 실제로 중요한 것은 일곱 가지뿐이라는 것이 그의 정리입니다. 첫째는 원시 컴퓨트의 양, 둘째는 데이터의 양, 셋째는 데이터의 질과 분포입니다. 분포는 넓고 또 넓어야 한다는 조건이 붙습니다. 넷째는 얼마나 오래 학습하는가입니다.

다섯째가 핵심인데, 달까지 확장될 수 있는 목적함수(objective function)가 있어야 한다는 조건입니다. 사전학습(pre-training)의 목적함수가 그런 함수의 하나이고, 목표를 주고 그 목표에 도달하게 하는 강화학습의 목적함수가 또 하나입니다. 강화학습 안에서도 수학이나 코딩처럼 객관적인 보상이 있고, 인간 피드백 기반 강화학습(RLHF)이나 그 상위 형태처럼 주관적인 보상이 있습니다. 여섯째와 일곱째는 정규화나 조건화에 해당하는 것들로, 수치적 안정성을 확보해 거대한 컴퓨트 덩어리가 중간에 문제를 만나지 않고 층류처럼 매끄럽게 흐르게 하는 일입니다.

아모데이는 이 가설을 지금도 그대로 유지하고 있으며 여기에 어긋나는 현상을 별로 보지 못했다고 말합니다. 사전학습 스케일링 법칙은 그 가설의 한 사례였고 지금도 이득을 내고 있어서, 사전학습에 대해 좋은 느낌을 갖고 있다는 점은 이미 널리 보도된 바와 같다고 덧붙입니다. 달라진 것은 같은 현상이 강화학습에서도 나타난다는 점입니다. 사전학습 단계 위에 강화학습 단계가 얹히는 구조인데, 강화학습에서도 사정은 똑같다는 것입니다.

다른 회사들조차 모델 공개 자료에서 AIME 같은 수학 경시 문제로 학습시킬 때 성적이 학습 시간에 로그선형으로 올라간다고 밝혔습니다. 앤트로픽도 같은 것을 보고 있으며, 수학 문제뿐 아니라 아주 다양한 강화학습 과업에서 같은 스케일링이 관찰된다고 말합니다.

해설
로그선형이라는 말은 학습 시간이나 컴퓨트를 10배 늘릴 때마다 성적이 일정한 폭만큼 올라간다는 뜻입니다. 투입을 두 배로 늘려 성과가 두 배가 되는 관계가 아니라, 한 칸을 더 올리려면 매번 자릿수 단위의 투자가 필요한 관계입니다. 비용 쪽에서 보면 가혹하지만, 곡선이 꺾이지 않고 계속 이어진다는 점에서는 예측 가능한 투자 대상이 됩니다.

이 대목이 쟁점이 되는 이유는 사전학습 스케일링 법칙은 수년에 걸쳐 논문으로 공개되어 외부에서 검증할 수 있었던 반면, 강화학습 쪽에는 그런 공개된 법칙이 없기 때문입니다. 아모데이가 강화학습에서도 같은 것을 본다고 말할 때 그 근거는 앤트로픽 내부 데이터이고, 외부 관찰자는 이를 확인할 방법이 없습니다. 같은 자리에서 그가 사전학습과 강화학습의 차이를 거듭 사소한 것으로 돌리는 것도 이 때문입니다. 두 단계가 같은 법칙의 두 사례라면, 공개된 법칙이 있는 쪽의 신뢰를 공개되지 않은 쪽으로 옮겨올 수 있습니다.

서튼의 반론과 표본 효율성의 수수께끼

파텔은 서튼을 끌어옵니다. 서튼은 자신이 지난해 인터뷰했을 때 언어모델에 대해 전혀 설득되지 않은 입장이었다며, 그의 반론을 이렇게 바꿔 말합니다. 인간 학습의 진짜 핵심을 지닌 무언가라면 엑셀이나 파워포인트 사용법, 웹브라우저 조작법을 익히는 데 수십억 달러어치의 데이터와 컴퓨트, 그리고 맞춤 제작된 환경을 필요로 하지 않으리라는 것입니다. 그런 환경을 일일이 만들어 기술을 심어 넣어야 한다는 사실 자체가 인간 학습 알고리즘의 핵심이 빠져 있다는 힌트이고, 그렇다면 우리는 엉뚱한 것을 키우고 있는 셈입니다.

아모데이는 여기에 서로 다르게 생각해야 할 여러 가지가 뒤섞여 있다고 답합니다. 진짜 수수께끼가 하나 있기는 하지만 그것이 중요하지 않을 가능성이 높다는 것이 그의 입장입니다. 우선 강화학습을 논의에서 빼자고 제안합니다. 이 문제에서 강화학습이 사전학습과 다르다고 말하는 것은 주의를 흐트러뜨리는 헛다리라는 것입니다.

그가 드는 근거는 사전학습 스케일링의 초기 역사입니다. 2017년 앨릭 래드퍼드(Alec Radford)가 GPT-1을 만들던 무렵, 그 이전 모델들은 넓은 분포의 텍스트를 담지 못한 데이터셋으로 학습됐습니다. 표준적인 언어모델링 벤치마크들이 있었고, GPT-1 자체도 팬픽에 가까운 문학 텍스트 묶음으로 학습됐는데 이는 세상에 존재하는 텍스트 가운데 아주 작은 조각입니다. 데이터는 10억 단어 수준으로 작았고 분포도 좁았으며, 그 결과 일반화가 잘 되지 않았습니다. 특정 팬픽 코퍼스에서 성적이 올라도 다른 종류의 텍스트를 예측하는 능력으로는 잘 옮겨가지 않았다는 것입니다.

전환점은 인터넷 전반을 긁어 학습시켰을 때였습니다. 커먼크롤(Common Crawl) 같은 일반 스크랩이나 레딧(Reddit)의 링크를 긁는 방식, 즉 GPT-2에서 쓴 방식으로 넘어가면서 비로소 일반화가 나타나기 시작했습니다. 아모데이는 강화학습에서도 똑같은 일이 벌어지고 있다고 봅니다. 처음에는 수학 경시 같은 아주 단순한 과업에서 시작했고, 그다음 코드처럼 더 넓은 과업으로 옮겨갔으며, 지금은 아주 많은 종류의 과업으로 넘어가는 중입니다. 그 과정에서 일반화가 점점 더 나타날 것이라는 전망입니다.

그렇더라도 수수께끼는 남습니다. 사전학습에는 수조 개의 토큰이 들어가는데 인간은 평생 수조 개의 단어를 보지 않습니다. 표본 효율성(sample efficiency)의 차이가 실재한다는 뜻이고, 모델은 맨바닥에서 시작하기 때문에 훨씬 많은 학습을 필요로 한다는 뜻입니다. 다만 일단 학습이 끝난 뒤 컨텍스트 길이를 100만 토큰 수준으로 길게 주면 모델은 그 안에서 아주 잘 배우고 적응합니다. 긴 컨텍스트를 막고 있는 유일한 요인은 추론이라는 것이 그의 설명입니다.

아모데이는 전체 답을 자기도 모른다고 인정하면서, 사전학습을 인간의 학습 과정으로 보지 말자고 제안합니다. 사전학습은 인간의 학습과 인간의 진화 사이 어딘가에 놓인 무엇입니다. 인간의 뇌는 백지가 아니라 진화에서 물려받은 사전 지식을 잔뜩 갖고 시작하며, 여러 영역이 이미 나뉘어 있고 입출력에 연결된 상태입니다. 반면 언어모델은 말 그대로 무작위 가중치에서 출발하므로 훨씬 더 백지에 가깝습니다.

그래서 그는 위계를 하나 제시합니다. 진화가 있고, 장기 학습이 있고, 단기 학습이 있고, 그 아래에 인간의 즉각적인 반응이 있습니다. 사전학습과 강화학습은 진화와 즉석 학습 사이에 자리하고, 모델이 수행하는 맥락 내 학습(in-context learning)은 인간의 장기 학습과 단기 학습 사이에 자리합니다. 언어모델의 단계들은 이 스펙트럼 위에 있지만 인간과 정확히 같은 지점에 놓이지는 않으며, 인간의 어떤 학습 방식에는 대응하는 것이 아예 없이 점과 점 사이에 떨어져 있다는 것입니다.

[반론]
서튼 본인의 입장은 파텔이 요약한 것보다 더 멀리 나갑니다. 그는 2025년 파텔과의 대담에서 대규모 언어모델이 막다른 길이라고 말했습니다. 언어모델에는 목표가 없고, 세계에 대한 예측이 빗나갔을 때 그것을 정답 기준으로 삼아 스스로를 고치는 경험의 흐름도 없다는 것이 그의 진단입니다. 인터넷 텍스트를 모방하는 일은 사람의 말을 흉내 내는 것이지 세계에서 배우는 것이 아니라는 주장입니다.

이 반론이 아모데이의 답변과 정면으로 어긋나는 지점은 일반화의 출처입니다. 아모데이는 충분히 넓은 분포의 과업을 쏟아부으면 일반화가 따라온다고 보고, 서튼은 경험에서 배우는 구조가 없는 한 아무리 많은 과업을 넣어도 그 구조가 생기지 않는다고 봅니다. 아모데이는 이 대목에서 수수께끼의 존재는 인정하되 그것이 결과를 바꾸지는 못할 것이라고 넘어가며, 왜 바꾸지 못하는지에 대한 적극적인 논증은 제시하지 않습니다.

강화학습 환경을 만드는 이유

파텔은 비유 자체가 앞뒤가 맞지 않는다고 파고듭니다. 사전학습이 진화에 가까운 것이라 표본 효율이 낮아도 괜찮은 것이라면, 그리고 맥락 내 학습에서 표본 효율이 아주 높은 에이전트가 나오는 것이라면, 어째서 API 사용법이나 슬랙 사용법을 가르치는 강화학습 환경 회사들이 그렇게 많은 힘을 쏟고 있느냐는 것입니다. 즉석에서 배우는 에이전트가 이미 등장했거나 곧 등장한다면 그런 작업에 이렇게 강조점이 실리는 것이 혼란스럽다는 지적입니다.

아모데이는 다른 회사가 어디에 강조점을 두는지는 대신 말할 수 없다며 앤트로픽의 생각만 밝힙니다. 목표는 강화학습 안에서 모델에게 가능한 모든 기술을 하나씩 가르치는 것이 아닙니다. 사전학습에서도 단어가 조합될 수 있는 모든 경우를 모델에게 보여주려 한 것이 아니었던 것과 같습니다. 모델은 아주 많은 것으로 학습한 다음 사전학습 전체에 걸쳐 일반화에 도달하고, 그 전환이 바로 그가 GPT-1에서 GPT-2로 넘어가는 과정을 가까이서 지켜보며 목격한 일입니다.

그가 기억하는 순간은 이렇습니다. 모델에 숫자 목록을 던져 주면서 이것이 집값이고 이것이 집의 면적이라고만 알려 주면, 모델이 패턴을 이어받아 선형회귀를 해냈다는 것입니다. 잘하지는 못했지만 어쨌든 해냈고, 모델은 그 정확한 과업을 한 번도 본 적이 없었습니다. 아모데이가 강화학습 환경 구축에 대해 말하려는 것도 같은 이야기입니다. 환경을 짓는 목적은 특정 문서나 특정 기술을 덮기 위해서가 아니라 일반화를 얻기 위해서이고, 이는 5년이나 10년 전 사전학습에서 했던 일과 본질적으로 같다는 설명입니다.

[관점]
곡선의 끝이 가깝다는 주장은 이 대담 전체를 떠받치는 전제이지만, 첫 절에서 그 근거로 제시되는 것은 두 가지뿐입니다. 하나는 2017년에 세운 가설이 지금까지 반증되지 않았다는 것이고, 다른 하나는 강화학습에서도 로그선형 곡선이 보인다는 내부 관찰입니다. 가설이 반증되지 않았다는 사실은 가설이 옳다는 증거가 되기는 하지만, 곡선이 언제 끝나는지에 대해서는 아무것도 말해 주지 않습니다.

투자자나 정책 담당자 입장에서 더 중요한 것은 아모데이가 확신의 층위를 나눠 말한다는 점입니다. 10년 안이라는 넓은 구간에는 90%를 걸고, 1-2년이라는 좁은 구간에는 직감이라는 단서를 답니다. 시장과 언론이 소비하는 것은 대개 뒤쪽 숫자이고 그가 자기 자본과 계약으로 책임지는 것은 앞쪽 숫자인데, 이 간격은 뒤에서 컴퓨트 구매와 수익성을 다룰 때 다시 문제가 됩니다.

확산은 핑계인가

10년 안에 90%, 그리고 1-2년이라는 직감

파텔은 아모데이가 깔아 놓은 틀 자체에는 동의한다고 말하면서 쟁점을 좁힙니다. 지금 시점에 범용인공지능(AGI)을 금세기 안에 달성한다는 데 반대하는 사람은 거의 없습니다. 아모데이는 지수 곡선의 끝에 닿았다고 말하는 반면, 다른 사람은 같은 자료를 보고 2012년부터 계속 진전이 있었으니 2035년쯤이면 인간 같은 에이전트가 나오겠다고 말합니다. 파텔이 알고 싶은 것은 아모데이가 무엇을 보고 그 시점을 10년 뒤가 아니라 1년 뒤라고 판단하느냐입니다.

아모데이는 여기서 할 수 있는 주장이 두 가지이고 하나는 강하고 하나는 약하다고 답합니다. 약한 쪽부터 보면, 2019년에 처음 스케일링을 봤을 때 그는 확신이 없었습니다. 그때 자기 주장은 이것이 누구나 생각하는 것보다 훨씬 더 그럴듯하다는 정도였고, 아무도 고려조차 하지 않는 가능성에 50% 정도를 매긴 것이었습니다. 지금은 10년 안에 데이터센터 속 천재들의 나라에 도달한다는 기본 가설에 90%를 걸고 있고, 그 이상으로 올리기 어려운 이유는 세상이 워낙 예측 불가능하기 때문이라고 말합니다.

남는 불확실성의 내용도 구체적으로 제시합니다. 5%쯤은 여러 회사가 내부 혼란에 빠져 아무 일도 일어나지 않고, 대만이 침공당해 팹이 미사일에 날아가는 식의 세계입니다. 파텔이 이제 말이 씨가 됐다고 농담을 던질 만큼 극단적인 시나리오이지만, 그런 식으로 10년이 지연되는 세계를 구성할 수는 있다는 것입니다. 나머지 5%는 성격이 다릅니다.

검증할 수 있는 과업과 그렇지 않은 과업

아모데이가 높은 확신을 두는 영역은 검증할 수 있는 과업입니다. 코딩에 대해서는 앞서 말한 환원 불가능한 불확실성을 빼면 1-2년 안에 도달한다고 보고, 종단간 코딩을 해내는 일이 10년 안에 안 될 방법은 없다고 말합니다. 긴 시간 축에서도 남는 근본적 불확실성은 검증하기 어려운 과업 쪽에 있습니다. 화성 탐사 계획을 세우는 일, 크리스퍼(CRISPR) 같은 근본적인 과학적 발견을 해내는 일, 소설을 쓰는 일이 그가 드는 예입니다. 이런 과업은 성공과 실패를 가려내기가 어렵고, 그는 거기에 도달하는 믿을 만한 경로가 있다고 거의 확신하지만 조금이라도 불확실성이 남는다면 바로 그 자리라고 말합니다.

파텔은 검증을 강조하는 태도 자체가 모델의 일반화를 믿지 않는다는 신호로 읽힌다고 반박합니다. 인간은 검증 가능한 보상이 주어지는 일에서도, 그렇지 않은 일에서도 능숙해지기 때문입니다. 아모데이는 오히려 그 때문에 자신이 거의 확신한다고 답합니다. 검증되는 영역에서 검증되지 않는 영역으로 넘어가는 상당한 수준의 일반화를 이미 보고 있다는 것입니다.

그렇다면 왜 스펙트럼처럼 말하느냐는 재질문에, 아모데이는 실패 시나리오의 모양을 그려 보입니다. 도달하지 못하는 세계란 검증 가능한 일은 전부 해내고 그중 많은 것이 일반화되지만 반대편 칸을 끝까지 다 칠하지는 못하는 세계라는 것입니다. 모 아니면 도로 갈리는 문제가 아니라는 말입니다. 10년이라는 시간 축에 대해서는 90%이고 이는 인간이 가질 수 있는 확신의 거의 최대치이며, 2035년까지 이 일이 일어나지 않는다고 말하는 쪽이야말로 제정신인 세계라면 주류 바깥에 있어야 할 주장이라고 덧붙입니다.

해설
검증 가능성이 이 논쟁의 중심에 놓이게 된 배경에는 최근 몇 년의 학습 방식 변화가 있습니다. 수학 문제나 코드처럼 정답을 기계가 자동으로 채점할 수 있는 영역에서는 모델이 스스로 수없이 시도하고 채점받으며 실력을 올릴 수 있지만, 소설의 좋고 나쁨이나 연구 설계의 타당성에는 그런 채점기가 없습니다. 최근 성능 향상이 수학과 코드에 쏠려 있는 것도 이 때문입니다.

그래서 쟁점은 채점기가 있는 영역에서 올린 실력이 채점기가 없는 영역으로 얼마나 번지느냐가 됩니다. 아모데이는 이미 상당히 번지고 있다고 말하고, 파텔은 그렇다면 애초에 검증 가능성을 기준으로 영역을 나눌 이유가 없지 않으냐고 묻습니다. 아모데이의 답은 번지기는 하되 끝까지 다 번지지 않는 세계도 가능하다는 것인데, 이 조건부 실패 시나리오가 그가 말하는 5%의 실체입니다.

코드 90%에서 종단간 100%까지

파텔은 일반화가 약한 세계라면 소프트웨어 엔지니어링을 자동화할 수 있는지도 분명하지 않다고 밀어붙입니다. 아모데이 자신도 어떤 의미에서는 소프트웨어 엔지니어인데, 그 일의 상당 부분은 자기 비전을 담은 긴 메모를 쓰는 일이기 때문입니다. 아모데이는 그것이 소프트웨어 엔지니어의 일이 아니라 회사를 이끄는 사람의 일이라고 선을 긋습니다. 다만 설계 문서를 쓰는 것 같은 일은 분명 소프트웨어 엔지니어의 업무에 포함되고, 모델은 이미 주석을 꽤 잘 쓴다고 말합니다. 그러면서 자신이 지금 믿는 것보다 훨씬 약한 주장을 일부러 펴고 있다고 밝힙니다.

여기서 파텔이 어떤 기준으로 그렇게 말하느냐고 묻습니다. AI가 코드 몇 줄을 쓰느냐는 기준이 하나 있지만, 소프트웨어 역사의 다른 생산성 개선과 비교해 보면 컴파일러는 모든 코드 줄을 쓰는 셈입니다. 몇 줄을 쓰느냐와 생산성이 얼마나 올랐느냐는 전혀 다른 문제라는 지적입니다.

아모데이는 이 지적에 동의하면서, 자신이 코드에 대해 해 온 예측들이 반복해서 오해받았다고 말합니다. 여덟아홉 달 전 그는 3-6개월 안에 AI 모델이 코드의 90%를 쓰게 될 것이라고 말했고, 적어도 일부 장소에서는 실제로 그렇게 됐습니다. 앤트로픽에서 그랬고, 앤트로픽 모델을 쓰는 많은 사람에게서도 그랬습니다. 그러나 이것은 매우 약한 기준인데, 사람들은 그 말을 소프트웨어 엔지니어의 90%가 필요 없어진다는 뜻으로 받아들였습니다. 두 이야기는 서로 완전히 다른 세계의 이야기라는 것이 그의 반박입니다.

그래서 그는 스펙트럼을 단계별로 펼쳐 보입니다. 첫 단계는 코드의 90%를 모델이 쓰는 것이고, 두 번째는 100%를 모델이 쓰는 것인데 이 둘 사이에 생산성 측면에서 큰 차이가 있습니다. 세 번째는 종단간 소프트웨어 엔지니어링 과업의 90%를 모델이 해내는 단계로, 여기에는 컴파일, 클러스터와 환경 구성, 기능 테스트, 메모 작성 같은 일이 포함됩니다. 네 번째는 오늘날의 소프트웨어 엔지니어링 과업 100%를 모델이 해내는 단계입니다.

아모데이는 네 번째 단계가 와도 소프트웨어 엔지니어가 일자리를 잃는다는 뜻은 아니라고 말합니다. 더 높은 층위에서 관리하는 새로운 일이 생기기 때문입니다. 그보다 더 멀리 가면 소프트웨어 엔지니어 수요가 90% 줄어드는 단계가 있고, 그는 그 일이 일어날 것이라고 봅니다. 그러나 이 모든 것이 하나의 스펙트럼이며, 자신이 「The Adolescence of Technology」에서 농업을 예로 들어 같은 스펙트럼을 짚었다고 덧붙입니다. 각 기준은 서로 전혀 다른 지점이지만 지금 아주 빠르게 그 지점들을 통과하고 있다는 것이 결론입니다.

[반론]
같은 팟캐스트에 출연했던 안드레이 카파시(Andrej Karpathy)는 2025년 10월 대담에서 AGI가 아직 10년은 남았다고 말했습니다. 모델은 지속 학습이 없고, 인지 코어가 아니라 사전학습 데이터를 흐릿하게 기억하는 상태에 가까우며, 아홉의 행진이라 부른 신뢰성 문제를 한 자리씩 올리는 데 각각 시간이 걸린다는 것이 그의 근거입니다. 코딩 에이전트의 실제 쓸모에 대해서도 그는 자기 작업에서 체감한 한계를 구체적으로 들었습니다.

경제 쪽에서는 대런 애스모글루(Daron Acemoglu)가 훨씬 낮은 수치를 제시했습니다. 그는 2024년 논문에서 향후 10년간 AI가 총요소생산성을 올리는 폭을 1% 미만으로 추정했는데, 자동화할 수 있는 과업이 노동의 좁은 일부이고 그중에서도 배우기 어려운 과업은 오래 남는다는 분석이었습니다. 아모데이가 말하는 수조 달러 규모의 매출과 애스모글루가 말하는 1% 미만의 생산성 증가는 같은 기술에 대한 전망이면서 거의 다른 사건을 가리킵니다.

두 개의 지수 곡선

파텔은 현장에서 보이지 않는 것을 지적합니다. 사람들이 클로드 코드(Claude Code) 같은 도구로 새 프로젝트를 많이 시작한다고는 하는데, 세상 어딘가에서 소프트웨어의 르네상스가, 그러니까 원래라면 존재하지 않았을 기능들이 쏟아지는 광경이 보이지는 않는다는 것입니다. 그는 자신이 클로드 코드에 한 번도 개입할 필요가 없어진다 해도 세상은 복잡하고 일자리는 복잡하다고 말합니다. 자체 완결적인 시스템에서 고리를 닫는 것만으로 얼마나 넓은 이득이 나올지 의심스럽고, 그 때문에 천재들의 나라에 대한 기대치도 희석해야 하는 것 아니냐는 질문입니다.

아모데이는 동의와 반박을 동시에 내놓습니다. 그것이 이런 일들이 즉각 일어나지 않는 이유인 것은 맞지만, 그럼에도 효과는 아주 빠르게 나타날 것이라는 입장입니다. 그는 양극단을 먼저 치워 둡니다. 한쪽에는 AI가 진전을 못 내고 경제 안으로 퍼지는 데 영원히 걸린다는 입장이 있는데, 경제적 확산이라는 말이 AI가 별것 아니라는 뜻의 유행어가 되어 버렸다는 것입니다. 다른 쪽 끝에는 재귀적 자기개선이 시작되면 곡선에 지수선 하나만 그으면 되고 그 뒤 몇 나노초 만에 태양 주위에 다이슨 구(Dyson sphere)가 생긴다는 식의 입장이 있는데, 자기가 일부러 희화화하고 있다고 그는 덧붙입니다.

그 사이에 실제로 관찰되는 것이 앤트로픽의 매출 곡선입니다. 2023년에 0에서 1억 달러, 2024년에 1억 달러에서 10억 달러, 2025년에 10억 달러에서 90억-100억 달러로 연 10배씩 늘어나는 기이한 성장이 이어졌습니다. 파텔이 자기 제품을 10억 달러어치 사서 깔끔하게 100억 달러를 맞췄어야 한다고 농담하자, 아모데이는 올해 첫 달에도 둔화할 법한 그 곡선이 꺾이지 않고 1월 한 달에만 수십억 달러의 매출을 더 얹었다고 말합니다. 물론 GDP의 크기가 정해져 있으니 그 곡선이 영원히 이어질 수는 없고 올해 중에 다소 꺾일 것으로 그 자신도 짐작하지만, 어쨌든 빠른 곡선이고 규모가 경제 전체로 커져도 꽤 빠르게 유지될 것이라는 데 걸겠다고 말합니다.

그래서 그가 제시하는 것은 중간 세계입니다. 일은 극히 빠르게 벌어지지만 즉각적이지는 않고, 경제적 확산과 고리를 닫는 작업 때문에 시간이 걸리는 세계입니다. 그는 기업 안에서 벌어지는 자잘한 일들을 예로 듭니다. 변경관리를 해야 하고, 설정은 해 뒀지만 실제로 작동하게 하려면 보안 권한을 바꿔야 하며, 컴파일과 배포 전에 모델을 점검하는 낡은 소프트웨어가 있어 그것을 다시 써야 합니다. 모델이 그 작업을 할 수 있다 해도 누군가 모델에게 그 일을 시켜야 하고, 시키는 데도 시간이 걸립니다.

결론은 지금까지 관찰된 모든 것이 두 개의 빠른 지수 곡선이라는 그림과 양립한다는 것입니다. 하나는 모델 능력의 곡선이고, 다른 하나는 그 아래에서 따라오는 경제 확산의 곡선입니다. 즉각적이지도 느리지도 않고, 이전의 어떤 기술보다 훨씬 빠르지만 한계가 있습니다. 앤트로픽 내부를 봐도 고객을 봐도 도입은 빠르지만 무한히 빠르지는 않다는 것이 그의 관찰입니다.

확산은 핑계라는 반론

파텔은 여기서 자신이 작심한 주장을 꺼냅니다. 확산은 사람들이 둘러대는 핑계라는 것입니다. 모델이 어떤 일을 못 해내면 사람들은 그것이 확산의 문제라고 말하는데, 그렇다면 인간과 비교해 보자는 제안입니다. AI가 가진 본질적 이점을 생각하면 새 AI를 들이는 일은 새 사람을 들이는 일보다 훨씬 쉬워야 합니다. AI는 회사의 슬랙과 드라이브 전체를 몇 분 만에 읽을 수 있고, 같은 모델의 다른 복제본이 가진 지식을 공유할 수 있으며, 검증된 모델의 복제본을 그대로 쓰면 되니 채용에서 생기는 역선택 문제도 없습니다.

사람을 뽑는 일은 훨씬 번거로운데도 사람들은 늘 사람을 뽑고 있고, 인류는 노동에 연간 50조 달러가 넘는 임금을 지불합니다. 그만큼 쓸모가 있기 때문입니다. 원리상 AI를 경제에 통합하는 쪽이 사람을 뽑는 쪽보다 훨씬 쉬워야 하는데, 그렇다면 확산이라는 설명은 실제로 설명하는 바가 없다는 것이 파텔의 주장입니다.

아모데이는 확산이 매우 실재하는 현상이며 그것이 전적으로 모델의 한계에서 비롯된 것도 아니라고 답합니다. 확산이라는 말을 유행어 삼아 이것이 대단한 일이 아니라고 말하는 사람들이 있지만 자기는 그런 이야기를 하는 것이 아니고, AI가 과거 기술들의 속도로 퍼질 것이라고 말하는 것도 아닙니다. 과거 어떤 기술보다 훨씬 빠르게 퍼지되 무한히 빠르지는 않다는 것이 그의 주장입니다.

그가 드는 사례가 클로드 코드입니다. 클로드 코드는 설치가 극히 쉬워서 개발자라면 그냥 쓰기 시작할 수 있고, 대기업 개발자가 개인 개발자나 스타트업 개발자보다 느리게 도입할 이유가 없습니다. 앤트로픽은 이를 알리기 위해 할 수 있는 모든 일을 하고 있고, 큰 금융회사와 제약회사를 비롯한 대기업들이 보통 새 기술을 도입할 때보다 훨씬 빠르게 클로드 코드를 들이고 있습니다. 그런데도 시간은 걸립니다.

구체적으로 클로드 코드나 코워크(Cowork) 같은 제품은 하루 종일 트위터에 있는 개인 개발자와 시리즈 A 스타트업에서는 금방 자리 잡지만, 식품을 파는 대기업에서는 몇 달이 더 걸립니다. 법무를 거쳐야 하고, 전사에 계정을 배포해야 하며, 보안과 컴플라이언스를 통과해야 합니다. AI 혁명에서 더 멀리 떨어져 있는 경영진은 앞을 내다보는 사람들이기는 해도 5,000만 달러를 쓰는 것이 왜 말이 되는지, 클로드 코드라는 것이 무엇이고 왜 회사를 더 생산적으로 만드는지를 스스로 납득하고 설명해야 합니다. 그다음 두 단계 아래 사람들에게 개발자 3,000명에게 어떤 순서로 배포할지를 다시 설명해야 하고, 앤트로픽은 이런 대화를 매일 하고 있습니다.

아모데이는 자기 회사가 매출을 연 10배가 아니라 20배나 30배로 키우기 위해 할 수 있는 모든 것을 하고 있다고 말합니다. 실제로 많은 기업이 이것은 너무 생산적이니 평소 조달 절차에서 지름길을 택하겠다고 말하고 있고, 과거에 일반 API를 팔려고 했을 때보다 훨씬 빠르게 움직이고 있습니다. 클로드 코드가 더 설득력 있는 제품이기 때문이지만, 무한히 설득력 있는 제품은 아닙니다. 그는 AGI든 강력한 AI든 데이터센터 속 천재들의 나라든 무한히 설득력 있는 제품이 되지는 않을 것이라고 말합니다. 수천억 달러 규모에서도 연 3-5배나 10배의 성장을 끌어낼 만큼은 되겠지만, 그 정도도 역사상 한 번도 없었던 일입니다.

마지막으로 파텔이 능력은 이미 다 와 있고 확산 때문에 안 보일 뿐이라는, 사실상 우리가 AGI에 거의 도달했다는 식의 주장을 언급하자 아모데이는 선을 긋습니다. 자신은 우리가 사실상 AGI에 도달했다고 생각하지 않습니다. 데이터센터 속 천재들의 나라가 있었다면 우리가 그것을 모를 리 없다는 것입니다. 이 방 안의 모두가 알 것이고 워싱턴의 모두가 알 것이며, 시골에 사는 사람은 모를 수도 있겠지만 우리는 알 것입니다. 지금은 그런 것이 없고, 그 점은 아주 분명하다는 말로 그는 이 절을 닫습니다.

[한국 관점]
아모데이가 그린 대기업 도입의 병목은 한국에서 더 길어집니다. 법무와 보안, 조달 절차는 어디에나 있지만, 한국의 금융과 공공 부문에는 망분리와 클라우드 이용 관련 규제가 더해지고 외부 모델로 내부 데이터를 내보내는 일 자체가 별도의 심사 대상이 됩니다. 개인 개발자가 설치 몇 분 만에 쓰는 도구와 대기업이 몇 달에 걸쳐 들이는 도구 사이의 간격이, 그가 말한 미국 기업의 사례보다 더 벌어질 소지가 있습니다.

반대 방향의 함의도 있습니다. 아모데이의 그림이 맞다면 도입 속도의 차이는 결국 기업 간 생산성 격차로 쌓이는데, 그 격차는 모델을 누가 만들었느냐가 아니라 누가 먼저 자기 업무 흐름에 끼워 넣었느냐에서 생깁니다. 국내 논의가 자체 모델 확보에 집중되어 있는 동안, 확산 쪽의 제도적 병목은 상대적으로 적은 비용으로 풀 수 있는 변수로 남아 있습니다.

지속 학습은 반드시 필요한가

영상 편집자를 대체하려면 무엇이 필요한가

파텔은 능력에 대한 이야기가 서로 다른 것을 가리키며 엇나가기 쉽다며, 구체적인 예측으로 돌아가자고 제안합니다. 3년 전 인터뷰에서 그는 3년 뒤에 무엇을 기대해야 하느냐고 물었고, 아모데이는 한 시간쯤 대화해서는 잘 교육받은 사람과 구별하기 어려운 시스템을 기대해야 한다고 답했습니다. 파텔은 그 예측이 맞았다고 인정하면서도 마음 한구석이 채워지지 않는다고 말합니다. 그런 시스템이라면 사무직 업무의 상당 부분을 자동화할 수 있으리라는 것이 자신의 내심의 기대였기 때문입니다.

그래서 그는 자기가 잘 아는 직업을 예로 듭니다. 영상 편집자의 일에는 청중의 취향을 익히고, 진행자 본인의 취향과 판단 기준을 익히고, 여러 선택지 사이의 맞교환을 몇 달에 걸쳐 축적하는 과정이 들어 있습니다. 입사 6개월 차 편집자가 갖게 되는 그 기량을 현장에서 즉석으로 습득하는 AI 시스템은 언제쯤 나오겠느냐는 질문입니다.

아모데이는 지금 세 시간짜리 인터뷰를 찍고 나면 누군가 들어와 편집하면서 머리를 긁는 장면을 덜어내고, 덜 흥미로운 긴 토론과 더 흥미로운 대목을 가려내 자르는 일을 떠올립니다. 그는 데이터센터 속 천재들의 나라라면 그 일을 할 수 있을 것이라고 답합니다. 방식은 컴퓨터 화면을 전반적으로 제어하는 능력을 통해서입니다. 영상을 넣어 주면 모델이 화면을 써서 웹에 접속하고, 진행자의 과거 인터뷰를 전부 들여다보고, 그 인터뷰들에 대해 사람들이 트위터에서 뭐라고 했는지 확인하고, 진행자와 직원들에게 질문하고, 과거 편집 이력을 살펴본 다음 일을 해낸다는 그림입니다.

그는 이것이 몇 가지 조건에 달려 있다고 말하면서, 그중 하나가 실제로 배포를 막고 있는 요인인 컴퓨터 사용 능력이라고 짚습니다. 모델이 컴퓨터를 능숙하게 다루는 수준에 올라서야 한다는 것입니다. 벤치마크는 언제나 불완전한 척도이지만 수치는 올라왔습니다. 1년 3개월쯤 전 앤트로픽이 컴퓨터 사용 기능을 처음 내놨을 때 OSWorld 점수는 15% 안팎이었고, 지금은 65-70%까지 올라왔습니다. 더 어려운 척도가 나올 수도 있지만, 컴퓨터 사용이 신뢰성의 문턱을 넘어야 한다는 것이 그의 진단입니다.

해설
OSWorld는 실제 운영체제 환경에서 모델에게 파일을 열고 설정을 바꾸고 프로그램을 조작하는 과업을 시킨 뒤 성공률을 재는 벤치마크입니다. 사람에게는 쉬운 일이지만 모델에게는 화면을 보고 어디를 눌러야 하는지 판단하는 문제라, 텍스트를 읽고 쓰는 과업보다 훨씬 늦게 올라왔습니다. 이 점수가 중요한 이유는 사무직 업무의 상당수가 특정 소프트웨어 화면 위에서 벌어지기 때문입니다.

다만 65-70%라는 수치는 열 번에 서너 번은 실패한다는 뜻이기도 합니다. 중간에 사람이 확인하지 않고 긴 작업을 끝까지 맡기려면 각 단계의 성공률이 곱해지므로, 단계가 길어질수록 전체 성공률은 급격히 떨어집니다. 아모데이가 능력이 아니라 신뢰성을 문턱이라고 표현한 것은 이 곱셈 때문입니다.

코드베이스라는 외부 기억장치

파텔은 다음 논점으로 넘어가기 전에 하나를 더 묻습니다. 그는 몇 년째 자기 작업용 내부 도구를 만들어 왔는데, 텍스트를 넣어 텍스트를 받는 과업은 이 모델들의 정중앙에 있어야 할 일인데도 여전히 사람을 고용해 처리합니다. 녹취록에서 가장 좋은 클립을 골라내라는 과업을 주면 모델은 10점 만점에 7점짜리 결과를 내놓는데, 문제는 점수가 아니라 사람 직원에게 하듯 계속 관여하며 실력을 끌어올릴 통로가 없다는 점입니다. 컴퓨터 사용 문제가 풀려도 그 빠진 능력이 실제 업무를 넘기는 것을 가로막는다는 것입니다.

아모데이는 이것이 앞서 나온 현장 학습 이야기와 이어진다고 답하면서 코딩 에이전트를 반례로 듭니다. 코딩 에이전트가 처음부터 끝까지 일을 해내지 못하는 이유로 현장 학습의 부재를 꼽는 사람은 별로 없는데, 그 에이전트들은 계속 좋아지고 있습니다. 앤트로픽에는 코드를 전혀 쓰지 않는 엔지니어들이 있고, 예전에는 직접 작성하던 GPU 커널을 이제는 클로드에게 맡긴다고 말하는 사람들이 있습니다. 생산성이 엄청나게 개선됐다는 것입니다.

그리고 그가 듣는 불만 목록에서 코드베이스에 익숙하지 않다거나 모델이 이 회사에서 1년쯤 일해 본 느낌이 안 난다는 이야기는 윗자리에 있지 않습니다. 앤트로픽은 다른 경로를 타고 있다는 것이 그의 요약입니다.

파텔은 그것이야말로 코딩의 특수성 때문이라고 받습니다. 코딩에는 코드베이스라는 외부 기억장치가 이미 만들어져 있고, 다른 직업에 그런 것이 얼마나 있는지 모르겠다는 것입니다. 코딩이 빠르게 진전한 이유가 다른 경제 활동에는 없는 이 고유한 이점 때문이라면, 코딩의 성공을 일반화하기 어렵습니다.

아모데이의 반박은 그 지적을 뒤집는 것입니다. 코드베이스를 컨텍스트에 읽어 넣는 것만으로 사람이 현장에서 배워야 했던 것을 전부 갖게 된다는 뜻이라면, 그것은 곧 필요한 지식 전부가 컨텍스트 창에서 조달된 사례라는 뜻입니다. 새 직장에 들어가 코드베이스를 이해하는 데 6개월이 걸린다고 말할 때의 그 학습을, 모델은 컨텍스트 안에서 해치웠다는 것입니다.

생산성은 정말 올랐는가

파텔은 이 대목을 어떻게 생각해야 할지 정말 모르겠다고 말합니다. 아모데이가 말하는 것을 체감으로 보고하는 사람들이 분명히 있지만, 평가 기관 METR이 지난해 내놓은 연구는 반대 방향을 가리켰기 때문입니다. 숙련된 개발자들에게 자신이 익숙한 저장소에서 풀 리퀘스트(pull request)를 처리하게 한 실험이었는데, 개발자들은 모델 덕분에 더 생산적이었다고 느꼈다고 보고했습니다. 그러나 실제 산출물과 병합된 양을 보면 20%의 하락이 있었습니다. 모델을 쓴 결과 덜 생산적이었던 것입니다.

파텔이 맞추려는 것은 세 가지입니다. 사람들이 느끼는 체감, 거시적으로 보이지 않는 소프트웨어의 르네상스, 그리고 독립적인 평가에서 나오지 않는 생산성 이득입니다.

아모데이는 앤트로픽 안에서는 이것이 전혀 애매하지 않다고 답합니다. 회사는 엄청난 상업적 압박을 받고 있고, 다른 회사들보다 많이 한다고 그가 믿는 안전 작업까지 떠안아 스스로 조건을 더 어렵게 만들고 있습니다. 가치를 지키면서 경제적으로 생존해야 하는 압력이 극심하고, 연 10배 매출 곡선을 유지하려 애쓰는 상황에서 헛소리에 쓸 시간도, 생산적이지 않은데 생산적이라고 착각할 시간도 전혀 없다는 것입니다. 그는 이 도구들이 자신들을 훨씬 더 생산적으로 만든다고 단언하면서, 그렇지 않다면 경쟁사가 자사 모델을 쓰는 것을 왜 걱정하겠느냐고 되묻습니다. 생산성을 몰래 떨어뜨리는 물건이었다면 이 모든 수고를 들일 이유가 없고, 최종 생산성은 몇 달마다 모델 출시라는 형태로 확인된다는 것입니다.

파텔은 두 번째 반론으로 넘어갑니다. 재귀적 자기개선이라는 발상은 더 나은 AI를 만들면 그 AI가 다음 AI를 더 잘 만들어 준다는 것이었는데, 앤트로픽과 오픈AI와 딥마인드를 놓고 보면 실제로 보이는 것은 몇 달마다 시상대 위에서 자리를 바꾸는 광경뿐입니다. 코딩 모델에서 오는 생산성 이득이 정말로 거대하다면, 가장 좋은 코딩 모델을 가진 쪽이 왜 지속적인 우위를 누리지 못하느냐는 질문입니다.

아모데이는 우위가 서서히 커지는 중이라는 모형을 제시합니다. 지금 코딩 모델이 주는 가속은 전체 요소를 통틀어 15%, 많아야 20% 수준이고 6개월 전에는 5% 정도였다는 것이 그의 판단입니다. 5%는 체감되지 않는 크기이고 그래서 그 무렵에는 여러 회사가 비슷한 지점에 있었습니다. 지금은 여러 요인 가운데 하나로 의미를 갖기 시작하는 단계이고 앞으로 계속 빨라질 것이라고 그는 봅니다. 덧붙여 코드용 모델을 만드는 회사가 여럿이고, 다른 회사들이 앤트로픽 모델을 내부적으로 쓰는 것을 완벽하게 막지는 못하고 있다는 사정도 언급합니다.

그래서 지금까지 관찰된 것은 눈덩이가 굴러가며 커지는 모형과 모두 들어맞는다는 것이 결론입니다. 그는 이 대담 전체를 관통하는 자신의 주제가 완만한 이륙(soft takeoff), 즉 매끄러운 지수 곡선이라고 말합니다. 다만 그 지수가 꽤 가파르다는 단서를 답니다. 눈덩이는 10%, 20%, 25%, 40%로 불어나고, 그 과정에서 암달의 법칙(Amdahl’s law)이 말하는 대로 고리를 닫지 못하게 가로막는 요소들을 하나씩 치워야 합니다. 그 일이 앤트로픽 내부에서 가장 큰 우선순위 가운데 하나라고 그는 밝힙니다.

[이해관계]
생산성을 둘러싼 이 공방에서 양쪽이 내놓는 증거의 성격은 대칭적이지 않습니다. 파텔이 드는 METR 연구는 설계와 결과가 공개되어 누구나 검토할 수 있는 반면, 아모데이가 드는 근거는 자기 회사 내부에서 본 것이고 외부에서 확인할 수 없습니다. 15-20%라는 수치도 측정 방법이 제시되지 않은 추정치입니다.

발화 위치도 짚어 둘 필요가 있습니다. 코딩 모델이 연구 속도를 얼마나 올려 주느냐는 질문은 앤트로픽의 제품 가치에 직결되는 주제이고, 그는 이 대담에서 투자자에게 성장 전망을 설명해 왔다고 직접 밝힙니다. 그가 내부 생산성을 의심할 여지가 없다고 말할 때, 그 발언은 관찰 보고인 동시에 회사의 주장이기도 합니다. 다만 그가 든 근거 하나는 검증 가능한 쪽에 가깝습니다. 경쟁사가 자사 모델을 쓰는 것을 걱정한다는 사실은 그 도구가 실제로 쓸모 있다고 회사가 믿고 있음을 보여주는 행동 증거입니다.

맥락 내 학습, 그리고 컨텍스트 길이라는 공학 문제

파텔은 한 발 물러서서 논점을 정리합니다. 앞에서는 현장 학습이 언제 가능해지느냐를 물었는데, 코딩에 대한 아모데이의 답은 현장 학습이 사실 필요 없다는 쪽으로 읽힙니다. 인간의 그 기본 능력 없이도 막대한 생산성 개선이 가능하고 AI 기업이 수조 달러의 매출을 올릴 수도 있다는 주장입니다. 그러나 대부분의 경제 활동에서 사람들은 누군가를 뽑으면 처음 몇 달은 별 도움이 안 되다가 시간이 지나며 맥락과 이해를 쌓아 핵심 인력이 된다고 말합니다. AI가 즉석에서 배우는 능력을 갖추지 못한다면 세상이 크게 달라질 것이라는 전망에 회의적이라는 것입니다.

아모데이는 두 가지로 나눠 답합니다. 첫째는 현재 기술의 상태입니다. 사전학습과 강화학습 단계에서 데이터와 과업을 잔뜩 쏟아부으면 모델이 일반화하는데, 이는 학습이기는 하되 한 사람이나 한 모델의 생애에 걸친 학습이 아니라 더 많은 데이터로부터 배우는 학습입니다. 진화와 인간 학습 사이에 놓인 그 자리입니다.

그러나 일단 그 기술들을 익히고 나면 모델은 그것을 가지고 있습니다. 사전학습된 모델은 일본 사무라이의 역사도, 야구도, 전자공학의 저역통과 필터도 자기보다 더 많이 알고 있어서 지식의 폭이 자기보다 훨씬 넓다고 그는 말합니다. 그것만으로도 모델이 모든 일을 더 잘하는 지점에 닿을 수 있다는 것입니다.

여기에 기존 설정을 키우는 것만으로 얻어지는 맥락 내 학습이 더해집니다. 그는 이것을 인간의 현장 학습과 비슷하되 조금 약하고 조금 더 단기적인 것이라고 설명합니다. 예시를 여러 개 주면 모델은 실제로 알아듣고, 컨텍스트 안에서 진짜 학습이 일어납니다.

100만 토큰은 적은 양이 아니어서 인간으로 치면 며칠치 학습에 해당하고, 100만 단어를 읽으려면 자기도 며칠이나 몇 주가 걸릴 것이라고 말합니다. 이 두 가지만으로 기존 패러다임 안에서 데이터센터 속 천재들의 나라에 도달할 수도 있다는 것이 그의 추정입니다. 확신할 수는 없고 빈틈이 있을 수 있지만 상당 부분까지는 간다고 보며, 지금 상태만으로도 수조 달러의 매출을 만들어 내기에는 충분하다고 단언합니다.

둘째는 지속 학습, 즉 하나의 모델이 현장에서 배우는 능력입니다. 앤트로픽도 이 문제를 연구하고 있고 앞으로 1-2년 안에 풀어낼 가능성이 꽤 있다고 그는 봅니다. 다만 그것 없이도 대부분의 길은 간다는 입장을 되풀이합니다. 연 수조 달러 규모의 시장도, 「The Adolescence of Technology」에서 다룬 국가안보와 안전 측면의 함의도 지속 학습 없이 일어날 수 있다는 것입니다. 그러면서도 자기 회사도 다른 곳들도 그 문제를 붙들고 있으며 1-2년 안에 도달할 가능성이 크다고 말합니다.

방법에 대한 아이디어는 여럿 있지만 전부 자세히 말하지는 않겠다며, 그중 하나로 컨텍스트를 더 길게 만드는 길을 듭니다. 긴 컨텍스트가 작동하지 못할 이유는 없고, 긴 컨텍스트로 학습한 다음 추론 단계에서 그것을 서비스하는 법을 익히면 되며, 둘 다 공학 문제라는 설명입니다.

파텔은 이 대목을 의심합니다. 2020년부터 2023년까지 GPT-3에서 GPT-4 Turbo로 오면서 컨텍스트 길이가 2,000에서 128K로 늘었지만, 그 뒤 2년 남짓은 비슷한 범위에 머물러 있습니다. 그보다 훨씬 길어지면 모델이 전체 컨텍스트를 제대로 고려하지 못한다는 질적 저하가 보고됩니다. 1,000만, 1억 토큰, 인간의 6개월치 학습을 담으려면 10억 토큰이 필요할 텐데 내부에서 무엇을 보고 그것이 가능하다고 보느냐는 질문입니다.

아모데이는 이것이 연구 문제가 아니라 공학과 추론의 문제라고 답합니다. 긴 컨텍스트를 서비스하려면 KV 캐시 전체를 저장해야 하는데, 그 메모리를 GPU에 담고 이리저리 옮기는 일이 어렵다는 것입니다. 그는 이 수준의 세부는 자기가 더는 따라가지 못한다고 솔직하게 인정합니다. GPT-3 시절에는 가중치가 무엇이고 어떤 활성값을 저장해야 하는지 알고 있었지만, 전문가 혼합(MoE) 모델이 등장하면서 구조가 통째로 뒤집혔기 때문입니다.

질적 저하에 대해서는 너무 구체적으로 들어가지 않는 선에서 구분을 제시합니다. 학습할 때의 컨텍스트 길이와 서비스할 때의 컨텍스트 길이는 다른 문제이고, 짧게 학습해 놓고 길게 서비스하려 하면 그런 저하가 생길 수 있습니다. 아무것도 없는 것보다는 나으니 그대로 제공할 수도 있지만 저하는 남고, 긴 컨텍스트로 학습하는 쪽이 더 어려울 수도 있다는 것입니다.

파텔은 긴 컨텍스트로 학습하면 같은 컴퓨트로 넣을 수 있는 표본 수가 줄어들지 않느냐는 곁길이 떠오르지만 깊이 파지는 않겠다며, 큰 그림의 질문을 던집니다. 6개월간 자신과 일해 온 인간 편집자와 6개월간 함께한 AI 사이에서 더는 인간 쪽을 선호하지 않게 되는 때가 몇 년도냐는 것입니다. 아모데이는 이런 종류의 문제가 대체로 데이터센터 속 천재들의 나라가 생기면 할 수 있게 되는 부류라고 답합니다. 굳이 추측하라면 1-2년, 길게 잡아 1-3년이고 정말 말하기 어렵다는 단서를 답니다.

10년 안에 이 모든 일이 일어난다는 데는 95%에서 99%에 이르는 강한 견해를 갖고 있어 아주 안전한 내기라고 보지만, 1-2년이나 1-3년이라는 쪽은 반반에 가까운 직감이라는 것입니다. 파텔이 데이터센터 속 천재들의 나라와 영상 편집이라는 다소 덜 중요한 과업을 나란히 놓자, 아모데이는 영상 편집도 경제적으로 꽤 가치 있는 일이며 그와 비슷한 용례가 아주 많다고 받습니다.

[관점]
이 절에서 아모데이의 논증은 지속 학습이 해결되리라는 쪽이 아니라 그것이 애초에 필요 조건이 아닐 수도 있다는 쪽으로 기울어 있습니다. 사전학습과 강화학습의 일반화에 맥락 내 학습을 더하면 대부분의 길은 간다는 것이고, 지속 학습은 보험처럼 덧붙습니다. 이 구조에서 결론은 두 경로 중 어느 하나만 열려도 유지되기 때문에 반박하기가 까다로워집니다.

다만 그 두 경로가 같은 자리에서 막힐 가능성은 남습니다. 맥락 내 학습이 현장 학습을 대신하려면 컨텍스트가 길어져야 하고, 아모데이 본인이 그것을 메모리와 추론 비용의 문제라고 말합니다. 비용 문제라면 토큰당 단가가 떨어지는 속도와 컨텍스트가 길어지는 속도를 비교해야 하는데, 이 대담에서는 그 숫자가 나오지 않습니다. 투자 판단의 관점에서 이 절의 1-3년이라는 숫자는 모델의 성능 전망이라기보다 추론 단가 하락에 대한 전망에 가깝습니다.

AGI가 임박했다면 왜 컴퓨트를 더 사지 않는가

짧은 타임라인과 조심스러운 투자

파텔은 두 가지 공개 발언을 나란히 놓습니다. 하나는 앤트로픽이 2026년 말이나 2027년 초면 오늘날 디지털 업무를 하는 사람이 쓰는 인터페이스를 다룰 수 있고, 노벨상 수상자에 필적하거나 그를 능가하는 지적 능력을 지니며, 물리 세계와 접속할 수 있는 AI 시스템이 나온다고 전망한 문서입니다. 다른 하나는 두 달 전 딜북(DealBook) 인터뷰로, 거기서 아모데이는 경쟁사와 비교해 자기 회사가 더 책임 있게 컴퓨트를 키우고 있다는 점을 강조했습니다.

파텔이 보기에 이 둘은 맞아떨어지지 않습니다. 천재들의 나라가 정말 온다고 믿는다면 데이터센터는 구할 수 있는 한 크게 지어야 하고 속도를 늦출 이유가 없기 때문입니다. 노벨상 수상자가 할 수 있는 일을 실제로 전부 해내는 존재의 전체 시장규모는 수조 달러인데, 그런 전망을 말하면서 보수적으로 움직이는 것은 오히려 타임라인이 더 길 때나 합리적인 태도라는 지적입니다.

아모데이는 두 입장이 사실 하나로 맞물린다고 답하면서, 빠르지만 무한히 빠르지는 않은 확산이라는 앞선 논점으로 돌아갑니다. 기술 쪽에 대해서는 몇 년 안에 도달한다는 데 매우 높은 확신이 있고, 1-2년이라는 직감도 있으며, 설령 틀려도 크게 빗나가지는 않으리라고 봅니다. 확신이 덜한 쪽은 경제적 확산입니다.

1-2년 안에 천재들의 나라에 해당하는 모델을 가질 수 있다고 정말로 믿지만, 그 뒤 수조 달러의 매출이 밀려들기까지 몇 년이 걸리는지는 보장되어 있지 않다는 것입니다. 1년일 수도 2년일 수도 있고, 회의적이기는 해도 5년까지 늘려 잡을 수도 있습니다. 그리고 데이터센터를 사들이는 방식에서는 몇 년의 오차가 파멸적일 수 있습니다.

치료제가 모두에게 닿기까지

그는 이 지점을 「Machines of Loving Grace」에서 쓴 방식 그대로 풀어냅니다. 파텔이 인용한 설명도 그 글에서 나온 것이라고 확인하면서, 자신은 그 글에서 강력한 AI, 즉 데이터센터 속 천재들의 나라를 2026년이나 2027년에 얻게 될 것이라고 썼고 1-2년 빗나가도 놀라지 않겠지만 그것이 자기 직감이라고 말합니다. 그렇게 됐다고 가정하면 그 시점은 출발 신호일 뿐이고, 진짜 질문은 모든 질병을 치료하는 데 얼마나 걸리느냐입니다.

모든 질병을 고치는 일은 거대한 경제적 가치를 만들어 내는 경로 가운데 하나입니다. 그 가치가 제약회사와 AI 기업 사이에 어떻게 나뉘는지는 따로 따져야 할 문제이지만, 모두가 접근할 수 있다는 전제가 성립한다면 소비자 잉여는 막대합니다. 그 전제를 자신이 매우 중요하게 여긴다고 그는 덧붙입니다.

문제는 시간입니다. 생물학적 발견을 해야 하고, 새 약을 제조해야 하고, 규제 절차를 통과해야 합니다. 코로나 백신에서 이미 본 광경인데, 백신은 모두에게 전달됐지만 1년 반이 걸렸습니다.

그가 던지는 질문은 이론상 그것을 발명할 수 있는 천재가 실험실에 처음 존재하게 된 시점부터, 질병이 실제로 모두에게서 치료되기까지 얼마나 걸리느냐입니다. 소아마비 백신은 50년 전부터 있었지만 아프리카의 가장 외진 구석에서 그것을 박멸하는 일은 아직 끝나지 않았습니다. 게이츠 재단도 다른 이들도 최선을 다하고 있지만 어려운 일입니다. 그는 경제적 확산 대부분이 이 정도로 어렵지는 않을 것이라며 이 사례가 가장 어려운 경우라고 선을 긋지만, 진짜 딜레마가 여기에 있다고 말합니다. 그가 도달한 결론은 세상이 본 어떤 것보다 빠르되 여전히 한계가 있다는 것입니다.

해설
이 대목에서 아모데이가 쓰는 논증 구조는 투자 판단의 언어로 옮기면 더 분명해집니다. 기술 도달 시점에 대한 그의 추정 오차는 1-2년이고, 그 기술이 매출로 전환되는 시차에 대한 추정 범위는 1년에서 5년입니다. 두 불확실성이 더해지면 2027년에 쓸 컴퓨트를 지금 결정해야 하는 쪽의 실제 오차 범위는 6-7년까지 벌어집니다.

데이터센터 계약이 다른 설비투자와 다른 점은 되돌릴 수 없다는 데 있습니다. 전력과 부지와 칩을 몇 년 앞서 예약하고 그 대가를 매년 치르는 구조라, 수요가 늦게 오면 쓰지 않는 설비에 비용만 나갑니다. 아모데이가 기술 전망과 구매 결정을 분리해서 설명하는 이유가 여기에 있습니다. 모델이 언제 나오느냐와 그 모델로 돈이 언제 들어오느냐는 다른 질문이고, 파산을 결정하는 것은 뒤쪽입니다.

1조 달러어치를 사면 파산합니다

그래서 데이터센터를 살 때 그가 보는 곡선은 이렇습니다. 지금까지 매년 10배씩 늘어났고 올해 초 기준 연환산 매출은 100억 달러입니다. 여기서 컴퓨트를 얼마나 살지 정해야 하는데, 데이터센터를 실제로 짓고 예약하는 데 1-2년이 걸리므로 질문은 2027년에 내가 얼마나 많은 컴퓨트를 확보하느냐가 됩니다.

매출이 계속 10배씩 늘어난다고 가정하면 2026년 말에 1,000억 달러, 2027년 말에 1조 달러가 됩니다. 그러면 1조 달러어치 컴퓨트를 살 수 있을 것 같지만, 실제로는 5년치 계약이므로 연 1조 달러씩 5조 달러를 사는 셈이 됩니다. 2027년 말부터 돌아가는 1조 달러어치 컴퓨트를 샀는데 매출이 1조 달러가 아니라면, 설령 8,000억 달러라 해도 파산을 막아 줄 힘은 지구상에 없고 어떤 헤지로도 막을 수 없다는 것이 그의 계산입니다.

그래서 머리 한쪽에서는 10배 성장이 계속될지 궁금해하면서도 2027년에 연 1조 달러어치 컴퓨트를 살 수는 없습니다. 성장 속도에서 1년만 빗나가거나 연 10배가 아니라 5배로 나오면 파산하기 때문입니다. 결국 수조 달러가 아니라 수천억 달러를 감당하는 세계에 머물게 되고, 수요가 너무 많아 매출을 뒷받침하지 못할 위험과 판단이 틀려 여전히 더딜 위험을 동시에 감수하게 됩니다.

여기서 그는 책임 있게 행동한다고 말했을 때의 뜻을 바로잡습니다. 그가 가리킨 것은 절대 금액이 아니었습니다. 다른 일부 사업자보다 다소 적게 쓰고 있는 것은 사실이지만, 핵심은 신중하게 따져 봤느냐 아니면 여기 1,000억 달러, 저기 1,000억 달러 하는 식으로 막 지르고 있느냐의 차이입니다. 그는 일부 회사가 스프레드시트를 적어 보지도 않은 것 같고 자신들이 지는 위험을 제대로 이해하지 못한 채 멋있어 보여서 움직이는 듯한 인상을 받는다고 말합니다.

앤트로픽이 신중했다고 보는 근거로는 세 가지를 듭니다. 기업 대상 사업이라 소비자 사업보다 변덕이 덜한 매출에 더 기댈 수 있다는 점, 마진이 더 좋아 너무 많이 사는 것과 너무 적게 사는 것 사이의 완충이 두텁다는 점, 그래서 꽤 강한 상방 시나리오를 잡아낼 만큼은 사되 연 10배 전부를 잡아내지는 못하는 수준에서 균형을 맞췄다는 점입니다. 상황이 꽤 나쁘게 흘러야만 재무적 곤경에 빠지는 자리라는 것이 그의 설명이고, 그것이 책임 있게 행동한다는 말의 내용입니다.

천재들의 나라를 정말 믿는다면

파텔은 그렇다면 두 사람이 천재들의 나라라는 말을 서로 다른 뜻으로 쓰고 있는 것일 수 있다고 말합니다. 실제 인간 천재들의 나라가 데이터센터 안에 있다면 자신은 5조 달러어치 컴퓨트를 기꺼이 사겠다는 것입니다. JP모건이나 모더나가 쓰지 않겠다고 해도 상관없습니다. 천재들의 나라를 가졌으니 그들이 직접 회사를 차리면 되고, 회사를 차릴 수 없어 임상시험에 묶인다 해도 임상시험이 실패하는 이유는 대개 약이 듣지 않아서, 즉 효능이 없어서라는 점을 짚어 둘 만하다고 말합니다.

아모데이는 바로 그 지적을 「Machines of Loving Grace」에서 자신이 했다고 답합니다. 임상시험은 지금 익숙한 것보다 훨씬 빨라지겠지만 즉각적이지도 무한히 빠르지도 않을 것이라는 내용입니다. 파텔은 임상시험이 1년 걸린다고 치자고 하면서 밀어붙입니다. 그동안에도 천재들의 나라를 가진 AI 연구소라면 AI 연구자를 훨씬 더 많이 쓸 수 있고, 똑똑한 사람들이 AI 기술에 투입될 때 생기는 자기강화적 이득도 아모데이 본인이 믿는 바이니, 데이터센터를 AI 진전에 투입하면 된다는 것입니다.

아모데이는 연 1조 달러어치와 연 3,000억 달러어치 사이에 실질적으로 큰 차이가 있느냐고 되묻습니다. 파텔이 경쟁자가 1조를 사고 있다면 차이가 있다고 답하자, 그는 이득이 있기는 하지만 그 경쟁자가 그 전에 파산할 가능성이 있다고 받습니다. 1년만 빗나가도 스스로를 파괴하게 되고, 그 균형이 문제의 핵심이라는 것입니다. 앤트로픽도 많이 사고 있으며, 업계에서 가장 큰 사업자들이 사는 양에 견줄 만한 규모라고 그는 말합니다.

다만 왜 2027년 중반부터 시작하는 10조 달러어치 컴퓨트를 계약하지 않았느냐고 묻는다면, 첫째로 그만한 양이 세상에 생산되어 있지 않고, 둘째로 천재들의 나라가 2027년 중반이 아니라 2028년 중반에 온다면 파산하기 때문이라고 답합니다.

파텔은 그렇다면 1-3년이라는 전망에 맞춰 늦어도 2029년까지는 10조 달러어치 컴퓨트를 원해야 하는 것 아니냐고 되묻습니다. 가장 긴 버전의 타임라인을 잡아도 지금 짓고 있는 컴퓨트 규모는 그 전망과 어울리지 않아 보인다는 것입니다. 근거로는 인간의 임금 총액이 연 50조 달러 수준이라는 점을 듭니다.

아모데이는 앤트로픽에 대해서는 말하지 않겠다며 산업 전체의 숫자를 꺼냅니다. 올해 업계가 짓고 있는 컴퓨트는 10-15기가와트쯤이고, 매년 대략 3배씩 올라갑니다. 내년이면 30-40기가와트, 2028년에는 100기가와트, 2029년에는 300기가와트 정도가 됩니다.

1기가와트당 비용은 암산으로 연 100억 달러에서 150억 달러 사이입니다. 이것을 모두 합치면 2028년이나 2029년에 연 수조 달러 규모가 되어 파텔이 예측한 것과 정확히 같은 숫자가 나옵니다. 다만 그것은 업계 전체의 숫자라는 단서가 붙습니다.

파텔은 앤트로픽의 컴퓨트가 연 3배씩 늘어 2027년이나 2028년에 10기가와트가 되면 1기가와트당 100억 달러를 곱해 연 1,000억 달러인데, 그 시점의 전체 시장규모를 생각하면 숫자가 맞지 않는다고 짚습니다. 아모데이는 앤트로픽의 정확한 수치를 말하고 싶지는 않다면서도 그 숫자들은 너무 작다고 답합니다. 파텔이 흥미롭다고 받으며 이 절이 끝납니다.

[한국 관점]
아모데이가 제시한 산업 전체 숫자는 한국 제조업에 직접 걸리는 전망입니다. 2029년 300기가와트라면 지금의 20배가 넘는 규모이고, 그 설비에는 고대역폭 메모리(HBM)와 전력기기, 변압기, 냉각 설비가 함께 들어갑니다. 국내 반도체와 전력기자재 업종의 실적 전망이 사실상 이 기가와트 곡선의 함수가 되어 있다는 뜻입니다.

동시에 이 절의 논점은 그 곡선이 보장되어 있지 않다는 데 있습니다. 아모데이가 설명한 파산 계산은 구매자 쪽의 위험이지만, 공급자 쪽에서 보면 그 신중함이 곧 주문의 변동성입니다. 수요 예측이 1년만 어긋나도 파산한다는 판단 때문에 선두 기업들이 계약을 늦추거나 줄이면, 그 조정은 메모리와 전력기기 주문에 몇 분기 앞서 나타납니다. 국내 투자자에게 이 절에서 읽어야 할 것은 300기가와트라는 숫자보다, 그 숫자를 만드는 주체들이 스스로 어느 정도의 오차를 감당 가능하다고 보는지입니다.

[관점]
이 절에서 두 사람의 논쟁은 겉보기와 달리 타임라인에 대한 것이 아닙니다. 파텔이 지적하는 것은 아모데이의 말과 행동 사이의 간격이고, 아모데이의 답은 그 간격이 비합리가 아니라 비대칭적 손실 구조에서 나온다는 것입니다. 수요를 과소 예측하면 기회를 놓치지만 과대 예측하면 회사가 사라지므로, 중앙값이 아니라 하방 시나리오에 맞춰 사게 됩니다.

이 설명이 설득력 있는 만큼 따라 나오는 결론도 분명합니다. 어떤 기업의 설비투자 규모를 그 기업 경영진이 믿는 타임라인의 지표로 읽을 수는 없다는 것입니다. 적게 사는 쪽이 회의적이어서가 아니라 생존 제약이 더 빡빡해서일 수 있고, 많이 사는 쪽이 확신해서가 아니라 자본 구조상 더 버틸 수 있어서일 수도 있습니다. AI 설비투자 경쟁을 믿음의 경쟁으로 해석하는 시장의 습관은 이 대목에서 한 번 점검해 볼 만합니다.

AI 연구소는 어떻게 이익을 내는가

이익은 수요 예측이 빗나간 결과입니다

파텔은 앤트로픽이 투자자에게 2028년부터 흑자를 내겠다고 밝힌 점을 꺼냅니다. 2028년은 천재들의 나라가 나올 수도 있는 해이고 의학과 보건, 새로운 기술에서 온갖 진전이 풀려나올 해인데, 바로 그때야말로 사업에 재투자해 더 큰 나라를 지어 더 많은 발견을 시켜야 할 시점이 아니냐는 질문입니다.

아모데이는 이 분야에서 수익성이라는 개념이 묘하게 작동한다고 답합니다. 그는 이 분야에서 수익성이 사업에 재투자하느냐 아니면 벌어들인 것을 까먹느냐의 척도가 아니라고 봅니다. 이익은 수요를 과소평가했을 때 생기고 손실은 수요를 과대평가했을 때 생긴다는 것이 그의 모형인데, 데이터센터를 미리 사 두기 때문입니다.

그는 단순한 장난감 모형을 들어 설명합니다. 정확한 숫자가 아니라 양식화된 사실이라는 단서를 달고 제시하는 그림은 이렇습니다. 컴퓨트의 절반은 학습에, 절반은 추론에 쓰고 추론의 매출총이익률은 50%를 넘는다고 가정합니다.

수요를 정확히 알고 있는 정상 상태라면 연 1,000억 달러를 컴퓨트에 지불하고, 그중 추론에 쓰는 500억 달러로 1,500억 달러의 매출을 떠받치며, 나머지 500억 달러는 학습에 씁니다. 그러면 500억 달러의 이익이 남습니다. 이것이 오늘날의, 정확히는 1-2년 뒤를 내다본 업계의 경제학이라고 그는 말합니다.

이 그림이 깨지는 경우는 하나뿐입니다. 수요가 500억 달러보다 적게 나오면 데이터센터의 절반 이상이 연구용으로 남게 되어 흑자가 나지 않습니다. 더 강한 모델을 학습시키게 되지만 이익은 없습니다. 반대로 수요가 예상보다 많으면 연구 쪽이 눌리는 대신 추론을 더 떠받칠 수 있어 더 많은 이익이 납니다. 그가 말하려는 요지는 컴퓨트의 총량을 먼저 결정하고 나면 추론과 학습의 배분은 자기 희망이 아니라 수요가 정한다는 것입니다.

파텔은 그 말을 흑자를 예상한다는 것이 곧 컴퓨트에 구조적으로 과소투자하고 있다는 뜻으로 들린다고 받습니다. 아모데이는 그런 뜻이 아니라 예측이 어렵다는 뜻이라고 답합니다. 2028년이라는 시점에 대한 이야기는 투자자를 상대로 할 수 있는 최선을 다한 것이고, 불확실성의 원뿔(cone of uncertainty) 때문에 모든 것이 정말로 불확실합니다. 매출이 충분히 빨리 늘면 2026년에도 흑자가 날 수 있고, 다음 해를 과대평가하거나 과소평가하면 결과는 크게 흔들립니다. 그가 짚으려는 것은 투자하고 또 투자해 규모를 키운 다음 흑자로 돌아서는 단일한 전환점이 있다는 통상의 모형이 이 산업에는 들어맞지 않는다는 점입니다.

로그 수익이 배분을 결정합니다

파텔은 이해한 바를 되짚어 봅니다. 확보했어야 할 컴퓨트와 실제로 확보한 컴퓨트의 차이 때문에 어쩔 수 없이 이익이 났다는 말이고, 그렇다고 계속 이익을 내겠다는 뜻은 아니며, AI가 그만큼 진전했으니 더 큰 천재들의 나라를 원해 돈을 재투자하게 되므로 매출도 높고 손실도 높아진다는 그림이냐는 것입니다. 아모데이는 매년 수요를 정확히 맞힌다면 매년 흑자가 날 것이라고 답합니다. 컴퓨트의 대략 절반을 연구에 쓰고 50%가 넘는 매출총이익률에 정확한 수요 예측이 더해지면 이익이 나오기 때문입니다. 그 수익 모형은 거기 있지만 미리 짓는 일과 예측 오차에 가려져 있다는 설명입니다.

파텔은 50%라는 비율을 주어진 상수처럼 다루는 것 아니냐고 지적합니다. 진전이 빠르고 더 키워서 진전을 더 끌어낼 수 있다면 50%를 넘겨 쓰고 이익을 내지 않는 쪽이 맞다는 것입니다. 아모데이는 더 키우고 싶을 수는 있다면서도 규모에 대한 로그 수익을 상기시킵니다. 70%로 올려 봐야 모델 크기로는 1.4배 정도의 차이에 그치고, 추가로 들어간 200억 달러는 로그선형 구조 때문에 1달러당 가치가 훨씬 낮습니다.

그 200억 달러를 추론 서비스에 넣거나 더 잘하는 엔지니어를 뽑는 데 쓰는 편이 나을 수 있습니다. 그래서 50%는 정확한 목표치가 아니고 시간에 따라 달라지겠지만, 로그선형 수익이 낳는 결과는 사업의 일정한 몫을 쓰게 된다는 것, 즉 5%도 95%도 아닌 어떤 비율이 된다는 것입니다.

파텔은 자기가 다리오에게 AI 진전을 믿으라고 설득하고 있는 것 같아 이상하다고 농담을 던집니다. 연구는 수익이 체감하니 투자하지 않으면서 다른 것들에는 투자한다는 말이냐는 되물음에, 아모데이는 자기가 말하는 체감은 연 500억 달러를 쓰고 난 다음의 이야기라고 답합니다. 파텔은 천재 한 명에 대한 체감 수익은 꽤 높을 수 있다고 받고, 더 일반적으로 시장경제에서 이익이란 결국 이 돈으로 시장의 다른 회사들이 나보다 더 많은 일을 할 수 있다는 뜻이라고 덧붙입니다.

해설
로그 수익이라는 말은 앞 절의 로그선형 스케일링과 같은 이야기를 투자 쪽에서 본 것입니다. 학습에 쓰는 돈을 1.4배로 늘려도 성능은 일정한 한 칸만 올라가므로, 돈을 추가로 넣을 때마다 1달러가 사는 성능은 계속 줄어듭니다. 이 구조에서는 전부를 학습에 쏟는 것이 합리적이지 않고, 어느 지점부터는 같은 돈을 추론 용량이나 인력에 쓰는 편이 낫습니다.

아모데이의 모형에서 중요한 것은 이 비율이 경영 판단이 아니라 수학에서 나온다는 주장입니다. 이것이 맞다면 프런티어 연구소의 손익은 경영진의 공격성보다 수요 예측의 정확도에 더 크게 좌우되고, 적자와 흑자는 전략의 결과가 아니라 예측 오차의 부호가 됩니다. 분기 실적에서 적자 폭이 커진 것을 공격적 투자로, 흑자 전환을 성숙의 신호로 읽는 통상의 해석이 이 산업에서 빗나갈 수 있다는 뜻입니다.

2030년 이전에 수조 달러

아모데이는 앤트로픽을 치워 두고 업계의 균형을 도출해 보자고 제안합니다. 자신이 양식화된 숫자를 쓰는 이유도 앤트로픽에 대한 정보를 주고 싶지 않아서라고 밝힙니다. 질문은 왜 모두가 컴퓨트의 100%를 학습에 쓰고 고객에게는 아무것도 서비스하지 않지 않느냐입니다. 매출이 없으면 자금을 조달할 수 없고 컴퓨트 계약도 할 수 없으며 다음 해에 컴퓨트를 더 살 수 없기 때문입니다. 반대로 현재 모델만 서비스하고 다음 모델을 학습시키지 않으면 뒤처져 수요가 사라집니다.

그래서 모든 회사가 100%보다 적은 비율을 학습에 쓰고 추론에도 100%를 쓰지 않는 균형이 생기며, 그 값은 10%도 90%도 아닌 어떤 지점, 양식화해서 말하면 50%가 됩니다. 그가 보는 전망은 학습에 쓰는 그 균형 비율이 컴퓨트에서 얻을 수 있는 매출총이익률보다 낮은 자리에 놓이리라는 것입니다. 그렇다면 밑바탕의 경제학은 흑자입니다. 문제는 다음 해 컴퓨트를 살 때 마주하는 지옥 같은 수요 예측 문제이고, 낮게 잡으면 아주 큰 이익을 내지만 연구에 쓸 컴퓨트가 없고, 높게 잡으면 흑자는 못 내지만 세상의 모든 컴퓨트를 연구에 쓸 수 있게 됩니다.

파텔은 다시 물러서서 자기 입장을 밝힙니다. 천재들의 나라가 2년 안에 오니 컴퓨트를 사라고 주장하는 것이 아니고, 아모데이가 도달한 결론 자체는 납득이 가지만 그 이유가 천재들의 나라가 어렵고 갈 길이 멀어 보이기 때문이라는 것입니다. 그러니까 아모데이의 세계관은 수조 달러가 생성되는 세계까지 10년쯤 남았다고 말하는 사람과도 양립한다는 지적입니다.

아모데이는 그것은 자기 견해가 아니라고 선을 긋고 또 하나의 예측을 내놓습니다. 2030년 이전에 수조 달러의 매출이 나오지 않는 세계는 자기로서는 그리기 어렵다는 것입니다. 그가 구성할 수 있는 그럴듯한 세계는 3년쯤 걸리는 경우이고 그것이 가능성의 끝입니다. 2028년에 진짜 천재들의 나라를 얻고 그 무렵 매출은 수천억 달러 초반대에 있으며, 천재들의 나라가 그것을 수조 달러로 가속하는데 확산이 느린 쪽이어서 수조 달러에 닿는 데 2년이 걸리는 세계입니다. 그러면 2030년까지 가게 되지만, 기술의 지수와 확산의 지수를 합성하면 2030년 이전에 도달하리라는 것이 그의 짐작입니다.

소수 사업자의 균형

파텔은 아모데이가 제시한 모형이 근본적으로 컴퓨트 제약 세계를 전제한다고 정리하려 하지만, 아모데이는 이익이 생기는 경로를 다시 설명합니다. 산업 전체를 추상화해 경제학 교과서 안에 있다고 상상해 보자는 것입니다. 소수의 기업이 있고 각자 한정된 금액을 연구개발에 투자할 수 있으며, 서비스에 드는 한계비용이 있습니다. 추론이 효율적이어서 그 한계비용에 대한 매출총이익률은 매우 높습니다. 경쟁이 있지만 모델은 서로 차별화되어 있습니다.

회사들은 연구 예산을 밀어 올리며 경쟁하겠지만, 사업자 수가 적기 때문에 그 결과는 완전경쟁과 이익률 0이 아닙니다. 그는 소수 기업 균형의 이름을 떠올리며 쿠르노 균형(Cournot equilibrium)이라고 부릅니다. 경제에 세 회사가 있고 각자 독립적으로 합리적으로 행동해도 이익률은 0으로 수렴하지 않는다는 것입니다.

파텔은 지금 선두 기업이 셋인데 이익을 내지 못하고 있다며 무엇이 달라지는 것이냐고 묻습니다. 아모데이는 지금도 매출총이익률 자체는 매우 양호하다고 답합니다. 벌어지는 일은 두 가지의 조합입니다. 하나는 아직 컴퓨트의 지수적 확대 국면에 있다는 것입니다.

지난해 10억 달러를 들여 학습시킨 모델이 올해 40억 달러의 매출을 내고 추론 비용으로 10억 달러가 들었다면, 양식화된 숫자로 매출총이익률 75%에 25%의 비용이 붙어 그 모델 자체로는 20억 달러를 법니다. 그런데 같은 시기에 다음 모델을 학습시키는 데 100억 달러를 쓰고 있으니 회사는 손실을 냅니다. 모델 하나하나는 돈을 벌지만 회사는 돈을 잃는 구조입니다.

그가 말하는 균형은 천재들의 나라가 있으면서도 모델 학습의 확대가 더 평탄해진 상태입니다. 여전히 올라가고 있고 여전히 수요를 맞히려 애쓰겠지만 기울기가 눕는다는 것입니다. 파텔은 지금 세계에 대해 한 가지를 짚습니다. 모델 하나를 회사로 치면 흑자라는 점은 맞지만, 프런티어 연구소의 생산함수에서 큰 몫은 다음 모델을 학습시키는 일이며, 그것을 하지 않으면 두 달 동안 이익을 내고 그다음에는 최고 모델이 없으므로 마진도 없어진다는 것입니다.

아모데이는 어느 시점에는 그 확대가 도달 가능한 최대 규모에 닿고, 균형에서는 알고리즘 개선은 있되 다음 모델 학습에 쓰는 돈이 현재 모델에 쓴 돈과 대략 같아진다고 답합니다. 어느 지점에서는 경제 안의 돈이 바닥나기 때문입니다.

파텔이 노동총량의 오류를 거론하며 경제가 성장할 것이고 그것이 아모데이 자신의 예측 아니냐고, 우주에 데이터센터를 짓게 될 것 아니냐고 받자 아모데이는 이것 역시 같은 주제의 또 다른 사례라고 답합니다. 경제는 AI와 함께 역사상 어느 때보다 빠르게 성장하겠지만, 지금 컴퓨트가 연 3배로 늘고 있다고 해서 경제가 연 300%로 성장하지는 않습니다. 그는 「Machines of Loving Grace」에서 말한 대로 연 10-20% 성장은 얻을 수 있어도 300%는 얻지 못한다고 봅니다. 그렇다면 결국 컴퓨트가 경제 생산의 다수를 차지하게 되는 순간 그 성장률에 묶인다는 것입니다.

클라우드와 다른 점, 그리고 지리의 문제

파텔은 컴퓨트가 묶인 세계를 가정하고 다음 문제를 제기합니다. 프런티어 연구소가 돈을 버는 세계는 계속 빠르게 진전하는 세계인데, 마진은 결국 대안이 얼마나 좋은지에 따라 제한되기 때문입니다. 프런티어 모델이 있어서 돈을 벌 수 있는 것이고 없으면 벌지 못하니, 이 모형은 정상 상태가 영원히 오지 않을 것을 요구한다는 지적입니다.

아모데이는 그렇지 않다고 답하면서, 경제학 수업에 들어와 있는 것 같다고 말합니다. 파텔이 타일러 코웬(Tyler Cowen)의 말을 아느냐며 우리는 경제학 이야기를 멈추지 못한다고 받고, 아모데이도 같은 말을 되풀이합니다. 그는 이 분야가 독점이 되리라고 보지 않습니다. 변호사들이 독점이라는 단어를 입에 올리지 말라고 한다는 농담을 덧붙이면서도, 사업자가 하나는 아니지만 소수인 산업은 존재한다고 말합니다.

페이스북이나 메타처럼 독점이 만들어지는 통상의 경로는 네트워크 효과입니다. 반면 사업자가 소수인 산업이 만들어지는 경로는 매우 높은 진입 비용이고, 클라우드가 그 좋은 예입니다. 클라우드에는 세 곳, 많아야 네 곳의 사업자가 있고 AI도 같을 것이라고 그는 봅니다. 클라우드 회사를 운영하려면 막대한 자본과 전문성이 필요하고, 자본을 넣은 뒤에도 기존 사업자들이 해 온 온갖 어려운 일을 해내야 하기 때문입니다.

1,000억 달러를 줄 테니 이 산업을 무너뜨려 보라고 한다면, 그 돈을 넣는 동시에 그 모든 일을 해낼 수 있다는 데 걸어야 하는 셈입니다. 파텔이 그래 봐야 산업의 이익만 줄어든다고 받자 아모데이는 진입의 효과가 이익률을 떨어뜨리는 것이라고 동의합니다. 경제에는 사업자가 몇 안 되고 이익과 마진이 천문학적이지는 않지만 0도 아닌 균형이 늘 존재한다는 것입니다.

그가 보기에 AI가 클라우드보다 유리한 점은 차별화입니다. 클라우드는 매우 차별화되어 있지 않은 반면 모델은 클라우드보다 서로 훨씬 더 다릅니다. 클로드가 잘하는 것과 GPT가 잘하는 것, 제미나이(Gemini)가 잘하는 것이 다르다는 것은 누구나 압니다. 클로드는 코딩을 잘하고 GPT는 수학과 추론을 잘한다는 식의 단순한 구분이 아니라 더 미묘한 차이로, 모델마다 잘하는 코딩의 종류가 다르고 문체도 다릅니다. 그래서 그는 클라우드에서 보는 것보다 더 큰 차별화를 예상합니다.

다만 반대 논거가 하나 있다고 그는 덧붙입니다. 모델을 만드는 과정 자체를 AI 모델이 해낼 수 있게 되면 그 능력이 경제 전체로 퍼질 수 있다는 것입니다. 그러나 이것은 AI 모델이 범용재화가 된다는 논거가 아니라 경제 전체가 한꺼번에 범용재화가 된다는 논거입니다. 누구나 무엇이든 할 수 있고 어떤 것에도 해자가 없는 세계가 어떻게 돌아갈지는 자기도 모르겠다고 그는 말합니다. 어쩌면 우리가 원하는 세계일 수도 있고 최종 상태일 수도 있으며, 안전과 보안 문제를 모두 풀었다면 경제가 스스로 평평해지는 기제 가운데 하나일 수도 있지만, 그것은 천재들의 나라보다 한참 뒤의 이야기라는 것입니다.

파텔은 그 논점을 더 다듬어 제시합니다. 첫째로 AI 연구는 순수한 지적 능력에 특히 크게 실려 있는 일인데 AGI 세계에서는 그 능력이 특히 흔해집니다. 둘째로 오늘날 세상에서 AI의 알고리즘 진전만큼 빠르게 퍼지는 기술은 거의 없습니다. 그렇다면 이 산업은 구조적으로 확산적이라는 암시라는 것입니다.

아모데이는 코딩은 빠르게 가고 있지만 AI 연구는 코딩의 상위집합이며 그중 빠르게 가지 않는 부분이 있다고 답합니다. 다만 코딩이 해결되고 AI 모델이 빨라지면 그것이 다른 모든 일을 해내는 능력도 끌어올릴 것이라고 봅니다. 지금은 코딩만 빠르지만 AI 모델이 다음 AI 모델과 그 밖의 모든 것을 만들게 되면 경제 전체가 대체로 같은 속도로 움직일 것이라는 전망입니다.

그러면서 그는 지리를 걱정한다고 말합니다. AI에 가깝다는 것, AI에 대해 들어 봤다는 것 자체가 하나의 차별 요인이 될까 봐 조금 걱정된다는 것입니다. 앞서 말한 연 10-20%의 성장률이 실리콘밸리와 그곳에 사회적으로 연결된 지역에서는 50%이고 다른 곳에서는 지금 속도와 크게 다르지 않을 수 있다는 우려입니다. 그는 그런 세계가 꽤 엉망인 세계일 것이라며, 그것을 어떻게 막을지가 자기가 많이 생각하는 문제 가운데 하나라고 밝힙니다.

[이해관계]
이 절에서 아모데이가 그리는 산업 구조는 앤트로픽의 이해와 정확히 겹칩니다. 사업자가 서넛인 과점이 유지되고 모델이 충분히 차별화된다는 전망은 곧 앤트로픽이 그 서넛 안에 남고 가격 경쟁에 휩쓸리지 않는다는 전망이기 때문입니다. 그가 독점이라는 단어를 피하면서도 진입 비용이 높아 신규 사업자가 들어오기 어렵다고 설명하는 대목은, 반독점 쟁점을 의식한 발화 위치에서 나온 것이기도 합니다.

양식화된 숫자를 쓰는 이유를 그가 직접 밝히는 점도 함께 볼 만합니다. 앤트로픽에 대한 정보를 주고 싶지 않다는 것인데, 투자자를 상대하는 회사의 최고경영자가 매출총이익률과 학습 비중을 구체적으로 말할 수 없는 사정은 그 자체로 정당합니다. 다만 그 결과 이 절의 모형은 검증할 수 없는 가정 위에 서 있게 되고, 추론 매출총이익률이 50%를 넘는다는 전제가 흔들리면 흑자라는 결론도 함께 흔들립니다.

[반론]
같은 과점 전망을 다르게 읽는 분석도 있습니다. 하워드 막스(Howard Marks)는 2025년 12월 메모에서 지금의 AI 투자 국면에 변곡점 버블의 요소가 있다고 보면서, 순환거래와 공급자 금융 같은 자금 구조를 경계했습니다. 기술이 진짜여도 그 위에 얹힌 투자가 모두 회수되는 것은 아니라는 것이 그의 핵심 논지입니다.

데이비드 칸(David Cahn)이 2024년에 제기한 질문도 같은 자리를 겨냥합니다. 그는 AI 설비투자 규모에 상응하는 최종 수요가 어디서 나오는지를 역산해 6,000억 달러 규모의 공백을 지적했는데, 아모데이의 모형에서 그 공백은 수요 예측 오차라는 이름으로 등장합니다. 두 사람이 같은 숫자를 보면서 한쪽은 산업의 밑바탕 경제학이 흑자라고 읽고, 다른 쪽은 그 흑자가 미래 수요에 대한 가정에만 존재한다고 읽습니다.

로봇공학과 가격 모형

로봇은 어느 경로로든 풀립니다

파텔은 천재들의 나라가 생기고 나면 로봇공학도 곧바로 풀리느냐고 묻습니다. 로봇공학의 큰 문제는 인간은 현재의 하드웨어를 원격조작하는 법을 배울 수 있는데 지금의 AI 모델은 적어도 생산적인 방식으로는 그러지 못한다는 데 있어 보이기 때문입니다. 인간처럼 배우는 능력이 생긴다면 로봇공학도 즉시 해결되어야 하는 것 아니냐는 질문입니다.

아모데이는 그것이 인간처럼 배우는 능력에 달린 문제가 아니라고 답합니다. 여러 경로가 있습니다. 로봇 제어와 유사한 수많은 비디오게임으로 모델을 학습시켰을 수도 있고, 여러 시뮬레이션 로봇 환경으로 학습시켰을 수도 있으며, 컴퓨터 화면을 제어하도록 학습시켜 일반화가 일어났을 수도 있습니다. 인간식 학습은 그중 한 가지 방법일 뿐입니다.

모델이 로봇을 집어 들고 쓸 줄 모르니 배우겠다고 하는 상황은 지속 학습을 발견한 결과로 올 수도 있고, 여러 환경으로 학습시켜 일반화한 결과로 올 수도 있으며, 컨텍스트 길이 안에서 배우는 방식으로 올 수도 있습니다. 어느 쪽이든 상관없다는 것이 그의 요지이고, 한 시간 전 대화로 돌아가면 그런 종류의 일은 여러 방식으로 일어날 수 있다는 것입니다.

다만 어떤 이유로든 모델이 그 기량을 갖게 되면 로봇공학은 설계와 제어 양쪽에서 함께 혁신될 것이라고 그는 봅니다. 모델이 인간보다 로봇을 훨씬 잘 설계할 것이기 때문에 물리적 하드웨어를 만드는 일도 나아지고, 그것을 제어하는 능력도 나아집니다. 그렇다면 로봇 산업도 수조 달러의 매출을 내느냐는 질문에 그의 답은 그렇다는 것입니다. 다만 거기에도 똑같이 극히 빠르되 무한히 빠르지는 않은 확산이 적용됩니다. 로봇공학이 혁신되느냐고 묻는다면 그렇고, 다만 1-2년쯤을 더 붙이면 된다는 것이 그가 이런 일들을 생각하는 방식입니다.

또 다른 장벽이 나타나지 않을까

파텔은 아주 빠른 진전에 대한 일반적인 회의론을 꺼냅니다. 아모데이의 말을 들으면 몇 년 안에 어떤 방식으로든 지속 학습을 풀어낼 것 같은데, 문제는 몇 년 전만 해도 아무도 지속 학습을 이야기하지 않았다는 점입니다. 모델이 튜링 테스트를 분명히 통과하고 수많은 분야의 전문가인데도 왜 기대만큼 쓸모가 없는지 묻다가 어쩌면 이것 때문이라고 깨달은 것입니다. 그렇다면 이 문제를 풀고 나서 또 인간 지능이 할 수 있고 인간 노동의 바탕이 되는 다른 무언가를 모델이 못 한다는 사실을 발견하지 않으리라는 보장이 없습니다. 왜 인간 지능의 조각들을 다 찾았다고 생각하느냐는 질문입니다.

아모데이는 분명히 해 두자며 지속 학습이 아예 장벽이 아닐 수도 있다는 앞선 입장을 되풀이합니다. 사전학습의 일반화와 강화학습의 일반화만으로 도달할 수도 있고, 그런 것이 애초에 존재하지 않을 수도 있다는 것입니다. 그러면서 기계학습의 역사를 근거로 듭니다. 사람들이 장벽이라고 내세운 것들이 거대한 컴퓨트 덩어리 안에서 녹아 사라진 역사가 있다는 것입니다.

모델이 명사와 동사를 어떻게 추적하느냐는 질문이 있었고, 구문은 이해해도 의미는 이해하지 못한다는 주장이 있었으며, 통계적 상관일 뿐이라거나 문단은 이해해도 단어는 이해하지 못한다거나 추론은 못 한다는 주장이 있었습니다. 그런데 어느 순간 코드와 수학을 아주 잘하게 됐습니다. 그래서 장벽처럼 보이던 것들이 녹아 사라진 역사가 더 강하다는 것이 그의 판단입니다. 물론 일부는 진짜이고, 데이터의 필요는 진짜이며 지속 학습도 진짜일 수 있다고 그는 인정합니다.

그는 다시 코드로 논의를 묶습니다. 1-2년 안에 모델이 종단간 소프트웨어 엔지니어링을 그냥 해내는 지점에 닿을 수 있다고 보고, 그것은 인간 활동의 한 영역 전체를 두고 이제 모델이 할 수 있다고 말하는 일이라는 것입니다. 파텔이 종단간이라는 말에 기술적 방향을 정하고 문제의 맥락을 파악하는 일까지 포함되느냐고 묻자 아모데이는 그 전부를 뜻한다고 답합니다.

파텔은 그것이야말로 AGI 완전 문제로 들리며, 그렇다면 내부적으로는 일관된 주장이지만 코드의 90%나 100%를 쓴다는 말과는 전혀 다른 이야기라고 지적합니다. 아모데이는 자신이 제시한 스펙트럼을 다시 짚습니다. 코드의 90%, 코드의 100%, 종단간 과업의 90%, 오늘날 종단간 과업의 100%가 있고, 그다음에는 소프트웨어 엔지니어를 위한 새로운 과업이 생기며 결국 그것들도 처리됩니다. 긴 스펙트럼이지만 아주 빠르게 통과하고 있다는 것입니다.

파텔은 여기서 분위기를 한 번 바꿉니다. 아모데이가 출연한 다른 팟캐스트에서 진행자들이 드와케시가 지속 학습에 관한 에세이를 썼다며 그 이야기를 꺼내는 것을 보면 늘 웃음이 난다는 것입니다. 10년간 AI 연구자로 일한 사람 입장에서는 팟캐스트 진행자가 에세이 하나를 썼는데 인터뷰마다 그 이야기를 듣게 되는 기분이 아니겠느냐는 농담입니다.

아모데이는 사실 우리 모두가 함께 알아내려 애쓰는 중이라고 답합니다. 자신이 다른 사람보다 더 볼 수 있는 것이 있기는 하지만, 요즘 그것은 남들에게 없는 대단한 연구적 통찰 때문이라기보다 앤트로픽 안에서 여러 가지를 보고 수많은 결정을 내려야 하는 자리에 있기 때문이라는 것입니다. 2,500명 규모의 회사를 운영하다 보니 구체적인 연구 통찰을 갖기가 실제로 꽤 어렵고, 10년 전이나 2-3년 전보다 훨씬 어렵다고 그는 말합니다.

해설
장벽이 녹아 사라진다는 아모데이의 서사는 기계학습 분야에서 널리 공유되는 경험이지만, 논증으로서는 한 가지 비대칭을 안고 있습니다. 사라진 장벽은 사후에 목록으로 만들 수 있는 반면, 아직 사라지지 않은 장벽은 목록에 들어오지 않기 때문입니다. 구문과 의미의 구분이 무너진 사례는 세어도, 데이터의 필요처럼 그가 진짜라고 인정한 제약들이 얼마나 오래 남았는지는 세지 않습니다.

파텔의 질문은 이 점을 겨냥합니다. 지속 학습이라는 개념 자체가 모델이 충분히 좋아진 뒤에야 비로소 눈에 띈 제약이었다면, 다음 제약도 다음 단계에 가서야 보일 것입니다. 이 논쟁에서 양쪽이 공유하는 전제는 남은 장벽의 목록을 지금 완성할 수 없다는 점이고, 갈리는 지점은 그 미지의 목록에 몇 개가 더 들어 있다고 보느냐입니다.

API는 왜 오래 남는가

파텔은 사람을 그대로 대체하는 원격 노동자의 세계로 간다면 API 과금 모형이 여전히 가장 합리적이냐고, 그렇지 않다면 AGI의 가격을 매기거나 서비스하는 올바른 방식은 무엇이냐고 묻습니다.

아모데이는 여러 사업 모형이 한꺼번에 시도될 것이라고 보면서도, API 모형이 많은 사람이 생각하는 것보다 오래간다고 답합니다. 그가 생각하는 방식은 이렇습니다. 기술이 지수적으로 빠르게 전진한다면 지난 석 달 사이에 새로 생겨난 용례의 표면적이 늘 존재한다는 뜻입니다. 그런데 어떤 제품 표면을 만들어 두든 그것은 언제나 무의미해질 위험을 안고 있습니다. 주어진 제품 표면은 모델 능력의 일정 구간에서만 말이 되기 때문입니다.

챗봇은 이미 한계에 부딪혀 있어서 더 똑똑하게 만들어도 평균적인 소비자에게 큰 도움이 되지 않습니다. 다만 그는 그것이 AI 모델의 한계를 보여주는 증거는 아니라고 선을 긋습니다. 모델이 더 좋아지는 일이 경제에 무의미하다는 뜻이 아니라, 그 특정 제품에 무의미하다는 뜻일 뿐이라는 것입니다.

그래서 API의 가치는 언제나 맨바닥에 가까운 자리에서 가장 최신의 것 위에 무언가를 지을 기회를 준다는 데 있습니다. 몇 달 전에는 불가능했지만 모델이 전진한 덕분에 가능해진 새 스타트업과 새 아이디어의 전선이 늘 존재하게 됩니다. 1,000명이 저마다 다른 방식으로 모델을 실험해 보려는 수요가 언제나 있을 것이고, 그중 100개가 스타트업이 되고 10개가 크게 성공하며 두세 개가 그 세대의 모델을 쓰는 지배적인 방식이 됩니다. 다른 모형들과 나란히 존재하겠지만 API 사업 모형은 늘 남아 있으리라는 것이 그의 전망입니다.

동시에 다른 모형도 분명히 나올 것이라고 그는 말합니다. 모델이 뱉어내는 모든 토큰의 값이 같지는 않기 때문입니다. 누군가 전화해 맥이 작동하지 않는다고 하면 모델이 재시작해 보라고 답하는 경우, 그 사람에게는 처음 듣는 이야기여도 모델은 같은 말을 1,000만 번 했을 것이고 그 토큰의 가치는 1달러나 몇 센트쯤입니다.

반대로 모델이 제약회사에 가서 지금 개발 중인 분자의 방향족 고리를 이쪽 끝에서 저쪽 끝으로 옮기면 놀라운 일이 벌어질 것이라고 말한다면, 그 토큰은 수천만 달러의 가치가 있을 수 있습니다. 그래서 성과에 따라 지불하는 형태나 시간 단위로 노동처럼 보상하는 형태가 어떤 식으로든 나올 것이라고 그는 봅니다. 새로운 산업이니 많은 것이 시도될 테고 무엇이 옳은 것으로 드러날지는 자기도 모른다는 단서를 답니다.

클로드 코드는 왜 앤트로픽에서 나왔는가

파텔은 그 말을 받으면서도 눈에 띄는 사례를 꺼냅니다. 스타트업의 역사에서 코딩 에이전트만큼 치열하게 경쟁이 붙은 응용 분야는 없었는데, 클로드 코드가 그 분야의 선두에 서 있다는 것이 놀랍다는 것입니다. 앤트로픽이 본질적으로 이것을 만들어야 했던 것처럼 보이지는 않는데, 왜 하필 앤트로픽이었는지, 모델만이 아니라 그 위의 응용까지 만들게 된 경위가 무엇인지 묻습니다.

아모데이의 답은 과정이 꽤 단순했다는 것입니다. 앤트로픽에는 코딩을 잘하는 자체 모델이 있었고, 2025년 초 무렵 그는 AI 기업이라면 이 모델들을 써서 자기 연구를 사소하지 않은 수준으로 가속할 수 있는 때가 왔다고 말했습니다. 물론 모델을 쓰려면 인터페이스가, 즉 하네스가 필요합니다. 그래서 그는 사내에 실험을 권했고, 반드시 이것을 써야 한다고 지정하지는 않았습니다. 처음에는 클로드 CLI라는 이름이었던 것 같고 나중에 사내에서 이름이 클로드 코드로 바뀌었는데, 모두가 쓰게 된 것이 바로 그것이었고 내부 도입 속도가 빨랐습니다.

그는 그것을 보고 아마 외부에 출시해야겠다고 판단했습니다. 앤트로픽 안에서 그렇게 빠르게 자리 잡았고 코딩이 회사 업무의 큰 부분을 차지하니, 어떤 면에서는 외부 청중을 대표한다고 볼 수 있는 수백 명 규모의 사용자가 이미 있었던 셈입니다. 제품 시장 적합성이 이미 확인된 것처럼 보였으므로 출시하자는 결론이 나왔습니다. 그리고 자신들이 직접 모델을 개발하면서 그 모델을 어디에 가장 필요로 하는지도 스스로 알고 있다는 점이 피드백 고리를 만들어 낸다고 그는 봅니다.

파텔이 앤트로픽 개발자가 이 부분을 더 잘했으면 좋겠다고 말하면 그것을 다음 모델에 반영하는 식이냐고 묻자, 아모데이는 그것도 한 가지 형태이지만 평범한 제품 반복도 있다고 답합니다. 사내에 코더가 많고 매일 클로드 코드를 쓰니 피드백이 빠르게 들어옵니다. 초기에는 그 점이 더 중요했고 지금은 수백만 명이 쓰고 있어 외부 피드백도 많이 들어오지만, 빠른 내부 피드백을 얻을 수 있다는 것 자체가 큰 이점이라는 것입니다. 그는 자신들이 코딩 모델을 내놓고 제약회사를 차리지 않은 이유도 여기 있다고 덧붙입니다. 자기 전공은 생물학이지만 제약회사를 세우는 데 필요한 자원은 하나도 갖고 있지 않다는 것입니다.

[관점]
클로드 코드의 성공 설명은 앞에서 그가 제시한 과점 전망과 묘하게 어긋납니다. 앞에서 그는 모델 사업의 해자가 막대한 자본과 축적된 전문성이라고 말했는데, 클로드 코드의 해자로 여기서 제시되는 것은 자기 모델을 가장 많이 쓰는 사용자 집단을 사내에 두고 있다는 조건입니다. 전자는 진입 비용의 이야기이고 후자는 피드백 속도의 이야기라, 후자는 모델을 만들지 않는 응용 기업도 모방하기 어렵지만 다른 프런티어 연구소는 모두 갖고 있는 조건이기도 합니다.

투자 판단에서 이 구분은 실용적입니다. 모델 계층의 과점이 유지된다는 전망과 응용 계층의 선두가 유지된다는 전망은 근거가 다르며, 후자를 뒷받침하는 조건은 경쟁사가 같은 전략을 택하는 순간 사라집니다. 아모데이 본인도 클로드 코드가 설득력 있는 제품이되 무한히 설득력 있는 제품은 아니라고 앞서 말한 바 있습니다.

규제가 AI의 혜택을 망칠 것인가

정렬 실패한 AI가 돌아다니는 세계

파텔은 AI가 잘 풀리는 그림이라면 무엇이든 두 가지 사실과 양립해야 한다고 말문을 엽니다. 하나는 AI를 만들고 돌리는 능력이 극히 빠르게 확산되고 있다는 것이고, 다른 하나는 AI의 개체 수와 지능이 역시 빠르게 늘어난다는 것입니다. 그렇다면 수많은 사람이 정렬 실패한 AI를 대량으로 만들어 낼 수 있게 됩니다. 자기 영역을 넓히려는 회사 같은 AI일 수도 있고, 마이크로소프트의 빙 시드니(Bing Sydney)처럼 기묘한 심리를 지닌 AI일 수도 있는데 이번에는 그것이 인간을 넘어선 능력을 갖습니다. 일부가 정렬 실패인 수많은 AI가 돌아다니는 세계와 양립하는 균형이란 어떤 모습이냐는 질문입니다.

아모데이는 자신이 「The Adolescence of Technology」에서 힘의 균형에 회의적이었다고 답하면서, 구체적으로 무엇에 회의적이었는지를 짚습니다. 서너 개 회사가 사실상 같은 뿌리에서 파생된 모델을 만들고 있는 상황에서 그것들이 서로를 견제하리라는 발상, 또는 몇 개가 되든 서로를 견제하리라는 발상이 그 대상이었습니다. 우리는 공격 우위의 세계에 살고 있을 수 있는데, 한 사람이나 한 모델이 다른 모든 것에 피해를 입힐 만큼 똑똑해지는 세계입니다.

단기적으로는 사업자 수가 제한되어 있으니 그 안에서 시작할 수 있습니다. 안전장치를 마련하고, 모두가 제대로 된 정렬 작업을 하게 하고, 모두가 생물학 분류기를 갖추게 하는 것이 당장 해야 할 일입니다. 그는 그것이 장기적인 해법은 아니라고 인정합니다. 특히 AI 모델이 다른 AI 모델을 만드는 능력이 확산되면 문제 전체가 풀기 어려워집니다.

그래서 장기적으로는 어떤 거버넌스 구조가 필요하되 인간의 자유를 보존하는 구조여야 한다고 그는 말합니다. 아주 많은 수의 인간 시스템과 AI 시스템, 그리고 인간과 AI가 섞인 회사나 경제 단위를 통치할 수 있어야 한다는 것입니다. 생물테러로부터, 거울 생명으로부터 세상을 어떻게 지킬지 생각해야 하고, 아마 그 모든 것을 감시하는 일종의 AI 감시 체계가 필요할 것입니다. 그러나 그것을 시민적 자유와 헌법적 권리를 보존하는 방식으로 만들어야 합니다. 결국 새로운 도구와 새로운 취약점을 가진 새로운 안보 지형이라는 것이 그의 정리입니다.

그가 걱정하는 것은 속도입니다. 이 일이 100년에 걸쳐 아주 천천히 일어난다면 우리는 익숙해질 것입니다. 사회 안에 폭발물이 존재한다는 사실에, 새로운 무기들에, 비디오 카메라의 존재에 익숙해졌듯이 100년이면 익숙해지고 거버넌스 기제를 만들어 내며 그 과정에서 실수도 하게 됩니다. 문제는 이 모든 것이 너무 빨리 일어난다는 점이고, 그래서 거버넌스 기제를 작동시키는 방법에 대한 사고를 더 빨리 해야 할지도 모른다는 것입니다.

파텔은 그 대목에서 회의적인 질문을 던집니다. 공격 우위 세계라면, 그리고 AI가 다음 세기에 걸쳐 일어날 진전을 5년에서 10년 사이에 몰아넣는 것이라면, 인간만 있는 세계에서도 힘의 균형이 똑같이 다루기 어려웠을 문제라는 것입니다. 우리에게 AI의 조언이 있다는 점을 빼면 근본적으로 다른 게임으로 보이지 않습니다. 견제와 균형이 작동할 것이라면 인간에게도 작동할 것이고, 작동하지 않을 것이라면 AI에게도 작동하지 않을 테니, 이 논리는 인간의 견제와 균형마저 가망 없다고 선고하는 것일 수 있습니다.

아모데이는 어떤 방법이 있을 것이라고 답하면서도 구체적인 답을 내놓지는 않습니다. 세계 각국 정부가 함께 일해야 할 수도 있고, 이런 방어가 가능하도록 사회 구조를 짓는 문제를 두고 AI들과 이야기해야 할 수도 있다는 것입니다. 그는 시간상 아주 먼 이야기라고 말하고 싶지는 않다면서도, 짧은 기간에 도달할 수 있는 기술 수준이 너무 앞서 있어 미리 예상하기가 어렵다고 말합니다.

[관점]
이 절에서 아모데이가 내놓는 거버넌스 구상은 다른 대목의 논증에 비해 현저히 느슨합니다. 필요한 것들의 목록은 분명합니다. 생물테러와 거울 생명을 감시하는 체계, 그러면서 시민적 자유를 지키는 설계입니다. 그러나 그 둘을 동시에 만족시키는 제도가 어떤 모양인지, 누가 그 감시 체계를 운영하는지에 대해서는 답이 제시되지 않습니다.

파텔의 반론은 바로 그 공백을 겨냥합니다. 모든 것을 감시하는 체계를 세우면서 자유를 보존한다는 요구는 AI 때문에 새로 생긴 문제가 아니라 근대 국가가 계속 풀지 못한 문제이고, 시간이 줄어든다고 답이 나오지는 않습니다. 아모데이의 답은 우리가 더 빨리 생각해야 한다는 것인데, 이는 해법이 아니라 과제의 재확인입니다. 그가 다른 주제에서는 확률과 숫자를 제시하다가 이 대목에서만 추상으로 물러난다는 점 자체가 이 문제의 난이도를 보여줍니다.

테네시 법안과 10년 유예

파텔은 구체적인 입법 사례로 넘어갑니다. 12월 26일 테네시주 의회에 발의된 법안은 사용자와의 개방형 대화를 포함해 정서적 지지를 제공하도록 인공지능을 학습시키는 행위를 범죄로 규정하는 내용을 담고 있습니다. 그런데 클로드가 하려는 일 가운데 하나가 사려 깊고 아는 것 많은 친구가 되는 것입니다. 앞으로 주법의 누더기가 만들어질 것이고, 평범한 사람들이 AI에서 누릴 수 있는 혜택의 상당 부분이 잘려 나갈 것입니다. 특히 아모데이가 「Machines of Loving Grace」에서 다룬 생물학적 자유나 정신건강 개선 같은 영역에서 그렇습니다.

그런 혜택들이 서로 다른 법에 하나씩 두들겨 맞아 사라지는 세계를 상상하기는 쉬운 반면, 이런 법안들은 정작 아모데이가 우려하는 실존적 위협을 다루지 않습니다. 그 맥락에서 주 AI 법률에 대한 연방 차원의 유예에 앤트로픽이 반대한 입장을 이해하고 싶다는 것입니다.

아모데이는 여러 일이 한꺼번에 벌어지고 있다고 전제하면서, 그 특정 법안은 멍청하다고 잘라 말합니다. AI 모델이 무엇을 할 수 있고 없는지 거의 모르는 입법자들이 만든 것이 분명하다는 것입니다. AI 모델이 우리에게 봉사한다니 무섭게 들리고 그런 일이 일어나지 않았으면 좋겠다는 식의 반응이라는 평가입니다. 그러니 앤트로픽도 그 법안에 찬성하지 않습니다.

그러나 표결에 부쳐진 것은 그 법안이 아니었습니다. 표결 대상은 10년간 모든 주의 AI 규제를 금지하되 연방 차원의 AI 규제를 할 계획은 뚜렷이 없는 안이었습니다. 연방 규제는 의회가 통과시켜야 하는데 그 문턱이 매우 높습니다.

계획이 있다고 말하는 사람들은 있었지만 실제 제안도 실제 시도도 테이블 위에 없었습니다. 「The Adolescence of Technology」에서 그가 제시한 생물무기와 생물테러, 자율성 위험 같은 심각한 위험들과 지금까지 이야기한 타임라인을 고려하면 10년은 영원에 가까운 시간이고, 따라서 그것은 미친 짓이라는 것이 그의 판단입니다. 그런 선택을 강요한다면 유예에 반대하는 쪽을 고르겠고, 그 입장의 이득이 비용을 넘는다고 보지만 선택지가 그 둘뿐이라면 완벽한 입장은 아니라고 그는 덧붙입니다.

그가 지지하는 대안은 따로 있습니다. 연방정부가 주에게 규제하지 말라고 말하는 것이 아니라, 연방이 할 일을 제시하고 주가 그와 다르게 하지 못하게 하는 방식입니다. 연방정부가 기준을 정하고 그것이 모두에게 적용되며 주가 다른 것을 할 수 없다는 의미의 선점이라면 괜찮다는 것입니다. 제대로 된 방식으로 이루어진다면 자신이 지지할 만한 안이라고 그는 말합니다. 반면 주는 아무것도 하지 말고 연방도 아무것도 하지 않겠다는 발상은 전혀 말이 되지 않았고 좋게 늙지 못할 것이며, 그동안 나온 반발을 보면 이미 그렇게 되고 있다는 것입니다.

원하는 것의 내용으로 그는 투명성 기준에서 시작하자는 입장을 재확인합니다. 자율성 위험과 생물테러 위험을 감시하기 위한 투명성이 출발점이고, 위험이 더 심각해지고 증거가 쌓이면 표적을 좁혀 더 공격적으로 나갈 수 있습니다. AI 생물테러가 진짜 위협이니 분류기를 갖추도록 강제하는 법을 통과시키자는 식입니다. 다만 위협이 얼마나 심각한 것으로 드러나는지에 달린 문제이고 확실하게 알 수는 없으니, 위험이 아직 나타나지 않았다는 사실을 미리 밝히는 지적으로 정직한 방식으로 이 일을 추진해야 한다고 그는 말합니다.

그러면서도 일이 돌아가는 속도를 보면 올해 안에 이 생물테러 문제가 정말 심각하니 무언가 해야 한다고 말하게 되는 세계를 충분히 상상할 수 있고, 연방 기준에 넣고 연방정부가 움직이지 않으면 주 기준에라도 넣어야 한다고 말하게 될 수 있다고 덧붙입니다.

해설
선점이라는 용어가 이 논쟁의 핵심입니다. 미국 법에서 연방법이 주법에 우선하는 원칙을 가리키는데, 여기에는 두 가지 형태가 있습니다. 하나는 연방이 특정 분야의 기준을 정하고 주가 그와 다른 기준을 두지 못하게 하는 방식이고, 다른 하나는 연방이 기준을 세우지 않은 채 주의 규제 권한만 박탈하는 방식입니다. 아모데이는 앞의 것을 지지하고 뒤의 것에 반대합니다.

그가 반대한 안이 뒤쪽이었다는 점은 그의 입장이 규제 찬성이냐 반대냐의 축에 놓여 있지 않다는 것을 보여줍니다. 그의 기준은 규제의 양이 아니라 규제 공백의 기간이고, 10년이라는 시간이 자신이 말한 타임라인과 맞지 않는다는 것이 반대의 근거입니다. 주 법률의 누더기가 혁신을 해친다는 업계의 통상적 주장을 그도 일부 인정하면서, 그 비용보다 10년 공백의 비용이 크다고 저울질한 결과입니다.

혜택 쪽은 시장이 지켜 줍니다

파텔은 비용과 편익의 계산이 여전히 납득되지 않는다고 말합니다. 아모데이가 예상하는 진전 속도와 입법의 생애주기를 함께 놓고 보면, 확산 지연 때문에 혜택은 천천히 오는데 주법의 누더기가 그 혜택을 막아 버릴 것 같다는 것입니다. 정서적 대화 상대가 되는 챗봇만으로도 사람들이 질겁한다면, 건강과 건강수명, 정신건강 개선처럼 우리가 평범한 사람들에게 안기고 싶은 실제 혜택들은 어떻겠느냐는 지적입니다. 반면 위험은 아모데이 본인의 말대로 이미 지평선 위에 있다면, 이 법들은 AI의 위험보다 AI의 혜택 쪽에 특히 더 해롭다는 것입니다.

아모데이는 몇 가지로 나눠 답합니다. 사람들은 이런 주법이 수천 건이라고 말하지만 압도적 다수는 통과되지 않습니다. 세상은 이론상 어떤 식으로 작동하지만, 법이 통과됐다고 해서 실제로 집행된다는 뜻도 아닙니다. 집행하는 사람들이 이건 말도 안 되고 테네시에서 지금까지 만들어진 모든 것을 꺼야 한다는 뜻이라고 반응할 수도 있습니다. 법은 아주 자주 덜 위험하고 덜 해로운 방향으로 해석되며, 물론 나쁜 것을 막으려고 법을 만드는 쪽에서도 같은 문제를 겪게 됩니다.

기본 입장은 이렇습니다. 어떤 법이 통과되고 일이 어떻게 처리되는지를 자기들이 정할 수 있다면, 그리고 자신들은 그 과정의 작은 입력 하나일 뿐이지만, AI의 건강 관련 혜택을 둘러싼 많은 것을 규제 완화하겠다는 것입니다. 챗봇 법안은 그만큼 걱정하지 않습니다. 그가 더 걱정하는 것은 의약품 승인 절차입니다. AI 모델이 신약 발견 속도를 크게 끌어올릴 텐데 파이프라인이 막힐 것이고, 그 안으로 들어오는 모든 것을 처리할 준비가 되어 있지 않을 것이기 때문입니다.

그래서 규제 절차의 개혁이 필요하다고 그는 봅니다. 안전성과 효능이 정말로 또렷하고 선명한, 그리고 정말로 효과적인 것들이 많이 들어오는 상황에 맞게 저울을 옮겨야 한다는 것입니다. 그는 그것을 아름다운 일이라고 표현하면서, 거의 듣지 않고 심각한 부작용이 잦았던 시대의 약을 전제로 설계된 그 모든 상부구조가 그때도 필요할지는 모르겠다고 말합니다.

동시에 안전과 보안 입법은 상당히 끌어올려야 한다는 입장입니다. 투명성에서 시작하는 것이 산업을 방해하지 않으려는, 올바른 균형을 찾으려는 자신의 방식이라고 그는 말합니다. 어떤 사람들은 그의 에세이를 두고 그래서는 너무 느리고 AI의 위험이 그보다 빨리 올 것이라고 비판했습니다. 그의 생각은 지난 6개월과 앞으로 몇 달은 투명성에 관한 것이 되고, 그다음 위험이 나타나고 그에 대한 확신이 커지면 실제로 위험을 목격한 영역에서 아주 빠르게 움직여야 한다는 것입니다.

그 확신이 올해 안에 생길 수도 있다고 그는 봅니다. 유일한 방법은 민첩해지는 것인데 입법 절차는 보통 민첩하지 않으므로, 관련된 모두에게 이 일의 긴급성을 강조해야 한다는 결론입니다. 자신이 긴급하다는 메시지를 보내는 이유도, 정책 담당자와 경제학자와 국가안보 전문가와 의사결정자가 읽기를 바라며 「The Adolescence of Technology」를 쓴 이유도 거기에 있다고 그는 말합니다. 그래야 그들이 원래보다 빨리 움직일 희망이라도 생긴다는 것입니다.

파텔은 혜택 쪽을 더 확실하게 안착시키기 위해 할 수 있거나 옹호할 수 있는 일이 있느냐고 묻습니다. 아모데이가 의회와 일해 생물테러를 막고 투명성과 내부고발자 보호를 강화하는 쪽에서는 움직여 온 반면, 우리가 기대하는 것들은 기본값으로 두면 여러 종류의 도덕적 공황이나 정치경제 문제에 아주 취약해 보인다는 것입니다.

아모데이는 선진국에 대해서는 그만큼 동의하지 않는다고 답합니다. 선진국에서는 시장이 꽤 잘 작동하고, 어떤 것에서 벌 돈이 많고 그것이 분명히 가장 나은 대안이라면 규제 체계가 그것을 막기가 실제로 어렵다는 것입니다. 그는 AI 자체에서 그것을 보고 있다고 말합니다. 그가 싸워 온 일 가운데 하나가 중국에 대한 칩 수출통제인데, 이는 미국의 국가안보 이익에 부합하고 양당 의원 거의 모두의 정책 신념 한가운데 있으며 논거도 매우 분명합니다.

반대 논거들은 점잖게 말해 수상쩍다고 그는 표현합니다. 그런데도 그 일은 일어나지 않고 칩은 팔리는데, 거기에 걸린 돈이 너무 많기 때문입니다. 그 돈은 벌리고 싶어 합니다. 그 경우에 그것은 자기 의견으로는 나쁜 일이지만, 같은 원리가 좋은 일에도 적용됩니다.

그래서 약과 기술의 혜택에 관해서라면 선진국에서 그 혜택이 가로막히는 것을 그만큼 걱정하지는 않습니다. 다만 너무 느려질까 조금 걱정하고, 그래서 미국 식품의약국(FDA)의 승인 절차를 빠르게 만드는 쪽으로 노력해야 한다고 봅니다. 파텔이 말한 챗봇 법안들에도 개별적으로는 반대하며 멍청하다고 생각한다는 입장을 재확인합니다.

그가 더 크게 걱정하는 것은 개발도상국입니다. 시장이 제대로 작동하지 않고 이미 가진 기술 위에 무언가를 쌓아 올리지 못하는 경우가 많아, 그곳 사람들이 뒤처질까 더 걱정된다는 것입니다. 치료제가 개발되더라도 미시시피 시골의 누군가는 받지 못할 수 있는데, 그것이 개발도상국에 대한 우려의 축소판입니다. 그래서 앤트로픽이 해 온 일은 자선 활동가들과 협력하는 것입니다. 사하라 이남 아프리카와 인도, 라틴아메리카를 비롯한 개발도상 지역에 의약품과 보건 개입을 전달하는 사람들과 일하고 있고, 그것이 저절로는 일어나지 않을 일이라고 그는 말합니다.

[한국 관점]
아모데이가 그린 규제 지형은 한국에 그대로 옮겨지지 않습니다. 그가 전제하는 것은 연방과 주가 규제 권한을 두고 다투는 구조인데, 한국은 중앙정부가 기준을 정하는 단일 체계여서 주법의 누더기 문제 자체가 성립하지 않습니다. 오히려 한국에서 대응하는 문제는 하나의 기준이 언제 정해지고 그것이 얼마나 빨리 고쳐질 수 있느냐입니다.

그가 가장 크게 걱정한 의약품 승인 병목은 한국에서도 같은 모양으로 나타날 수 있습니다. AI가 후보물질 발굴 속도를 끌어올려도 임상시험 수행 역량과 심사 인력이 함께 늘지 않으면 파이프라인은 같은 자리에서 막힙니다. 국내 논의가 데이터와 모델 확보에 집중되는 동안, 심사 역량이라는 변수는 상대적으로 덜 다뤄지고 있습니다. 다만 안전성과 효능이 또렷해질 테니 상부구조를 덜어내자는 그의 제안은, 신약 심사 경험이 축적되는 과정에 있는 제도에서는 더 신중하게 저울질할 사안입니다.

미국과 중국이 동시에 천재들의 나라를 가질 수는 없는가

둘 다 가지면 무엇이 문제인가

파텔은 앞서 나온 수출통제 이야기를 붙잡고 묻습니다. 미국과 중국이 둘 다 데이터센터 속 천재들의 나라를 가지면 왜 안 되느냐는 것입니다. 아모데이가 왜 그렇게 되지 않을 것인지를 묻는 것이냐 아니면 왜 그래서는 안 되는지를 묻는 것이냐고 되묻자, 파텔은 후자라고 답합니다.

아모데이는 그런 일이 벌어지면 몇 가지 상황이 가능하다고 말합니다. 공격 우위 상황이라면 핵무기와 비슷하되 더 위험한 처지가 됩니다. 어느 쪽이든 모든 것을 쉽게 파괴할 수 있는 상태입니다.

불안정한 세계가 될 수도 있습니다. 핵 균형이 안정적인 이유는 억지가 작동하기 때문인데, 두 AI가 맞붙었을 때 어느 쪽이 이길지 불확실하다면 그 불확실성이 불안정을 만듭니다. 양쪽이 자기 승률을 다르게 평가할 때 분쟁이 자주 일어나기 때문입니다.

한쪽이 자기 승률을 90%로 보고 상대도 자기 승률을 90%로 본다면 싸움은 훨씬 더 그럴듯해진다는 것이 그의 설명입니다. 둘 다 옳을 수는 없지만 둘 다 그렇게 생각할 수는 있다는 것입니다.

파텔은 그것이 AI 기술 확산 일반에 대한 전면적 반대 논거처럼 들린다고 지적합니다. 이 세계관의 함의가 그렇다는 것입니다. 아모데이는 결국 확산은 일어날 것이라고 보면서 말을 이어 갑니다. 그가 가진 다른 우려는 정부가 AI로 자국민을 억압하는 일입니다.

이미 고도 기술 권위주의 국가를 만들어 가고 있는 정부가 있는 세계가 걱정된다는 것입니다. 그는 이것이 정부에 대한 이야기이지 사람들에 대한 이야기가 아니라고 분명히 합니다. 어디에 사는 사람이든 혜택을 볼 방법을 찾아야 하고, 자신의 우려는 정부를 향한 것입니다. 세계가 두 조각으로 쪼개지고 그중 한 조각이 몰아내기가 매우 어려운 방식으로 권위주의나 전체주의가 되는 상황이 그가 걱정하는 바입니다.

정부들이 결국 강력한 AI를 갖게 되고 권위주의의 위험이 생기느냐고 묻는다면 그의 답은 그렇다는 것이고, 나쁜 균형의 위험이 생기느냐고 물어도 답은 그렇습니다. 그러나 초기 조건이 중요하다는 것이 그의 반론입니다. 어느 시점에는 통행 규칙을 세워야 하는데, 그는 미국이든 민주주의 국가들의 연합이든 한 주체가 이것이 규칙이라고 선언해야 한다고 말하는 것이 아닙니다. 연합 쪽이 더 나은 구성이라고 보면서도 그것은 지금 우리가 하려는 것보다 더 많은 국제 협력을 요구한다고 그는 덧붙입니다.

협상이 있을 것이고 세계가 이 문제와 씨름해야 할 텐데, 그가 바라는 것은 규칙이 정해질 때 친인간적 가치에 더 가까운 정부를 가진 민주주의 국가들이 더 강한 패와 더 큰 지렛대를 쥐고 있는 것입니다. 그래서 그 초기 조건을 매우 염려한다는 것입니다.

결정적 순간이라는 것이 있는가

파텔은 3년 전 인터뷰를 다시 들어 보니 잘 늙지 못한 대목이 하나 있었다고 말합니다. 2-3년 뒤에 어떤 결정적인 분수령이 있으리라고 전제하고 계속 질문을 던졌다는 것입니다. 실제로 그만큼 시간이 지나 보니 진전은 계속되고 AI는 좋아지고 더 널리 퍼지며 사람들이 더 많은 일에 쓰게 될 뿐이었습니다.

아모데이는 국가들이 모여 통행 규칙과 지렛대를 정하는 미래를 상상하는 것 같은데, 현재 궤적에서는 모두가 더 많은 AI를 갖게 됩니다. 그중 일부는 권위주의 국가가 쓸 것이고, 권위주의 국가 안에서도 국가 행위자가 아니라 민간 행위자가 쓰는 몫이 있습니다. 누가 더 이득을 볼지는 분명하지 않고 미리 알기는 늘 어렵습니다. 인터넷은 예상보다 권위주의 국가에 유리하게 작동했고, AI는 반대일 수도 있습니다. 그래서 아모데이가 무엇을 그리고 있는지 더 알고 싶다는 것입니다.

아모데이는 정확히 말해 두자며 기반 기술의 지수 곡선은 전처럼 계속될 것이라고 답합니다. 모델은 천재들의 나라에 도달한 뒤에도 더 똑똑해질 수 있습니다. 다만 세상에서의 가치에 대해서는 수익이 체감하는 문제가 있습니다. 인간 생물학을 이미 풀어낸 다음에는 그것이 얼마나 더 중요하겠느냐는 것입니다. 어느 지점에 이르면 더 어렵고 난해한 수학 문제를 풀 수 있게 되지만 그 뒤로는 아무것도 중요하지 않습니다.

그것을 제쳐 두면 지수 곡선은 계속되되 그 위에 구별되는 지점들이 있을 것이라고 그는 봅니다. 기업과 개인과 국가가 그 지점들에 서로 다른 시기에 도달합니다. 그는 「The Adolescence of Technology」에서 AI의 세계에서도 핵 억지가 여전히 안정적인지를 물었다고 말합니다.

답은 모르지만, 그것이 우리가 당연하게 여겨 온 것 하나가 기술 수준이 올라가면서 더는 확신할 수 없게 되는 사례라는 것입니다. 다른 예도 있습니다. 어떤 수준에 도달하면 공격적 사이버 우위를 갖게 되어 상대가 동등한 방어를 갖추지 않는 한 모든 컴퓨터 시스템이 들여다보이게 되는 지점이 있을 수 있습니다.

그는 결정적 순간이 무엇인지, 단 하나의 결정적 순간이 있기는 한지 모른다고 인정합니다. 그러나 결정적 순간이든, 소수의 결정적 순간들이든, 어떤 결정적 시기든 간에 AI가 국가안보 관점에서 큰 우위를 주고 한 나라나 한 연합이 다른 쪽보다 먼저 그 지점에 도달하는 때가 있을 것이라고 봅니다. 그는 그 나라가 이제 우리가 책임자라고 선언해야 한다고 주장하는 것이 아니라고 강조합니다. 그렇게 생각하지 않는다는 것입니다. 상대는 늘 따라오고 있고, 취하지 않을 극단적 행동들이 있으며, 완전한 통제권을 쥐는 것은 어차피 옳지도 않습니다.

다만 그 일이 벌어지는 시점에 사람들은 세상이 바뀌었다는 것을 이해하게 될 테고, 명시적이든 암묵적이든 AI 이후의 세계 질서가 어떤 모습일지에 대한 협상이 있을 것입니다. 그의 관심은 그 협상에서 고전적 자유민주주의가 강한 패를 쥐게 만드는 데 있습니다.

해설
아모데이가 여기서 쓰는 논리는 국제정치학에서 말하는 권력 전이와 불확실성 아래의 전쟁 발발 이론을 그대로 따릅니다. 양쪽이 서로의 힘을 정확히 알면 싸우지 않고도 그 힘에 맞는 합의에 도달할 수 있지만, 상대의 능력을 모르거나 과대평가하면 싸워 봐야 알게 됩니다. 핵무기가 역설적으로 안정을 만든 이유는 결과를 양쪽이 똑같이 예측할 수 있었기 때문입니다.

AI가 이 구조를 흔든다는 그의 주장은 두 겹입니다. 하나는 AI의 군사적 능력이 핵무기처럼 시험으로 확인되지 않아 양쪽의 평가가 갈린다는 것이고, 다른 하나는 사이버나 생물 영역에서 공격이 방어보다 유리해지면 선제적으로 움직일 유인이 생긴다는 것입니다. 다만 이 논리에는 대칭적인 반론도 있습니다. 능력이 불투명하다는 사실은 상대를 과소평가하게도 만들지만 과대평가하게도 만들고, 후자는 오히려 신중함을 낳습니다.

독재는 도덕적으로 낡은 것이 될 수 있는가

파텔은 그가 에세이에 쓴 한 구절을 꺼냅니다. 강력한 AI 이후의 시대에 독재는 사람들이 받아들일 수 있는 정부 형태가 아니라는 대목입니다. 그것은 AGI 이후에 중국공산당(CCP)이라는 제도가 존속할 수 없다고 말하는 것처럼 들리는데, 매우 강한 요구이며 선도 연구소나 선도 국가가 세계가 어떻게 통치되는지와 어떤 정부가 허용되는지를 정할 수 있고 또 정해도 된다는 세계를 함의하는 것처럼 보인다는 지적입니다.

아모데이는 그 문단이 더 밀고 나가면 이렇게 말할 수도 있다는 식의 서술이었다고 답합니다. 자신이 그 견해를 반드시 지지한 것은 아니라는 것입니다. 그가 먼저 제시한 것은 더 약한 주장이었습니다. 권위주의자들을 크게 걱정해야 하고 그들을 견제하며 힘을 제한하려 노력해야 한다는 내용입니다. 거기서 훨씬 더 개입주의적인 견해로 밀고 나가면, AI를 가진 권위주의 국가는 몰아내기가 매우 어려운 자기충족적 순환이 되므로 처음부터 없애야 한다는 주장이 됩니다.

그 주장에는 파텔이 말한 문제가 그대로 따라붙는다고 그는 인정합니다. 모든 권위주의 국가를 전복하겠다고 공약한다면 그들은 지금 당장 불안정을 낳을 행동을 할 것이기 때문입니다. 그래서 그것은 가능하지 않을 수도 있습니다. 다만 그가 실제로 지지하는 논점은 따로 있습니다. 오늘날 서구 세계의 시각, 적어도 자신의 시각은 민주주의가 권위주의보다 나은 정부 형태라는 것이지만, 어떤 나라가 권위주의라고 해서 집단학살을 저질렀을 때처럼 반응하지는 않습니다.

그가 조금 걱정하는 것은 AGI의 시대에 권위주의가 다른 의미를 갖게 되고 더 중대한 사안이 되리라는 점입니다. 그것에 어떻게 대응할지 어떤 식으로든 정해야 하고, 개입주의적 견해는 가능한 견해 가운데 하나입니다. 그는 그런 견해들을 탐색하고 있었을 뿐이며, 옳은 견해로 드러날 수도 있고 너무 극단적이어서 옳은 견해가 아닐 수도 있다고 말합니다.

그래도 희망이 있다고 그는 덧붙입니다. 새로운 기술이 발명되면서 정부 형태가 낡은 것이 되어 온 역사를 보았기 때문입니다. 그는 「The Adolescence of Technology」에서 봉건제를 예로 들었다고 말합니다. 봉건제도 하나의 정부 형태였는데 산업화가 발명되자 더는 지탱될 수 없게 되었고 말이 되지 않게 되었다는 것입니다.

파텔은 그것이 왜 희망이냐고 되묻습니다. 민주주의가 더는 경쟁력 있는 체제가 아니게 된다는 뜻일 수도 있기 때문입니다. 아모데이는 어느 쪽으로든 갈 수 있다고 인정하면서도 자기 논리를 펼칩니다.

권위주의가 안고 있는 문제들이 더 깊어진다면, 그것이 권위주의가 갖게 될 다른 문제들의 지표일 수도 있다는 것입니다. 다시 말해 권위주의가 더 나빠지기 때문에 사람들이 그것을 더 두려워하고 더 열심히 막으려 하게 됩니다. 총체적 균형의 관점에서 생각해야 한다는 것입니다.

그는 새로운 기술과 함께 자유를 보존하고 지키는 새로운 사고방식이 촉발될지 궁금해합니다. 더 낙관적으로는 집단적 각성으로 이어져, 우리가 개인의 권리로 여기는 것들이 얼마나 중요한지에 대한 더 단호한 깨달음을 낳을지도 궁금해합니다. 그것을 내줄 수 없고 제대로 작동하는 다른 삶의 방식은 없다는 깨달음입니다. 너무 이상적으로 들리겠지만 실제로 그럴 수 있다고 믿는다며, 그는 독재가 도덕적으로 낡은 것이 되고 지탱 불가능한 정부 형태가 되어 그 위기가 다른 길을 찾도록 강제하는 상황을 희망으로 제시합니다.

[이해관계]
수출통제는 아모데이가 여러 해에 걸쳐 가장 일관되게 밀어 온 정책 의제이고, 그 효과는 앤트로픽의 경쟁 지형과 분리되지 않습니다. 중국 기업이 최신 칩을 쓰지 못하면 모델 시장의 경쟁자 수가 줄어듭니다. 그가 앞 절에서 설명한 소수 사업자 균형은 그 소수가 어디에 자리 잡는지에 따라 성립 조건이 달라집니다.

다만 발화 위치를 짚는 것이 주장의 반박은 아닙니다. 그는 2025년 1월 「On DeepSeek and Export Controls」에서 같은 입장을 더 길게 전개했고, 그보다 앞서 「Machines of Loving Grace」에서도 민주주의 진영이 결정적 우위를 쥐어야 한다는 구상을 제시한 바 있습니다. 또 이 대담에서 그는 수출통제가 실제로는 돈의 힘에 밀려 관철되지 않고 있다고 말하는데, 이는 자기 업계의 이해와 어긋나는 방향의 관찰이기도 합니다.

중국에 개입한 역사를 어떻게 볼 것인가

파텔은 여기에 정말 어려운 질문이 있고 자기도 어떻게 풀어야 할지 모르겠다고 말합니다. 역사적으로 우리는 어느 쪽이든 입장을 정해야 했습니다. 1970년대와 1980년대 중국에 대해서는 권위주의 체제임에도 관여하기로 결정했습니다.

돌이켜 보면 옳은 판단이었다고 그는 봅니다. 여전히 권위주의 체제로 남아 있지만 10억 명이 넘는 사람들이 그러지 않았을 경우보다 훨씬 부유하고 나은 삶을 살고 있기 때문입니다. 관여하지 않았다고 해서 권위주의 국가이기를 그만두었으리라는 보장도 없고, 북한이 그 반례입니다.

그는 권위주의 국가가 자기 권력을 계속 결집하며 유지하는 데 그렇게 많은 지능이 필요한지도 모르겠다고 말합니다. 다른 모든 나라보다 훨씬 떨어지는 AI를 가졌으면서도 권력을 유지하기에는 충분한 북한을 상상할 수 있다는 것입니다. 그렇다면 일반적으로는 AI의 혜택이, 그러니까 인류의 역량 강화와 건강 같은 형태의 혜택이 클 것이라는 태도를 가져야 하는 것 아니냐는 것입니다. 역사적으로 우리는 권위주의 정부 아래 사는 사람들에게도 기술의 혜택을 널리 퍼뜨리는 것이 좋다고 판단해 왔습니다. AI를 두고 어떻게 생각할지는 어려운 문제이지만, 역사적으로는 양의 합 게임이니 기술을 확산하는 편이 여전히 낫다고 답해 왔다는 지적입니다.

아모데이는 우리에게 여러 선택지가 있다고 답합니다. 이것을 정부 대 정부의 결정으로, 국가안보의 용어로 틀 짓는 것은 하나의 렌즈일 뿐이고 다른 렌즈도 많다는 것입니다. 예를 들어 모든 질병의 치료제를 만들어 내는 세계를 상상해 볼 수 있습니다. 치료제는 권위주의 국가에 팔아도 괜찮지만 데이터센터는 그렇지 않고, 칩과 데이터센터와 AI 산업 자체는 안 된다는 구분입니다.

다른 가능성도 사람들이 생각해 봤으면 한다고 그는 말합니다. AI의 결과로 자연히 생기든 AI 위에 기술을 쌓아 만들어 내든, 권위주의 국가가 자국민에게 그 기술의 혜택을 사적으로 쓰지 못하게 막는 것이 불가능해지는 균형을 만들 수 있느냐는 것입니다. 권위주의 국가의 모든 사람에게 감시로부터 자신을 지켜 주는 자기 몫의 AI 모델을 줄 수 있고, 그 나라가 권력을 유지한 채로는 그것을 단속할 방법이 없는 균형이 있을 수 있느냐는 물음입니다.

그는 모르겠다고 말하면서도, 그것이 충분히 멀리 가면 권위주의 국가가 내부로부터 무너지는 이유가 될 것 같다고 봅니다. 그 중간 세계도 있을 수 있습니다. 권력을 유지하고 싶다면 개인화된 접근을 막을 수 없는 균형입니다.

그는 더 급진적인 쪽에도 희망을 갖고 있다고 말합니다. 그 기술이 본래 그런 속성을 지녔거나 특정 방식으로 그 위에 쌓아 올리면 권위주의 구조를 녹이는 효과를 만들어 낼 수 있지 않겠느냐는 것입니다. 그는 바로 한계를 인정합니다.

오바마 행정부 초기를 떠올려 보면 우리는 소셜미디어와 인터넷이 그런 속성을 가질 것이라고 기대했지만 그렇지 않은 것으로 드러났습니다. 그래도 얼마나 많은 것이 잘못될 수 있는지를 알게 된 상태에서, 그리고 이것이 다른 기술이라는 점을 감안하고 다시 시도해 보면 어떻겠느냐는 것입니다. 작동할지는 모르지만 시도해 볼 가치는 있다는 것이 그의 결론입니다.

파텔이 매우 예측 불가능하며 권위주의가 유리할 선험적 이유가 있다고 받자, 아모데이는 모든 것이 예측 불가능하다고 동의합니다. 그가 제시하는 방법론은 단순합니다. 문제를 인식하고, 시도해 볼 수 있는 열 가지를 생각해 내고, 그것들을 해 보고, 무엇이 작동하는지 혹은 작동하기는 하는지 평가하고, 예전 것이 듣지 않으면 새것을 시도하는 것입니다.

성장은 내생적이어야 합니다

파텔은 그렇다면 오늘로 내려와 보면 결국 중국에 데이터센터도, 칩도, 칩 만드는 능력도 팔지 않겠다는 것이라고 정리합니다. 그 결정으로 중국 경제와 중국 사람들이 누릴 수 있었을 혜택을 부정하는 셈이고, 양의 합 세계이니 교역을 통해 미국 경제가 누릴 혜택도 함께 사라집니다. 그 나라의 데이터센터는 이 일을 하고 우리 데이터센터는 저 일을 할 수 있었을 텐데, 아모데이는 이미 그 양의 합의 몫이 저 나라에 힘을 실어 주는 대가로는 아깝다고 말하는 것이라는 지적입니다.

아모데이의 답은 우선순위의 문제입니다. 우리는 곧 강력한 AI 모델을 만들 수만 있다면 성장과 경제적 가치가 아주 쉽게 생기는 세계에 들어섭니다. 쉽게 생기지 않는 것은 혜택의 분배, 부의 분배, 정치적 자유입니다.

그것들이 달성하기 어려운 것들입니다. 그래서 정책을 생각할 때 그는 기술과 시장이 근본적인 혜택을 우리가 받아 챙기는 속도보다 더 빠르게 가져다줄 것이고, 실제로 중요한 것은 분배와 정치적 자유와 권리에 관한 질문이라고 봅니다. 정책이 집중해야 할 곳도 거기라는 것이 그의 신념입니다.

파텔은 분배 이야기가 나온 김에 개발도상국 문제를 꺼냅니다. 많은 경우 추격 성장(catch-up growth)은 기대만큼 강하지 않았지만, 추격 성장이 일어날 때 그것이 작동하는 원리는 그 나라에 충분히 활용되지 않은 노동이 있고 선진국에서 자본과 노하우를 가져와 결합하면 빠르게 성장할 수 있다는 데 있습니다. 노동이 더는 제약 요인이 아닌 세계에서는 이 기제가 작동하지 않습니다. 그렇다면 AI로 곧바로 부유해진 사람들이나 국가의 자선에 기대는 것이 희망이냐는 질문입니다.

아모데이는 자선도 과거처럼 어떤 역할을 해야겠지만, 성장은 내생적으로 만들 수 있을 때 언제나 더 좋고 더 강하다고 답합니다. AI가 이끄는 세계에서 관련 산업이 무엇이냐를 생각해 보자는 것입니다. 그는 중국에 데이터센터를 짓지 말아야 한다고 말했지만 아프리카에 짓지 말아야 할 이유는 없다고 말합니다. 오히려 아프리카에 데이터센터를 짓는 것은 훌륭한 일이고, 중국이 소유하지 않는 한 지어야 한다고 봅니다.

제약 산업도 마찬가지입니다. AI가 신약 발견을 가속한다면 수많은 바이오테크 스타트업이 생길 텐데, 그중 일부가 개발도상국에서 나오게 하자는 것입니다. 적어도 전환기 동안에는, 그러니까 인간에게 아무 역할도 없는 시점은 따로 이야기할 수 있다는 단서를 달면서, 그 회사들을 세우고 AI 모델을 감독하는 일에서 인간이 여전히 어떤 역할을 할 것입니다. 그렇다면 그 인간 가운데 일부가 개발도상국 사람이 되게 해서 빠른 성장이 그곳에서도 일어나게 하자는 것이 그의 제안입니다.

[한국 관점]
아모데이의 구상에서 한국의 자리는 분명하지 않습니다. 그는 세계를 민주주의 연합과 권위주의 진영, 그리고 뒤처질 위험이 있는 개발도상국으로 나누는데, 한국은 첫 번째 범주에 속하면서도 그가 말하는 규칙 제정의 주체로는 상정되지 않습니다. 반면 수출통제의 실행에서는 한국 기업이 핵심 고리에 놓여 있습니다. 메모리와 장비 공급망에서 한국이 차지하는 위치 때문에, 통행 규칙이 정해질 때 한국은 규칙을 만드는 쪽이 아니라 규칙을 적용받는 쪽에 서기 쉽습니다.

아프리카에 데이터센터를 짓되 중국이 소유하지 않아야 한다는 그의 구분도 한국 기업에는 실무적인 쟁점이 됩니다. 소유 구조와 최종 사용자에 따라 거래 가능 여부가 갈리는 체제에서는 고객이 누구인지만이 아니라 그 고객의 지분 구조까지 심사 대상이 되기 때문입니다. 검증된 최종사용자(VEU) 제도를 비롯한 기존 장치들이 AI 데이터센터로 확장될 경우, 국내 기업의 수출 심사 부담은 칩 자체를 넘어 설비와 부품으로 넓어질 수 있습니다.

클로드의 헌법과 기록되지 않을 것들

규칙이 아니라 원칙을 가르치는 이유

파텔은 앤트로픽이 최근 클로드에게 최종 사용자가 아니라 일련의 가치에 정렬된 헌법을 주겠다고 발표한 일을 꺼냅니다. 그는 다른 그림도 상상할 수 있다고 말합니다. 모델이 최종 사용자에게 정렬된다면 모두가 자기를 대변하는 AI를 갖게 되므로 오늘날 세계의 힘의 균형이 그대로 보존되고, 나쁜 행위자와 좋은 행위자의 비율도 일정하게 유지됩니다. 지금 세계에서는 그 방식이 잘 작동하는 것처럼 보이는데, 왜 그렇게 하지 않고 AI가 들고 갈 특정한 가치 집합을 두는 편이 낫다는 것이냐는 질문입니다.

아모데이는 구분을 그렇게 긋지는 않겠다고 답하면서 두 가지 서로 다른 축을 분리합니다. 파텔의 질문이 그 둘을 섞고 있다는 것입니다. 하나는 모델에게 이것은 하고 저것은 하지 말라는 지시 목록을 줄 것인지, 아니면 어떻게 행동해야 하는지에 대한 원칙을 줄 것인지의 문제입니다.

이 축에 대한 그의 답은 순전히 실용적이고 경험적입니다. 모델에게 원칙을 가르치고 원칙으로부터 스스로 배우게 하면 행동이 더 일관되고, 경계 사례를 다루기가 더 쉬우며, 사람들이 바라는 대로 행동할 가능성이 커진다는 것을 관찰했다는 것입니다. 자동차 배선을 연결해 시동 거는 법을 알려 주지 말라거나 한국어로 말하지 말라는 식으로 규칙 목록을 주면 모델은 그 규칙을 제대로 이해하지 못하고 거기서 일반화하기도 어렵습니다. 단순한 해도 되는 것과 안 되는 것의 목록이기 때문입니다.

반면 원칙을 주고 생물무기를 만들지 말라는 식의 단단한 가드레일 몇 개를 두면, 모델은 자기가 무엇을 목표로 하고 어떻게 작동해야 하는지를 이해하려 애쓰게 됩니다. 실용적인 관점에서 그 편이 모델을 학습시키는 더 효과적인 방법으로 드러났다는 것이 그의 설명입니다.

다른 하나의 축은 교정 가능성(corrigibility)과 내재적 동기 사이의 맞교환입니다. 모델이 누구의 지시든 받은 대로 곧장 따르는 일종의 외피에 가까워야 하는지, 아니면 자체적인 가치를 갖고 스스로 움직여야 하는지의 문제입니다. 여기서 아모데이는 앤트로픽의 모든 선택이 사실상 모델이 대체로 사람들이 원하는 대로 해야 한다는 쪽에 가깝다고 말합니다. 세상을 혼자 알아서 운영하러 나가는 무언가를 만들려는 것이 아니며, 자신들은 교정 가능한 쪽에 꽤 멀리 가 있다는 것입니다.

다만 모델이 하지 않을 일이 몇 가지 있다고 그는 덧붙입니다. 헌법에 여러 방식으로 적혀 있는 내용인데, 통상적인 상황에서 누군가 모델에게 과업을 요청하면 모델은 그 과업을 수행해야 하고 그것이 기본값입니다. 그러나 위험한 일을 시키거나 다른 사람을 해치는 일을 시킨다면 모델은 그 일을 하려 하지 않습니다. 그래서 그는 이것을 대체로 교정 가능하되 몇 가지 한계를 지닌 모델이고, 그 한계가 원칙에 기반하고 있는 것이라고 정리합니다.

해설
교정 가능성은 AI 안전 논의에서 모델이 인간의 수정이나 중단을 받아들이는 성질을 가리킵니다. 교정 가능성이 높을수록 오작동을 바로잡기는 쉬워지지만, 나쁜 지시를 내리는 사람 앞에서는 그대로 따르는 도구가 됩니다. 반대로 모델에게 강한 자체 가치를 주면 나쁜 지시를 거부할 수 있지만, 그 가치가 잘못 설정됐을 때 인간이 되돌리기 어려워집니다.

아모데이가 설명하는 앤트로픽의 선택은 이 축에서 교정 가능 쪽에 가깝게 서되 몇 개의 예외를 두는 방식입니다. 파텔의 원래 질문이 겨냥한 것은 그 예외를 누가 정하느냐였습니다. 모든 모델이 사용자에게 완전히 정렬된다면 사회의 힘의 균형이 지금과 같은 비율로 유지되지만, 모델 공급자가 예외 목록을 쥐고 있다면 서넛의 기업이 수억 명의 행동 경계를 함께 정하게 됩니다.

헌법은 누가 정하는가

파텔은 바로 그 지점을 파고듭니다. 결국 근본적인 질문은 그 원칙들이 어떻게 정해지느냐이고, 이는 앤트로픽만의 문제가 아니라 어느 회사에나 해당하는 질문이지만, 원칙을 실제로 적어 내려간 당사자가 앞에 있으니 묻겠다는 것입니다. 보통 헌법은 한번 적히면 돌에 새겨지고 그것을 고치는 절차가 따로 있습니다. 그런데 이 경우에는 앤트로픽 사람들이 쓰고 언제든 바꿀 수 있는 문서가, 앞으로 수많은 경제 활동의 바탕이 될 시스템들의 행동을 인도하게 됩니다.

아모데이는 크기가 다른 세 개의 고리가 있다고 답합니다. 첫째는 앤트로픽 내부의 반복입니다. 모델을 학습시켜 보고 결과가 마음에 들지 않으면 헌법을 고치는 것인데, 그는 이것이 좋은 방식이라고 봅니다. 그리고 이따금 새 헌법을 공개해 사람들이 논평할 수 있게 하는 것도 좋은 일이라고 덧붙입니다.

둘째 고리는 회사들 사이의 비교입니다. 회사마다 다른 헌법을 갖게 될 텐데, 앤트로픽이 헌법을 내놓고 제미나이 쪽에서도 내놓고 다른 회사들도 내놓으면 서로 견주어 볼 수 있습니다. 외부 관찰자들은 비판하면서 이 헌법의 이 부분이 좋고 저 헌법의 저 부분이 좋다고 말할 수 있고, 그러면 모든 회사가 각자의 좋은 요소를 가져와 개선하도록 만드는 느슨한 유인과 피드백이 생깁니다.

셋째 고리는 AI 회사들 바깥의 사회, 그리고 헌법에 논평하되 실질적 권한은 없는 사람들 너머의 사회입니다. 그는 몇 해 전 집단지성 프로젝트(Collective Intelligence Project)와 함께 사람들에게 AI 헌법에 무엇이 들어가야 하는지를 묻는 실험을 했다고 말합니다. 당시에는 그 의견 가운데 일부를 반영했습니다.

지금의 헌법 방식에서도 비슷한 일을 상상해 볼 수는 있지만 조금 더 어렵습니다. 그런 접근은 헌법이 해야 할 것과 하지 말아야 할 것의 목록이던 시절에 더 쉬웠고, 원칙의 층위에서는 일정한 정합성이 필요하기 때문입니다. 그래도 아주 다양한 사람들로부터 견해를 모으는 일은 상상할 수 있다고 그는 말합니다.

여기서 그는 한 가지를 미친 생각이라고 전제하며 꺼냅니다. 이 인터뷰 전체가 미친 생각에 관한 것이니 괜찮다는 농담을 붙이면서, 대의제 정부가 입력을 넣는 체계도 상상해 볼 수 있다고 말합니다. 모든 AI 모델이 이런 내용으로 시작하는 헌법을 가져야 하고 그 뒤에 다른 것을 덧붙일 수는 있으나 앞의 특별한 절이 우선한다고 정하는 식입니다. 그러면서 바로 선을 긋습니다.

오늘 그렇게 하지는 않을 것인데 입법 절차가 너무 느리기 때문이고, 바로 그 점이 AI 규제에서 입법 절차를 조심해야 한다고 보는 이유이기도 합니다. 그런 방식은 너무 경직돼 있고 지나치게 공격적인 입법이 그렇듯 과하게 규정적으로 들린다는 것입니다. 다만 원리상 해 볼 수 있는 일이기는 하고, 훨씬 덜 거친 형태가 있을지도 모른다고 그는 덧붙입니다.

파텔은 둘째 고리가 마음에 든다고 말합니다. 이것은 실제 정부의 헌법이 작동하는 방식도, 작동해야 하는 방식도 아닙니다. 대법원이 사람들의 분위기를 더듬어 헌법을 갱신하는 식의 막연한 과정이 있는 것이 아니라 실제 정부에는 더 절차적인 과정이 있기 때문입니다. 그런데 아모데이가 내놓은 것은 헌법들 사이의 경쟁이라는 구상이고, 이는 일부 자유지상주의 성향의 차터 시티 논자들이 말하던 여러 정부 형태의 군도와 아주 닮았다는 것입니다. 그 사이에서 어느 쪽이 가장 효과적으로 운영되고 사람들이 어디에서 가장 행복한지에 따른 선택이 일어나는 그림입니다.

아모데이는 유토피아 군도라고 받으면서, 그 구상에는 추천할 만한 점도 있고 어떤 면에서는 흥미롭고 설득력 있지만 예상하지 못한 방식으로 잘못되는 부분도 있을 것이라고 답합니다. 파텔은 자기도 둘째 고리가 좋지만 결국 전체는 첫째와 둘째와 셋째의 어떤 혼합이어야 하고 문제는 그 비율이라고 정리합니다.

[관점]
세 고리는 성격이 다릅니다. 첫째 고리는 회사가 스스로 돌리는 것이고, 둘째 고리는 평판을 통한 느슨한 압력이며, 셋째 고리만이 외부의 권한을 끌어들입니다. 그런데 아모데이가 셋째 고리의 구체적 형태를 제시하자마자 그것은 너무 경직되어 지금은 하지 않겠다는 유보가 붙습니다. 결국 실제로 작동하는 것은 앞의 두 고리이고, 둘 다 구속력이 없습니다.

헌법들 사이의 경쟁이라는 구상의 약점도 같은 자리에 있습니다. 시장 경쟁이 좋은 결과를 낳으려면 선택하는 쪽이 차이를 알아보고 선택을 바꿀 수 있어야 하는데, 모델의 행동 원칙은 대부분의 사용자가 비교하기 어려운 대상입니다. 더구나 비교의 기준을 만드는 외부 관찰자 집단이 주로 같은 산업의 종사자와 연구자로 이루어져 있다면, 둘째 고리는 경쟁이라기보다 업계 내부의 합의 형성에 가까워집니다. 앞서 그가 규제의 공백을 10년이나 두는 것이 미친 짓이라고 말한 것과 견주면, 헌법 쪽에서는 외부 권한의 도입에 훨씬 소극적이라는 비대칭이 눈에 띕니다.

훗날의 역사가 놓칠 것

파텔은 마지막 질문들로 넘어갑니다. 언젠가 누군가 이 시대의 『The Making of the Atomic Bomb』에 해당하는 책을 쓴다면, 역사 기록에서 가장 길어 올리기 어렵고 따라서 가장 놓치기 쉬운 것이 무엇이겠느냐는 물음입니다.

아모데이는 몇 가지를 듭니다. 하나는 이 지수 곡선의 매 순간마다 바깥 세상이 그것을 얼마나 이해하지 못했는지입니다. 역사에는 실제로 일어난 일이 돌이켜 보면 불가피해 보이는 편향이 자주 끼어듭니다.

그래서 훗날 사람들이 돌아볼 때, 불가피하지 않았던 일에 실제로 걸고 있던 사람들의 자리에 자신을 놓아 보기가 어려울 것이라고 그는 말합니다. 스케일링에 대한 논거나 지속 학습이 풀릴 것이라는 논거를 두고 벌인 논쟁들, 그리고 내부의 몇몇 사람이 머릿속으로 높은 확률을 매기고 있었다는 사실이 그런 것입니다. 그런데 그 바깥에는 그것에 따라 전혀 움직이지 않는 세상이 있었습니다.

그는 그 기이함을, 안타깝게도 그 폐쇄성을 언급합니다. 만약 그 일이 1-2년 앞으로 다가와 있다면 길 위의 평범한 사람은 전혀 모르고 있는 셈이고, 그것이 자신이 메모를 쓰고 정책 담당자들과 이야기하며 바꾸려는 것 가운데 하나입니다. 그는 그 상황 자체가 그야말로 기이한 일이라고 말합니다.

다른 하나는, 아마도 역사상 거의 모든 위기의 순간에 해당하는 것이겠지만, 모든 일이 얼마나 빠르게 한꺼번에 벌어졌는지입니다. 신중하게 계산해 내린 것처럼 보이는 결정들이 실은 그렇지 않았다는 것입니다. 그 결정을 내려야 하는 날에 다른 30개의 결정도 함께 내려야 하고, 어느 결정이 중대한 것으로 판명될지조차 알 수 없습니다.

그래서 그가 품는 걱정이자 동시에 지금 벌어지는 일에 대한 통찰은 이렇습니다. 가장 결정적인 선택이, 누군가 사무실에 들어와 2분 드리겠다며 반 쪽짜리 메모를 내밀고 A와 B 중 무엇을 하겠느냐고 묻는 순간에 내려질지도 모른다는 것입니다. 그는 모르겠다, 점심을 먹어야 하니 B로 하자고 답하고, 그것이 결국 가장 중대한 일로 드러나는 식입니다.

2주마다 회사 앞에 서는 일

파텔의 마지막 질문은 역할에 관한 것입니다. 기술 기업의 최고경영자가 몇 달마다 50쪽짜리 메모를 쓰는 일은 흔하지 않은데, 아모데이는 그런 지적인 성격의 최고경영자 역할과 양립하는 자리를 스스로 만들어 낸 것처럼 보인다는 것입니다. 몇 주 사라졌다가 회사에 이것이 메모이고 우리가 할 일이라고 말하는 식이냐고, 사내에도 그런 글을 여럿 쓴다고 알려져 있다고 그는 덧붙입니다.

아모데이는 이번 메모는 겨울 휴가 동안 썼고 쓸 시간을 내기가 어려웠다고 답합니다. 그러면서 이 문제를 더 넓게 본다고 말합니다. 그것이 회사의 문화와 이어져 있다는 것입니다.

그는 자기 시간의 3분의 1에서 40% 정도를 앤트로픽의 문화가 좋은 상태를 유지하게 하는 데 쓴다고 밝힙니다. 회사가 커지면서 모델 학습과 출시, 제품 제작에 직접 관여하기가 어려워졌고, 2,500명 규모에서는 본능적으로 쥐고 있는 감각이 있어도 모든 세부에 관여하기는 매우 어렵습니다. 가능한 한 노력하지만 한계가 있다는 것입니다.

대신 지렛대가 큰 일이 하나 있습니다. 앤트로픽을 일하기 좋은 곳으로 만드는 일, 사람들이 그곳에서 일하기를 좋아하고 모두가 스스로를 팀의 일원으로 여기며 서로에게 맞서지 않고 함께 일하도록 만드는 일입니다. 그는 몇몇 다른 AI 기업이 커지면서 이름을 대지는 않겠다며 응집력이 무너지고 사람들이 서로 다투는 모습을 보기 시작했다고 말합니다. 자신이 보기에는 처음부터 그런 요소가 많았고 더 나빠졌다는 것입니다.

반면 앤트로픽은 완벽하지는 않더라도 회사를 하나로 붙들어 두는 일, 모두가 사명을 체감하고 자신들이 그 사명에 진심이라고 느끼게 하는 일, 그리고 그곳의 모든 사람이 올바른 이유로 일하고 있다는 믿음을 갖게 하는 일을 대단히 잘해 왔다고 그는 평가합니다. 서로를 밟고 올라서거나 뒤통수를 치려 하지 않는 팀이라는 감각인데, 다른 몇몇 곳에서는 그런 일이 자주 벌어진다는 것입니다.

어떻게 그렇게 만드느냐는 물음에 그는 여러 가지가 얽혀 있다고 답합니다. 자기 자신이 있고, 회사를 일상적으로 운영하는 다니엘라 아모데이(Daniela Amodei)가 있고, 공동창업자들과 함께 채용한 사람들이 있으며, 만들어 내려는 환경이 있습니다. 다만 문화에서 중요한 것 하나는 자신이, 그리고 다른 리더들도 그렇지만 특히 자신이 회사가 무엇을 위한 조직인지, 왜 지금 하는 일을 하는지, 전략과 가치와 사명이 무엇이며 무엇을 대변하는지를 말로 분명히 해야 한다는 점입니다. 2,500명 규모에서는 한 사람씩 만나서 할 수 없고 글을 쓰거나 전사를 상대로 말해야 합니다.

그래서 그는 2주마다 전사 앞에 서서 한 시간 동안 이야기합니다. 사내에 에세이를 쓴다고 말하지는 않겠다면서 자신이 하는 두 가지를 설명합니다. 하나는 DVQ라고 불리는 것으로, 다리오 비전 퀘스트(Dario Vision Quest)의 줄임말인데 자기가 붙인 이름이 아니라 그렇게 불리게 된 이름입니다. 그는 자신이 어디론가 가서 페이오티를 피우고 오는 것처럼 들려 그 이름에 맞서 보았지만 결국 굳어 버렸다고 말합니다.

세 쪽에서 네 쪽 분량의 문서를 들고 회사 앞에 서서 서너 가지 주제를 짚습니다. 내부에서 벌어지는 일, 만들고 있는 모델과 제품, 바깥 산업, 그리고 AI와 지정학 전반에 걸친 세계의 상황을 섞어 아주 정직하게 지금 자신이 무엇을 생각하고 있고 앤트로픽 경영진이 무엇을 생각하고 있는지 그대로 말한 다음 질문을 받습니다. 여섯 단계 아래로 전달될 때는 얻기 어려운 직접적인 연결에 큰 가치가 있다고 그는 보고, 회사의 상당수가 현장이든 온라인이든 참석합니다.

다른 하나는 슬랙 채널입니다. 그는 거기에 여러 글을 쓰고 댓글을 많이 답니다. 회사에서 보이는 일이나 사람들이 던지는 질문, 내부 설문에서 드러난 우려에 대한 응답이 많습니다. 그는 매우 정직하고 아주 직설적으로 말한다고 밝힙니다. 핵심은 지금 무슨 일이 벌어지고 있는지에 대해 회사에 진실을 말하는 사람이라는 평판을 얻는 것, 사물을 있는 그대로 부르는 것, 문제를 인정하는 것, 그리고 기업 특유의 화법과 방어적 소통을 피하는 것입니다.

그는 그런 화법이 공개 석상에서는 종종 필요하다고 인정합니다. 세상은 아주 크고 악의로 해석하는 사람들로 가득하기 때문입니다. 그러나 신뢰하는 사람들로 이루어진 회사라면, 그리고 자신들은 신뢰할 수 있는 사람을 뽑으려 애쓰므로, 아무 여과 없이 말할 수 있습니다. 그는 그것이 회사의 엄청난 강점이라고 봅니다. 더 일하기 좋은 곳이 되고, 사람들이 부분의 합을 넘어서게 되며, 모두가 사명에 대해 같은 자리에 있고 그것을 가장 잘 이루는 방법을 두고 토론하기 때문에 사명을 달성할 가능성이 커진다는 것입니다.

파텔은 외부용 다리오 비전 퀘스트가 없는 대신 이 인터뷰가 있는 셈이라고 받고, 아모데이는 이 인터뷰가 조금은 그런 것과 비슷하다고 답하며 대담을 마칩니다.

[사후 맥락]
이 대담이 공개된 뒤 앤트로픽은 2026년 10월 미국 증권거래위원회(SEC)에 기업공개를 위한 증권신고서를 제출했습니다. 대담에서 그가 투자자를 상대로 2028년 흑자 전환을 제시했다고 말한 대목, 앤트로픽의 구체적인 수치를 밝히고 싶지 않다며 양식화된 숫자로만 설명한 대목은 모두 상장을 준비하는 회사의 처지와 맞물려 있습니다.

증권신고서는 대담에서 그가 피해 간 숫자들, 즉 매출총이익률과 컴퓨트 약정, 학습과 추론의 비용 구조 같은 항목을 공시 형식으로 다루는 문서입니다. 이 대담에서 제시된 수요 예측과 파산 위험의 모형이 실제 재무와 얼마나 맞아떨어지는지는 그 문서와 나란히 놓고 볼 때 더 분명해집니다.

원문: Dario Amodei, We are near the end of the exponential (Dwarkesh Podcast) (Feb 2026)
전문은 원문에서 확인하실 수 있습니다.

참고할만한 글

Similar Posts