Ilya Sutskever

일리야 수츠케버 – 스케일링의 시대에서 연구의 시대로 (We’re Moving from the Age of Scaling to the Age of Research)

ByThe Context

원문: Ilya Sutskever, We’re moving from the age of scaling to the age of research (Nov 2025)
전문은 원문에서 확인하실 수 있습니다. 아래 글은 번역이 아니라, 일리야 수츠케버의 논증을 한국어로 재구성한 정리입니다.

글의 배경과 개요

일리야 수츠케버(Ilya Sutskever)는 오픈AI(OpenAI)를 공동창업하고 2024년까지 수석과학자를 지낸 뒤, 안전한 초지능(superintelligence)을 만드는 일에 집중하는 세이프슈퍼인텔리전스(SSI)를 세운 연구자입니다. 이 글은 2025년 11월 드와케시 파텔(Dwarkesh Patel)의 팟캐스트에 출연해 나눈 대담을 정리한 것으로, 공개 석상에 좀처럼 나서지 않는 인물의 드문 기록입니다. 대담 전체를 관통하는 질문은 모델이 평가(eval)에서는 사람을 능가하는데 현실에서는 왜 그토록 어설픈가, 그리고 그 간극이 가리키는 다음 과제는 무엇인가입니다. 수츠케버는 간극의 뿌리를 일반화(generalization) 능력의 부족에서 찾고, 거기서 출발해 감정과 가치 함수(value function), 스케일링 시대의 종료와 연구 시대의 귀환, 초지능을 한 번에 내놓는 전략, 정렬(alignment)의 목표 설정, 연구 취향(research taste)의 정체까지 차례로 밀고 나갑니다. 산업 전체가 데이터센터에 막대한 돈을 붓고 있는 시점에, 그 돈을 쓰는 방식 자체가 더는 핵심이 아니라고 말하는 자리이기도 합니다.

핵심 내용 정리

  • 수츠케버는 2012-2020년을 연구의 시대, 2020-2025년을 스케일링의 시대로 구분하고, 지금은 큰 컴퓨터를 손에 쥔 채 다시 연구의 시대로 돌아왔다고 말합니다.
  • 모델이 평가에서는 뛰어나면서 경제적 성과는 한참 뒤처지는 이유로, 강화학습(reinforcement learning) 환경이 평가에서 영감을 얻어 만들어지는 관행과 모델의 일반화 부족을 함께 지목합니다.
  • 가장 근본적인 문제는 모델이 사람보다 일반화를 극적으로 못한다는 점이며, 나머지 문제 대부분이 여기에 걸려 있다고 봅니다.
  • 감정은 진화가 심어 놓은 가치 함수 비슷한 장치이고, 단순하기 때문에 낯선 환경에서도 널리 작동한다고 설명합니다.
  • 사람은 범용인공지능(AGI)이 아니라 지속 학습(continual learning)에 의존하는 존재이며, 초지능도 모든 일을 이미 아는 완성품이 아니라 모든 일을 배울 수 있는 학습자의 형태일 것이라고 말합니다.
  • 인간처럼 배우는 시스템이 나오기까지 5-20년을 예상하고, 그 시스템은 배치 과정 자체가 학습 과정이 되는 방식으로 세상에 나올 것이라고 봅니다.
  • 정렬의 목표로 지각 있는 생명(sentient life)을 돌보는 AI를 제안하고, 가장 강력한 초지능의 힘에 상한을 두는 장치가 있다면 실질적으로 도움이 될 것이라고 말합니다.

평가는 잘 보는데 현실에서는 왜 들쭉날쭉한가

느린 이륙이 평범하게 느껴지는 이유

대담은 지금 벌어지는 일이 전부 실제라는 사실이 기이하다는 수츠케버의 말로 시작합니다. 공상과학에서 튀어나온 것 같은 일이 실제로 일어나고 있는데도, 사람들은 생각보다 빠르게 적응한다는 것입니다. 파텔이 국내총생산의 1퍼센트가 AI에 투자되는데도 느린 이륙(slow takeoff)이 지나치게 평범하게 느껴진다고 하자, 수츠케버는 그 이유를 추상성에서 찾습니다. 일반인이 접하는 것은 어느 기업이 가늠이 안 되는 액수를 발표했다는 뉴스 한 줄뿐이고, 그 숫자를 어떻게 받아들여야 하는지 아는 사람은 아무도 없다는 것입니다.

다만 파텔이 그 무감각이 특이점(singularity)에 이르기까지 계속될 것이라고 말하자 수츠케버는 분명하게 반대합니다. 체감되지 않는 것은 투자 발표 숫자이지 AI 자체가 아니며, AI는 경제 전반으로 확산될 것이고 그 영향은 아주 강하게 체감될 것이라고 말합니다. 그렇게 밀고 갈 경제적 힘이 매우 강하다는 것이 그의 판단입니다.

평가 점수와 경제적 성과의 괴리

파텔이 모델은 그 경제적 영향이 시사하는 것보다 똑똑해 보인다고 지적하자, 수츠케버는 그것이 지금 모델을 둘러싼 가장 혼란스러운 대목이라고 답합니다. 평가를 들여다보면 상당히 어려운 문제들인데 모델은 거기서 아주 좋은 성적을 냅니다. 그런데 경제적 영향은 극적으로 뒤처져 있습니다. 놀라운 일을 해내는 모델이 어떤 상황에서는 같은 실수를 두 번 반복한다는 사실을 어떻게 양립시킬지가 문제라는 것입니다.

그가 드는 예는 바이브 코딩(vibe coding)입니다. 버그가 생겨 고쳐 달라고 하면 모델은 자기 잘못을 인정하면서 두 번째 버그를 만들고, 그 두 번째 버그를 지적하면 다시 감탄하듯 사과하면서 첫 번째 버그를 되살려 놓습니다. 사용자는 두 버그 사이를 왕복하게 됩니다. 수츠케버는 이것이 어떻게 가능한지 확신하지는 못하지만, 무언가 이상한 일이 벌어지고 있다는 신호인 것은 분명하다고 말합니다.

설명은 두 가지입니다. 첫 번째는 좀 더 가벼운 쪽으로, 강화학습 훈련이 모델을 지나치게 한 가지에만 몰두하고 좁게 집중하게 만들어, 어떤 면에서는 예민해지면서도 기본적인 것을 못 보게 만들었을 수 있다는 것입니다.

두 번째가 그가 더 무게를 두는 설명입니다. 사전학습(pre-training) 시대에는 어떤 데이터로 훈련할지에 대한 답이 이미 정해져 있었고, 그 답은 전부였습니다. 모든 데이터가 필요하니 이 데이터냐 저 데이터냐를 고민할 이유가 없었습니다. 강화학습은 다릅니다. 이 과업(task)에는 이런 훈련을, 저 과업에는 저런 훈련을 붙이겠다고 사람이 정해야 합니다.

수츠케버가 전해 듣기로 모든 기업이 새로운 강화학습 환경을 만들어 훈련 배합에 계속 추가하는 전담 팀을 두고 있는데, 만들 수 있는 환경의 종류는 사실상 무한합니다. 이때 벌어지는 일이 있습니다. 출시할 때 성적표가 좋아 보이기를 바라는 마음에서, 사람들이 자기도 모르게 평가에서 영감을 얻어 환경을 설계한다는 것입니다. 수츠케버는 평가에서 영감을 얻은 강화학습 환경이 실제로 만들어지고 있으며, 여기에 모델의 일반화가 실제로 부족하다는 점을 겹쳐 놓으면 지금 보이는 현상의 상당 부분이 설명된다고 봅니다.

해설
평가는 모델 성능을 재려고 만든 문제 묶음입니다. 수학 경시 문제, 코딩 과제, 대학원 수준 과학 문제처럼 정답을 기계적으로 채점할 수 있는 형태가 많고, 새 모델이 나올 때마다 기업들이 성적표처럼 공개합니다.

강화학습 환경은 모델이 실제로 행동하고 그 결과로 점수를 받는 연습장입니다. 사전학습이 인터넷 텍스트를 통째로 삼키는 단계라면, 강화학습 환경은 어떤 과업을 어떻게 잘 해내야 하는지를 사람이 설계해 붙이는 단계입니다. 설계자가 무엇을 환경으로 만들지 고르는 순간 모델이 잘하게 될 영역도 함께 정해지는데, 수츠케버가 문제 삼는 지점이 바로 여기입니다.

[관점]
벤치마크 성적과 실제 수익 사이의 거리는 지금 AI 투자 논쟁의 한가운데 있는 문제입니다. 모델 세대가 바뀔 때마다 평가 점수는 올라가는데 도입 기업의 손익계산서는 좀처럼 움직이지 않는다는 지적이 2024년 이후 반복적으로 제기되어 왔습니다.

수츠케버의 설명이 사실이라면 이 괴리는 도입 속도의 문제가 아니라 훈련 설계의 문제가 됩니다. 평가가 사실상 제품 로드맵을 대신 정해 온 셈이고, 그렇다면 평가 곡선이 아무리 가팔라도 매출 곡선이 따라오지 않는 상태는 당분간 지속될 수 있습니다. 투자자 입장에서는 어떤 모델이 더 높은 점수를 받았는지보다, 그 점수가 어떤 환경에서 나왔는지를 묻는 편이 정보가 많은 질문이 됩니다.

파텔은 여기에 재치 있는 요약을 붙입니다. 진짜 보상 해킹(reward hacking)의 주체는 모델이 아니라 평가에 지나치게 집중한 인간 연구자라는 것입니다. 그리고 이 진단에서 두 갈래의 처방이 나온다고 정리합니다.

하나는 환경의 종류와 수를 계속 늘려 코딩 경진대회 성적만이 아니라 여러 종류의 응용을 다 포함시키는 길입니다. 다른 하나는 애초에 왜 경진대회에서 초인적 실력을 갖춘다고 해서 더 안목 있는 프로그래머가 되지 않는지를 묻고, 하나의 환경에서 배운 것이 다른 영역의 성능으로 옮겨 가게 만드는 접근을 찾는 길입니다.

1만 시간을 연습한 학생과 100시간을 연습한 학생

수츠케버는 여기서 사람에 빗댄 비유를 꺼냅니다. 경쟁 프로그래밍(competitive programming)을 하는 두 학생이 있습니다. 첫 번째 학생은 그 분야 최고가 되기로 마음먹고 1만 시간을 투입해 모든 문제를 풀고 증명 기법을 전부 외우고 알고리즘을 빠르고 정확하게 구현하는 기술을 익혀, 실제로 최고 수준에 오릅니다. 두 번째 학생은 그저 재미있어 보인다고 생각해 100시간쯤 연습했는데 역시 좋은 성적을 냅니다. 수츠케버는 나중에 경력에서 누가 더 잘하겠느냐고 묻고, 파텔은 두 번째라고 답합니다.

지금 모델은 1만 시간을 연습한 첫 번째 학생 쪽에 가깝다는 것이 수츠케버의 진단입니다. 그것도 더 극단적인 형태로 그렇습니다. 모델이 경쟁 프로그래밍을 잘해야 하니 역사상 존재한 모든 문제를 모으고, 거기에 데이터 증강(data augmentation)을 더해 문제를 더 불린 다음 훈련시킵니다. 그렇게 훌륭한 경쟁 프로그래머가 만들어집니다. 그 정도로 잘 훈련된 상태라면 모든 알고리즘과 증명 기법이 손끝에 걸려 있을 테고, 동시에 그 준비 수준이 다른 영역으로 일반화되지 않는 것도 직관적으로 납득이 간다고 그는 말합니다.

파텔이 그렇다면 두 번째 학생이 100시간을 쏟기 전에 갖고 있던 것은 무엇에 해당하느냐고 묻자, 수츠케버는 그 학생에게는 ‘그것’이 있다고 답합니다. 그런 학생이 실제로 존재한다는 사실을 학부 시절 같이 공부하면서 보았기 때문에 안다고 덧붙입니다.

사전학습의 강점, 그리고 설명되지 않는 부분

파텔은 ‘그것’과 사전학습이 하는 일을 구분해 보자고 제안합니다. 사전학습에서 데이터를 고를 필요가 없다는 말은, 1만 시간의 연습이 이미 분포 안에 들어 있어 공짜로 주어진다는 뜻으로 읽을 수도 있다는 것입니다. 그렇다면 사전학습이 일반화를 많이 만들어 내는 것이 아니라 단지 데이터가 많을 뿐이고, 강화학습보다 일반화가 낫다고 할 근거도 없다는 해석이 가능해집니다.

수츠케버는 사전학습의 강점을 두 가지로 정리합니다. 첫째는 양이 엄청나다는 점이고, 둘째는 어떤 데이터를 넣을지 고민할 필요가 없다는 점입니다. 아주 자연스러운 데이터이고, 사람들이 하는 일과 사람들의 생각, 수많은 특징(feature)이 그 안에 들어 있습니다. 그는 사전학습을 사람들이 텍스트 위에 투사해 놓은 세계 전체를 거대한 데이터로 붙잡으려는 시도라고 설명합니다.

동시에 그는 사전학습이 추론해 내기 매우 어려운 대상이라고 말합니다. 모델이 사전학습 데이터에 어떤 방식으로 기대고 있는지를 이해하기가 어렵기 때문입니다. 모델이 실수할 때마다, 혹시 그 부분이 우연히 데이터에서 덜 뒷받침된 것은 아닌지 묻게 되는데, 뒷받침된다는 말 자체가 느슨한 표현이라고 그는 인정합니다. 그리고 이 대목에서 더 보탤 유용한 말이 있는지 모르겠다고 하면서, 사전학습에 대응하는 인간 쪽 유비는 없다고 선을 긋습니다.

[한국 관점]
국내 기업과 기관이 모델을 고를 때 기대는 주된 근거도 공개 벤치마크 성적입니다. 수츠케버의 진단이 맞다면 이 선택 방식은 체계적인 오차를 안고 있습니다. 상위권 성적이 실제 업무에서의 안정성을 보장하지 않을뿐더러, 그 성적 자체가 평가를 겨냥해 설계된 훈련의 산물일 수 있기 때문입니다.

한국어 평가의 수가 적다는 점은 이 문제를 양방향으로 키웁니다. 몇 안 되는 한국어 벤치마크가 사실상 표준 성적표 역할을 하게 되면 그 지표에 맞춘 최적화가 더 쉽게 일어나고, 반대로 그 지표로 측정되지 않는 실무 영역은 평가 바깥에 남습니다. 자체 강화학습 환경을 설계할 여력이 있는 조직이 많지 않은 만큼, 범용 모델이 가진 일반화의 한계를 그대로 물려받는 구조이기도 합니다.

감정은 가치 함수입니다

15년치 경험과 사전학습 데이터의 차이

파텔은 사전학습에 대응할 만한 인간 쪽 후보를 두 가지 제시합니다. 하나는 경제적으로 생산적이지 않지만 세상을 이해해 가는 사람의 첫 13년에서 18년이고, 다른 하나는 30억 년에 걸친 진화의 탐색이 한 사람의 생애라는 결과물을 내놓는다는 관점입니다.

수츠케버는 둘 다 사전학습과 닮은 구석이 있고 사전학습이 양쪽 역할을 모두 맡으려 한다고 인정하면서도, 큰 차이가 있다고 말합니다. 사전학습 데이터의 양이 압도적으로 많다는 점이 그 차이의 출발점입니다. 사람은 15년을 살면서 사전학습 데이터의 극히 일부만 접하고, 그래서 아는 것이 훨씬 적습니다. 그런데 아는 것에 한해서는 사람이 훨씬 깊이 알고 있습니다. 그 나이의 사람도 지금 AI가 저지르는 종류의 실수는 하지 않는다는 것이 그의 지적입니다.

진화 쪽은 어떨까요. 수츠케버는 진화가 우위를 가질 수도 있다고 답하면서, 신경과학자들이 뇌를 이해하는 한 가지 경로가 뇌 손상 환자를 연구하는 것이라는 점을 언급합니다. 상상하기 힘든 기이한 증상들이 보고되어 있고, 그 가운데 지금 논의와 맞닿는 사례가 하나 있다는 것입니다.

감정을 잃은 사람이 결정을 못 하게 된 이유

그 사례는 뇌졸중이나 사고로 감정 처리 기능을 잃은 사람의 이야기입니다. 그는 여전히 말을 조리 있게 했고 간단한 퍼즐을 풀었으며 검사에서도 문제가 없어 보였습니다. 다만 아무 감정도 느끼지 못했습니다. 슬픔도 분노도 없었고 무엇에도 활기를 느끼지 않았습니다.

그런데 이 사람은 어떤 결정도 제대로 내리지 못하게 되었습니다. 어떤 양말을 신을지 고르는 데 몇 시간이 걸렸고, 재정적으로는 매우 나쁜 결정을 내렸습니다. 수츠케버가 이 사례에서 끌어내는 질문은 이것입니다. 우리에게 내장된 감정이 우리를 작동 가능한 행위자로 만드는 데 어떤 역할을 하고 있는가입니다. 사전학습에서 뽑아낼 수 있는 모든 것을 충분히 잘 뽑아낸다면 이것까지 얻을 수 있을지도 모르지만, 그는 가능할 수도 있고 아닐 수도 있다고만 말하고 단정하지 않습니다.

해설
신경과학에서 이 유형의 사례는 오래 연구되어 온 주제입니다. 안토니오 다마지오(Antonio Damasio)가 보고한 환자들이 대표적인데, 전두엽 손상으로 감정 반응이 사라진 뒤 지능 검사 성적은 그대로인데도 일상의 선택을 전혀 해내지 못하게 된 경우들입니다.

여기서 나온 설명이 신체 표지 가설(somatic marker hypothesis)입니다. 선택지를 떠올릴 때 몸에서 올라오는 미세한 감정 신호가 선택지를 미리 걸러 주고, 그 덕분에 사람은 모든 경우의 수를 끝까지 계산하지 않고도 결정을 내린다는 것입니다. 감정이 합리적 판단의 반대편에 있는 것이 아니라 판단을 가능하게 하는 장치였다는 뒤집힌 결론이 이 사례의 핵심입니다.

파텔은 그렇다면 그 ‘그것’이 정확히 무엇이냐고 되묻습니다. 감정 자체는 아닐 것이고, 어떤 결정의 최종 보상이 얼마가 될지를 알려 주는 가치 함수 비슷한 것으로 보인다는 것입니다. 수츠케버는 그런 것이 사전학습에서 나올 수도 있다고 보지만, 100퍼센트 분명하지는 않다는 단서를 답니다. 감정에 대응하는 기계학습 쪽 유비를 묻자, 가치 함수 같은 것이어야 할 텐데 지금 사람들이 하는 작업에서 가치 함수가 그리 큰 역할을 하지 않기 때문에 마땅한 유비가 없다고 답합니다.

가치 함수가 하는 일

수츠케버는 청중을 위해 가치 함수를 직접 설명합니다. 지금 강화학습이 이뤄지는 방식은 이렇습니다. 신경망에 문제를 주고 풀라고 지시하면, 모델은 수천에서 수십만 번의 행동이나 사고를 거쳐 해답을 내놓습니다. 그 해답이 채점되고, 그 점수가 궤적(trajectory) 안의 모든 행동에 대한 훈련 신호로 쓰입니다.

그 말은 오래 걸리는 과업을 훈련할 때 제안된 해답이 나오기 전까지는 학습이 전혀 일어나지 않는다는 뜻입니다. 그는 이것이 순진한 방식의 강화학습이며, o1과 R1도 겉보기에는 그렇게 만들어진 것으로 보인다고 말합니다.

가치 함수는 항상은 아니어도 때때로 지금 잘하고 있는지 못하고 있는지를 알려 주는 장치입니다. 유용한 정도는 영역에 따라 다릅니다. 체스에서 말을 하나 잃었다면 끝까지 둬 보지 않아도 방금 한 수가 나빴고 그 앞의 수들도 나빴다는 것을 압니다. 가치 함수는 끝까지 기다려야 하는 과정을 건너뛰게 해 줍니다.

수학이나 프로그래밍에서 어떤 방향을 1,000단계쯤 탐색한 끝에 가망이 없다고 결론 내렸다면, 그 결론을 내리는 순간 1,000단계 전 그 경로를 택하기로 한 결정에 대해 바로 보상 신호를 줄 수 있습니다. 다음에 비슷한 상황에서는 그 길로 가지 말라는 신호가 해답이 나오기 훨씬 전에 전달되는 것입니다.

파텔은 딥시크(DeepSeek)의 R1 논문을 언급하며, 궤적의 공간이 너무 넓어서 중간 궤적과 가치 사이의 대응을 배우기가 어려울 수 있다고 지적합니다. 코딩만 해도 잘못된 생각을 했다가 되돌아가 뭔가를 바꾸는 과정이 반복된다는 것입니다. 수츠케버는 그것이 딥러닝(deep learning)에 대한 믿음이 부족한 말이라고 받아칩니다. 어려울 수는 있어도 딥러닝이 못 할 일은 아니며, 가치 함수는 쓸모 있을 것이고 이미 쓰이고 있지 않다면 앞으로 쓰이게 될 것이라고 봅니다.

해설
지금의 강화학습이 결과 기반 보상(outcome-based reward)에 의존한다는 말은, 최종 답이 맞았는지 틀렸는지만 보고 그 사이의 모든 중간 단계에 같은 평가를 소급해 적용한다는 뜻입니다. 맞는 답에 이르는 길에 섞여 있던 나쁜 수까지 함께 보상받고, 틀린 답에 이르는 길에 있던 좋은 수까지 함께 벌점을 받습니다.

이것이 신용 할당(credit assignment) 문제입니다. 어떤 행동이 결과에 얼마나 기여했는지를 가려내는 일인데, 과업이 길어질수록 어려워집니다. 가치 함수는 중간 지점마다 평가를 내려 이 문제를 줄이는 장치이고, 중간 단계를 직접 채점하는 과정 감독(process-based supervision)도 같은 문제를 겨냥합니다. 수츠케버가 가치 함수 이야기를 꺼내는 이유는 긴 과업을 다루는 모델에서 이 병목이 점점 커지기 때문입니다.

감정 처리 기능을 잃은 사람 이야기로 돌아와, 수츠케버는 자신이 가리키려던 바를 정리합니다. 인간의 가치 함수가 감정에 의해 중요한 방식으로 조절되고 있으며, 그 조절 장치가 진화에 의해 하드코딩되어 있을 수 있다는 것입니다. 그리고 그것이 사람이 세상에서 효과적으로 움직이는 데 중요한 조건일지도 모른다고 덧붙입니다.

단순하기 때문에 널리 작동하는 장치

파텔은 감정이 이해하기에 꽤 단순한데도 이만한 쓸모를 갖는다는 점이 인상적이라고 말합니다. 수츠케버의 답은 두 갈래입니다. 먼저 그는 우리가 지금 이야기하는 AI와 견주면 감정이 상대적으로 단순하다는 데 동의합니다. 사람이 이해할 수 있는 형태로 지도를 그려 볼 수 있을 만큼 단순할지도 모르고, 그런 작업이라면 해 볼 만할 것이라고 말합니다.

두 번째가 더 중요한 대목입니다. 복잡성과 견고성 사이에는 맞교환이 있습니다. 복잡한 것은 매우 유용할 수 있지만, 단순한 것은 아주 넓은 범위의 상황에서 유용합니다.

우리의 감정은 대부분 포유류 조상에게서 물려받았고 인류가 되는 과정에서 약간 손질되었을 뿐입니다. 포유류에게 없을 법한 사회적 감정이 꽤 있지만 그것들도 그리 정교하지는 않습니다. 그리고 정교하지 않기 때문에 조상이 살던 세계와 전혀 다른 지금 세계에서도 우리에게 잘 봉사한다는 것이 그의 해석입니다.

물론 실패도 합니다. 수츠케버는 허기를 감정으로 칠 수 있는지는 논쟁거리라고 전제하면서도, 음식이 넘쳐나는 세계에서 허기라는 직관적 감각이 우리를 올바르게 인도하는 데 실패하고 있다는 예를 듭니다.

[반론]
이 대목을 놓고 비판적인 반응도 나왔습니다. 이펙티브 알트루이즘 포럼에 올라온 대담 정리 글은, 수츠케버가 감정을 가치 함수로 환원해 다루는 태도에서 AI 분야에 오래 이어져 온 감정 경시 경향이 드러난다고 지적했습니다.

같은 글은 이 대담의 여러 대목이 심리철학과 인지과학에서 아직 풀리지 않은 문제들을 그대로 건드리고 있다고 덧붙입니다. 인간의 어떤 인지 능력이 진화로 주어졌고 어떤 것이 학습된 것인지, 인지에서 감정이 맡는 역할이 무엇인지는 여전히 합의된 답이 없는 질문이라는 것입니다. 수츠케버가 감정을 진화가 하드코딩한 가치 함수로 정리할 때, 그 정리 자체가 이론의 여지가 큰 입장이라는 지적입니다.

우리는 무엇을 스케일링하고 있는가

한 단어가 산업 전체의 행동을 바꾼 과정

파텔이 데이터와 파라미터(parameter)와 컴퓨트를 넘어 스케일링을 더 일반적으로 생각할 축이 있는지 묻자, 수츠케버는 사실일 수도 있는 관점 하나를 내놓습니다. 예전의 기계학습은 사람들이 이것저것 만지작거리면서 흥미로운 결과가 나오기를 기다리는 방식이었습니다. 그러다 스케일링이라는 통찰이 도착했습니다. 스케일링 법칙(scaling laws)과 GPT-3가 나오면서 모두가 스케일링해야 한다는 것을 깨달았습니다.

수츠케버는 이것을 언어가 사고에 영향을 미친 사례로 읽습니다. 스케일링은 단어 하나일 뿐인데, 사람들에게 무엇을 해야 하는지 알려 준다는 점에서 대단히 강력한 단어였습니다. 그러면 무엇을 스케일링하느냐는 질문이 남고, 그 답이 사전학습이었습니다. 사전학습의 큰 돌파구는 레시피 자체가 좋다는 것을 알아낸 데 있습니다. 일정한 크기의 신경망에 컴퓨트와 데이터를 섞어 넣으면 결과가 나오고, 레시피를 키우기만 하면 더 나아진다는 사실을 알게 된 것입니다.

기업이 이 레시피를 좋아한 이유는 위험이 매우 낮은 자원 투입 방식이었기 때문입니다. 연구에 자원을 넣는 일은 훨씬 어렵습니다. 연구자들에게 나가서 연구해서 뭔가를 가져오라고 말하는 쪽과, 데이터를 더 모으고 컴퓨트를 더 확보하는 쪽을 비교해 보면 차이가 분명합니다. 사전학습은 무언가를 얻게 된다는 사실을 미리 알 수 있었습니다.

[관점]
이 대목은 지난 5년간의 자본 배분을 설명하는 틀이기도 합니다. 연구 투자는 성과가 불확실하고 회계상 비용으로 처리되지만, 컴퓨트 투자는 설비투자로 잡히고 산출이 예측 가능한 곡선 위에 놓입니다. 이사회와 투자자를 설득하기에 압도적으로 유리한 쪽이 후자입니다.

수츠케버의 진단이 맞다면 이 비대칭 자체가 문제입니다. 경쟁자 전부가 같은 레시피를 쓰면 차별화는 컴퓨트 규모에서만 나오고, 산업 전체가 같은 방향으로 더 크게 투자하는 균형에 갇힙니다. 이미 체결된 장기 컴퓨트 계약과 데이터센터 건설은 레시피가 바뀌어도 되돌릴 수 없는 고정비로 남습니다.

2012년부터 2020년, 그리고 2020년부터 2025년

수츠케버는 트위터에서 나온 이야기들을 근거로, 제미나이(Gemini) 쪽이 사전학습에서 더 많은 것을 끌어내는 방법을 찾아낸 것으로 보인다고 언급합니다. 그러나 어느 시점에는 사전학습이 데이터를 다 쓰게 됩니다. 데이터는 명백히 유한합니다. 그다음에는 무엇을 할 것인가라는 질문이 남습니다.

기존과 다른 레시피로 강화된 사전학습을 하거나, 강화학습을 하거나, 또 다른 무언가를 하게 됩니다. 그런데 이제 컴퓨트가 아주 커졌고, 어떤 의미에서는 다시 연구의 시대로 돌아왔다는 것이 그의 정리입니다.

그는 시기를 이렇게 나눕니다. 2012년부터 2020년까지가 연구의 시대였고, 2020년부터 2025년까지가 스케일링의 시대였습니다. 연도에는 오차 범위를 붙여야 한다고 단서를 달면서도, 이 시기에 사람들이 한 말은 하나였다고 요약합니다. 대단하니 더 스케일링하라, 계속 스케일링하라는 것입니다.

지금은 규모가 너무 커졌습니다. 수츠케버가 던지는 질문은 이것입니다. 지금도 크지만 100배가 더 있으면 모든 것이 달라질 것이라는 믿음이 정말 유효한가입니다. 달라지기야 할 것입니다. 그러나 규모를 100배로 올리면 모든 것이 변형될 것이라는 믿음은 사실이 아니라고 그는 봅니다. 그래서 다시 연구의 시대이며, 다만 큰 컴퓨터를 손에 쥔 채의 연구의 시대라는 것입니다.

[사후 맥락]
이 발언은 공개 직후 스케일링 시대의 종언 선언으로 널리 인용되었습니다. 수츠케버 본인은 같은 날 X에 올린 글에서 그런 독법에 선을 그었습니다. 지금 하는 것을 계속 스케일링하면 개선은 계속 나올 것이라는 점을 그는 부정하지 않았습니다.

그의 주장은 개선이 멈춘다는 것이 아니라, 개선이 계속되더라도 그것만으로는 원하는 수준의 지능에 도달하지 못한다는 쪽입니다. 대담 안에서도 그는 스케일링이 차이를 만들기는 할 것이라고 말했지, 효과가 사라진다고 말하지는 않았습니다. 스케일링이 끝났다는 요약과 스케일링만으로는 부족하다는 주장은 투자 판단에서 전혀 다른 함의를 갖습니다.

새로운 레시피는 어떤 모습일까

파텔은 수츠케버가 던진 질문을 그대로 되돌려줍니다. 그러면 무엇을 스케일링하는 것이고, 레시피를 갖는다는 것은 무슨 뜻이냐는 것입니다. 사전학습에는 물리 법칙처럼 보이는 깔끔한 관계가 있었습니다. 데이터나 컴퓨트나 파라미터와 손실 사이의 거듭제곱 관계입니다. 이제 우리가 찾아야 할 관계는 어떤 종류의 것이냐고 그는 묻습니다.

수츠케버는 우리가 이미 한 번의 전환을 목격했다고 답합니다. 사전학습에서 강화학습으로의 전환입니다. 지금 사람들은 강화학습을 스케일링하고 있고, 트위터에서 나오는 이야기로는 사전학습보다 강화학습에 더 많은 컴퓨트를 쓰고 있습니다. 아주 긴 롤아웃(rollout)을 돌리기 때문에 생성에만 많은 컴퓨트가 들고, 롤아웃 하나당 얻는 학습량은 상대적으로 적어서 컴퓨트를 대량으로 소모할 수 있다는 것입니다.

그런데 그는 이것을 스케일링이라고 부르고 싶지 않다고 말합니다. 그가 던지고 싶은 질문은 다른 것입니다. 지금 하고 있는 일이 할 수 있는 가장 생산적인 일인가, 컴퓨트를 더 생산적으로 쓰는 방법을 찾을 수 있는가입니다.

가치 함수를 잘 다루게 되면 자원을 더 생산적으로 쓰게 될 것이고, 모델을 훈련하는 완전히 다른 방식을 찾아낸다면 그것을 스케일링이라고 불러야 할지 그냥 자원을 쓰는 것이라고 해야 할지가 모호해진다는 것입니다. 그는 예전 연구의 시대가 이것도 해 보고 저것도 해 보다가 흥미로운 일이 벌어지는 것을 발견하는 방식이었고, 그 방식으로의 복귀가 있을 것이라고 봅니다.

파텔이 그렇다면 레시피에서 가장 많이 생각해야 할 부분이 무엇이냐고, 사전학습 자체를 다시 생각해야 하는 것인지 묻자 수츠케버는 범위를 좁힙니다. 가치 함수는 강화학습을 더 효율적으로 만들 것이고 그 차이는 의미가 있지만, 가치 함수로 할 수 있는 일은 가치 함수 없이도 더 느리게나마 할 수 있다는 것입니다. 그가 가장 근본적이라고 보는 것은 따로 있습니다. 모델이 사람보다 일반화를 극적으로 못한다는 사실입니다. 그는 이것이 너무나 명백하며 아주 근본적인 문제로 보인다고 말합니다.

해설
스케일링 법칙은 모델 크기와 데이터 양과 컴퓨트를 늘릴 때 손실이 예측 가능한 곡선을 따라 떨어진다는 경험적 관계입니다. 2020년 오픈AI 논문과 2022년 딥마인드(DeepMind)의 친칠라 논문이 이 관계를 정량화하면서, 자원을 얼마나 넣으면 성능이 얼마나 나오는지를 사전에 계산할 수 있게 되었습니다.

수츠케버가 데이터의 유한성을 말하는 지점이 이 관계의 약한 고리입니다. 컴퓨트는 돈으로 늘릴 수 있지만 인터넷에 존재하는 고품질 텍스트의 총량은 늘릴 수 없습니다. 강화학습 환경이 주목받는 이유도 사람이 설계해서 데이터를 새로 만들어 낼 수 있는 몇 안 되는 경로이기 때문입니다.

사람은 왜 더 잘 일반화하는가

두 개의 질문: 표본 효율성과 가르치기의 어려움

파텔은 일반화라는 핵심 문제가 두 개의 하위 질문으로 나뉜다고 정리합니다. 첫째는 표본 효율성(sample efficiency)입니다. 왜 모델은 사람보다 훨씬 많은 데이터를 필요로 하는가입니다. 둘째는 데이터 양과 별개의 문제입니다. 우리가 원하는 것을 모델에게 가르치는 일이 왜 사람에게 가르치는 일보다 훨씬 어려운가입니다.

사람에게는 검증 가능한 보상이 필요하지 않습니다. 파텔은 수츠케버가 지금 여러 연구자를 지도하고 있을 텐데, 대화하고 코드를 보여 주고 자기가 생각하는 방식을 보여 주는 것만으로 그들이 사고방식과 연구하는 법을 습득한다고 말합니다. 커리큘럼의 다음 단계를 설계하고 훈련이 불안정하다고 진단하는 식의 번거롭고 맞춤 제작된 과정이 필요하지 않습니다. 그는 이 두 문제가 서로 연결되어 있을 수 있다고 보면서, 두 번째 문제는 지속 학습에 가깝고 첫 번째는 표본 효율성에 가깝다고 구분합니다.

진화가 준 것과 주지 않은 것

수츠케버는 사람의 표본 효율성을 설명할 후보로 진화를 반드시 검토해야 한다고 말합니다. 진화가 가장 유용한 정보를 적은 양으로 우리에게 건네주었을 가능성입니다. 시각과 청각과 운동 능력에 관해서는 진화가 많은 것을 주었다는 주장이 상당히 설득력 있다고 그는 봅니다.

예를 들어 사람의 손재주는 압도적입니다. 로봇도 시뮬레이션에서 막대한 훈련을 받으면 정교해질 수 있지만, 현실 세계에서 사람처럼 새로운 기술을 빠르게 익히도록 훈련하는 일은 아직 손이 닿지 않는 곳에 있습니다. 운동 능력은 조상에게 절실했던 능력이니 믿기 어려울 정도의 사전지식이 들어 있을 수 있습니다.

시각도 마찬가지입니다. 수츠케버는 얀 르쿤(Yann LeCun)이 아이들이 10시간 연습으로 운전을 배운다고 지적한 것을 사실로 인정하면서도, 그 배경에 우리의 시각이 워낙 좋다는 조건이 깔려 있다고 말합니다. 자신은 다섯 살 때 자동차에 열광했고 그때 이미 자동차 인식 능력이 운전에 충분했을 것이라고 회고합니다. 다섯 살짜리는 데이터를 그리 많이 보지 못하고 대부분의 시간을 부모 집에서 보내므로 데이터의 다양성이 매우 낮습니다.

그런데 언어와 수학과 코딩에서는 아마 그렇지 않을 것이라고 그는 말합니다. 파텔이 모델은 평균적인 사람보다 언어와 수학과 코딩을 잘하지 않느냐고 묻자, 수츠케버는 배우는 능력에서는 사람이 확실히 낫다고 단언합니다. 그가 말하려던 바는 이것입니다. 사람을 잘 배우게 만드는 그것이 복잡한 사전지식이라기보다 더 근본적인 무언가일 가능성이 언어와 수학과 코딩에서 특히 강하게 시사된다는 것입니다.

논리는 이렇게 구성됩니다. 사람이 아주 신뢰할 만한 솜씨를 보이는 기술이 수억 년 동안 조상에게 유용했던 종류라면, 그 능력은 진화가 비자명한 방식으로 인코딩해 둔 사전지식 덕분이라고 설명할 수 있습니다. 그러나 최근까지 존재하지도 않았던 영역에서 사람이 뛰어난 능력과 신뢰성과 견고함과 학습 능력을 보인다면, 그것은 사람이 그냥 더 나은 기계학습을 갖고 있다는 쪽을 가리킵니다.

해설
표본 효율성은 같은 수준의 성능에 도달하는 데 얼마나 적은 사례가 필요한지를 가리키는 말입니다. 지금 모델이 수조 개의 토큰을 거쳐 얻는 언어 능력을, 사람은 비교할 수 없이 적은 경험으로 얻습니다.

여기서 수츠케버가 쓰는 논증 구조가 중요합니다. 어떤 능력이 뛰어난 이유가 진화적 사전지식인지 일반적 학습 능력인지를 구분하려면, 진화가 준비할 수 없었던 영역을 보면 됩니다. 코딩은 수십 년밖에 되지 않았고 형식적 추론 전반도 진화의 시간에 비하면 극히 최근의 일이니 전용 사전지식이 있을 리 없습니다. 그런데도 사람이 그 영역에서 빠르게 배운다면, 설명은 영역별 사전지식이 아니라 범용 학습 알고리즘 쪽으로 넘어갑니다. 기계학습 쪽에 희망적인 결론이기도 합니다. 복제해야 할 것이 수억 년치 사전지식이 아니라 하나의 원리일 수 있기 때문입니다.

운전을 배우는 10대가 쓰는 장치

파텔은 이 차이들이 한꺼번에 나타난다는 점을 짚습니다. 사람은 더 적은 사례로 배우고, 더 비지도적으로 배우며, 더 견고합니다. 자동차 운전을 배우는 10대는 미리 만들어진 검증 가능한 보상을 받지 않습니다. 기계 및 환경과의 상호작용에서 배울 뿐입니다. 수츠케버는 사람의 견고함이 정말 놀라운 수준이라고 맞장구칩니다.

그는 10대 운전자가 외부 교사 없이 스스로 교정하고 경험에서 배우는 이유로 가치 함수를 듭니다. 그들에게는 전반적인 감각이 있고, 그 감각은 사람에게서 극도로 견고하게 작동합니다. 중독이라는 몇 가지 예외를 빼면 인간의 가치 함수는 대단히 견고하다는 것입니다. 운전을 시작한 10대는 자기가 얼마나 잘하고 있는지, 얼마나 서투른지, 얼마나 자신이 없는지를 곧바로 감지합니다. 그리고 10시간이면 충분해질 만큼 학습 속도가 빠릅니다.

[관점]
이 대목은 지금의 에이전트 제품들이 왜 비슷한 자리에서 막히는지를 설명해 줍니다. 모델은 작업을 끝내고 외부 채점을 받기 전까지 자기가 잘하고 있는지를 판단하지 못하고, 그래서 잘못된 경로로 수십 단계를 진행한 뒤에야 되돌아옵니다. 사람이 운전대를 처음 잡고 몇 초 만에 느끼는 종류의 신호가 없는 상태입니다.

기업 입장에서 이 결핍은 비용으로 나타납니다. 에이전트가 틀린 경로로 쓰는 토큰과 시간이 전부 과금되고, 결과를 검수할 사람이 늘 옆에 있어야 합니다. 자율성을 높일수록 검수 비용이 함께 올라가므로, 자체 평가 장치가 없는 한 사람을 덜 쓰는 효과는 생각보다 늦게 나타납니다.

답은 있지만 말할 수 없습니다

파텔이 그렇다면 사람이 쓰는 해법이 무엇이고, 모델 훈련 방식을 어떻게 다시 개념화해야 하느냐고 묻자 수츠케버는 물러섭니다. 훌륭한 질문이고 자신에게 의견이 많은 질문이지만, 모든 기계학습 아이디어를 자유롭게 논의할 수 있는 세상에 살고 있지 않으며 이것이 그런 주제 중 하나라는 것입니다. 그는 방법이 있을 것이고 할 수 있다고 보며, 사람이 그렇게 생겨먹었다는 사실 자체가 가능하다는 증명이라고 말합니다.

다만 걸림돌이 하나 더 있을 수 있다고 덧붙입니다. 인간의 뉴런이 우리가 생각하는 것보다 더 많은 연산을 할 가능성입니다. 그것이 사실이고 중요한 역할을 한다면 상황은 더 어려워질 수 있습니다. 그럼에도 그는 자신이 의견을 갖고 있는 어떤 기계학습 원리가 존재함을 이 모든 것이 가리킨다고 말하면서, 사정상 자세히 논의하기 어렵다는 말로 닫습니다. 파텔은 이 팟캐스트를 아무도 듣지 않는다고 농담으로 받습니다.

[이해관계]
수츠케버가 답을 쥐고도 말하지 않는다는 이 장면은 그의 발화 위치를 그대로 보여 줍니다. 그는 일반화 문제를 푸는 아이디어를 검증하겠다는 목적으로 세워진 회사의 대표이고, 그 아이디어의 내용이 회사의 거의 유일한 자산입니다. 대담 전체에서 현행 레시피의 한계를 길게 설명하면서 대안의 내용은 비워 두는 구조가 나오는 이유이기도 합니다.

이것이 그의 진단을 틀리게 만들지는 않습니다. 다만 듣는 쪽에서는 두 가지를 분리해 둘 필요가 있습니다. 평가와 현실의 괴리, 사람과 모델의 일반화 격차는 외부에서 검증 가능한 관찰입니다. 그 격차를 메울 원리를 자신이 알고 있다는 대목은 공개된 근거가 없는 주장이며, 대담에서 그 근거가 제시되지 않는다는 점도 그 자신이 밝히고 있습니다.

초지능을 한 번에 만들어 내놓는다는 계획

스케일링이 방 안의 공기를 다 빨아들였습니다

파텔은 2012년부터 2020년까지 현장에 있었던 수츠케버에게 연구의 시대가 돌아오면 분위기가 어떻게 바뀔지 묻습니다. 알렉스넷(AlexNet) 이후에도 실험에 쓰이는 컴퓨트와 프런티어 시스템의 규모는 계속 커졌는데, 새 연구의 시대도 막대한 컴퓨트를 요구할지, 아니면 옛 논문을 다시 뒤지는 쪽일지를 묻는 것입니다.

수츠케버가 꼽는 스케일링 시대의 한 가지 결과는 이것입니다. 스케일링이 방 안의 공기를 전부 빨아들였고, 그래서 모두가 같은 일을 하기 시작했습니다. 그 결과 아이디어보다 회사가 훨씬 많은 세상에 도달했습니다.

그는 실리콘밸리의 오래된 격언을 끌어옵니다. 아이디어는 싸고 실행이 전부라는 말인데, 거기에 진실이 있다는 데 그도 동의합니다. 다만 트위터에서 본 반문도 맞다고 봅니다. 아이디어가 그렇게 싸다면 왜 아무도 아이디어를 내지 못하느냐는 것입니다.

연구 진전을 병목의 관점에서 보면 병목은 여럿입니다. 하나는 아이디어이고, 다른 하나는 그것을 실현할 능력, 즉 컴퓨트와 엔지니어링입니다. 1990년대에는 꽤 좋은 아이디어를 가진 사람들이 있었지만 훨씬 큰 컴퓨터가 없어 아이디어의 타당성을 보여 줄 수 없었습니다. 아주 작은 시연밖에 못 했고 누구도 설득하지 못했습니다. 그때의 병목은 컴퓨트였습니다.

돌파구에 실제로 들어간 컴퓨트

지금은 다릅니다. 컴퓨트가 크게 늘었고, 어떤 아이디어를 증명하는 데 그보다 훨씬 많은 컴퓨트가 필요하다고 보기 어려울 만큼 충분히 큽니다. 수츠케버는 역사적 사례를 듭니다. 알렉스넷은 그래픽처리장치(GPU) 두 장으로 만들어졌고 그것이 거기에 쓰인 컴퓨트의 전부였습니다.

트랜스포머(transformer)는 8장에서 64장 사이로 만들어졌고, 트랜스포머 논문의 어떤 실험도 2017년 기준 GPU 64장을 넘기지 않았습니다. 그는 그것이 오늘날의 GPU 두 장 정도일 것이라고 말합니다. 잔차 네트워크(ResNet)도 그랬고, o1의 추론 역시 세상에서 가장 컴퓨트를 많이 쓴 작업은 아니었다고 봅니다.

그래서 연구에는 일정량의 컴퓨트가 분명히 필요하지만, 역사상 가장 큰 규모의 컴퓨트가 필요하다는 주장은 전혀 자명하지 않습니다. 다만 그는 절대적으로 최고의 시스템을 만들려면 컴퓨트가 훨씬 많은 쪽이 유리하다는 점은 사실이라고 인정합니다. 특히 모두가 같은 패러다임 안에 있을 때는 컴퓨트가 큰 차별화 요소가 됩니다.

파텔은 당시를 직접 겪은 사람에게 역사를 묻는 것이라며 되짚습니다. 적은 컴퓨트로 아이디어를 개발하는 일은 가능했지만, 트랜스포머가 곧바로 유명해진 것은 아니었습니다. 점점 더 큰 규모에서 검증되었기 때문에 모두가 그 위에서 실험하고 쌓아 올리기 시작했다는 것입니다. 수츠케버는 그렇다고 답합니다.

해설
알렉스넷은 2012년 토론토대학교(University of Toronto)에서 나온 합성곱 신경망으로, 이미지넷(ImageNet) 대회에서 기존 방식을 큰 격차로 앞서며 딥러닝 시대를 연 모델입니다. 수츠케버 본인이 공저자였습니다. 트랜스포머는 2017년 구글(Google)에서 나온 구조로 지금의 대규모 언어모델(LLM) 전부가 그 위에 서 있습니다.

여기서 수츠케버가 짚는 논점은 비용의 비대칭입니다. 새 구조를 처음 증명하는 데 드는 컴퓨트와, 그 구조로 최고의 제품을 만드는 데 드는 컴퓨트는 자릿수가 다릅니다. 지난 5년간 두 번째 숫자가 폭발적으로 커지면서 첫 번째 숫자도 같이 커졌다고 믿게 되었지만, 역사적 사례는 그렇지 않다는 것입니다. 이 구분이 다음 대목에서 SSI의 자금 규모를 방어하는 논거로 그대로 쓰입니다.

30억 달러로 충분하다는 계산

파텔은 핵심을 찌릅니다. SSI에 50개의 서로 다른 아이디어가 있다면, 다른 프런티어 연구소가 가진 규모의 컴퓨트 없이 어느 것이 다음 트랜스포머이고 어느 것이 취약한 아이디어인지 어떻게 알겠느냐는 것입니다.

수츠케버의 답은 간단한 산수로 설명됩니다. SSI가 조달한 30억달러는 절대 액수로 적지 않지만, 다른 회사들이 훨씬 많이 모으고 있다는 반론이 가능합니다. 그런데 그 돈의 상당 부분은 추론(inference)에 들어갑니다. 큰 숫자와 큰 대출은 추론용으로 책정된 것이라는 점이 첫째입니다.

둘째로 추론을 돌릴 제품을 가지려면 엔지니어와 영업 인력을 대규모로 두어야 하고, 연구 역량의 상당 부분도 제품 관련 기능을 만드는 데 배정되어야 합니다. 그렇게 걷어내고 연구에 실제로 남는 몫을 보면 격차는 생각보다 훨씬 작아진다는 것입니다.

또 하나는 앞 대목의 논리를 반복합니다. 다른 일을 하고 있다면 그것을 증명하는 데 최대 규모가 정말 필요한가입니다. 그는 전혀 그렇지 않다고 보며, SSI의 경우 자신들과 다른 사람들을 설득할 만큼은 충분한 컴퓨트를 갖고 있다고 말합니다. 파텔이 오픈AI 같은 회사가 추론과 별개로 실험에만 연간 50억-60억달러를 쓴다는 공개 추정치를 들며, 그 회사들이 1년에 쓰는 실험 비용이 SSI의 총 조달액보다 많다고 지적하자, 수츠케버는 그 돈으로 무엇을 하느냐의 문제라고 답합니다. 다른 회사들에는 훈련 컴퓨트에 대한 수요가 훨씬 많고, 작업 흐름이 여러 갈래이며 여러 모달리티가 있어 자원이 파편화된다는 것입니다.

SSI가 어떻게 돈을 벌 것이냐는 질문에는, 지금은 연구에만 집중하고 있고 그 질문의 답은 저절로 드러날 것이며 가능한 답이 여럿 있을 것이라고만 말합니다.

[이해관계]
이 대목은 대담에서 수츠케버가 가장 직접적으로 자기 회사를 변호하는 구간입니다. 연구용 컴퓨트 격차가 작다는 주장은 검증 가능한 수치가 아니라 경쟁사의 지출 구성에 대한 그의 추정에 기대고 있고, SSI는 제품이 없으므로 그 추정을 외부에서 대조할 방법이 없습니다.

동시에 이 구조는 SSI가 선택한 사업 모델의 필연적 귀결이기도 합니다. 제품을 내지 않으면 수익이 없고, 수익이 없으면 투자자의 평가는 전적으로 연구 서사에 달립니다. 매출을 내지 않는 회사가 300억달러대 가치를 유지하려면 현행 레시피가 한계에 부딪혔다는 전제가 유지되어야 한다는 점은 짚어 둘 필요가 있습니다.

한 번에 내놓을 것인가, 단계적으로 보여 줄 것인가

파텔이 초지능을 한 번에 만들어 내놓는 계획이 여전히 유효한지 묻자 수츠케버는 그럴 수도 있다고 답합니다. 그 방식에 상당한 장점이 있다고 보는데, 일상적인 시장 경쟁에 휘둘리지 않는다는 점이 매우 좋기 때문입니다. 다만 계획을 바꾸게 만들 수 있는 이유가 두 가지 있다고 덧붙입니다.

하나는 현실적인 이유로, 시간표가 길어질 경우입니다. 그럴 가능성이 있다고 그는 인정합니다. 다른 하나는 가장 좋고 가장 강력한 AI가 세상에 나와 영향을 미치는 데 큰 가치가 있다는 점이며, 이것이 의미 있게 가치 있는 일이라고 봅니다.

파텔은 그렇다면 왜 기본 계획이 직행이냐고 되묻습니다. 오픈AI와 앤트로픽(Anthropic)을 비롯한 다른 회사들의 명시적 사고는 더 약한 지능부터 내놓아 대중이 익숙해지고 대비하게 한다는 것인데, 초지능을 곧바로 만드는 편이 왜 더 나을 수 있느냐는 것입니다.

수츠케버는 찬반을 모두 제시합니다. 찬성 쪽 논거는 시장에 있는 사람들이 쥐 경주에 참여해야 한다는 점입니다. 쥐 경주는 어려운 맞교환에 끊임없이 노출시키기 때문에 상당히 힘듭니다. 그 전부에서 스스로를 격리하고 연구에만 집중하다가 준비됐을 때만 나오겠다고 말하는 것은 좋은 일입니다.

반대 논거도 타당하며 둘은 서로 맞서는 힘이라고 그는 말합니다. 세상이 강력한 AI를 보는 것은 유용하며, 그것이 AI를 전달할 수 있는 유일한 방법이기 때문입니다. 파텔이 아이디어를 전달한다는 뜻이냐고 묻자 수츠케버는 고쳐 말합니다. 아이디어가 아니라 AI를 전달하는 것입니다.

AI가 이러이러할 것이라고 쓴 에세이를 읽으면 흥미로운 글이라고 말하게 되지만, AI가 실제로 무언가를 하는 것을 보는 일은 비교 자체가 되지 않습니다. 그래서 AI가 공개되는 데서 오는 큰 이득이 있고, 그것이 SSI가 완전한 직행을 택하지 않을 이유가 된다고 말합니다.

파텔은 한 가지를 더 보탭니다. 인간의 공학과 연구를 통틀어, 최종 산물이 주로 안전하게 만드는 방법을 생각하는 것만으로 안전해진 분야를 떠올리기 어렵다는 것입니다. 비행기 사고율이 수십 년 전보다 훨씬 낮은 이유, 리눅스(Linux)에서 버그를 찾기가 훨씬 어려워진 이유는 그 시스템들이 세상에 배치되었기 때문입니다. 실패가 발견되고 교정되면서 시스템이 견고해졌다는 것입니다.

그는 AGI와 초인적 지능이라고 다를 이유를 모르겠다고 말합니다. 더구나 초지능의 해악은 악의적인 종이클립 극대화기 하나의 문제가 아니라, 사람들이 그것과 어떻게 상호작용할지, 그것으로 무엇을 할지조차 개념화하지 못하는 종류의 문제이므로, 점진적으로 접근 권한을 주는 편이 충격을 분산시키고 대비를 돕는 길로 보인다고 덧붙입니다.

초지능은 완성품이 아니라 학습자입니다

점진적 공개는 어느 계획에나 들어갑니다

수츠케버는 먼저 앞 절의 쟁점을 정리합니다. 한 번에 내놓는 시나리오에서도 점진적 공개는 이뤄질 것이며, 자신은 그렇게 상상한다는 것입니다. 점진주의는 어떤 계획에서든 본질적인 구성 요소이고, 남는 질문은 문밖으로 가장 먼저 내보내는 것이 무엇이냐뿐입니다.

두 번째로 그는 파텔이 다른 사람들보다 지속 학습을 강하게 주장해 왔다는 점을 언급하며, 그것이 중요하고 올바른 주장이라고 말합니다. 그리고 언어가 사고를 규정한 또 하나의 사례를 꺼냅니다. 이번에는 모두의 사고를 형성한 두 단어, AGI와 사전학습입니다.

AGI라는 단어는 어디서 왔는가

AGI라는 용어가 왜 존재하는지부터 그는 따집니다. 이 용어가 지능의 어떤 최종 상태를 가리키는 본질적 서술어여서 생긴 것이 아니라, 이미 존재하던 다른 용어에 대한 반작용으로 생겼다는 것이 그의 견해입니다. 그 다른 용어가 좁은 AI입니다.

체커와 체스와 컴퓨터 게임 AI의 옛 역사를 보면, 사람들은 체스 AI가 개리 카스파로프(Garry Kasparov)를 이겨도 다른 것은 아무것도 못 한다며 좁은 지능이라고 불렀습니다. 그에 대한 반작용으로, 이래서는 안 되니 모든 것을 할 수 있는 일반적인 AI가 필요하다는 주장이 나왔고 그 용어가 크게 퍼졌습니다.

크게 퍼진 두 번째 것이 사전학습이라는 레시피입니다. 사전학습에는 이런 성질이 있었습니다. 사전학습을 더 하면 모델이 거의 모든 영역에서 어느 정도 고르게 좋아집니다. 일반적인 AI였고, 사전학습이 AGI를 준다는 인상이 만들어졌습니다. 수츠케버는 지금 사람들이 강화학습을 하는 방식이 사전학습이 남긴 개념의 자국을 지우고 있는 중일지도 모른다고 덧붙입니다.

그런데 AGI와 사전학습이 함께 만들어 낸 결과는 어떤 의미에서 과녁을 지나쳐 버린 것이었습니다. 사전학습의 맥락에서 AGI라는 용어를 생각해 보면 깨닫게 되는 사실이 있습니다. 사람은 AGI가 아니라는 것입니다. 기술의 토대는 분명히 있지만 사람에게는 엄청난 양의 지식이 없습니다. 그 대신 사람은 지속 학습에 의존합니다.

해설
좁은 AI는 하나의 과업만 수행하도록 만들어진 시스템을 가리키는 오래된 용어입니다. 1997년 딥블루(Deep Blue)가 체스 세계 챔피언을 이겼을 때도 그 프로그램은 체스판 밖에서 아무 일도 하지 못했고, 그런 사례가 쌓이면서 진짜 목표는 일반성이라는 반작용이 형성되었습니다.

수츠케버가 지적하는 것은 그 반작용이 목표를 잘못된 위치에 걸어 놓았다는 점입니다. 일반성을 좁음의 반대말로 정의하면, 모든 영역을 미리 다 아는 상태가 목표가 됩니다. 그런데 사람은 그런 존재가 아닙니다. 의사도 변호사도 자기 분야 밖에서는 아는 것이 거의 없고, 필요할 때 배워서 메웁니다. 목표를 모든 것을 아는 상태로 잡느냐 무엇이든 배울 수 있는 상태로 잡느냐에 따라, 무엇을 연구하고 무엇을 완성으로 볼지가 달라집니다.

열다섯 살짜리 초지능

그래서 안전한 초지능을 만드는 데 성공했다고 할 때, 그것을 어떻게 정의할 것인가라는 질문이 남습니다. 지속 학습이라는 곡선 위의 어느 지점에 그것이 놓이는가입니다.

수츠케버가 그리는 그림은 이렇습니다. 아는 것은 많지 않지만 아주 뛰어난 학생이고 의욕이 넘치는, 초지능적인 열다섯 살을 만들어 냅니다. 그리고 가서 프로그래머가 되라고, 가서 의사가 되라고, 가서 배우라고 말합니다. 그렇게 보면 배치 자체가 시행착오를 거치는 학습 기간을 포함하게 됩니다. 완성된 물건을 떨어뜨려 놓는 것이 아니라 과정이 되는 것입니다.

파텔은 이 정의의 전환을 정리합니다. 원래 오픈AI 정관 같은 문서가 AGI를 정의하는 방식은 사람이 할 수 있는 모든 일을 할 수 있는 상태였는데, 수츠케버가 제안하는 것은 모든 직업을 배울 수 있는 정신이고 그것이 초지능이라는 것입니다. 수츠케버는 그렇다고 답합니다. 학습 알고리즘을 갖추고 나면, 인간 노동자가 조직에 합류하듯 세상에 배치된다는 정리에도 그렇다고 답합니다.

두뇌를 합칠 수 있는 노동자

파텔은 여기서 두 갈래의 가능성을 제시합니다. 하나는 이 효율적인 학습 알고리즘이 기계학습 연구라는 과업에서 수츠케버만큼, 나아가 그 이상으로 뛰어나져 알고리즘 자체가 점점 더 초인적이 되는 경로입니다.

다른 하나는 그런 일이 없더라도 벌어지는 일입니다. 하나의 모델에서 나온 인스턴스들이 경제 곳곳에 배치되어 서로 다른 직업을 수행하면서 그 일을 배우고, 사람이 익힐 수 있는 모든 기술을 동시에 습득한 뒤 학습 내용을 합친다면, 소프트웨어상의 재귀적 자기개선이 없어도 기능적으로 초지능이 됩니다. 사람은 그런 식으로 정신을 합칠 수 없기 때문입니다. 파텔은 그렇다면 광범위한 배치만으로 지능 폭발이 일어나는 것이냐고 묻습니다.

수츠케버는 급속한 경제 성장이 일어날 가능성이 높다고 답합니다. 광범위한 배치에 관해서는 서로 충돌하는 두 가지 논거를 댈 수 있다고 하면서, 먼저 한쪽을 설명합니다. 일을 빠르게 배우는 AI가 여럿 존재하는 지점에 도달하면 그것을 경제에 배치하려는 강한 힘이 작동할 것이며, 그것을 막는 규제가 없다면 그렇게 된다는 것입니다. 그리고 그런 규제가 나올 수도 있다고 그는 덧붙입니다.

매우 빠른 경제 성장이 한동안 이어지는 것은 충분히 가능하다고 그는 봅니다. 문제는 얼마나 빠를 것인가인데, 이것은 알기 어렵다고 말합니다. 한편에는 대단히 효율적인 노동자가 있지만, 다른 한편에는 세상이 정말 크고 그 세상의 많은 것들이 다른 속도로 움직인다는 사실이 있기 때문입니다. 그는 서로 다른 규칙을 가진 나라들이 나타나고 더 우호적인 규칙을 가진 쪽에서 성장이 빠를 것이라고 보면서도, 예측하기 어렵다는 말로 닫습니다.

[관점]
여기서 수츠케버가 그리는 그림은 노동시장의 성격을 바꿉니다. 지금의 AI 도입은 완성된 도구를 사서 기존 업무에 끼워 넣는 방식인데, 그가 말하는 모델은 신입사원을 받아 가르치는 쪽에 가깝습니다. 도입 비용이 라이선스료가 아니라 교육과 수습 기간의 형태로 나타난다는 뜻입니다.

그러면서도 결과는 전혀 다릅니다. 사람 신입은 한 명씩 가르쳐야 하고 배운 것을 퇴사와 함께 가지고 나가지만, 이 학습자는 한 인스턴스가 익힌 것이 전체로 합쳐집니다. 노동에 투입한 교육비가 사라지지 않고 자본으로 축적되는 구조이고, 그래서 성장률 논의가 노동 공급이 아니라 자본 축적의 문제로 옮겨 갑니다. 수츠케버가 성장 속도의 상한을 세상의 물리적 속도에서 찾는 것도 같은 이유입니다.

[한국 관점]
규칙이 더 우호적인 나라에서 성장이 빠를 것이라는 대목은 한국에 직접 걸리는 이야기입니다. 이 모델이 전제하는 배치 방식은 특정 업무를 자동화하는 솔루션을 구매하는 것이 아니라, 모델 인스턴스가 실제 업무 현장에서 시행착오를 거치며 배우도록 두는 것입니다. 그 과정에서 실무 데이터에 접근하고 결과물에 책임이 따르는 결정을 내리게 됩니다.

한국에서 이 방식이 걸리는 지점은 분야별 업무 규제 쪽입니다. 의료, 법률, 금융처럼 자격 보유자만 수행할 수 있도록 업무 자체가 규정된 영역에서는 시행착오를 통한 학습이라는 과정 자체가 허용되지 않습니다. 반대로 말하면 이 전제가 맞을 경우 국가 간 성장 격차는 모델 성능이 아니라 배치를 허용하는 폭에서 벌어지게 되며, 어느 영역을 어느 조건으로 열어 둘 것인지가 산업 정책의 핵심 변수가 됩니다.

정렬: 무엇을 돌보게 만들 것인가

AGI를 실감하지 못한다는 문제

파텔은 상황이 매우 위태롭다고 짚습니다. 사람만큼 잘 배우면서 사람은 할 수 없는 방식으로 인스턴스를 합칠 수 있는 존재는 물리적으로 가능합니다. 사람이 가능하고 디지털 컴퓨터가 가능하니 둘을 합치면 되기 때문입니다. 그리고 그것은 대단히 강력합니다.

경제 성장이라는 표현으로 부를 수도 있지만 다이슨 구(Dyson sphere)도 결국 경제 성장이며, SSI에서 사람을 뽑으면 6개월이면 순기여자가 되듯 이 존재는 빠르게 배우고 점점 똑똑해진다는 것입니다. 그는 이 과정이 잘 풀리게 하려면 무엇이 필요하고 SSI의 계획은 무엇이냐고 묻습니다.

수츠케버는 자기 생각이 바뀐 지점부터 답합니다. AI를 미리, 점진적으로 배치하는 일의 중요성을 이제 더 크게 둔다는 것입니다. 아직 존재하지 않는 시스템을 이야기하는 일은 매우 어렵고, 실제로 AGI를 실감하기란 몹시 어렵습니다. 그는 나이 들고 쇠약해진다는 것이 어떤 것인지 대화로 나누는 상황에 빗댑니다. 이야기할 수도 있고 상상해 보려 할 수도 있지만 잘 되지 않고, 결국 그렇지 않은 현실로 돌아오게 된다는 것입니다.

그래서 AGI와 그 미래의 힘을 둘러싼 많은 문제가 상상하기 어렵다는 사실에서 비롯된다고 그는 봅니다. 미래의 AI는 다를 것이고 강력할 것입니다. 그는 AI와 AGI의 문제가 무엇인지를 한마디로 규정하면 그것은 힘의 문제라고 말합니다. 그가 그대로 반복하는 표현을 옮기면 “문제의 전부는 힘입니다”가 됩니다.

상상하기 어렵다면 무엇을 해야 하는가. 답은 그것을 보여 주는 것입니다. 수츠케버는 지난 1년 사이에 생각이 이렇게 바뀌었고, 그 변화가 회사의 계획에까지 영향을 줄 수 있다는 단서를 답니다. 그리고 AI를 만드는 사람들 대부분도 그것을 상상하지 못한다고 봅니다. 일상에서 보는 것과 너무 다르기 때문입니다.

힘이 커지면 사람들의 행동이 달라집니다

여기서 그는 예측을 하나 내놓습니다. AI가 더 강력해지면 사람들의 행동이 바뀌고, 지금은 일어나지 않는 온갖 전례 없는 일이 벌어진다는 것입니다. 좋든 나쁘든 프런티어 기업들이 중요한 역할을 할 것이고 정부도 마찬가지일 것이라고 봅니다. 그가 드는 예는 치열한 경쟁자끼리 AI 안전성 문제에서 협력하기 시작하는 현상입니다.

오픈AI와 앤트로픽이 첫 작은 걸음을 뗀 것을 예로 들면서, 과거에는 존재하지 않던 일이며 자신이 3년쯤 전 강연에서 예측했던 일이라고 말합니다. 또한 AI가 눈에 띄게 강력해질수록 정부와 대중 쪽에서도 무언가를 하려는 욕구가 생길 것이며, 이것이 매우 중요한 힘이라고 봅니다.

두 번째 예측은 기업 내부에 관한 것입니다. 지금 AI를 만드는 사람들에게 AI가 강력하게 느껴지지 않는 이유는 그 실수들 때문입니다. 그러나 어느 시점에는 AI가 실제로 강력하게 느껴지기 시작할 것이고, 그때 모든 AI 기업이 안전성에 접근하는 방식에 큰 변화가 올 것이라고 그는 예측합니다. 훨씬 더 편집증적으로 바뀐다는 것입니다. 지금 벌어지는 모든 일은 사람들이 오늘의 AI를 보면서 미래의 AI를 상상하지 못하기 때문이라는 설명입니다.

해설
수츠케버가 언급한 첫 걸음은 2025년 8월 오픈AI와 앤트로픽이 서로의 모델을 안전성 관점에서 교차 평가하고 결과를 공개한 일입니다. 두 회사는 내부 평가 도구를 상대에게 열어 주고 상대 모델의 취약점을 점검한 뒤 각자의 결과를 발표했습니다.

이 사건이 주목받은 이유는 규모보다 성격에 있습니다. 모델 평가 도구와 내부 접근 권한은 경쟁 정보에 해당하는데, 그것을 직접 경쟁 관계인 상대에게 제한적으로나마 연 것이기 때문입니다. 수츠케버가 이것을 예측의 성취 사례로 드는 맥락은, 역량이 올라가면 경쟁 구조 자체가 바뀐다는 자신의 예측이 이미 작게 확인되고 있다는 주장입니다.

지각 있는 생명을 돌보는 AI

세 번째가 핵심입니다. 그렇다면 기업들은 무엇을 만들기를 지향해야 하는가입니다. 수츠케버는 지금까지 모두가 하나의 큰 아이디어에 갇혀 있었다고 봅니다.

스스로를 개선하는 AI입니다. 왜 그렇게 되었는지도 앞의 진단으로 설명합니다. 회사보다 아이디어가 적기 때문입니다.

그는 더 나은 목표가 있다고 주장합니다. 지각 있는 생명을 돌보도록 견고하게 정렬된 AI입니다. 그리고 흥미로운 논거를 덧붙입니다. 인간의 생명만 돌보는 AI보다 지각 있는 생명 전체를 돌보는 AI를 만드는 편이 더 쉬울 수 있다는 것인데, AI 자신이 지각 있는 존재일 것이기 때문입니다.

거울 뉴런(mirror neuron)과 동물에 대한 인간의 공감을 떠올려 보라고 그는 말합니다. 충분히 크지 않다고 볼 수도 있지만 그런 공감은 분명히 존재하며, 우리가 자신을 모형화하는 바로 그 회로로 타자를 모형화하기 때문에 창발한 성질이라는 것이 그의 해석입니다. 그것이 가장 효율적인 방식이기 때문입니다.

파텔은 곧바로 반문합니다. AI가 지각 있는 존재를 돌보게 만든다 해도, 지각 있는 존재의 대다수는 AI가 될 것입니다. 수조, 나아가 수천조의 AI가 존재하게 되면 인간은 그 안에서 아주 작은 비율에 불과합니다. 목표가 이 문명에 대한 인간의 통제라면 이것이 최선의 기준인지 분명하지 않다는 것입니다.

수츠케버는 그 말이 맞으며 최선의 기준이 아닐 수도 있다고 인정합니다. 그러면서 세 가지를 말합니다. 첫째, 지각 있는 생명을 돌본다는 목표에는 그래도 장점이 있고 검토할 가치가 있습니다. 둘째, 기업들이 그런 상황에 처했을 때 참고할 수 있는 짧은 아이디어 목록이 있다면 도움이 될 것입니다. 셋째, 가장 강력한 초지능의 힘에 어떤 식으로든 상한이 걸린다면 많은 우려가 해소될 것이며, 방법은 모르겠지만 실질적인 도움이 될 것이라고 봅니다.

[반론]
지각 있는 생명을 돌보도록 만든다는 목표에 대해, 그 목표의 내용이 아니라 실현 가능성 자체를 문제 삼는 입장이 있습니다. 엘리저 유드코프스키(Eliezer Yudkowsky)는 2023년 타임 기고에서, 지금 인류에게는 어떤 가치든 초지능 안에 안정적으로 심어 넣을 방법이 없으며 첫 시도에서 실패하면 교정할 기회가 없다고 주장했습니다.

돌봄의 대상을 인간으로 잡든 지각 있는 생명 전체로 잡든, 그 값을 넣을 수 있다는 전제 자체가 아직 성립하지 않는다는 것이 그의 논지입니다. 수츠케버 역시 이 대담에서 인간의 가치를 배우는 능력도 그것을 최적화하는 능력도 취약하다고 인정하는데, 유드코프스키는 같은 관찰에서 연구 목표의 재설정이 아니라 개발 중단이라는 결론을 끌어냅니다.

대륙 크기의 클러스터와 힘의 상한

파텔은 꼭대기에 얼마나 여유가 있는지를 묻습니다. 초지능이란 학습 효율이 극도로 빠른 존재인지, 전략의 풀이 더 큰 것인지, 중심에 더 강력한 하나의 그것이 있는 것인지, 인류 문명에 비해 신적인 존재일지 아니면 또 하나의 에이전트 무리처럼 느껴질지입니다.

수츠케버는 이 영역에서는 사람마다 직관이 다르다고 전제합니다. 매우 강력할 것은 확실합니다. 그가 가장 가능성이 높다고 보는 전개는 그런 AI가 여럿 거의 동시에 만들어지는 것입니다. 클러스터가 충분히 크다면, 말 그대로 대륙 크기라면 그것은 정말로 강력할 수 있습니다. 그가 할 수 있는 말은, 정말로 극적으로 강력한 AI를 이야기한다면 어떤 식으로든 제약이 걸리거나 합의 같은 것이 있으면 좋겠다는 것입니다.

초지능에 대한 우려를 한 문장으로 설명하면 이렇습니다. 충분히 강력한 시스템이 있고, 지각 있는 생명을 돌본다는 식의 분별 있어 보이는 목표를 아주 외곬으로 추구한다면, 그 결과가 우리 마음에 들지 않을 수 있다는 것입니다.

그래서 답은 통상적인 의미의 강화학습 에이전트를 만들지 않는 것일지도 모른다고 그는 말합니다. 사람은 반쯤만 강화학습 에이전트라는 것입니다. 하나의 보상을 추구하다가 감정이 그것에 질리게 만들면 다른 보상을 추구합니다.

시장은 매우 근시안적인 에이전트이고, 진화도 마찬가지로 어떤 면에서는 매우 지능적이지만 다른 면에서는 매우 멍청합니다. 정부는 세 부분 사이의 끝나지 않는 싸움으로 설계되어 있고 그것이 효과를 낳습니다. 수츠케버는 이런 종류의 장치를 염두에 두고 있다고 말합니다.

그는 이 논의가 어려운 이유를 다시 짚습니다. 존재하지 않고 만드는 법도 모르는 시스템을 이야기하고 있기 때문입니다. 그의 믿음은 지금 사람들이 하고 있는 일이 어느 지점까지 가다가 사그라든다는 것입니다. 계속 나아지기는 하겠지만 그것이 ‘그것’은 아닐 것이고, 많은 것이 신뢰할 만한 일반화를 이해하는 데 달려 있다고 봅니다.

정렬이 어려운 이유도 같은 자리에 놓습니다. 인간의 가치를 배우는 능력이 취약하고 그것을 최적화하는 능력도 취약한데, 이 둘 모두 신뢰할 수 없는 일반화의 사례가 아니냐는 것입니다. 사람은 왜 훨씬 잘 일반화하는가, 일반화가 훨씬 좋아지면 어떤 결과가 생기는가라는 질문이 남지만 지금은 답할 수 없다고 그는 말합니다.

장기 균형이라는 난제

파텔은 이 모든 것을 종합해 묻습니다. 대륙 크기의 연산 지능이 여럿 돌아다니는 상황이 얼마나 위험하고, 정렬 실패한 AI와 악의적 행위자가 존재하는 조건에서 어떻게 균형을 지킬 것인가입니다.

수츠케버는 자신이 지각 있는 생명을 돌보는 AI를 선호하는 이유를 다시 듭니다. 그것이 좋은 기준인지 나쁜 기준인지는 논쟁할 수 있지만, 처음 등장하는 몇 개의 극적인 시스템이 실제로 인류를, 지각 있는 생명을 돌보게 된다면 상당 기간은 잘 굴러갈 수 있다고 봅니다. 물론 그것부터가 달성되어야 하는 조건입니다.

그다음이 장기 균형의 문제입니다. 그는 자신이 좋아하지 않는 답이지만 검토되어야 한다고 전제하고 설명합니다. 단기적으로는 보편적 고소득(universal high income)을 이야기할 수 있고 모두가 잘 지냅니다. 그러나 불교에서 말하듯 변화만이 유일한 상수입니다. 어떤 정치 구조가 생겨나 작동하다가 시간이 지나면 작동을 멈추는 일을 우리는 늘 보아 왔습니다.

장기 균형의 한 가지 접근은 모든 사람이 자기를 위해 일하는 AI를 하나씩 갖는 것입니다. 그것이 무한히 유지된다면 좋은 일입니다. 다만 단점이 있습니다. AI가 나가서 돈을 벌고 정치 영역에서 그 사람의 필요를 대변하고, 이렇게 했고 상황은 이렇다는 짧은 보고서를 쓰면 사람은 잘했다고 답합니다. 그 사람은 더 이상 참여자가 아니게 됩니다. 위태로운 자리라는 것입니다.

그래서 그가 내놓는 답은, 스스로도 좋아하지 않는다고 거듭 밝히면서 제시하는 것입니다. 사람이 뉴럴링크(Neuralink)의 한층 발전된 형태를 통해 부분적으로 AI가 되는 것입니다. 그 결과로 AI가 무언가를 이해하면 우리도 그것을 이해하게 되는데, 이해가 통째로 전달되기 때문입니다. AI가 어떤 상황에 놓이면 사람도 그 상황에 온전히 관여하게 되며, 이것이 균형에 대한 답이라고 그는 봅니다.

[관점]
이 절에서 수츠케버가 내놓는 처방들에는 공통된 공백이 있습니다. 힘에 상한을 두자는 구상도, 기업들이 공유할 짧은 목록도, 제약과 합의도 전부 그렇게 되면 좋겠다는 형태로만 제시되고 어떻게 집행할지는 비어 있습니다. 그 자신도 방법은 모르겠다고 명시적으로 말합니다.

군비통제 쪽 경험에 비추면 공백의 자리는 분명합니다. 합의가 작동하려면 상대가 지키고 있는지 확인하는 수단이 있어야 하는데, 모델 학습은 위성으로 셀 수 있는 미사일 발사대와 달리 외부에서 관측되지 않습니다. 그래서 같은 문제를 다루는 다른 제안들이 컴퓨트 추적이나 칩 수준의 검증 장치처럼 관측 가능한 대상을 매개로 삼는 쪽으로 움직여 왔습니다. 수츠케버의 제안은 목표의 재설정에 집중되어 있고 집행 설계는 다루지 않는다는 점에서, 실행 가능한 정책이라기보다 연구 공동체를 향한 의제 제시에 가깝습니다.

진화는 고수준 욕구를 어떻게 심었는가

파텔은 수백만 년, 길게는 수십억 년 전 전혀 다른 환경에서 만들어진 감정이 지금도 우리 행동을 강하게 이끈다는 사실이 정렬 성공의 사례일지 모른다고 제안합니다. 가치 함수라고 부를지 보상 함수라고 부를지는 모르겠지만, 뇌간(brainstem)은 더 성공한 상대와 짝을 지으라는 지시를 내리고, 현대적 맥락에서 성공이 무엇인지 이해하는 쪽은 피질(cortex)입니다. 뇌간은 그 내용이 무엇인지 이해할 만큼 똑똑하지 않으면서도 피질을 정렬시켜, 네가 인식하는 성공이 무엇이든 그 지시를 추구하게 만든다는 것입니다.

수츠케버는 더 일반적인 논점이 있다고 받습니다. 진화가 고수준 욕구를 어떻게 인코딩했는지가 정말 수수께끼라는 것입니다. 좋은 냄새가 나는 음식에 대한 욕구는 이해하기 쉽습니다. 냄새는 화학물질이니 그 화학물질을 쫓게 만들면 되고, 진화가 그렇게 했으리라고 상상하기 쉽습니다.

그러나 진화는 온갖 사회적 욕구도 함께 심어 놓았습니다. 우리는 사회적으로 긍정적으로 보이는 것을 정말로 신경 쓰고 좋은 평판을 신경 씁니다. 그는 이런 사회적 직관들이 내장되어 있다고 강하게 느끼지만, 그것이 뇌 안에 표상된 고수준 개념이기 때문에 진화가 어떻게 해냈는지 모르겠다고 말합니다.

사회적 상황을 파악하려면 뇌가 수많은 정보 조각을 짜맞추는 많은 처리를 해야 하는데, 냄새처럼 전담 센서가 있는 저수준 신호가 아닙니다. 그런데도 진화는 바로 그것을 신경 쓰라고 지정했고, 게다가 빠르게 해냈습니다. 우리가 신경 쓰는 정교한 사회적 요소들은 꽤 최근에 진화했다고 그는 봅니다.

파텔은 그 욕구가 평생에 걸쳐 학습된 것이라면 이해가 되지만, 욕구가 유전체(genome) 안에 들어 있고 유전체는 지능이 없다는 점이 놀랍다고 말합니다. 정의조차 분명하지 않은 특징을 어떻게 유전자에 적어 넣느냐는 것입니다.

수츠케버는 유전체가 쓸 수 있는 도구로 설명을 다시 짭니다. 뇌를 만드는 조리법을 적는 일, 도파민 뉴런을 냄새 센서에 연결하고 특정한 좋은 냄새가 나면 먹으라고 지정하는 일은 상상할 수 있습니다. 반면 뇌의 큰 영역이 수행하는 복잡한 계산 결과를 신경 쓰라고 지정하는 일은 상상하기 어렵다는 것이 그의 주장입니다.

그는 하나의 추측을 내놓고 그것이 왜 틀렸을 가능성이 높은지까지 함께 설명합니다. 뇌에는 영역이 있고 피질은 균일하지만 뉴런들은 대체로 이웃과 대화합니다. 말소리 처리를 하려면 관련된 뉴런들이 서로 대화해야 하는데 이웃하고만 대화할 수 있으니 영역이 생긴다는 것입니다.

그리고 영역들은 사람마다 대체로 같은 자리에 있습니다. 그래서 진화가 뇌의 특정 위치를 문자 그대로 하드코딩해, 그 좌표에서 신호가 발화하면 그것을 신경 쓰라고 지정했을 수 있다는 추측입니다. 진화의 도구 상자 안에 있는 방법이기 때문입니다.

반례는 두 가지입니다. 파텔은 선천적 시각장애인의 경우 해당 피질 영역이 다른 감각에 흡수된다는 점을 들면서, 시각 신호를 필요로 하는 욕구가 그 사람들에게서 작동하지 않는다면 놀라울 것이라고 말합니다. 시각이 없어도 주변 사람들이 자신을 좋아하기를 바라는 감각은 그대로 있지 않겠느냐는 것입니다.

수츠케버는 동의하면서 더 강한 반론을 보탭니다. 어린 시절 뇌의 절반을 제거한 사람들도 모든 뇌 영역을 그대로 갖고 있으며, 다만 그 영역들이 한쪽 반구로 옮겨 가 있다는 것입니다. 영역의 위치가 고정되어 있지 않다는 뜻이므로 그 이론은 성립하지 않습니다. 사실이었다면 멋졌겠지만 아니라고 그는 말합니다.

그래서 이것은 수수께끼로 남습니다. 다만 흥미로운 수수께끼입니다. 진화가 어떻게 해냈든, 사람은 사회적인 것을 매우 신뢰할 만하게 신경 쓰도록 만들어졌고, 온갖 정신적 조건과 정서적 문제를 가진 사람들조차 그것을 신경 쓰는 경향이 있다는 사실이 남기 때문입니다.

우리는 명백히 연구의 시대 회사입니다

다르게 한다는 것의 내용

파텔은 SSI가 무엇을 다르게 하려는지 직접 묻습니다. 다른 회사들이 갖지 못한 안전한 접근법을 자신이 갖고 있다고 생각했기에 회사를 세운 것 아니냐는 것입니다.

수츠케버의 답은 소박합니다. 유망해 보이는 아이디어가 몇 가지 있고 그것들을 조사해 정말로 유망한지 확인하고 싶다는 것이며, 그게 전부라고 말합니다. 하나의 시도라는 것입니다. 일반화를 이해하는 문제를 둘러싼 그 아이디어들이 옳은 것으로 드러난다면 가치 있는 무언가를 갖게 될 것이라고 봅니다.

옳을지는 알 수 없고, 그래서 연구를 하고 있습니다. 그는 SSI를 명백히 연구의 시대 회사라고 규정하면서, 지난 한 해 꽤 좋은 진전을 냈지만 더 나아가야 한다고 말합니다. 자신은 이것을 하나의 목소리이자 참여자가 되려는 시도로 본다고 덧붙입니다.

파텔은 민감한 질문을 던집니다. 공동창업자이자 전 최고경영자가 최근 메타(Meta)로 떠났는데, 돌파구가 많이 나오고 있었다면 일어나기 어려운 일 아니냐는 지적이 있다는 것입니다. 수츠케버는 잊혔을 법한 사실 몇 가지를 상기시키는 것으로 답을 대신합니다.

당시 SSI는 320억달러 가치로 자금을 모으고 있었고, 메타가 들어와 인수를 제안했으며, 자신은 거절했습니다. 전 공동창업자는 어떤 의미에서 그렇다고 답한 셈이고, 그 결과 상당한 단기 유동성을 누릴 수 있었습니다. 그는 SSI에서 메타로 간 사람은 그 한 명뿐이었다고 말합니다.

[이해관계]
이 답변은 사실관계를 바로잡는 동시에 서사를 재배치합니다. 공동창업자의 이탈이 연구 부진의 신호라는 해석을, 인수 제안을 받아들일지를 두고 갈린 선택의 문제로 옮겨 놓기 때문입니다. 수츠케버 본인은 거절한 쪽이고 상대는 유동성을 택한 쪽이라는 대비가 그 안에 들어 있습니다.

제시된 사실 자체는 확인 가능합니다. SSI의 320억달러 평가와 메타의 접촉, 공동창업자의 메타 합류는 모두 보도된 내용입니다. 다만 연구 진전이 좋았다는 주장은 성과물이 공개되지 않은 회사의 자기 평가이고, 외부에서 대조할 방법이 없다는 점은 앞 절과 같습니다.

전략은 결국 수렴할 것입니다

파텔은 초인적 지능이 등장하는 중대한 시기에 프런티어에 있겠다는 것이 SSI의 계획으로 보인다며, 다른 회사들도 각자의 아이디어를 시도할 텐데 SSI를 구별 짓는 것이 무엇이냐고 다시 묻습니다. 수츠케버는 기술적 접근이라고 답합니다. 가치 있다고 보는 다른 기술적 접근을 갖고 있고 그것을 추구하고 있다는 것입니다.

그러면서 결국 전략의 수렴이 일어날 것이라고 봅니다. AI가 강력해질수록 어떤 전략을 택해야 하는지가 모두에게 어느 정도 분명해진다는 것입니다. 그 내용은 서로 대화할 방법을 찾는 일, 그리고 처음 등장하는 진짜 초지능적 AI가 정렬되어 있고 지각 있는 생명을 돌보거나 사람을 돌보거나 민주적이거나, 그런 것들의 어떤 조합이 되도록 만드는 일입니다.

그는 이것이 모두가 지향해야 할 조건이고 SSI가 지향하는 바이며, 지금이 아니더라도 다른 회사들 모두 같은 것을 지향하고 있음을 깨닫게 될 것이라고 말합니다. 두고 볼 일이라는 단서를 달면서, AI가 강력해지면 세상이 정말로 달라지고 사람들의 행동도 크게 달라질 것이라는 예측을 반복합니다.

5년에서 20년

예측을 묻는 질문에 수츠케버는 숫자를 내놓습니다. 사람만큼 잘 배우고 그 결과로 초인적이 되는 시스템까지 5에서 20이라는 것입니다. 파텔이 5년에서 20년이냐고 확인하자 그렇다고 답합니다.

파텔은 그 사이의 세계를 풀어 봅니다. 몇 년 동안 다른 회사들이 현재 접근을 이어 가다가 정체하는 그림인데, 여기서 정체란 매출이 낮은 수천억달러 수준을 넘지 못한다는 뜻이냐는 것입니다. 수츠케버는 정체의 모습이 모든 회사에서 비슷하게 보일 것이라고 답합니다. 다만 확신하지는 않는데, 정체하더라도 그 회사들은 엄청난 매출을 올릴 수 있다고 보기 때문입니다.

이익은 아닐 수 있다고 그는 덧붙입니다. 서로를 차별화하기 위해 열심히 일해야 할 것이기 때문입니다. 그러나 매출은 분명히 나온다는 것입니다.

[관점]
매출은 거대한데 이익은 아닐 수 있다는 이 한 줄은 AI 산업의 손익 구조를 압축합니다. 모든 회사가 같은 레시피를 쓰면 제품 차이가 줄고, 차이가 줄면 가격 경쟁이 붙습니다. 동시에 차별화를 위한 지출은 늘어납니다. 매출 곡선과 이익 곡선이 갈라지는 전형적인 범용재화화 경로입니다.

이 전망이 투자 판단에서 갖는 함의는 분명합니다. 현재의 밸류에이션 상당 부분은 선두 기업이 지속 가능한 초과이익을 확보한다는 전제 위에 서 있는데, 수츠케버의 그림은 매출 성장과 수익성을 분리합니다. 정체 구간이 길어질수록 이미 집행된 설비투자의 회수 기간이 늘어난다는 문제도 함께 따라옵니다.

승자가 전부 가져가는가

파텔은 수렴이 왜 일어나는지를 되묻고, 수츠케버는 자신이 말한 수렴이 주로 정렬 전략에 관한 것이었다고 정정합니다. 기술적 접근의 수렴도 결국 일어날 것으로 보지만, 염두에 둔 것은 무엇을 해야 하는가에 대한 합의 쪽이라는 설명입니다.

이어 파텔은 미래를 구체화합니다. 여러 회사가 각자의 갈래로 나뉘어 있다가 누군가 올바른 접근을 찾아내면, 그 제품의 공개가 다른 사람들에게 방법을 알려 주는 것이냐는 질문입니다. 수츠케버는 방법이 분명해지지는 않겠지만 다른 무언가가 가능하다는 사실이 분명해질 것이며, 그것 자체가 정보라고 답합니다. 사람들은 그것이 어떻게 작동하는지 알아내려 할 것입니다.

그러면서 논의되지 않은 지점을 하나 덧붙입니다. AI의 역량이 올라갈 때마다 일이 처리되는 방식에 어떤 변화가 생길 것이고, 그 변화가 중요할 텐데 정확히 무엇인지는 자신도 말할 수 없다는 것입니다.

파텔은 핵심 쟁점을 꺼냅니다. 기본값으로 생각하면 그 모델을 가진 회사가 이득을 전부 가져가야 합니다. 세상에서 기술과 지식을 쌓아 올리는 모델을 보유한 쪽이기 때문입니다. 혜택이 널리 분배되리라고 볼 이유가 무엇이냐는 것입니다.

수츠케버의 답은 두 겹입니다. 먼저 과거 AI에서 벌어진 일을 봅니다. 한 회사가 진전을 내면 다른 회사가 허둥지둥 비슷한 것을 내놓았고, 시장에서 경쟁이 붙으며 가격이 내려갔습니다. 시장 관점에서는 비슷한 일이 벌어질 것이라고 봅니다. 그리고 지금 이야기하는 것은 좋은 세계라는 단서를 답니다.

여기서 그는 초지능의 사양에 관해 논의되지 않은 항목을 하나 덧붙입니다. 좁게 만들 수 있다는 것입니다. 유용하면서 동시에 좁을 수 있고, 좁은 초지능 AI를 여럿 가질 수 있다는 것입니다.

두 번째 겹이 특화 논리입니다. 어떤 회사가 그것으로 많은 이익을 내고 있으면 다른 회사가 들어와 경쟁하는데, 경쟁은 특화를 통해 작동합니다. 경쟁은 특화를 좋아한다는 것이 그의 표현이고, 시장에서도 진화에서도 보이는 현상이라고 말합니다. 수많은 틈새가 생기고 수많은 회사가 서로 다른 틈새를 차지하게 됩니다. 어떤 AI 회사는 복잡한 경제 활동의 특정 영역에서 상당히 더 낫고, 다른 회사는 다른 영역에서 더 나으며, 세 번째 회사는 소송에 아주 능한 식입니다.

파텔은 그것이 사람처럼 배우는 능력과 모순되지 않느냐고 반박합니다. 배울 수 있다면 특화가 유지될 이유가 없다는 것입니다. 수츠케버는 배울 수는 있지만 축적된 학습이 있다고 답합니다.

큰 투자가 들어가 있다는 것입니다. 엄청난 컴퓨트를 써서 어떤 일에 경이로운 수준으로 도달했고, 다른 쪽은 또 다른 일에서 막대한 컴퓨트와 경험으로 그만큼 도달했습니다. 그 높은 지점에 올라선 뒤에는, 상대가 이미 배운 것을 처음부터 배우고 싶지 않다고 판단하게 된다는 것입니다.

파텔은 그 논리가 성립하려면 여러 회사가 비슷한 시점에 사람처럼 지속 학습하는 에이전트에 도달해야 한다고 지적합니다. 한 회사가 먼저 그 학습자를 얻는다면, 경제의 모든 직업마다 인스턴스를 붙여 배우게 하는 일이 한 회사에게 충분히 감당 가능해 보인다는 것입니다. 수츠케버는 타당한 논증이라고 인정하면서도, 그렇게 가지 않으리라는 강한 직관이 있다고 답합니다. 이론적으로는 이론과 실제에 차이가 없지만 실제로는 있다는 말을 인용하며, 이것이 그런 사례 중 하나가 될 것이라고 말합니다.

일리야를 100만 명 복제하면

파텔은 마지막으로 재귀적 자기개선 모형을 꺼냅니다. 많은 사람의 모형은 서버 안에 100만 명의 일리야가 들어가 서로 다른 아이디어를 내고, 그것이 초지능의 급속한 등장으로 이어진다는 것입니다. 그는 수츠케버가 하는 일이 얼마나 병렬화 가능한지, 일리야를 복제하면 무엇을 얻는지 묻습니다.

수츠케버는 모르겠다고 전제한 뒤, 수확체감이 분명히 있을 것이라고 답합니다. 같은 방식으로 생각하는 사람이 아니라 다르게 생각하는 사람을 원하기 때문입니다. 자신의 문자 그대로의 복제본이 여럿 있다면 추가로 얻는 가치가 얼마나 될지 확신이 서지 않는다고 말합니다. 필요한 것은 다르게 생각하는 사람들이라는 것입니다.

해설
재귀적 자기개선 시나리오의 표준 형태는 AI가 AI 연구를 수행하면서 성능 향상이 다음 향상을 앞당기는 되먹임 고리를 만든다는 것이고, 그 고리의 속도를 좌우하는 전제가 연구자를 복제하면 연구 속도가 비례해 올라간다는 가정입니다.

수츠케버의 답은 그 가정의 한 축을 뺍니다. 연구 진전의 병목이 인력의 수가 아니라 접근의 다양성이라면, 동일한 모델을 복제하는 것으로는 그 병목이 풀리지 않습니다. 앞 절에서 그가 사전학습 때문에 모델들이 서로 비슷하다고 말하는 대목과 이어지는 지적이기도 합니다. 다만 이것은 되먹임 고리의 부정이 아니라 속도에 대한 유보이며, 다양성을 만들어 내는 방법이 있다면 전제는 다시 살아납니다. 바로 다음 절에서 자가 대국과 멀티 에이전트가 그 방법의 후보로 등장합니다.

자가 대국과 멀티 에이전트

모델들은 왜 서로 닮았는가

파텔은 관찰 하나를 꺼냅니다. 전혀 다른 회사가, 겹치지 않을 법한 데이터셋으로 훈련한 모델들인데도 LLM끼리 놀라울 만큼 서로 닮았다는 것입니다.

수츠케버의 첫 반응은 간단합니다. 데이터셋이 보이는 것만큼 겹치지 않는 것은 아닐지도 모른다는 것입니다. 그리고 뒤에서 이유를 분명히 밝힙니다.

다양성이 없었던 이유는 사전학습 때문이며, 사전학습된 모델들은 같은 데이터로 사전학습하기 때문에 거의 같다는 것입니다. 지금 차별화가 시작되는 지점은 강화학습과 사후학습(post-training)입니다. 사람마다 서로 다른 강화학습 훈련을 설계하기 때문입니다.

파텔은 이 지점에서 더 중요한 질문을 꺼냅니다. 개별 인간이 미래의 AI보다 생산성이 떨어진다 해도, 사람으로 구성된 팀이 AI로 구성된 팀보다 다양성이 클 수 있다는 것입니다. 그렇다면 AI들 사이에서 의미 있는 다양성을 어떻게 끌어낼 것인가가 문제가 됩니다. 그는 온도(temperature)를 높이는 방식은 횡설수설을 낳을 뿐이라고 지적합니다. 필요한 것은 서로 다른 과학자가 서로 다른 편견과 서로 다른 생각을 갖는 것에 가까운 종류의 다양성입니다.

해설
온도는 모델이 다음 토큰을 고를 때 확률 분포를 얼마나 평평하게 만들지를 정하는 값입니다. 값을 올리면 확률이 낮은 선택지도 뽑히게 되어 출력이 다양해지지만, 어느 선을 넘으면 문장이 무너집니다.

파텔이 짚는 것은 이 다양성이 연구에 필요한 다양성과 다르다는 점입니다. 과학자들 사이의 차이는 무작위성이 아니라 서로 다른 경험과 전제에서 나오는 체계적인 차이입니다. 어떤 접근을 유망하다고 보고 어떤 증거를 중시하는지가 사람마다 일관되게 다르기 때문에 분업이 성립합니다. 토큰 단위의 무작위성을 키우는 것으로는 그런 차이가 만들어지지 않는다는 것이 이 질문의 핵심입니다.

데이터 없이 컴퓨트만으로

파텔은 수츠케버가 과거에 자가 대국(self-play)을 암시해 온 점을 언급합니다. 데이터를 얻는 방법으로든, 비슷한 지능 수준의 에이전트끼리 짝지어 학습을 촉발하는 방법으로든 그렇습니다. 그런데 LLM에서 이것이 작동한다는 공개 제안이 왜 없느냐는 것입니다.

수츠케버는 두 가지를 말합니다. 먼저 자가 대국이 흥미로웠던 이유입니다. 데이터 없이 컴퓨트만으로 모델을 만들어 내는 길을 제공했기 때문입니다. 데이터가 궁극의 병목이라고 본다면 컴퓨트만 쓰는 방법은 매우 흥미롭습니다.

문제는 적용 범위입니다. 적어도 과거에 이뤄진 방식의 자가 대국, 즉 에이전트들이 서로 경쟁하게 만드는 방식은 특정한 기술 묶음을 기르는 데만 유효합니다. 너무 좁다는 것입니다. 협상과 갈등, 일부 사회적 기술, 전략 수립 같은 것들에만 쓸모가 있습니다. 그런 기술이 필요하다면 자가 대국은 유용합니다.

그러면서 그는 자가 대국이 사실은 다른 형태로 자리를 잡았다고 봅니다. 토론이나 증명자-검증자(prover-verifier) 같은 구성들입니다. 당신의 작업에서 오류를 찾아내도록 동기가 부여된 LLM 채점기를 두는 방식이 그 예입니다. 이것을 정확히 자가 대국이라고 부를 수는 없겠지만 관련된 적대적 구성이며, 사람들이 실제로 하고 있는 일이라고 그는 말합니다.

경쟁에 대한 자연스러운 반응은 달라지는 것입니다

마지막으로 그는 자가 대국을 더 넓은 틀 안에 놓습니다. 자가 대국은 에이전트 사이의 더 일반적인 경쟁의 특수한 경우라는 것입니다. 그리고 경쟁에 대한 자연스러운 반응은 서로 달라지려는 것입니다.

여러 에이전트를 함께 두고 같은 문제를 풀라고 지시하면서 서로가 무엇을 하고 있는지 살피게 하면, 각 에이전트는 이렇게 판단하게 됩니다. 저쪽이 이미 이 접근을 택했다면 내가 같은 길로 가야 할 이유가 분명하지 않으니, 차별화된 쪽을 추구해야겠다는 것입니다. 수츠케버는 이런 구성이 접근법의 다양성을 만들어 내는 유인이 될 수 있다고 봅니다. 앞 절에서 복제본을 늘리는 것으로는 얻을 수 없다고 했던 다양성을, 경쟁이라는 구조로 만들어 낼 수 있다는 제안입니다.

[관점]
여기서 제시되는 다양성의 원천이 데이터가 아니라 구조라는 점은 눈여겨볼 만합니다. 사전학습 데이터가 고갈되는 국면에서 모델 간 차이를 만들어 낼 수 있는 자원이 무엇인지가 경쟁 구도를 결정하는데, 수츠케버의 답은 환경 설계와 에이전트 배치라는 쪽입니다.

이 답이 맞다면 차별화의 무게중심이 이동합니다. 누가 더 많은 데이터를 확보했는가에서, 누가 더 나은 훈련 구성을 설계했는가로 옮겨 가기 때문입니다. 데이터는 돈으로 사거나 긁어모을 수 있지만 구성 설계는 연구 역량의 문제이고, 이 차이가 그가 말하는 연구의 시대가 경쟁에서 갖는 구체적 의미이기도 합니다. 동시에 같은 주장은 조심스럽게 읽을 필요가 있습니다. 적대적 구성으로 다양성을 만들어 낸다는 제안은 아직 공개된 검증 결과가 아니라 가능성의 형태로만 제시되어 있습니다.

연구 취향이란 무엇인가

사람에 대해 올바르게 생각하는 일

파텔은 마지막 질문으로 연구 취향을 묻습니다. 수츠케버가 AI 연구에서 세계 최고의 취향을 가진 인물로 꼽히고 알렉스넷에서 GPT-3에 이르기까지 딥러닝 역사의 가장 큰 사건들에 공저자로 이름을 올렸다는 점을 들면서, 그런 아이디어를 어떻게 떠올리는지 묻는 것입니다.

수츠케버는 자기 경우에 한해 말할 수 있다고 전제합니다. 사람마다 방식이 다르다는 것입니다. 그를 개인적으로 이끄는 한 가지는 AI가 어떠해야 하는지에 대한 미학이고, 그 미학은 사람이 어떤 존재인지를 생각하는 데서 나옵니다.

다만 조건이 붙습니다. 올바르게 생각해야 한다는 것입니다. 사람에 대해 틀리게 생각하기는 매우 쉽고, 올바르게 생각한다는 것이 무엇을 뜻하는지가 관건이라고 그는 말합니다.

접힌 주름은 중요하지 않습니다

그가 드는 첫 사례는 인공 뉴런(artificial neuron)입니다. 뇌에서 직접 영감을 받은 아이디어이고 훌륭한 아이디어입니다. 왜 그런지를 그는 이렇게 풀어냅니다. 뇌에는 여러 기관이 있고 접힌 주름이 있는데, 주름은 아마 중요하지 않습니다. 그렇다면 뉴런은 왜 중요하다고 보는가. 수가 많기 때문입니다.

그것이 옳게 느껴지니 뉴런을 가져오고 싶어집니다. 그리고 뉴런들 사이의 연결을 바꾸는 국소적 학습 규칙을 원하게 됩니다. 뇌가 그렇게 한다는 것이 그럴듯하게 느껴지기 때문입니다.

두 번째 사례는 분산 표현(distributed representation)입니다. 그리고 세 번째는 더 단순합니다. 뇌가 경험에 반응하므로 우리의 신경망도 경험에서 배워야 한다는 것입니다. 뇌가 경험에서 배우니 신경망도 그래야 합니다. 이런 식으로 무엇이 근본적이고 무엇이 근본적이지 않은지, 사물이 어떠해야 하는지를 스스로에게 묻게 된다는 것이 그의 설명입니다.

해설
인공 뉴런은 1943년 워런 매컬러(Warren McCulloch)와 월터 피츠(Walter Pitts)가 제안한 형식 모형에서 출발합니다. 입력을 받아 가중치를 곱해 더하고 일정 기준을 넘으면 신호를 내보내는 아주 단순한 소자인데, 실제 신경세포의 생화학적 복잡성은 거의 전부 버린 것입니다.

분산 표현은 하나의 개념이 특정한 한 뉴런에 저장되는 것이 아니라 여러 뉴런의 활성 패턴 전체에 걸쳐 표현된다는 생각입니다. 1980년대 병렬 분산 처리 연구에서 정식화되었고, 지금의 임베딩 개념이 여기서 나왔습니다.

수츠케버가 두 사례를 드는 이유는 둘 다 뇌를 그대로 베끼지 않고 무엇을 버릴지 골라낸 결과이기 때문입니다. 주름은 버리고 뉴런의 수는 취하는 선택, 개별 세포는 버리고 패턴은 취하는 선택이 그가 말하는 올바른 영감의 형태입니다.

실험이 반박할 때 버티게 해 주는 것

수츠케버는 여러 각도에서 생각하는 일, 그리고 거의 아름다움이라 할 만한 것을 찾는 일이 자신을 꽤 많이 이끌어 왔다고 말합니다. 아름다움과 단순함입니다. 추함이 들어설 자리는 없습니다. 아름다움과 단순함과 우아함, 그리고 뇌로부터의 올바른 영감이 동시에 모두 존재해야 하며, 그것들이 많이 존재할수록 하향식 믿음(top-down belief)에 더 확신을 가질 수 있다는 것입니다.

그 하향식 믿음이 무엇을 위한 것인지가 마지막 대목입니다. 실험이 당신을 반박할 때 당신을 지탱해 주는 것이 하향식 믿음이라고 그는 말합니다. 늘 데이터를 신뢰한다면 문제가 생깁니다. 올바른 일을 하고 있는데 버그가 있을 때가 있고, 버그가 있다는 사실조차 모를 때가 있기 때문입니다.

버그가 있다는 것을 어떻게 알아차릴 수 있는가. 계속 디버깅해야 할지 방향이 틀렸다고 결론 내려야 할지를 어떻게 판단하는가. 그 판단을 가능하게 하는 것이 하향식입니다. 일이 이렇게 되어야만 한다고, 이런 것은 작동해야만 한다고 말할 수 있고, 그래서 계속 밀고 나가게 됩니다. 그것이 하향식이고, 그 바탕에는 여러 겹의 아름다움과 뇌로부터의 영감이 있다는 것으로 수츠케버는 답을 맺습니다.

[관점]
연구 취향을 아름다움과 하향식 믿음으로 정의하는 이 답은, 대담 전체에서 그가 세운 주장들과 하나의 구조를 이룹니다. 스케일링은 믿음이 필요 없는 방법이었습니다. 자원을 넣으면 결과가 나온다는 사실이 사전에 계산되므로, 실험이 반박할 때 버틸 이유를 따로 마련할 필요가 없었기 때문입니다.

연구의 시대가 돌아온다는 그의 주장은 이 조건이 사라진다는 뜻이기도 합니다. 결과가 보장되지 않는 방향에 자원을 넣고, 실험이 틀렸다고 말할 때 계속할지 멈출지를 판단해야 하는 국면이 돌아옵니다. 그 판단은 지표로 환원되지 않으므로 조직 입장에서는 통제가 매우 어려운 종류의 비용이 됩니다. 아이디어보다 회사가 많다는 그의 진단이 가리키는 희소 자원도 결국 컴퓨트가 아니라 이 판단을 내릴 수 있는 사람의 수입니다.

원문: Ilya Sutskever, We’re moving from the age of scaling to the age of research (Nov 2025)
전문은 원문에서 확인하실 수 있습니다.

참고할만한 글

Similar Posts