Fei-Fei Li

페이페이 리 – 말에서 세계로 (From Words to Worlds)

ByThe Context

원문: Fei-Fei Li, From Words to Worlds: Spatial Intelligence is AI’s Next Frontier (Nov 2025) 전문은 원문에서 확인하실 수 있습니다. 아래 글은 번역이 아니라, 페이페이 리의 논증을 한국어로 재구성한 정리입니다.

글의 배경과 개요

페이페이 리(Fei-Fei Li)는 현대 AI의 출발점 중 하나로 꼽히는 이미지넷(ImageNet)을 만든 컴퓨터 비전(computer vision) 연구자이며, 스탠퍼드대학교(Stanford University) 교수이자 2024년 설립된 월드랩스(World Labs)의 공동창업자입니다. 이 글은 2025년 11월 자신의 서브스택(Substack) 뉴스레터에 올린 에세이로, 25년 연구 경력을 걸고 내놓은 방향 선언에 가깝습니다. 글이 답하려는 질문은 대규모 언어모델(LLM)이 이미 세상을 바꿨는데도 왜 자율 로봇과 과학 연구의 가속, 몰입형 창작이라는 약속은 여전히 손에 잡히지 않는가 하는 것입니다. 리는 그 공백의 이름을 공간지능(spatial intelligence)이라고 부르고, 언어를 넘어선 이 능력이 빠져 있기 때문이라고 답합니다. 논증은 공간지능이 진화와 일상과 문명사에서 해 온 역할을 짚고, 오늘날 AI가 공간 능력에서 보이는 구체적 실패를 보인 뒤, 그것을 메울 세계 모델(world model)의 세 가지 요건과 기술 과제를 제시하고, 창작과 로봇공학, 과학·의료·교육으로 응용을 넓히는 순서로 진행됩니다.

핵심 내용 정리

  • 오늘의 대규모 언어모델은 추상적 지식을 다루는 데는 능하지만 물리 세계에 발을 딛고 있지 않아, 말은 유창해도 겪어 본 것이 없는 상태에 머물러 있다고 리는 진단합니다.
  • 지각과 행동의 순환이 지능 진화를 이끈 핵심 고리였다는 것이 많은 과학자의 추정이며, 공간지능은 인간 인지가 올라서 있는 발판입니다.
  • 최첨단 멀티모달 모델조차 거리·방향·크기 추정이나 물체를 머릿속에서 돌려 보는 과제에서 우연보다 나은 성적을 내는 경우가 드물고, 생성된 영상은 몇 초 만에 일관성을 잃는 경우가 많습니다.
  • 공간지능을 열려면 언어모델보다 더 야심찬 것, 곧 생성성·멀티모달성·상호작용성을 모두 갖춘 세계 모델이 필요합니다.
  • 세계를 표현하는 차원은 언어라는 1차원 순차 신호보다 훨씬 복잡해서, 보편적 학습 목적함수와 대규모 학습 데이터, 새로운 모델 구조라는 난제를 넘어야 합니다.
  • 응용의 시간대는 다르다고 리는 보며, 창작 도구는 지금 등장하고 있고 로봇공학은 중기 과제이며 과학·의료·교육의 변화는 더 오래 걸리지만 그만큼 깊다고 말합니다.
  • AI는 사람이 만들고 사람이 쓰고 사람이 다스리는 것이므로, 인간의 능력을 대체하는 것이 아니라 확장하는 방향으로 개발되어야 한다고 리는 강조합니다.

말에는 능하지만 세상을 겪어 보지 못한 AI

리는 1950년의 앨런 튜링(Alan Turing)에서 시작합니다. 당시 컴퓨팅은 자동화된 산술과 단순한 논리 연산에 지나지 않았는데, 그런 시점에 튜링은 기계가 생각할 수 있는지를 물었습니다. 리가 주목하는 것은 질문의 내용보다 그 질문을 떠올리는 데 필요했던 상상력입니다. 지능이란 태어나는 것이 아니라 만들어질 수도 있다고 본 통찰이 인공지능이라는 집요한 과학적 탐구를 출발시켰다는 것입니다. 자신의 경력 25년이 지난 지금도 그 비전에서 영감을 받는다고 말하면서, 그러나 우리가 거기에 얼마나 가까워졌는지에 대한 답은 간단하지 않다고 덧붙입니다.

간단하지 않은 이유는 성취와 공백이 동시에 분명하기 때문입니다. 리는 오늘날의 대규모 언어모델이 추상적 지식에 접근하고 그것을 다루는 방식을 이미 바꾸기 시작했다고 인정합니다. 그러면서도 이들을 ‘어둠 속의 말 장인’이라고 부릅니다. 유창하지만 겪어 본 것이 없고, 아는 것은 많지만 땅에 발을 딛고 있지 않다는 뜻입니다. 리가 내놓는 답은 공간지능이 언어 다음의 프런티어라는 것이며, 그것이 실재하는 세계와 가상의 세계를 우리가 만들고 그것과 상호작용하는 방식을 바꾸어 이야기, 창작, 로봇공학, 과학적 발견을 뒤집어 놓으리라는 주장입니다.

이 주장은 그의 이력 전체와 겹쳐 있습니다. 시각과 공간의 지능을 좇는 일이 이 분야에 들어선 이래 자신의 북극성이었다고 리는 말합니다. 이미지넷을 수년에 걸쳐 만든 것도 그래서였는데, 이미지넷은 최초의 대규모 시각 학습·벤치마킹 데이터셋이었고 신경망 알고리즘 및 그래픽처리장치(GPU) 같은 현대적 컴퓨트와 함께 현대 AI의 탄생을 가능하게 한 세 요소 중 하나였습니다. 스탠퍼드대학교 연구실이 지난 10년 동안 컴퓨터 비전과 로봇 학습을 결합해 온 것도, 저스틴 존슨(Justin Johnson), 크리스토프 라스너(Christoph Lassner), 벤 밀든홀(Ben Mildenhall)과 함께 1년여 전 월드랩스를 세운 것도 같은 줄기입니다.

이 에세이에서 리가 하려는 일은 세 가지입니다. 공간지능이 무엇인지 설명하고, 왜 그것이 중요한지 밝히고, 그것을 열어 줄 세계 모델을 어떻게 만들고 있는지 보이는 것입니다. 그 결과가 창작과 체화된 지능(embodied intelligence), 그리고 인간의 진보 자체를 다시 짜게 되리라는 것이 글 전체를 관통하는 전제입니다.

해설 튜링의 질문은 1950년 학술지에 실린 논문 「Computing Machinery and Intelligence」에서 나왔습니다. 튜링은 기계가 생각하느냐는 물음이 정의 싸움으로 흐를 것을 알고, 질문을 기계가 사람과 구별되지 않게 대화할 수 있느냐는 모방 게임으로 바꾸어 놓았습니다. 여기에 덧붙일 점은 그 게임이 처음부터 글로 주고받는 대화로만 치러졌다는 사실로, 리가 이후 언어 너머를 말하는 논증과 맞닿아 있습니다.

이미지넷은 2009년 공개된 대규모 이미지 분류 데이터셋입니다. 2012년 이 데이터로 학습한 심층 신경망 알렉스넷(AlexNet)이 이미지 인식 대회에서 기존 방식을 큰 격차로 앞서면서, 데이터와 연산과 신경망이 맞물리면 성능이 도약한다는 사실이 분명해졌습니다. 규모를 키울수록 성능이 오른다는 오늘의 믿음이 서 있는 자리를 리가 직접 만든 셈입니다.

[이해관계] 리는 이 글에서 월드랩스를 자기 주장의 사례로 거듭 인용하는데, 그는 이 회사의 공동창업자이자 최고경영자입니다. 월드랩스는 2024년 9월 스텔스 상태에서 벗어나며 2억 3,000만 달러를 조달했고, 당시 기업가치는 약 10억 달러로 알려졌습니다. 투자자에는 안드레센호로위츠(a16z)와 NEA가 포함되어 있었습니다.

따라서 이 글은 한 연구자의 기술 전망인 동시에, 자신이 창업한 회사가 경쟁할 시장의 범주 자체를 정의하는 문서이기도 합니다. 공간지능이 다음 프런티어라는 명제가 받아들여지면 자본과 인재의 흐름이 그 범주로 이동하고, 그 범주를 가장 먼저 점유한 회사가 가장 큰 몫을 가져갈 가능성이 큽니다. 리의 과학적 이력이 이 주장의 신뢰도를 높이는 만큼, 발화 위치도 함께 보아야 합니다.

[관점] 투자 관점에서 이 글은 ‘LLM 이후’의 서사를 선점하려는 시도로 읽힙니다. 언어모델의 규모 확대만으로 충분한가를 둘러싼 논쟁이 커지면서 다음 성장 축이 어디냐는 질문이 자본시장의 관심사가 되었습니다. 추론 강화, 에이전트, 그리고 세계 모델이 후보로 거론되는데, 리의 글은 세 번째 후보에 가장 선명한 이름과 근거를 붙입니다.

다만 서사의 선점과 수익화는 다른 문제입니다. 언어모델은 텍스트라는 거의 무료에 가까운 학습 데이터와 명확한 과금 단위를 가졌지만, 세계 모델은 데이터 확보 비용이 훨씬 크고 응용처가 창작 도구, 시뮬레이션, 로봇으로 흩어져 있어 단일한 수요 곡선을 그리기 어렵습니다. 리가 데이터 문제에 상당한 지면을 쓰는 것도 그 때문이며, 그 대목은 아래에서 자세히 다룹니다.

인지가 올라서 있는 발판

리는 지금의 성취를 분명히 인정하면서 시작합니다. 대규모 언어모델 같은 생성형 AI(generative AI)는 연구실을 떠나 수십억 명의 일상으로 들어왔고, 창작과 생산성과 소통의 도구가 되었습니다. 한때 불가능하다고 여겨지던 일, 곧 조리 있는 글과 방대한 코드, 사진처럼 사실적인 이미지, 짧은 영상 클립까지 손쉽게 만들어 냅니다. AI가 세상을 바꿀 것인지를 묻는 단계는 끝났고, 어떤 합리적 기준으로 보아도 이미 바꾸었다는 것이 리의 진단입니다.

그런데도 손이 닿지 않는 영역이 여전히 넓습니다. 자율 로봇이라는 전망은 흥미롭지만 아직 사변에 가깝고, 미래학자들이 오래 약속해 온 일상의 붙박이와는 거리가 멉니다. 질병 치료, 신소재 발견, 입자물리학 같은 분야에서 연구가 폭발적으로 빨라지리라는 꿈도 대체로 실현되지 않았습니다. 분자화학의 복잡한 개념을 배우는 학생, 공간을 머릿속에 그려 보는 건축가, 세계를 짓는 영화감독, 완전한 몰입형 경험을 원하는 사람을 진짜로 이해하고 북돋우는 AI 역시 아직 없습니다. 왜 이 능력들이 비켜 가 있는지를 알려면 공간지능이 어떻게 진화했고 우리의 세계 이해를 어떻게 빚어내는지를 들여다봐야 한다고 리는 말합니다.

감각에서 시작된 진화의 고리

시각은 오래도록 인간 지능의 주춧돌이었지만, 그 힘은 더 근본적인 무언가에서 나왔습니다. 동물이 둥지를 틀고 새끼를 돌보고 언어로 소통하고 문명을 세우기 훨씬 전에, 감지한다는 단순한 행위가 지능을 향한 진화의 여정에 조용히 불을 붙였습니다. 빛의 어른거림이든 질감의 느낌이든, 바깥 세계에서 정보를 길어 올리는 이 능력은 지각과 생존 사이에 다리를 놓았고 세대가 지날수록 더 튼튼하고 정교해졌습니다. 그 다리 위로 뉴런이 층층이 자라나 신경계를 이루었고, 신경계는 세계를 해석하며 개체와 주변 환경 사이의 상호작용을 조율했습니다.

그래서 많은 과학자들은 지각과 행동이 지능 진화를 이끈 핵심 고리가 되었다고 추정해 왔습니다. 자연이 우리 종을 만들어 낸 토대도 바로 그것이며, 인간은 지각하고 배우고 생각하고 행동하는 일의 궁극적 체현이라고 리는 씁니다.

주차와 화재 현장과 모래성

공간지능은 우리가 물리 세계와 관계 맺는 방식을 근본에서 규정합니다. 리가 드는 예는 평범합니다. 범퍼와 연석 사이가 좁혀지는 모습을 머릿속으로 그리며 주차하는 일, 방 건너편에서 던진 열쇠를 받는 일, 붐비는 인도를 부딪치지 않고 지나가는 일, 잠이 덜 깬 채 보지도 않고 머그잔에 커피를 따르는 일이 모두 공간지능의 작동입니다.

더 극단적인 상황에서는 그 역할이 선명해집니다. 소방관은 무너지는 건물 안에서 시시각각 움직이는 연기를 뚫고 이동하면서 구조의 안정성과 생존 가능성을 순간적으로 판단하고, 몸짓과 자세, 그리고 직업적으로 공유된 감각으로 소통합니다. 리는 이 소통에 언어로 대신할 수 있는 것이 없다고 못 박습니다. 또 아이들은 말을 배우기 전의 몇 달 혹은 몇 년을 환경과 놀이하듯 부딪치며 세계를 배우는 데 씁니다. 이 모든 일이 직관적이고 자동적으로 일어나는데, 기계는 아직 그 유창함에 이르지 못했습니다.

공간지능은 상상과 창작의 토대이기도 합니다. 이야기꾼은 머릿속에 고유하고 풍부한 세계를 짓고, 고대의 동굴벽화부터 현대 영화와 몰입형 비디오게임까지 온갖 시각 매체를 빌려 그 세계를 남에게 건넵니다. 해변에서 모래성을 쌓는 아이든 컴퓨터로 마인크래프트(Minecraft)를 하는 아이든, 공간에 뿌리내린 상상이 실재하거나 가상인 세계에서의 상호작용적 경험을 떠받칩니다. 산업에서도 마찬가지여서, 사물과 장면과 역동적인 상호작용 환경을 시뮬레이션하는 일이 산업 디자인에서 디지털 트윈(digital twin), 로봇 훈련에 이르는 무수한 사업적 용도를 움직입니다.

문명을 밀어 올린 세 장면

리는 공간지능이 중심 역할을 한 문명사의 장면 셋을 듭니다. 고대 그리스의 에라토스테네스(Eratosthenes)는 그림자를 기하학으로 바꾸었습니다. 시에네에서 해가 그림자를 드리우지 않는 바로 그 순간 알렉산드리아에서 7도의 각도를 재어 지구 둘레를 계산한 것입니다.

두 번째는 제임스 하그리브스(James Hargreaves)의 스피닝 제니(Spinning Jenny)입니다. 여러 개의 방추를 하나의 틀 안에 나란히 배열하면 한 사람이 동시에 여러 가닥의 실을 자을 수 있다는 공간적 통찰 하나가 생산성을 여덟 배로 끌어올리며 섬유 제조를 뒤바꿨습니다. 세 번째는 DNA입니다. 제임스 왓슨(James Watson)과 프랜시스 크릭(Francis Crick)은 금속판과 철사를 손으로 만지며 3차원 분자 모형을 실제로 쌓아 올렸고, 염기쌍의 공간적 배열이 맞아떨어지는 순간 구조를 발견했습니다. 세 경우 모두 과학자와 발명가가 사물을 조작하고 구조를 시각화하며 물리적 공간에 대해 추론해야 했고, 리는 그 어느 것도 텍스트만으로는 담기지 않는다고 강조합니다.

그래서 공간지능은 우리 인지가 그 위에 지어진 발판입니다. 가만히 관찰할 때도, 적극적으로 무언가를 만들려 할 때도 작동하고, 가장 추상적인 주제를 다룰 때조차 추론과 계획을 이끕니다. 말로든 몸으로든, 사람과든 환경과든 상호작용하는 방식에도 공간지능이 필수적입니다. 우리 대부분이 에라토스테네스 수준의 진리를 매일 밝혀내지는 않지만, 세계를 감각으로 지각하고 그것이 물리적·공간적으로 어떻게 작동하는지에 대한 직관을 끌어 쓰는 사고방식 자체는 일상적으로 똑같다는 것입니다.

오늘의 AI는 아직 이렇게 생각하지 않는다

리는 최근 몇 년의 진전을 먼저 인정합니다. 텍스트에 더해 방대한 멀티미디어 데이터로 학습한 멀티모달 대규모 언어모델(MLLM)은 공간 인식의 기초를 어느 정도 갖추었고, 오늘의 AI는 사진을 분석하고 그에 관한 질문에 답하며 극사실적인 이미지와 짧은 영상을 만들어 냅니다. 센서와 햅틱스(haptics)의 돌파 덕분에 가장 앞선 로봇들은 제약이 아주 심한 환경에서나마 사물과 도구를 다루기 시작했습니다.

그러나 솔직한 진실은 AI의 공간 능력이 인간 수준과 한참 멀다는 것이고, 한계는 금세 드러납니다. 최첨단 MLLM은 거리와 방향과 크기를 추정하는 과제에서, 또 사물을 새로운 각도로 다시 생성해 머릿속으로 돌려 보는 과제에서 우연보다 나은 성적을 내는 경우가 드뭅니다. 미로를 빠져나가지도, 지름길을 알아보지도, 기초적인 물리를 예측하지도 못합니다. AI가 만든 영상은 아직 초기 단계이고 보기에 근사하지만, 대개 몇 초가 지나면 일관성을 잃습니다.

지금의 AI는 읽기와 쓰기, 조사, 데이터의 패턴 인식에서 탁월하지만, 바로 그 모델들이 물리 세계를 표현하거나 그와 상호작용할 때는 근본적인 제약에 부딪힙니다. 우리의 세계관은 총체적이어서, 지금 보고 있는 것만이 아니라 모든 것이 공간적으로 어떻게 연결되는지, 그것이 무엇을 뜻하고 왜 중요한지를 함께 담습니다. 서술이 아니라 상상과 추론과 창작과 상호작용을 통해 그것을 이해하는 힘이 공간지능이며, 그것이 없으면 AI는 이해하려는 물리적 현실과 끊어진 채로 남습니다. 그 상태로는 차를 몰지도, 집과 병원에서 로봇을 이끌지도, 학습과 여가를 위한 몰입형 경험을 열지도, 소재과학과 의학의 발견을 앞당기지도 못합니다.

절의 끝에서 리는 루트비히 비트겐슈타인(Ludwig Wittgenstein)이 내 언어의 한계가 곧 내 세계의 한계를 뜻한다고 쓴 문장을 불러옵니다. 그리고 자신은 철학자가 아니지만 적어도 AI에게는 말보다 더한 것이 있음을 안다고 적습니다. 공간지능은 언어 너머의 프런티어이며, 상상과 지각과 행동을 잇고, 의료에서 창작까지, 과학적 발견에서 일상의 보조까지 기계가 인간의 삶을 실제로 북돋울 가능성을 연다는 것입니다.

해설 리가 드는 심적 회전(mental rotation)은 인지심리학의 고전적 과제입니다. 1971년 로저 셰퍼드(Roger Shepard)와 재클린 메츨러(Jacqueline Metzler)는 사람에게 입체 도형 두 개를 보여 주고 같은 물체인지 묻는 실험에서, 두 도형의 각도 차이가 클수록 판단에 걸리는 시간이 비례해 늘어난다는 사실을 보였습니다. 사람이 실제로 머릿속에서 물체를 돌려 본다는 증거로 받아들여졌고, 이후 공간 능력을 재는 표준 과제가 되었습니다.

리가 쓴 ‘우연보다 낫지 않다’는 표현도 수사만은 아닙니다. 선택지가 둘인 문제에서 아무렇게나 찍으면 50퍼센트를 맞히는데, 모델 점수가 그 근처에 머문다면 해당 능력이 약한 정도가 아니라 사실상 작동하지 않는다는 뜻입니다. 거리와 방향 추정처럼 사람이 생각조차 하지 않고 해내는 과제에서 이런 결과가 나온다는 점이 리 주장의 실증적 뼈대입니다.

[반론] 영상 생성 모델이 공간과 물리를 제대로 다루지 못한다는 진단에는 반대쪽 증거도 제시되어 있습니다. 구글 딥마인드(Google DeepMind)는 이 에세이보다 한 달 반쯤 앞선 2025년 9월, 영상 모델이 별도 학습이나 조정 없이도 다양한 시각 과제를 푼다는 논문 「Video models are zero-shot learners and reasoners」를 내놓았습니다. 연구진은 영상 모델 Veo 3가 생성한 1만 8,384편의 영상을 62개 정성 과제와 7개 정량 과제에 걸쳐 분석해, 경계선 검출과 분할 같은 지각 과제부터 물리적 성질 이해, 도구 사용 시뮬레이션까지 폭넓게 해냈다고 보고했습니다. 이들은 프레임을 한 장씩 생성하며 추론하는 방식을 언어모델의 사고연쇄에 빗대어 프레임 연쇄(chain-of-frames)라 부르고, 미로와 대칭 풀이 같은 초기 형태의 시각 추론이 나타난다고 주장합니다. 영상 모델이 시각 분야의 범용 기반 모델이 되는 길 위에 있다는 것이 그들의 결론입니다.

다만 같은 논문도 한계를 인정합니다. 과제별로 특화된 모델이 여전히 영상 모델을 앞서며, Veo 2에서 Veo 3로 넘어오면서 성능이 일관되게 오른 점이 발전 속도의 근거로 제시될 뿐입니다. 공간 능력이 인간 수준에 한참 못 미친다는 리의 진단과, 영상 생성이라는 기존 패러다임 안에서 공간 능력이 창발하고 있다는 딥마인드의 주장은 같은 시기에 나란히 서 있는 상반된 해석입니다.

[한국 관점] 리가 산업 용도로 든 디자인과 디지털 트윈, 로봇 훈련은 한국 제조업의 중심 과제와 겹칩니다. 조선과 자동차, 반도체 장비, 플랜트 설계는 모두 물리적 공간에 대한 설계와 검증이 수익의 핵심입니다. 이 영역은 텍스트 중심 모델이 가져다줄 수 있는 이득이 상대적으로 작고, 공간을 다루는 모델이 들어왔을 때 효과가 크게 나타날 수 있는 자리입니다.

다만 접근 전략은 달라질 수밖에 없습니다. 범용 세계 모델을 처음부터 만드는 경쟁은 자본과 인재의 규모 싸움이지만, 공정 설계 데이터와 실제 장비 운용 기록, 숙련공의 작업 궤적 같은 고품질 산업 데이터는 해당 현장을 가진 쪽에만 있습니다. 리가 뒤에서 강조하듯 세계 모델의 병목이 데이터에 있다면, 한국 기업의 교섭력은 모델을 만드는 능력보다 그 데이터를 어떤 조건으로 내주느냐에서 나올 수 있습니다.

세계 모델이라는 다음 10년의 과제

리는 질문을 공학의 언어로 바꾸어 던집니다. 에라토스테네스의 시야로 추론하고, 산업 디자이너의 정밀함으로 설계하고, 이야기꾼의 상상력으로 창작하며, 구조대원의 유창함으로 환경과 상호작용하는 모델에 이르는 길은 무엇인가 하는 것입니다. 그의 답은 대규모 언어모델보다 더 야심찬 것이 필요하다는 데서 출발합니다.

그것이 세계 모델입니다. 리의 정의에 따르면 세계 모델은 새로운 종류의 생성 모델로, 의미적으로나 물리적으로나 기하학적으로나 역학적으로 복잡한 세계를 이해하고 추론하고 생성하고 그와 상호작용하는 능력을 갖춘 것입니다. 대상은 가상의 세계일 수도 실재하는 세계일 수도 있으며, 이 능력은 오늘의 언어모델이 닿을 수 있는 범위를 한참 벗어나 있습니다. 분야는 아직 초기여서 현재의 방법론은 추상적 추론 모델부터 영상 생성 시스템까지 넓게 퍼져 있습니다. 월드랩스가 2024년 초 세워진 것도 기초적인 접근법 자체가 아직 정립되는 중이라는 확신 때문이었다고 리는 밝히며, 그래서 이것이 다음 10년을 규정하는 과제라고 말합니다.

막 생겨나는 분야에서 가장 중요한 일은 개발을 이끌 원칙을 세우는 것이라고 리는 말합니다. 그래서 그는 공간지능을 위한 세계 모델을 세 가지 필수 역량으로 정의합니다.

생성성, 멀티모달성, 상호작용성

생성성. 세계 모델은 지각적·기하학적·물리적으로 일관된 세계를 생성할 수 있어야 합니다. 공간을 이해하고 추론하는 모델이라면 자기 자신의 시뮬레이션 세계도 만들어 낼 수 있어야 한다는 것입니다. 의미적 지시나 지각적 지시를 따르면서 끝없이 다양한 세계를 생성하되, 그 세계가 기하학적으로도 물리적으로도 역학적으로도 일관성을 유지해야 하고, 이는 실재 공간을 다루든 가상 공간을 다루든 마찬가지입니다.

리는 여기서 연구 공동체가 아직 합의하지 못한 지점을 짚습니다. 세계를 타고난 기하 구조의 관점에서 암묵적으로 표현해야 하는지 명시적으로 표현해야 하는지가 활발히 탐색되는 중이라는 것입니다. 그 자신의 입장은, 강력한 잠재 표현(latent representation)에 더해 보편적 세계 모델의 출력은 여러 용도를 위해 세계의 명시적이고 관찰 가능한 상태까지 생성할 수 있어야 한다는 쪽입니다. 특히 현재에 대한 모델의 이해는 과거와, 곧 현재에 이르게 한 이전 상태들과 일관되게 묶여 있어야 합니다.

멀티모달성. 세계 모델은 설계상 멀티모달이어야 합니다. 동물과 사람이 그렇듯, 생성형 AI에서 프롬프트라 불리는 입력을 아주 넓은 범위의 형태로 받아들일 수 있어야 한다는 뜻입니다. 이미지든 영상이든 깊이 맵(depth map)이든 텍스트 지시든 몸짓이든 행동이든, 부분적인 정보만 주어져도 세계의 상태를 가능한 한 완전하게 예측하거나 생성해야 합니다. 이를 위해서는 실제 시각에 준하는 충실도로 시각 입력을 처리하면서 의미적 지시도 그에 못지않게 능숙하게 해석해야 하며, 그래야 에이전트와 사람이 다양한 방식으로 모델과 세계에 관해 소통하고 다양한 출력을 돌려받을 수 있습니다.

상호작용성. 세계 모델은 입력된 행동에 따라 다음 상태를 출력할 수 있어야 합니다. 행동이나 목표가 프롬프트의 일부로 주어지면, 출력에는 암묵적으로든 명시적으로든 세계의 다음 상태가 포함되어야 합니다. 목표 상태 없이 행동만 주어진 경우에도 모델은 세계의 이전 상태와, 목표가 있다면 그 목표, 그리고 의미와 물리법칙과 역학적 거동에 모두 부합하는 출력을 내놓아야 합니다. 리는 한 걸음 더 나아간 가능성도 열어 둡니다. 세계 모델의 추론과 생성이 충분히 강력해지면, 목표가 주어졌을 때 세계의 다음 상태뿐 아니라 그 새 상태에 근거한 다음 행동까지 예측할 수 있으리라는 것입니다.

세계는 언어보다 훨씬 어렵다

리는 이 과제의 규모가 AI가 지금까지 마주한 그 무엇보다 크다고 단언합니다. 근거는 언어와 세계의 성질 차이입니다. 언어는 전적으로 인간 인지가 만들어 낸 생성적 현상이지만, 세계는 훨씬 복잡한 규칙을 따릅니다. 지구에서는 중력이 운동을 지배하고 원자 구조가 빛이 색과 밝기를 만드는 방식을 결정하며, 헤아릴 수 없는 물리법칙이 모든 상호작용을 제약합니다.

가장 공상적이고 창의적인 세계라 해도 사정은 다르지 않습니다. 그런 세계 역시 자신을 규정하는 물리법칙과 역학적 거동을 따르는 공간적 사물과 행위자로 이루어져 있기 때문입니다. 의미적인 것과 기하학적인 것, 역학적인 것과 물리적인 것을 모두 일관되게 화해시키려면 완전히 새로운 접근이 필요합니다. 리의 표현을 빌리면 세계를 표현하는 차원은 언어라는 1차원 순차 신호보다 비교할 수 없이 복잡합니다. 인간이 누리는 수준의 보편적 능력을 갖춘 세계 모델에 이르려면 만만찮은 기술적 장벽 몇 개를 넘어야 하고, 월드랩스의 연구팀이 거기에 매달려 있다고 그는 적습니다.

세 가지 연구 과제

리가 현재 연구 주제로 든 것은 세 가지입니다.

보편적 학습 목적함수. 언어모델의 다음 토큰 예측(next-token prediction)만큼 단순하고 우아한 보편적 과제 함수를 정의하는 일은 세계 모델 연구의 오랜 중심 목표였습니다. 그러나 입력 공간과 출력 공간이 모두 복잡해서 그런 함수를 세우기가 본질적으로 더 어렵습니다. 탐색할 것이 많이 남아 있지만, 이 목적함수와 그에 대응하는 표현은 기하학과 물리학의 법칙을 반영해야 하며, 상상과 현실 모두에 대한 접지된 표현이라는 세계 모델의 근본 성격을 존중해야 한다고 리는 말합니다.

대규모 학습 데이터. 세계 모델 학습에는 텍스트 선별과는 비교가 안 되게 복잡한 데이터가 필요합니다. 다행스러운 소식은 방대한 원천이 이미 존재한다는 점입니다. 인터넷 규모의 이미지와 영상이 풍부하고 접근 가능한 학습 재료이며, 문제는 2차원 이미지나 영상 프레임 신호(RGB)에서 더 깊은 공간 정보를 끌어내는 알고리즘을 만드는 데 있습니다. 지난 10년의 연구는 데이터 양과 모델 크기를 잇는 스케일링 법칙(scaling laws)의 힘을 언어모델에서 보여 주었으니, 세계 모델의 열쇠는 기존의 시각 데이터를 그에 맞먹는 규모로 활용할 수 있는 구조를 짓는 일입니다.

리는 여기에 두 가지를 덧붙입니다. 하나는 고품질 합성 데이터(synthetic data)와 깊이·촉각 같은 추가 양식의 힘을 과소평가하지 않겠다는 것으로, 이들은 학습 과정의 결정적 단계에서 인터넷 규모 데이터를 보완합니다. 다른 하나는 전제 조건입니다. 더 나은 센서 시스템, 더 견고한 신호 추출 알고리즘, 그리고 훨씬 강력한 신경 시뮬레이션 방법이 있어야 길이 열린다는 것입니다.

새로운 구조와 표현 학습. 세계 모델 연구는 모델 구조와 학습 알고리즘의 진전을 불가피하게 끌어낼 텐데, 특히 현재의 MLLM과 비디오 디퓨전(video diffusion) 패러다임을 넘어서는 쪽입니다. 두 방식 모두 데이터를 1차원이나 2차원 시퀀스로 토큰화하는데, 그 탓에 단순한 공간 과제가 불필요하게 어려워집니다. 리가 드는 예는 짧은 영상에서 서로 다른 의자가 몇 개인지 세는 일, 그리고 한 시간 전에 그 방이 어떤 모습이었는지 기억하는 일입니다. 토큰화와 컨텍스트와 기억에 3차원이나 4차원을 반영하는 방법 같은 대안적 구조가 도움이 될 수 있습니다. 월드랩스가 최근 내놓은 실시간 생성 프레임 기반 모델 RTFM이 그 전환의 사례로, 공간에 접지된 프레임을 일종의 공간 기억으로 삼아 생성된 세계의 지속성을 유지하면서도 효율적인 실시간 생성을 해냅니다.

마블, 그리고 그 다음

리는 공간지능을 세계 모델링으로 완전히 열기까지 아직 벅찬 난제들이 남아 있음을 인정합니다. 그러면서도 이 연구가 이론적 훈련이 아니라 새로운 종류의 창작·생산성 도구를 움직일 핵심 엔진이라고 강조합니다. 월드랩스의 진전은 고무적이었다는 것이 그의 평가입니다.

구체적 증거로 제시되는 것이 마블(Marble)입니다. 리는 소수의 사용자에게 마블을 먼저 공개했다고 밝히면서, 이것이 멀티모달 입력으로 프롬프트를 받아 일관된 3차원 환경을 생성하고 유지하는 최초의 세계 모델이라고 소개합니다. 사용자와 이야기꾼이 그 환경을 탐험하고 그와 상호작용하며 자신의 창작 작업 흐름 안에서 더 지어 나갈 수 있다는 것이며, 곧 일반에 공개하기 위해 노력 중이라고 덧붙입니다. 마블은 진정으로 공간지능을 갖춘 세계 모델을 향한 첫걸음일 뿐이라고 리는 선을 긋습니다. 진전이 빨라지면서 연구자와 엔지니어, 사용자와 경영자 모두가 그 잠재력을 알아보기 시작했고, 다음 세대의 세계 모델은 기계가 전혀 다른 차원의 공간지능에 이르게 해 오늘의 AI 시스템에 여전히 빠져 있는 핵심 능력들을 열어 줄 것이라는 전망으로 절을 맺습니다.

해설 다음 토큰 예측이 왜 그토록 중요한 비교 대상인지 짚어 둘 필요가 있습니다. 언어모델은 ‘다음 단어를 맞힌다’는 단 하나의 단순한 목표만으로 인터넷의 모든 텍스트를 학습 재료로 삼을 수 있었습니다. 정답이 데이터 안에 이미 들어 있으니 사람이 일일이 라벨을 달 필요가 없었고, 이 공짜 정답 덕분에 규모를 키우는 일이 가능해졌습니다. 리가 세계 모델에 아직 그런 함수가 없다고 말하는 것은, 규모를 키우기 위한 단순한 출발점이 아직 정해지지 않았다는 뜻으로 읽을 수 있습니다.

암묵적 표현이냐 명시적 표현이냐는 논쟁도 추상적인 말이 아닙니다. 명시적 표현은 3차원 공간의 형상을 눈에 보이는 데이터로 직접 들고 있는 방식이고, 암묵적 표현은 신경망의 가중치 안에 공간을 간접적으로 품는 방식입니다. 월드랩스 공동창업자인 밀든홀이 2020년 첫 저자로 발표한 NeRF가 후자 계열의 대표적 연구로 꼽히며, 리가 잠재 표현과 관찰 가능한 상태를 둘 다 요구하는 입장도 이런 논쟁 지형 위에 놓여 있습니다.

[관점] 리의 세 요건은 중립적인 정의처럼 보이지만, 실제로는 경쟁 경로 가운데 하나를 표준으로 세우는 문장으로도 읽힙니다. 지금 세계 모델이라는 이름 아래에는 최소한 세 갈래가 있습니다. 명시적인 3차원 공간을 만들어 내는 월드랩스의 길, 영상 생성을 밀어붙여 상호작용 환경에 이르려는 구글 딥마인드의 지니 3(Genie 3) 계열, 그리고 잠재 공간에서 다음 상태를 예측하는 데 집중하는 얀 르쿤(Yann LeCun)의 JEPA 계열입니다.

리가 요구한 ‘관찰 가능한 명시적 상태를 출력해야 한다’는 조항은 비디오 디퓨전 계열과 잠재 예측 계열이 각자 어떻게 충족하느냐가 갈릴 수 있는 기준입니다. 정의가 받아들여지면 경쟁자들은 상대의 기준으로 평가받는 위치에 서게 됩니다. 기술 표준 경쟁에서 흔히 벌어지는 일이고 그 자체가 부당하다는 뜻은 아니지만, 독자는 이 대목이 과학적 정의인 동시에 전략 문서라는 점을 함께 읽을 필요가 있습니다.

[사후 맥락] 리가 곧 공개하겠다고 쓴 마블은 이 글이 올라온 이틀 뒤인 2025년 11월 12일 일반에 출시되었습니다. 텍스트와 사진 등 여러 입력으로 편집 가능한 3차원 환경을 만드는 월드랩스의 첫 상용 세계 모델 제품이었습니다.

이후 자본시장의 반응은 빨랐습니다. 월드랩스는 2026년 2월 10억 달러를 추가로 조달했고, 회사는 기업가치를 공개하지 않았으나 블룸버그(Bloomberg)가 앞서 전한 협상 기준은 약 50억 달러로 2024년의 다섯 배 수준이었습니다. 투자자에는 오토데스크(Autodesk)가 2억 달러를 넣었고 엔비디아(NVIDIA)와 AMD, 안드레센호로위츠도 참여했으며, 회사는 이 자금을 로봇공학과 과학 응용으로 범위를 넓히는 데 쓰겠다고 밝혔습니다. 이와 별개로 메타(Meta)의 수석 AI 과학자였던 르쿤이 회사를 떠나 세계 모델을 내건 AMI 랩스(AMI Labs)를 창업하면서, 세계 모델은 한 회사의 주장이 아니라 업계 전체의 경쟁 축으로 부상했습니다.

사람을 위한 기술이라는 전제

리는 응용을 이야기하기 전에 동기를 먼저 꺼냅니다. AI 개발을 무엇이 추동하는지가 중요하다는 것입니다. 현대 AI의 시대를 열어젖힌 과학자 중 한 사람으로서 자신의 동기는 언제나 분명했다고 그는 말합니다. AI는 인간의 능력을 대체하는 것이 아니라 증강해야 한다는 것입니다. 그래서 수년 동안 AI의 개발과 배포와 거버넌스를 인간의 필요에 맞추는 일에 매달려 왔다고 밝힙니다.

요즘 기술 유토피아와 종말이라는 극단적 서사가 넘쳐나지만, 리는 더 실용적인 관점을 고수한다고 적습니다. AI는 사람이 개발하고 사람이 사용하며 사람이 다스리는 것이고, 따라서 언제나 사람의 주체성과 존엄을 존중해야 한다는 것입니다. AI의 마법은 우리의 능력을 확장하는 데, 즉 우리를 더 창의적이고 더 연결되고 더 생산적이고 더 충만하게 만드는 데 있습니다. 공간지능이 이 비전을 대표하며, 인간 창작자와 돌봄 제공자, 과학자와 꿈꾸는 사람이 한때 불가능했던 일을 해내도록 북돋우는 AI라고 그는 규정합니다.

응용의 시간대는 저마다 다릅니다. 창작 도구는 지금 등장하고 있고, 월드랩스의 마블은 이미 창작자와 이야기꾼의 손에 그 능력을 쥐여 주고 있습니다. 로봇공학은 지각과 행동의 고리를 다듬어 가는 야심찬 중기 지평입니다. 가장 큰 변화를 일으킬 과학적 응용은 더 오래 걸리겠지만, 인간의 번영에 깊은 영향을 약속합니다.

리는 이 일이 한 팀이나 한 회사가 해낼 수 있는 범위를 넘어선다는 점도 분명히 합니다. 연구자와 혁신가, 창업자와 기업, 나아가 정책 결정자까지 AI 생태계 전체가 공유된 비전을 향해 참여해야 한다는 것입니다. 그럼에도 이 비전은 추구할 가치가 있다는 말과 함께, 그는 구체적인 미래의 모습으로 넘어갑니다.

창작: 이야기와 몰입형 경험에 날개를 달다

리는 자신의 개인적 영웅인 알베르트 아인슈타인(Albert Einstein)의 문장, 곧 창의성이란 지능이 즐겁게 노는 것이라는 말을 가장 좋아하는 인용으로 듭니다. 그리고 문자언어가 생기기 훨씬 전부터 인간은 이야기를 했다는 사실을 상기시킵니다. 동굴 벽에 그리고, 세대를 건너 전하고, 공유된 서사 위에 문화 전체를 세웠다는 것입니다. 이야기는 우리가 세계를 이해하고, 거리와 시간을 넘어 연결되고, 인간이라는 것이 무엇인지 탐구하고, 무엇보다 삶의 의미와 내면의 사랑을 찾는 방식입니다. 오늘날 공간지능은 그 근본적 중요성을 존중하는 방식으로 서사를 만들고 경험하는 방법을 바꾸며, 그 영향을 오락에서 교육으로, 디자인에서 건설로 넓힐 수 있다고 리는 봅니다.

구체적 수단으로 제시되는 것이 다시 마블입니다. 마블은 전례 없는 공간적 능력과 편집상의 제어권을 영화감독, 게임 디자이너, 건축가, 그리고 온갖 종류의 이야기꾼에게 쥐여 줄 것이라고 리는 말합니다. 기존 3차원 디자인 소프트웨어의 부담 없이, 완전히 탐험 가능한 3차원 세계를 빠르게 만들고 거듭 고쳐 갈 수 있다는 뜻입니다. 창작 행위 자체는 여전히 더없이 중요하고 인간적인 것으로 남고, AI 도구는 창작자가 해낼 수 있는 일을 증폭하고 가속할 뿐이라는 단서를 그는 붙입니다.

새로운 차원의 서사. 영화감독과 게임 디자이너는 마블로 예산이나 지리의 제약 없이 세계 전체를 불러낼 수 있고, 전통적인 제작 파이프라인 안에서는 시도조차 어려웠던 장면과 시점을 다양하게 탐색할 수 있습니다. 매체와 오락의 경계가 흐려지면서 예술과 시뮬레이션과 놀이가 섞인 근본적으로 새로운 상호작용 경험이 다가오고 있으며, 스튜디오만이 아니라 누구나 자기 이야기를 만들고 그 안에 거주하는 개인화된 세계가 가능해집니다. 콘셉트와 스토리보드를 곧바로 완성된 경험으로 끌어올리는 빠른 방법이 생기면서 서사는 더 이상 하나의 매체에 묶이지 않고, 창작자는 여러 표면과 플랫폼을 가로질러 공통의 줄기를 지닌 세계를 지을 수 있게 됩니다.

디자인을 통한 공간 서사. 제조되는 사실상 모든 사물과 지어지는 모든 공간은 물리적으로 만들어지기 전에 가상의 3차원에서 설계되어야 합니다. 이 과정은 반복이 극심하고 시간과 비용이 많이 듭니다. 공간지능을 갖춘 모델이 손에 들어오면 건축가는 설계에 몇 달을 쏟기 전에 구조물을 빠르게 시각화하고 아직 존재하지 않는 공간 안을 걸어 볼 수 있으며, 이는 우리가 어떻게 살고 일하고 모일지에 관한 이야기를 하는 일이기도 합니다. 산업 디자이너와 패션 디자이너는 상상을 즉시 형태로 옮기고, 사물이 인간의 몸 및 공간과 어떻게 맞물리는지를 탐색할 수 있습니다.

몰입형·상호작용 경험. 경험 자체가 우리 종이 의미를 만드는 가장 깊은 방식 중 하나라고 리는 말합니다. 인류 역사 전체에 걸쳐 3차원 세계는 우리가 함께 쓰는 물리적 세계 하나뿐이었고, 최근 수십 년 게임과 초기 가상현실(VR)을 통해서야 우리가 만든 대안 세계를 공유한다는 것이 무엇인지 어렴풋이 보기 시작했습니다. 이제 공간지능이 VR과 확장현실(XR) 헤드셋, 몰입형 디스플레이 같은 새로운 형태와 결합하면서 이 경험을 전례 없는 수준으로 끌어올립니다. 완전히 구현된 다차원 세계로 걸어 들어가는 일이 책을 펴는 일만큼 자연스러워지는 미래가 다가오고 있으며, 세계를 짓는 일이 전문 제작진을 갖춘 스튜디오만의 것이 아니라 개인 창작자와 교육자, 나눌 만한 비전을 가진 누구에게나 열린다는 것이 리의 전망입니다.

해설 리가 말하는 ‘기존 3차원 디자인 소프트웨어의 부담’이 무엇인지 알아야 이 대목의 무게가 보입니다. 게임이나 영화의 3차원 공간 하나를 만들려면 모델링과 텍스처 작업, 조명 배치, 물리 설정을 전문 도구로 일일이 거쳐야 하고, 여러 명의 숙련된 아티스트가 상당한 시간을 쓰는 일이 흔합니다. 세계 모델이 겨냥하는 지점은 이 공정을 한 번의 프롬프트로 대체하는 것이 아니라, 초안을 만드는 비용을 크게 낮춰 시도 횟수를 늘리는 데 있다고 볼 수 있습니다.

이것이 영상 생성과 다른 이유도 여기 있습니다. 생성된 영상은 카메라의 경로가 이미 정해진 한 장면이지만, 탐험 가능한 3차원 환경은 사용자가 임의의 방향으로 움직여도 같은 공간이 유지되어야 합니다. 앞 절에서 리가 지속성과 기억을 강조한 것, 그리고 명시적이고 관찰 가능한 상태를 출력해야 한다고 요구한 것이 제품 차원에서는 바로 이 차이로 나타납니다.

[반론] 창작자가 AI 도구를 능력의 증폭으로만 받아들인다는 전제에는 업계의 반대 기록이 쌓여 있습니다. 2023년 미국작가조합(WGA)과 배우·방송인조합(SAG-AFTRA)은 생성형 AI를 핵심 쟁점으로 삼아 파업에 들어갔고, 그해 하반기 비준된 협약에 AI 관련 조항을 명문화했습니다. 작가조합 협약은 어떤 형태의 AI도 작가로 인정될 수 없으며 AI가 만든 글은 보호 대상 저작 자료가 되지 않는다고 정했습니다. 조합은 AI 학습에 쓰인 저작 자료가 협약이나 법에 위배된다고 주장할 권리도 유보했습니다.

배우조합 협약은 디지털 복제물과 합성 연기자를 구분해 구체적 동의와 보상을 요구했고, 합성 연기자를 쓰려면 조합에 통지하고 교섭의 기회를 주도록 했습니다. 고인이 된 배우의 복제물에도 유족이나 조합의 동의를 받도록 했습니다. 다만 배우의 연기를 학습 데이터로 쓰는 일 자체에 대한 전면 금지는 얻어내지 못했다는 평가가 나옵니다. 즉 창작 현장에서 쟁점은 도구의 성능이 아니라 데이터의 출처와 동의, 그리고 보상의 분배였습니다. 리가 창작 행위는 여전히 인간의 것이라고 쓸 때, 그 문장이 다루지 않는 영역이 바로 이 부분입니다.

[한국 관점] 창작 응용에서 한국이 가진 자산과 위험은 같은 곳에 있습니다. 웹툰과 웹소설, 게임, 드라마는 모두 세계관과 미술 자산을 축적해 온 산업이고, 탐험 가능한 3차원 환경을 싸게 만드는 도구는 제작비 구조가 빠듯한 중소 스튜디오에 특히 큰 지렛대가 될 수 있습니다. 콘셉트 아트와 배경 설계가 전체 공정에서 차지하는 비중이 큰 장르일수록 효과는 직접적일 것입니다.

동시에 바로 그 자산이 학습 데이터로 흘러 나가는 경로도 열립니다. 이는 저작권법 개정 논의에서 텍스트·데이터 마이닝(TDM) 면책 조항이 쟁점이 되어 온 배경과도 맞닿아 있습니다. 리의 글은 도구를 쓰는 창작자의 자리에서 쓰였지만, 한국 산업의 질문은 도구를 쓰는 쪽과 데이터를 대는 쪽이 같은 사람인지에 더 가깝습니다.

로봇과 더 긴 지평

리는 로봇 이야기를 생물학에서 시작합니다. 곤충부터 인간까지 모든 동물이 자기 세계를 이해하고 돌아다니고 그와 상호작용하기 위해 공간지능에 의존하며, 로봇도 다르지 않으리라는 것입니다. 공간을 아는 기계는 이 분야가 시작된 이래의 꿈이었고, 스탠퍼드대학교 연구실에서 학생들 및 공동 연구자들과 해 온 자신의 작업도 거기에 속한다고 그는 적습니다. 그래서 월드랩스가 만들고 있는 종류의 모델로 그 꿈을 실현할 가능성에 크게 들떠 있다고 말합니다.

데이터, 동료, 그리고 몸의 형태

세계 모델을 통한 로봇 학습 확장. 로봇 학습의 진전은 쓸 만한 학습 데이터를 확장 가능한 방식으로 확보하는 데 달려 있습니다. 로봇이 이해하고 추론하고 계획하고 상호작용해야 하는 상태 공간이 워낙 방대하기 때문에, 진정으로 일반화되는 로봇을 만들려면 인터넷 데이터와 합성 시뮬레이션, 그리고 사람의 시연을 실제로 수집한 데이터가 결합되어야 한다는 추측이 많았습니다. 그런데 언어모델과 달리 오늘의 로봇 연구에는 학습 데이터가 희소합니다. 리는 여기서 세계 모델이 결정적 역할을 하리라고 봅니다. 세계 모델이 지각의 충실도와 연산 효율을 높여 갈수록 그 출력이 시뮬레이션과 현실 사이의 간극을 빠르게 좁히고, 그 결과 셀 수 없이 많은 상태와 상호작용과 환경의 시뮬레이션에서 로봇을 학습시킬 수 있게 된다는 것입니다.

동료이자 협력자. 실험대에서 과학자를 돕든 홀로 사는 노인을 돌보든, 인간의 협력자로서의 로봇은 일손과 생산성이 절실히 부족한 노동 영역을 넓혀 줄 수 있습니다. 다만 그러려면 지각하고 추론하고 계획하고 행동하는 공간지능이 필요하며, 리가 가장 중요하다고 강조하는 조건은 그 과정에서 인간의 목표와 행동에 공감적으로 정렬된 상태를 유지하는 것입니다. 실험실 로봇이 기구를 다뤄 주어 과학자가 섬세한 손놀림이나 추론이 필요한 일에 집중하게 하는 경우, 그리고 가정의 보조 로봇이 노인의 요리를 돕되 그 기쁨이나 자율성을 깎아내리지 않는 경우가 그가 드는 예입니다. 이런 기대에 부합하는 다음 상태, 나아가 다음 행동까지 예측하는 세계 모델이 이 목표 달성의 관건이라고 리는 말합니다.

체화 형태의 확장. 휴머노이드 로봇은 우리가 우리 자신을 위해 지어 놓은 세계에서 나름의 역할을 합니다. 그러나 혁신의 온전한 이득은 훨씬 다양한 설계에서 나온다는 것이 리의 판단입니다. 약을 전달하는 나노봇, 좁은 틈을 비집고 들어가는 소프트 로봇, 심해나 우주를 위해 만들어진 기계가 그 예입니다. 형태가 무엇이든 미래의 공간지능 모델은 로봇이 머무는 환경과 로봇 자신의 체화된 지각 및 운동을 함께 통합해야 합니다. 그런데 이런 다양한 체화 형태에 대한 학습 데이터가 없다는 것이 개발의 핵심 난관이고, 바로 여기서 세계 모델이 시뮬레이션 데이터와 학습 환경과 벤치마킹 과제를 제공하는 역할을 맡게 됩니다.

과학, 의료, 교육

리는 창작과 로봇공학에 더해, AI가 생명을 구하고 발견을 앞당기는 방식으로 인간의 능력을 키울 수 있는 분야로 셋을 꼽습니다. 깊은 변화를 일으킬 영역을 고른 것일 뿐, 공간지능의 용례는 훨씬 많은 산업에 걸쳐 있다는 단서도 붙입니다.

과학 연구. 공간지능을 갖춘 시스템은 실험을 시뮬레이션하고, 여러 가설을 병렬로 시험하며, 심해부터 먼 행성까지 사람이 접근할 수 없는 환경을 탐사할 수 있습니다. 기후과학이나 소재 연구 같은 분야의 전산 모델링을 바꿔 놓을 기술이기도 합니다. 다차원 시뮬레이션을 실제 데이터 수집과 결합하면 연산의 문턱을 낮추고, 모든 실험실이 관찰하고 이해할 수 있는 범위를 넓힐 수 있다는 것이 리의 설명입니다.

의료. 공간지능은 실험실에서 병상까지 모든 것을 다시 짤 것이라고 리는 내다봅니다. 스탠퍼드대학교에서 그의 학생들과 공동 연구자들은 여러 해 동안 병원과 노인요양시설, 집에 머무는 환자들과 함께 일해 왔고, 그 경험이 이 분야의 변화 가능성을 확신하게 만들었다고 밝힙니다. 구체적으로는 분자 상호작용을 다차원으로 모델링해 신약 개발을 앞당기는 일, 영상의학 전문의가 의료영상에서 패턴을 찾아내도록 돕는 진단 보조, 그리고 치유에 꼭 필요한 인간적 연결을 대체하지 않으면서 환자와 돌봄 제공자를 지원하는 주변 모니터링 시스템이 거론됩니다. 여러 현장에서 의료 종사자와 환자를 돕는 로봇의 가능성은 말할 것도 없다고 덧붙입니다.

교육. 공간지능은 추상적이거나 복잡한 개념을 만질 수 있게 만드는 몰입형 학습을 가능하게 하고, 우리의 뇌와 몸이 배우도록 설계된 방식에 꼭 필요한 반복적 경험을 만들어 줄 수 있습니다. AI의 시대에는 학령기 아동에게도 성인에게도 더 빠르고 효과적인 학습과 재교육이 특히 중요합니다. 학생은 세포 기계를 탐험하거나 역사적 사건 속을 다차원으로 걸어 볼 수 있고, 교사는 상호작용 환경을 통해 수업을 개인화하는 도구를 얻습니다. 외과의부터 엔지니어까지 전문가들은 사실적인 시뮬레이션 안에서 복잡한 기술을 안전하게 연습할 수 있습니다.

이 모든 영역에서 가능성은 끝이 없지만 목표는 하나로 고정되어 있다고 리는 절을 맺습니다. 인간의 전문성을 증강하고 인간의 발견을 가속하며 인간의 돌봄을 증폭하는 AI이지, 인간됨의 중심인 판단과 창의성과 공감을 대체하는 AI가 아니라는 것입니다.

해설 리가 말하는 간극은 로봇공학에서 시뮬레이션과 현실의 격차(sim-to-real gap)라는 이름으로 오래 다뤄져 온 문제입니다. 시뮬레이터 안에서 완벽하게 작동하던 제어 정책이 실제 로봇에 올리는 순간 무너지는 현상인데, 마찰 계수나 재질의 변형, 센서 잡음처럼 시뮬레이터가 단순화한 물리가 현실에서는 그대로 돌아오지 않기 때문입니다. 세계 모델이 이 문제의 해법으로 거론되는 이유는, 사람이 물리 규칙을 일일이 적어 넣은 시뮬레이터 대신 실제 영상에서 학습한 모델이 현실에 더 가까운 장면을 만들어 줄 수 있다는 기대 때문입니다.

로봇 데이터가 희소하다는 말의 뜻도 구체적입니다. 언어모델은 이미 쓰인 텍스트를 긁어모으면 되지만, 로봇의 조작 데이터는 사람이 로봇 팔을 직접 원격 조작해 한 번에 한 시연씩 쌓아야 하는 경우가 많습니다. 많은 시간과 비용이 들고, 로봇의 몸체가 바뀌면 그 데이터의 상당 부분을 다시 모아야 합니다. 리가 체화 형태마다 데이터가 없다고 지적한 대목이 이 문제입니다.

[반론] 시각 데이터로 로봇의 손재주를 가르칠 수 있다는 전제에는 정면 반박이 나와 있습니다. 로봇공학의 원로인 로드니 브룩스(Rodney Brooks)는 이 에세이보다 한 달 반쯤 앞선 2025년 9월 26일 자신의 블로그에 「Why Today’s Humanoids Won’t Learn Dexterity」를 올려, 오늘의 휴머노이드는 수억 달러에서 수십억 달러가 투입되더라도 손재주를 학습하지 못할 것이라고 주장했습니다. 그는 아이로봇(iRobot)과 리싱크로보틱스(Rethink Robotics)를 공동 창업했고 매사추세츠공과대학(MIT)에서 오랜 기간 연구소를 이끈 인물입니다.

브룩스의 논지는 데이터의 양이 아니라 종류에 있습니다. 사람의 손재주는 촉각에 결정적으로 의존하는데, 음성 인식이나 이미지 처리와 달리 촉각 데이터에는 축적된 전통이 없다는 것입니다. 그는 사람이 작업하는 영상을 보여 주며 손재주를 가르치겠다는 테슬라(Tesla)와 피겨AI(Figure AI)의 방식을 겨냥해 이 접근이 환상에 가깝다고 비판했습니다. 또 15년 뒤에도 휴머노이드는 있겠지만 사람을 닮지 않은 채 다리 대신 바퀴를 달고 있을 것이며, 그 사이 많은 돈이 사라질 것이라고 전망했습니다. 세계 모델이 시뮬레이션으로 로봇 데이터 문제를 풀어 준다는 리의 기대와, 병목이 시각이 아니라 촉각과 하드웨어에 있다는 브룩스의 진단은 서로 다른 처방으로 이어집니다.

[한국 관점] 리가 꼽은 세 영역 가운데 한국에서 수요가 가장 선명한 쪽은 돌봄입니다. 한국은 이미 65세 이상 인구 비중이 20퍼센트를 넘는 초고령사회에 들어섰고, 요양 인력 부족은 제도의 문제가 되어 있습니다. 리가 그린 가정 보조 로봇의 조건, 곧 노인의 자율성과 기쁨을 깎지 않으면서 돕는다는 기준은 한국의 돌봄 현장에서 그대로 쟁점이 됩니다.

의료영상 진단 보조는 사정이 다릅니다. 이 분야는 국내 기업들이 이미 인허가를 받은 제품을 내놓고 있어, 리가 미래형으로 쓴 것이 한국에서는 현재형에 가깝습니다. 결국 한국에서 의미 있는 질문은 기술이 가능하냐가 아니라, 공간을 다루는 모델이 들어올 때 의료기기 규제와 임상 검증 체계가 어느 속도로 따라가느냐에 가깝습니다.

튜링의 질문에서 다시 시작하다

리는 지난 10년을 한 문장으로 정리합니다. AI가 전 지구적 현상이 되었고 기술과 경제, 나아가 지정학에서까지 변곡점이 되었다는 것입니다. 그러나 연구자이자 교육자이고 이제는 창업자가 된 자신을 가장 움직이는 것은 여전히 75년 전 튜링이 던진 질문의 정신이라고 그는 적습니다. 그 경이의 감각을 아직 공유하고 있으며, 공간지능이라는 도전이 날마다 자신에게 활력을 주는 이유도 거기에 있다는 것입니다.

리가 보는 지금의 자리는 역사상 처음 열린 문턱입니다. 물리 세계와 충분히 조응해서 우리가 직면한 가장 큰 과제의 진정한 동반자로 삼을 만한 기계를 만들 수 있는 지점에 처음으로 와 있다는 것입니다. 실험실에서 질병을 이해하는 속도를 높이는 일이든, 이야기를 전하는 방식을 뒤바꾸는 일이든, 병과 부상과 노화로 가장 취약해진 순간에 우리를 떠받치는 일이든 마찬가지입니다. 우리가 가장 소중히 여기는 삶의 국면을 끌어올리는 기술이 목전에 와 있고, 그것은 더 깊고 더 풍부하며 더 힘이 실린 삶의 전망이라고 그는 말합니다.

마지막 문단에서 리는 시간의 척도를 아주 멀리 되돌립니다. 자연이 먼 옛날 동물들에게 공간지능의 첫 빛을 풀어놓은 지 거의 5억 년이 지난 지금, 우리는 기계에 같은 능력을 부여하게 될지도 모를 세대의 기술자로 살아가는 행운을 누리고 있다는 것입니다. 그 능력을 어디에 사는 사람에게든 이롭게 쓸 수 있다는 점에서 특권이기도 하다고 그는 덧붙입니다. 그리고 진정으로 지능적인 기계라는 우리의 꿈은 공간지능 없이는 완성되지 않는다는 문장으로 논증을 닫고, 이 탐구가 자신의 북극성이라며 함께하자는 권유로 글을 맺습니다.

해설 5억 년이라는 숫자는 수사가 아니라 고생물학의 시간표를 가리킵니다. 약 5억 4,000만 년 전 캄브리아기에 동물 문의 대부분이 짧은 기간에 출현했고, 눈을 가진 화석도 이 무렵 뚜렷이 나타납니다. 동물학자 앤드루 파커(Andrew Parker)는 시각의 출현이 포식과 회피의 군비 경쟁을 촉발해 그 폭발을 일으켰다는 가설을 제시했습니다.

이 가설은 이 글의 구조를 이해하는 데 도움이 됩니다. 리의 논증은 지각과 행동의 순환을 지능의 출발점에 놓는다는 점에서, 언어를 지능의 중심에 두는 접근과 갈라집니다. 그 분기점이 글 전체를 관통합니다.

[관점] 이 에세이를 2026년의 자리에서 다시 읽으면, 리의 주장은 두 갈래로 검증받는 중입니다. 하나는 과학적 명제로서, 공간 능력이 영상 생성 규모를 키우는 과정에서 창발하는지 아니면 별도의 구조와 표현이 필요한지의 문제입니다. 다른 하나는 산업적 명제로서, 세계 모델이 언어모델처럼 하나의 플랫폼으로 수렴하는지 아니면 창작 도구와 로봇 시뮬레이터와 산업 설계 소프트웨어로 갈라져 각각의 기존 사업자에게 흡수되는지의 문제입니다.

투자자에게 더 중요한 것은 두 번째입니다. 언어모델은 토큰이라는 단일한 과금 단위와 범용 수요를 가졌지만, 공간지능은 수요처마다 요구되는 정밀도와 지연 시간과 검증 기준이 전혀 다릅니다. 영화의 배경을 만드는 모델과 수술 시뮬레이션을 돌리는 모델이 같은 제품일 가능성은 높지 않습니다. 리가 생태계 전체의 협력을 호소한 것은 이상주의적 마무리로 읽히지만, 분절된 시장에서 표준을 쥐는 쪽이 가져가는 몫을 생각하면 현실적인 계산이기도 합니다.

원문: Fei-Fei Li, From Words to Worlds: Spatial Intelligence is AI’s Next Frontier (Nov 2025) 전문은 원문에서 확인하실 수 있습니다.

참고할만한 글

Similar Posts