젠슨 황 – 왜 중국에 칩을 팔아야 하는가 (Why We Should Sell Chips to China)

원문: Jensen Huang, TPU competition, why we should sell chips to China, & Nvidia’s supply chain moat (Dwarkesh Podcast) (Apr 2026) 전문은 원문에서 확인하실 수 있습니다. 아래 글은 번역이 아니라, 젠슨 황의 논증을 한국어로 재구성한 정리입니다.

글의 배경과 개요

엔비디아(NVIDIA)의 창업자이자 최고경영자인 젠슨 황(Jensen Huang)이 드와케시 파텔(Dwarkesh Patel)이 진행하는 팟캐스트에 나와 2026년 4월 공개된 대담입니다. 파텔은 엔비디아가 설계와 소프트웨어만 맡고 제조는 남이 하는 회사이므로, AI가 소프트웨어를 범용재화로 만든다면 엔비디아도 범용재화가 되는 것이 아니냐는 질문으로 대담을 엽니다. 대담 전체는 결국 하나의 물음을 다룹니다. 엔비디아의 우위가 정확히 무엇이고 그것이 얼마나 오래 버티는가입니다. 황은 공급망 선점, 텐서 처리장치(TPU)와 주문형 반도체(ASIC)의 추격, 투자와 사업 범위, 중국 수출통제, 단일 아키텍처 전략의 다섯 갈래를 차례로 지나면서 같은 답을 반복합니다. 아키텍처와 컴퓨터과학이 미세공정보다 큰 차이를 만들고, AI 산업은 다섯 개 층으로 되어 있으며 미국은 그 모든 층에서 이겨야 한다는 것입니다.

핵심 내용 정리

엔비디아의 일은 전자를 토큰으로 바꾸는 것이며, 그 변환에 들어가는 공학과 발명의 양 때문에 이 일은 완전히 범용재화가 되기 어렵다고 말합니다.
회사의 원칙은 필요한 만큼만 하고 가능한 한 적게 하는 것이어서, 직접 하지 않아도 되는 일은 생태계 파트너에게 넘긴다고 설명합니다.
상류 공급망이 엔비디아를 위해 대규모 투자를 감행하는 이유는 엔비디아의 하류 수요가 그만큼 크다는 것을 알기 때문이라고 봅니다.
반도체와 패키징, 노광장비 같은 공급망 병목은 수요 신호만 분명하면 2-3년 안에 모두 풀리고, 정작 풀리지 않는 것은 에너지와 숙련 인력이라고 말합니다.
TPU와 ASIC은 행렬 곱셈에 맞춰진 장치일 뿐이고, 새 알고리즘을 발명할 수 있게 해 주는 범용 프로그래밍 가능성이 엔비디아의 근본 우위라고 주장합니다.
중국은 이미 에너지와 제조 역량과 AI 연구자를 충분히 갖고 있어 연산을 막는 통제는 효과가 없고, 세계의 AI 모델이 미국 기술 스택 위에서 만들어지게 하는 것이 더 중요하다고 말합니다.
엔비디아가 클라우드 사업자나 기초모델 회사가 되지 않는 이유는 그 일은 자신들이 하지 않아도 누군가 하기 때문이며, 승자를 고르지 않는 것이 회사의 원칙이라고 밝힙니다.

공급망 장악이 엔비디아의 가장 큰 모트인가

전자를 토큰으로 바꾸는 일

파텔은 소프트웨어 회사들의 밸류에이션이 무너진 상황을 먼저 꺼냅니다. AI가 소프트웨어를 범용재화로 만들 것이라는 예상 때문입니다. 그러면서 다소 소박한 시각이라고 전제한 뒤 엔비디아의 분업 구조를 이렇게 정리합니다. 엔비디아가 GDS2 파일을 TSMC에 넘기면 TSMC가 로직 다이와 스위치를 만들고, SK하이닉스와 마이크론(Micron)과 삼성전자가 만든 고대역폭 메모리(HBM)와 함께 패키징한 다음, 타이완의 제조업자 개발생산(ODM) 업체로 보내 랙으로 조립한다는 것입니다. 결국 엔비디아는 소프트웨어를 만들고 제조는 남이 하는 회사인데, 소프트웨어가 범용재화가 된다면 엔비디아도 그렇게 되지 않겠느냐는 질문입니다.

황의 답은 전환이라는 단어에 걸려 있습니다. 결국 무엇인가는 전자를 토큰으로 바꿔야 하고, 그 전환을 해내면서 토큰의 가치를 시간이 갈수록 높이는 일은 완전히 범용재화가 되기 어렵다는 것입니다. 하나의 분자를 다른 분자보다 더 가치 있게 만드는 것처럼, 하나의 토큰을 다른 토큰보다 더 가치 있게 만드는 데에는 예술성과 공학과 과학과 발명이 들어간다고 말합니다. 그 과정은 아직 깊이 이해되지도 않았고 여정도 끝나지 않았으므로, 범용재화화는 일어나지 않을 것이라고 봅니다.

황은 파텔이 질문을 구성한 방식이 자기 회사를 보는 자신의 머릿속 모형과 똑같다고 말합니다. 입력은 전자이고 출력은 토큰이며, 그 사이에 엔비디아가 있습니다. 회사의 일은 그 전환이 엄청난 성능으로 이루어지도록 필요한 만큼은 하되 가능한 한 적게 하는 것입니다. 가능한 한 적게 한다는 말의 뜻은, 자신이 하지 않아도 되는 일은 누군가와 손잡아 생태계의 일부로 만든다는 것입니다. 그 결과 엔비디아는 상류 공급망과 하류의 컴퓨터 회사, 애플리케이션 개발사, 모델 제작사에 걸쳐 가장 큰 파트너 생태계를 갖게 되었다고 말합니다.

AI는 다섯 층으로 된 케이크라고 황은 말합니다. 엔비디아는 그 다섯 층 전체에 생태계를 두고 있고, 스스로는 가능한 한 적게 하려 하지만 반드시 해야 하는 그 부분이 말이 안 되게 어렵다는 것입니다. 그래서 그 부분은 범용재화가 되지 않는다고 봅니다.

해설 GDS2는 반도체 설계를 레이아웃 도형 단위로 담은 파일 형식입니다. 설계 회사가 파운드리에 넘기는 최종 산출물이 이 파일이고, 그 뒤의 물리적 공정은 전부 파운드리와 패키징·조립 업체가 맡습니다.

로직 다이는 연산을 하는 칩이고 HBM은 그 옆에 쌓아 올린 메모리입니다. 둘을 하나의 패키지로 붙이는 공정이 뒤에 나오는 CoWoS이며, 이렇게 만든 모듈을 ODM 업체가 서버 랙으로 조립해 데이터센터에 들어갑니다. 파텔의 질문은 이 사슬에서 엔비디아가 맡은 몫이 설계와 소프트웨어뿐이라는 점을 겨냥한 것입니다.

도구를 쓰는 에이전트가 늘면 소프트웨어 회사는 커진다

황은 기업용 소프트웨어 회사와 도구 제작사도 범용재화가 되지 않는다고 봅니다. 오늘날 소프트웨어 회사 대부분은 도구를 만드는 회사입니다. 엑셀(Excel)과 파워포인트(PowerPoint)가 도구이고, 케이던스디자인시스템즈(Cadence)와 시놉시스(Synopsys)도 도구를 만듭니다. 일부는 업무 흐름을 코드로 굳혀 놓은 시스템이지만, 많은 회사는 도구 제작사라는 것입니다.

그는 남들이 보는 것과 반대를 본다고 말합니다. 에이전트의 수가 지수적으로 늘고 도구를 쓰는 주체의 수도 지수적으로 늘 것이므로, 이 도구들이 돌아가는 인스턴스의 수가 치솟을 가능성이 크다는 것입니다. 시놉시스의 디자인 컴파일러(Design Compiler) 인스턴스가 치솟고, 플로어플랜 도구와 레이아웃 도구와 설계 규칙 검사기를 쓰는 에이전트의 수도 함께 치솟는다고 봅니다. 오늘은 엔지니어의 수가 한계지만 내일은 그 엔지니어들이 여러 에이전트의 지원을 받습니다. 설계 공간을 지금까지 본 적 없는 방식으로 탐색하면서, 쓰는 도구는 오늘 쓰는 그 도구라는 것입니다.

아직 그 일이 벌어지지 않은 이유는 에이전트가 도구를 쓰는 솜씨가 충분하지 않기 때문이라고 황은 말합니다. 앞으로는 도구 회사들이 직접 에이전트를 만들거나, 에이전트가 그 도구를 쓸 만큼 좋아지거나, 둘이 섞여서 일어날 것이라고 봅니다.

상류를 설득하는 일이 사업의 일부다

파텔은 최근 공시로 넘어갑니다. 엔비디아가 파운드리와 메모리, 패키징 업체와 맺은 구매 약정이 1,000억 달러에 가깝고, 세미애널리시스(SemiAnalysis)는 이 규모가 2,500억 달러에 이를 것이라고 보도했다는 것입니다. 한 가지 해석은 엔비디아의 모트가 희소한 부품을 여러 해 분량 미리 묶어 둔 데 있다는 것입니다. 다른 누군가가 가속기를 갖고 있다 해도 그것을 만들 메모리와 로직을 실제로 확보할 수 있느냐는 질문입니다.

황은 그것이 엔비디아는 할 수 있고 남은 하기 어려운 일 가운데 하나라고 인정합니다. 상류에 대한 약속 가운데 일부는 명시적인 구매 약정이고 일부는 암묵적입니다. 상류 투자의 상당 부분은 공급망 회사들이 자기 돈으로 하는데, 황이 그 회사 최고경영자들을 찾아가 이 산업이 얼마나 커질 것인지와 왜 그렇게 되는지를 함께 따져 보고 자신이 보는 그림을 보여 주었기 때문이라는 것입니다. 알리고 자극하고 뜻을 맞추는 그 과정을 거친 결과, 여러 산업의 최고경영자들이 투자할 마음을 먹었다고 말합니다.

그렇다면 왜 남이 아니라 엔비디아를 위해 투자하느냐는 물음에 황은 하류를 듭니다. 그들은 엔비디아가 자기들의 공급을 사들여 하류로 팔아낼 능력이 있다는 것을 알고, 엔비디아의 하류 수요가 워낙 크기 때문에 상류 투자를 감행한다는 것입니다. 상류의 투자를 끌어내는 담보는 결국 하류의 수요입니다.

GTC를 설명하는 대목도 같은 논리입니다. 사람들은 행사의 규모와 참석자에 놀라지만, 황이 보기에 그곳은 AI의 전 영역이 한자리에 모이는 360도짜리 장소입니다. 그들이 모이는 이유는 서로를 봐야 하기 때문이고, 황은 하류가 상류를 보고 상류가 하류를 보고 모두가 AI의 진전을 보도록 그들을 모읍니다. 특히 AI 네이티브 기업과 신생 기업들을 직접 만나, 황이 말로 전한 것들을 눈으로 확인하게 하는 자리라고 말합니다. 그는 공급망과 파트너와 생태계에 기회를 알리는 데 직접적으로든 간접적으로든 많은 시간을 쓴다고 밝힙니다.

기조연설에 대한 설명도 덧붙입니다. 사람들은 그의 기조연설이 발표의 연속이라고 말하지만, 언제나 조금 고통스럽게 느껴지는 교육 같은 구간이 있다는 것입니다. 황은 그것이 정확히 의도한 바라고 말합니다. 공급망의 상류와 하류, 생태계 전체가 무엇이 다가오는지와 왜 오는지, 언제 오는지, 얼마나 클 것인지를 이해하고 자신과 같은 방식으로 체계적으로 따져 볼 수 있게 만들어야 한다는 것입니다.

모트라는 말로 돌아와, 황은 엔비디아가 미래를 위해 미리 지어 둘 수 있다는 점을 꼽습니다. 앞으로 몇 해의 사업 규모가 1조 달러라면 그만큼의 공급망을 이미 갖고 있다는 것입니다. 현금 흐름이 있듯이 공급망에도 흐름과 회전이 있는데, 거래 회전이 적은 아키텍처를 위해 공급망을 지어 줄 사람은 없습니다. 엔비디아가 그 규모를 지속할 수 있는 이유는 하류 수요가 그만큼 크고 상류가 그것을 보고 듣기 때문이라고 말합니다.

[관점] 구매 약정을 모트로 읽는 파텔의 해석은 재무적으로 양날입니다. 선구매 약정은 희소 부품을 경쟁자보다 먼저 묶어 두는 장치이면서, 수요가 꺾이는 국면에서는 되돌리기 어려운 고정 부담으로 남습니다. 1,000억 달러든 2,500억 달러든 이 숫자가 모트로 작동하는 조건은 하류 수요가 약정 기간 내내 유지된다는 것뿐입니다.

황의 답은 이 조건을 부정하지 않고 오히려 전면에 둡니다. 상류가 투자하는 이유가 하류 수요에 대한 믿음이라면, 하류 수요가 흔들릴 때 가장 먼저 멈추는 것도 상류의 투자입니다. 공급망 선점이라는 모트는 수요가 계속된다는 전제 위에서만 모트이고, 그 전제가 깨지는 순간 같은 구조가 반대 방향으로 작동합니다.

병목은 2-3년이면 풀린다

파텔은 상류가 따라올 수 있는지를 구체적으로 묻습니다. 엔비디아는 여러 해 동안 매출을 해마다 두 배로 키웠고, 세상에 공급하는 플롭스(FLOPS)는 해마다 세 배 이상으로 늘렸습니다. 황은 이 규모에서 두 배를 하는 것 자체가 대단한 일이라고 받습니다.

로직 쪽 숫자가 질문의 핵심입니다. 엔비디아는 TSMC N3 노드의 최대 고객이고 N2에서도 최대 고객 가운데 하나인데, 세미애널리시스에 따르면 올해 AI 전체가 N3의 60%를, 내년에는 86%를 차지합니다. 이미 과반인 쪽이 어떻게 두 배를 하고 그것을 해마다 반복하느냐는 것입니다. 상류 때문에 AI 컴퓨트 증가율이 꺾여야 하는 국면에 들어선 것인지, 해마다 팹을 두 배로 지을 길이 있는지 파텔은 묻습니다.

황은 먼저 수요가 공급을 넘는 상태 자체를 긍정합니다. 어느 순간이든 세계의 즉시 수요는 상류와 하류의 공급을 넘어서고, 때로는 배관공의 수가 한계가 되는 일도 실제로 벌어진다는 것입니다. 파텔이 배관공들을 내년 GTC에 초청하라고 농담하자 황은 좋은 생각이라고 받습니다. 그러나 그것은 좋은 조건이고, 산업의 즉시 수요가 산업 전체의 공급을 넘는 상태가 그 반대보다 낫습니다. 격차가 너무 벌어지고 특정 부품 하나가 너무 뒤처지면 산업이 그 지점에 떼로 몰려듭니다.

그 예로 황은 CoWoS를 듭니다. 이제 사람들이 CoWoS 이야기를 별로 하지 않는데, 2년 동안 산업이 그 지점에 몰려들어 몇 차례나 생산을 두 배씩 늘렸기 때문입니다. TSMC는 이제 CoWoS 공급이 로직 수요와 메모리 수요의 속도를 따라가야 한다는 것을 알고, CoWoS와 이후의 패키징 기술을 로직과 같은 수준으로 확장하고 있습니다. 오랫동안 CoWoS와 HBM은 특수 제품이었지만 이제는 그렇지 않고, 주류 컴퓨팅 기술로 인식되고 있다는 것입니다.

이제는 공급망의 더 넓은 범위에 영향을 줄 수 있게 되었다고 황은 말합니다. AI 혁명의 초기, 그가 지금 하는 이야기를 5년 전에도 하고 있었고 일부는 그것을 믿고 투자했습니다. 마이크론의 산자이(Sanjay)와 그의 팀이 그런 경우였고, 황은 무엇이 어떻게 왜 벌어질 것인지와 오늘의 예측을 분명히 말했던 그 회의를 아직 기억한다고 합니다. 두 회사는 LPDDR과 HBM에서 협력했고 마이크론은 그 방향에 크게 베팅했습니다. 뒤늦게 온 곳들도 있지만 이제는 모두 와 있다고 말합니다.

지금은 병목을 몇 해씩 앞질러 미리 처리합니다. 루멘텀(Lumentum)과 코히런트(Coherent), 실리콘 포토닉스 생태계에 지난 몇 년간 한 투자가 공급망의 모양을 다시 만들었다고 황은 말합니다. TSMC 주위에 공급망을 하나 세우고 COUPE에서 함께 일하며 여러 기술을 발명했고, 그 특허를 공급망에 라이선스해 생태계를 열어 두었습니다. 새로운 기술과 작업 흐름, 양면 프로빙 같은 새 검사 장비, 기업 투자와 증설 지원을 통해 공급망이 규모를 받칠 수 있게 미리 준비한다는 것입니다.

파텔이 CoWoS 증설과 다른 병목은 난이도가 다르지 않느냐고 묻자 황은 자신이 가장 어려운 쪽을 이미 짚었다고 답합니다. 배관공과 전기공입니다. 그리고 여기서 일의 종말과 일자리 소멸을 말하는 파멸론자(doomer)들에 대한 우려로 넘어갑니다. 사람들에게 소프트웨어 엔지니어가 되지 말라고 말리면 소프트웨어 엔지니어가 부족해진다는 것입니다. 10년 전에도 같은 예측이 있었고 일부는 무슨 일을 하든 방사선과 의사는 되지 말라고 했는데, 지금 부족한 직군이 바로 방사선과 의사라고 황은 말합니다.

파텔은 로직 생산을 해마다 두 배로 늘리는 방법으로 돌아옵니다. 메모리와 로직은 결국 극자외선(EUV) 노광장비에서 막히는데, EUV 장비를 해마다 두 배로 늘릴 수 있느냐는 것입니다. 황의 답은 그 어느 것도 빠르게 확장하기 불가능하지 않다는 것입니다. 2-3년 안에 전부 쉽게 할 수 있고 필요한 것은 수요 신호뿐입니다. 하나를 만들 수 있으면 열을 만들 수 있고 열을 만들 수 있으면 100만 개를 만들 수 있으니, 복제가 어려운 물건이 아니라는 것입니다.

공급망의 어디까지 내려가느냐는 질문에는 직접 가는 곳과 간접적으로 닿는 곳이 있다고 답합니다. TSMC를 설득하면 ASML은 설득된다는 것입니다. 중요한 것은 결정적인 조임목을 짚는 일이고, TSMC가 설득되면 몇 년 뒤에는 EUV 장비가 넉넉해진다고 봅니다.

젠슨이 걱정하는 것은 에너지다

그래서 황의 결론은 어떤 병목도 2-3년을 넘기지 않는다는 것입니다. 그 사이에 엔비디아는 컴퓨팅 효율을 10배, 20배씩 끌어올리고 있고, 호퍼(Hopper)에서 블랙웰(Blackwell)로 가는 구간에서는 30배에서 50배를 올렸습니다. 쿠다(CUDA)가 워낙 유연하기 때문에 새 알고리즘이 계속 나오고, 용량을 늘리는 것과 별개로 효율을 끌어올립니다. 그러니 상류의 병목은 그를 걱정시키지 않습니다. 그를 걱정시키는 것은 엔비디아의 하류, 특히 에너지를 막는 정책입니다.

에너지가 없으면 산업을 만들 수 없다고 황은 말합니다. 미국을 다시 산업화하고 반도체와 컴퓨터 제조와 패키징을 되돌리고, 전기차와 로봇 같은 새 물건을 만들고 AI 팩토리를 짓겠다면 그 어느 것도 에너지 없이는 지을 수 없습니다. 그리고 에너지는 오래 걸립니다. 반도체 용량은 2-3년 문제이고 CoWoS 용량도 2-3년 문제이지만, 에너지는 그렇지 않다는 것이 이 절의 결론입니다.

파텔은 다른 출연자들이 정확히 반대되는 이야기를 할 때도 있는데 자신에게는 판단할 기술적 지식이 없다고 털어놓습니다. 황은 지금 전문가와 이야기하고 있다는 점이 바로 그 아름다운 점이라고 받습니다.

[한국 관점] 이 절에서 한국 기업에 가장 직접적인 대목은 CoWoS와 HBM이 더 이상 특수 제품이 아니라 주류 컴퓨팅 기술이 되었다는 문장입니다. HBM이 특수 제품이던 시절의 가격 결정력은 공급이 희소하고 수요가 소수 고객에 집중되어 있다는 데서 나왔습니다. 주류가 된다는 것은 수요가 안정된다는 뜻이기도 하지만, 동시에 파운드리가 로직과 같은 비중으로 패키징 용량을 계획하고 메모리 업체가 설비를 범용 수준으로 증설한다는 뜻이기도 합니다.

황이 마이크론을 지목해 초기부터 베팅한 회사로 호명한 점도 함께 읽을 만합니다. 같은 사슬에 있는 한국 메모리 두 회사는 이 대담에서 공급처로만 언급되고, 초기 위험을 함께 진 파트너로는 호명되지 않습니다. 선행 투자 시점의 선택이 이후 서사에서 어떤 자리를 차지하는지를 보여 주는 대목입니다.

TPU가 엔비디아의 연산 지배를 깨뜨릴까

엔비디아가 만든 것은 가속 컴퓨팅이다

파텔은 경쟁자 이야기로 넘어갑니다. TPU를 보면 세계 상위 세 개 모델 가운데 둘, 즉 클로드(Claude)와 제미나이(Gemini)가 TPU에서 학습되었다고 볼 수 있는데 이것이 앞으로 엔비디아에 무엇을 뜻하느냐는 질문입니다.

황은 엔비디아가 만든 것은 전혀 다른 물건이라고 답합니다. 엔비디아가 만든 것은 가속 컴퓨팅이고 텐서 처리장치가 아니라는 것입니다. 가속 컴퓨팅은 분자동역학과 양자색역학, 데이터 처리와 데이터프레임, 구조화된 데이터와 비구조화된 데이터에 쓰이고 유체역학과 입자물리에도 쓰입니다. 그 위에 AI가 하나 더 얹혀 있을 뿐입니다.

가속 컴퓨팅이 훨씬 다양하다는 것이 황의 요지입니다. 오늘의 화제는 AI이고 AI가 중요하고 영향력이 크다는 것은 분명하지만, 컴퓨팅은 그보다 훨씬 넓습니다. 엔비디아는 범용 컴퓨팅에서 가속 컴퓨팅으로 컴퓨팅하는 방식 자체를 다시 발명했고, 시장 도달 범위는 어떤 TPU나 ASIC도 가질 수 없는 수준이라고 말합니다. 모든 종류의 애플리케이션을 가속하는 회사는 엔비디아뿐이고, 거대한 생태계가 있어 온갖 프레임워크와 알고리즘이 엔비디아 위에서 돌아간다는 것입니다.

황이 특히 강조하는 것은 운영 주체입니다. 엔비디아의 컴퓨터는 다른 사람이 운영하도록 설계되어 있어서, 운영자이기만 하면 누구든 이 시스템을 살 수 있습니다. 반면 자체 제작 시스템 대부분은 스스로 운영자가 되어야 하는데, 다른 사람이 운영할 수 있을 만큼 유연하게 설계된 적이 없기 때문입니다. 그래서 엔비디아는 구글과 아마존, 애저(Azure), 오라클 클라우드 인프라스트럭처(OCI)를 포함한 모든 클라우드에 들어가 있다고 말합니다.

빌려주려고 운영한다면 여러 산업에 걸쳐 수요를 받아 줄 인수처(offtaker)가 많아야 합니다. 직접 쓰려고 운영한다면 엔비디아가 그것도 돕는데, 일론 머스크(Elon Musk)의 xAI가 그런 경우였습니다. 어느 회사 어느 산업에서든 운영자를 만들어 줄 수 있으므로, 과학 연구와 신약 개발을 위한 슈퍼컴퓨터를 짓는 데도 쓸 수 있습니다. 일라이 릴리(Eli Lilly)가 자기 슈퍼컴퓨터를 운영하면서 신약 개발과 생물과학 전반에 쓰도록 돕는 식입니다.

TPU로는 할 수 없는 애플리케이션이 많다고 황은 말합니다. 엔비디아는 쿠다를 훌륭한 텐서 처리장치로도 쓸 수 있게 만들었지만, 쿠다는 데이터 처리와 컴퓨팅과 AI의 전 생애주기를 함께 다룹니다. 시장 기회가 더 크고 도달 범위가 더 넓습니다. 이제 세상의 모든 애플리케이션을 지원하므로, 어디에 엔비디아 시스템을 지어도 그것을 쓸 고객이 있다는 것을 알 수 있다는 것입니다.

행렬 곱셈만으로는 부족하다

파텔은 길게 반론을 세웁니다. 엔비디아의 매출은 대단하지만 분기 600억 달러를 제약과 양자에서 벌고 있는 것이 아니라, AI가 전례 없는 속도로 커지는 전례 없는 기술이기 때문에 벌고 있다는 것입니다. 그렇다면 질문은 AI에 한정해서 무엇이 최선이냐가 됩니다. 파텔은 자신이 세부까지는 모른다고 전제하면서 AI 연구자 친구들의 말을 전합니다. TPU는 행렬 곱셈에 딱 맞는 커다란 시스톨릭 배열이고, 반면 GPU는 분기가 많거나 메모리 접근이 불규칙할 때 좋은 매우 유연한 장치라는 것입니다.

그런데 AI는 무엇이냐고 파텔은 되묻습니다. 예측 가능한 행렬 곱셈을 계속 반복하는 일입니다. 워프 스케줄러나 스레드와 메모리 뱅크 사이를 오가는 전환 회로에 다이 면적을 내줄 필요가 없고, TPU는 지금 올라오는 컴퓨트 수요와 매출 증가의 대부분에 맞춰 최적화되어 있다는 것입니다.

황의 답은 행렬 곱셈이 AI의 중요한 일부이지만 전부는 아니라는 것입니다. 새로운 어텐션 메커니즘(attention mechanism)을 만들거나 연산을 다른 방식으로 분해 배치하거나, 하이브리드 상태공간 모델(hybrid SSM)처럼 아예 새로운 종류의 아키텍처를 발명하려면 범용으로 프로그래밍할 수 있는 아키텍처가 필요합니다. 확산(diffusion)과 자기회귀(autoregressive) 기법을 융합한 모델을 만들려 할 때도 마찬가지입니다. 엔비디아는 상상할 수 있는 모든 것을 돌리고 그것이 이점이라고 말합니다. 프로그래밍할 수 있는 시스템이기 때문에 새 알고리즘을 발명하기가 훨씬 쉽다는 것입니다.

AI가 이렇게 빨리 나아가게 만드는 것은 결국 새 알고리즘을 발명하는 능력이라고 황은 말합니다. TPU도 다른 모든 것처럼 무어의 법칙(Moore’s law)의 영향을 받는데, 그 법칙이 주는 개선은 연 25% 정도입니다. 10배나 100배의 도약을 얻는 유일한 길은 해마다 알고리즘과 그 계산 방식을 근본적으로 바꾸는 것이라는 것입니다.

그것이 엔비디아의 근본적 우위라고 황은 말합니다. 호퍼에서 블랙웰로 50배를 낼 수 있었던 이유도 거기에 있습니다. 블랙웰이 호퍼보다 에너지 효율이 35배 좋아진다고 처음 발표했을 때 아무도 믿지 않았는데, 그 뒤 딜런(Dylan)이 황이 일부러 수치를 낮춰 말했고 실제로는 50배라는 글을 썼습니다. 무어의 법칙만으로는 합리적으로 낼 수 없는 숫자입니다. 그 문제를 푼 방식은 전문가 혼합(MoE)처럼 병렬화되고 분해 배치되어 컴퓨팅 시스템 전체에 분산되는 새 모델이었고, 쿠다로 밑바닥까지 내려가 새 커널을 짜는 능력 없이는 하기 어려운 일이었다고 말합니다.

여기에 엔비디아가 극단적 공동설계(co-design) 회사라는 점이 더해집니다. 연산의 일부를 NVLink 같은 패브릭 자체로 내려보내거나 Spectrum-X로 네트워크에 밀어 넣을 수도 있습니다. 프로세서와 시스템, 패브릭, 라이브러리, 알고리즘을 동시에 바꿀 수 있다는 것입니다. 쿠다가 없으면 어디서 시작해야 할지조차 모르겠다고 황은 말합니다.

해설 시스톨릭 배열은 곱셈과 덧셈을 하는 연산기를 격자로 붙여 놓고 데이터를 한 방향으로 흘려보내는 구조입니다. 같은 모양의 연산을 끝없이 반복할 때는 제어 회로가 거의 필요하지 않아 다이 면적을 전부 연산기에 쓸 수 있고, 그래서 행렬 곱셈만 놓고 보면 범용 GPU보다 효율이 높습니다. 파텔이 말한 워프 스케줄러는 GPU가 수많은 스레드의 실행 순서를 조절하려고 두는 회로이고, 이런 유연성 장치가 차지하는 면적은 TPU에 없는 부담입니다.

황의 반박은 그 효율이 연산의 모양이 고정되어 있을 때만 성립한다는 쪽입니다. 어텐션 구조나 모델 구조 자체가 해마다 바뀐다면, 고정된 연산에 맞춘 효율보다 바꿀 수 있는 유연성이 더 큰 차이를 만든다는 것입니다.

본문의 딜런은 반도체 분석 매체 세미애널리시스를 창업한 딜런 파텔(Dylan Patel)이며, 진행자 드와케시 파텔과는 다른 인물입니다. 뒤에 나오는 InferenceMAX는 이 매체가 공개한 추론 성능·비용 벤치마크이고, MLPerf는 업계 컨소시엄이 운영하는 공개 성능 벤치마크입니다.

쿠다의 가치는 생태계와 설치 기반에 있다

파텔은 고객 구성을 짚습니다. 엔비디아 매출의 60%가 대형 하이퍼스케일러 다섯 곳에서 나옵니다. 실험을 돌리는 교수들이 고객이던 시절이라면 그들에게는 쿠다가 필요했고 다른 가속기를 쓸 수 없었으며, 파이토치(PyTorch)를 쿠다 위에서 돌리면서 모든 것이 최적화되어 있기만 하면 됐습니다. 그런데 하이퍼스케일러는 자기 커널을 직접 짤 자원이 있고, 자기 아키텍처에 필요한 마지막 5%의 성능을 얻으려면 실제로 짜야 합니다.

파텔은 사례를 듭니다. 앤트로픽(Anthropic)과 구글은 대체로 자체 가속기나 TPU와 트레이니엄(Trainium)을 돌리고 있습니다. GPU를 쓰는 오픈AI(OpenAI)조차 자기 커널이 필요해 트라이튼(Triton)을 갖고 있고, CUDA C++까지 내려가 cuBLAS와 NCCL 대신 다른 가속기로도 컴파일되는 자체 스택을 갖추고 있습니다. 고객 대부분이 쿠다의 대체물을 만들 수 있고 실제로 만들고 있다면, 쿠다가 프런티어 AI를 엔비디아 위에서 일어나게 만드는 요인이라고 어디까지 말할 수 있느냐는 질문입니다.

황은 쿠다가 풍부한 생태계라는 점부터 꺼냅니다. 어떤 컴퓨터 위에 짓든 쿠다 위에 먼저 짓는 것은 대단히 영리한 선택이라는 것입니다. 생태계가 풍부해서 모든 프레임워크를 지원하고, 맞춤 커널을 만들려 한다면 엔비디아는 트라이튼에도 엄청나게 기여하고 있어 트라이튼의 백엔드에는 엔비디아 기술이 대량으로 들어가 있습니다. 모든 프레임워크가 가능한 한 좋아지도록 돕는 것이 기쁘다고 말합니다. 트라이튼과 vLLM, SGLang이 있고 verl이나 NeMo RL 같은 새 강화학습 프레임워크가 쏟아져 나오면서 사후학습(post-training)과 강화학습 영역이 폭발하고 있는데, 아키텍처 위에 지을 것이라면 생태계가 좋은 쿠다가 가장 합리적이라는 것입니다.

두 번째 논거는 신뢰입니다. 문제가 생겼을 때 그 문제는 아래에 깔린 산더미 같은 코드보다 당신의 코드에 있을 가능성이 높다는 것입니다. 이런 시스템을 지을 때 상대하는 코드의 양을 생각해 보라고 황은 말합니다. 무언가 작동하지 않을 때 그것이 나 때문인지 컴퓨터 때문인지 알 수 없다면 곤란하고, 사람은 그것이 언제나 자기 탓이기를 바라며 컴퓨터는 믿을 수 있기를 바랍니다. 엔비디아에도 버그가 많지만 시스템이 충분히 길들여져 있어 최소한 그 토대 위에 지을 수 있다는 것입니다.

세 번째는 설치 기반(install base)입니다. 개발자에게 가장 중요한 것은 자기가 쓴 소프트웨어가 수많은 다른 컴퓨터에서 돌아가는 것입니다. 자기만을 위해 소프트웨어를 짓는 사람은 없고, 자기 함대나 다른 모든 사람의 함대를 위해 짓습니다. 엔비디아의 쿠다 생태계는 결국 이 회사의 가장 큰 보물이라고 황은 말합니다.

숫자로 보면 세상에 나가 있는 GPU가 수억 개입니다. 모든 클라우드에 있고 A10과 A100, H100, H200, L 시리즈, P 시리즈까지 온갖 크기와 모양으로 깔려 있습니다. 로봇 회사라면 그 쿠다 스택이 로봇 안에서 돌아가기를 원하는데, 엔비디아는 말 그대로 모든 곳에 있습니다. 설치 기반이 있다는 것은 소프트웨어나 모델을 한 번 만들면 어디서나 유용하다는 뜻입니다.

마지막 근거는 모든 클라우드에 들어가 있다는 점입니다. AI 회사나 개발자라면 어느 클라우드 서비스 제공사와 손잡을지, 어디서 돌리고 싶은지 아직 확실하지 않습니다. 엔비디아는 어디서나 돌아가고 원한다면 온프레미스에서도 돌아갑니다. 생태계의 풍부함과 설치 기반의 넓이, 어디에나 있다는 다용도성이 합쳐져 쿠다를 대체 불가능하게 만든다는 것입니다.

70% 마진은 유지될 수 있는가

파텔의 다음 질문은 마진입니다. 그 이점들이 주요 고객에게 과연 크게 중요하냐는 것입니다. 자기 소프트웨어 스택을 직접 지을 수 있는 쪽이 매출의 대부분을 차지하는데, 검증 고리가 촘촘해서 강화학습을 걸 수 있는 일에서 AI가 특히 좋아지는 세계로 간다면 더 그렇습니다. 스케일업 전체에 걸쳐 어텐션이나 다층 퍼셉트론(MLP)을 가장 효율적으로 돌리는 커널을 어떻게 짜느냐는 문제는 바로 그런 검증 가능한 피드백 고리라는 것입니다.

그렇다면 하이퍼스케일러 전부가 자기 맞춤 커널을 짤 수 있느냐고 파텔은 묻습니다. 엔비디아의 가격 대비 성능이 여전히 훌륭하니 그들은 그래도 엔비디아를 선호할 수 있습니다. 그러나 그다음 질문은 결국 같은 돈으로 누가 최고의 사양과 플롭스와 메모리 대역폭을 주느냐로 좁혀지는 것이 아니냐는 것입니다. 역사적으로 엔비디아는 쿠다라는 모트 덕분에 하드웨어와 소프트웨어를 합쳐 AI 전체에서 가장 높은 70% 넘는 마진을 누려 왔는데, 고객 대부분이 직접 만들 여력이 있다면 그 마진을 지킬 수 있느냐는 물음입니다.

황의 첫 답은 인력입니다. AI 연구소들에 붙여 놓은 엔지니어의 수가 말이 안 되는 규모이고, 그들이 연구소와 함께 일하며 스택을 최적화한다는 것입니다. 그 이유는 엔비디아의 아키텍처를 엔비디아보다 잘 아는 곳이 없기 때문입니다. 이 아키텍처들은 CPU만큼 범용적이지 않습니다. CPU는 캐딜락(Cadillac) 같아서 좋은 크루저이고 너무 빨리 달리는 일이 없으며 누구나 잘 몰고 크루즈컨트롤이 있어 모든 것이 쉽습니다.

반면 엔비디아의 GPU와 가속기는 여러 면에서 F1 경주차 같다고 황은 말합니다. 누구나 시속 100마일로는 몰 수 있겠지만, 한계까지 밀어붙이려면 상당한 전문성이 필요합니다. 엔비디아는 자기 커널을 만드는 데도 AI를 대량으로 씁니다. 그래서 앞으로 한동안은 엔비디아가 계속 필요할 것이라고 확신한다는 것입니다.

효과는 숫자로 제시됩니다. 엔비디아의 전문성은 AI 연구소 파트너들이 자기 스택에서 2배를 더 뽑아내도록 어렵지 않게 돕고, 스택이나 특정 커널 최적화를 끝냈을 때 모델이 3배나 2배, 또는 50% 빨라지는 일이 드물지 않습니다. 보유한 호퍼와 블랙웰 전체 함대를 생각하면 엄청난 숫자입니다. 속도를 두 배로 올리면 그것이 곧 매출을 두 배로 올린다는 것입니다.

그다음은 비용입니다. 엔비디아의 컴퓨팅 스택은 세계에서 비교 불가능하게 총소유비용(TCO) 대비 성능이 가장 좋다고 황은 말합니다. 오늘 세계의 어떤 단일 플랫폼도 더 나은 성능 대비 TCO 비율을 자신에게 입증해 보이지 못했고 단 한 회사도 없다는 것입니다. 벤치마크는 공개되어 있습니다. 딜런의 InferenceMAX가 누구나 쓸 수 있게 놓여 있는데 TPU도 트레이니엄도 오지 않는다고 말합니다.

황은 그들에게 InferenceMAX를 써서 그 놀라운 추론 비용을 입증해 보라고 권합니다. 그것은 어렵고, 아무도 나타나려 하지 않습니다. MLPerf도 있습니다. 트레이니엄이 늘 주장하는 40%를 입증해 보이면 환영하고, TPU의 비용 우위를 입증하는 이야기를 듣고 싶다는 것입니다. 황이 보기에 그 주장은 전혀 말이 되지 않고, 제1원리에서 봐도 전혀 말이 되지 않습니다.

그래서 성공의 이유는 단순히 TCO가 뛰어나기 때문이라고 황은 말합니다. 그리고 고객 구성에 대한 파텔의 숫자를 다시 해석합니다. 상위 다섯 곳이 매출의 60%라고 해도 그 사업 대부분은 외부 고객용이라는 것입니다. 아마존웹서비스(AWS) 안의 엔비디아 대부분은 내부용이 아니라 외부 고객용이고, 애저의 고객도 전부 외부이며 OCI의 고객도 전부 외부입니다. 그들이 엔비디아를 선호하는 이유는 엔비디아의 도달 범위가 넓어서 세상의 좋은 고객을 모두 데려다줄 수 있기 때문이라고 말합니다.

그래서 황이 말하는 플라이휠은 설치 기반과 아키텍처의 프로그래밍 가능성, 생태계의 풍부함, 그리고 세상에 AI 회사가 수만 곳이나 있다는 사실로 이루어집니다. 그런 신생 AI 기업이라면 어떤 아키텍처를 고를지 생각해 보라고 말합니다. 가장 많이 깔려 있고 설치 기반이 가장 크고 생태계가 풍부한 것을 고르게 되며, 세 가지 모두 엔비디아라는 것입니다.

플라이휠이 도는 이유는 세 갈래로 정리됩니다. 달러당 성능이 뛰어나 고객이 가장 싼 토큰을 갖게 되는 것이 첫째입니다. 와트당 성능이 세계에서 가장 높은 것이 둘째인데, 파트너가 1기가와트 데이터센터를 지었다면 그 데이터센터가 최대의 매출과 최대의 토큰을 내야 하고 토큰 수는 곧 매출이기 때문입니다. 인프라를 빌려주는 것이 목표라면 고객이 가장 많은 쪽이 유리하다는 것이 셋째입니다.

[관점] 마진 논쟁에서 황이 내놓은 산수는 한 단계를 건너뜁니다. 엔비디아의 70%는 가속기와 시스템 전체 매출에 붙는 매출총이익률이고, 주문형 반도체 설계를 맡는 쪽의 65%는 그 설계 용역과 자사 칩 부분에 붙는 비율입니다. 두 숫자는 같은 분모 위에 있지 않으므로 65 대 70으로 나란히 놓으면 절감폭이 사라져 보입니다.

자체 가속기를 택하는 쪽의 계산은 보통 시스템 단위 총비용입니다. 설계 파트너에게 높은 마진을 주더라도 메모리와 패키징, 보드와 네트워크를 직접 조달하면 완제품 단가가 내려갈 수 있고, 여기에 공급 확보와 협상력이라는 비가격 요인이 더해집니다. 황의 반론 가운데 더 단단한 쪽은 마진 산수가 아니라 취소된 주문형 반도체 프로젝트의 수와 해마다 큰 도약을 내놓는 개발 속도입니다.

앤트로픽은 추세가 아니라 단일 사례다

파텔은 시장 구조를 묻습니다. 다른 회사들이 있다 해도, 수만 곳의 AI 회사가 컴퓨트를 비슷하게 나눠 갖는 세계가 있을 수 있었지만 현실은 다르다는 것입니다. 하이퍼스케일러 다섯 곳을 통해서도 결국 아마존에서 컴퓨트를 쓰는 주체는 앤트로픽과 오픈AI 같은 대형 기초모델 연구소이고, 이들은 다른 가속기를 작동하게 만들 여력과 능력을 스스로 갖고 있습니다.

황은 전제가 틀렸다고 바로 끊습니다. 파텔이 조금 다른 질문을 하겠다고 물러서자, 황은 돌아와서 그 전제를 자신이 고치게 만들라고 요구합니다. AI와 과학의 미래, 산업의 미래에 너무 중요한 문제라는 것입니다. 이 대목에서 두 사람은 질문의 순서를 두고 짧게 밀고 당깁니다.

파텔의 질문은 이것입니다. 가격과 성능과 와트당 성능에 대한 그 모든 이야기가 사실이라면, 왜 앤트로픽은 며칠 전에 브로드컴(Broadcom)과 구글을 상대로 자기 컴퓨트의 다수를 TPU로 채우는 수 기가와트 규모 계약을 발표했느냐는 것입니다. 구글에게 TPU가 컴퓨트의 다수인 것은 당연합니다. 대형 AI 회사들을 보면 한때는 전부 엔비디아였는데 지금은 그렇지 않은데, 종이 위의 수치가 그렇다면 왜 다른 가속기로 가느냐는 물음입니다.

황의 답은 단호합니다. 앤트로픽은 추세가 아니라 단일 사례라는 것입니다. 앤트로픽이 없었다면 TPU 성장이 왜 있었겠느냐고 되묻습니다. 그것은 100% 앤트로픽이고 트레이니엄 성장도 100% 앤트로픽입니다. 주문형 반도체 기회가 넘쳐나는 것이 아니라 앤트로픽이 하나뿐이라는 것입니다.

파텔은 오픈AI의 어드밴스트 마이크로 디바이시스(AMD) 계약과 자체 타이탄(Titan) 가속기 개발을 듭니다. 황은 그래도 오픈AI가 압도적으로 엔비디아라는 점은 모두 인정할 수 있다고 답합니다. 앞으로도 함께 많은 일을 할 것이고, 남들이 다른 것을 써 보고 시도하는 데 기분이 상하지는 않는다고 말합니다. 그런 시도를 해 보지 않으면 엔비디아의 것이 얼마나 좋은지 어떻게 알겠느냐는 것입니다. 때로는 그것을 상기할 필요가 있고, 엔비디아는 지금의 위치를 계속 새로 벌어야 한다고 말합니다.

큰 주장은 늘 있다고 황은 덧붙입니다. 취소된 주문형 반도체 프로젝트의 수를 보라는 것입니다. 주문형 반도체를 만들겠다고 해서 되는 일이 아니고 엔비디아보다 나은 것을 만들어야 하는데, 그것이 쉽지 않고 사실 합리적이지도 않습니다. 엔비디아가 뭔가 심각하게 놓치고 있어야 가능한 일이라는 것입니다. 규모와 속도 때문에 해마다 큰 도약을 내놓는 회사는 세계에서 엔비디아뿐이라고 말합니다.

파텔은 상대편 논리를 대신 말합니다. 더 나을 필요는 없고 70%보다 더 나쁘지만 않으면 된다는 것인데, 엔비디아에 70% 마진을 지불하고 있기 때문입니다. 황은 주문형 반도체의 마진도 상당히 높다고 반박합니다. 엔비디아의 마진이 70%라면 주문형 반도체의 마진은 65%인데 실제로 무엇을 절약하느냐는 것입니다. 파텔이 브로드컴 같은 쪽을 말하는 것이냐고 묻자 황은 누군가에게는 돈을 줘야 한다고 답하고, 자신이 보기에 주문형 반도체 마진은 대단히 좋으며 그쪽도 그렇게 믿고 그 마진을 꽤 자랑스러워한다고 말합니다.

투자하지 못한 것이 자신의 실수였다

그래서 왜 앤트로픽이 다른 곳으로 갔느냐는 질문에 황은 과거를 인정하는 답을 내놓습니다. 오래전에는 엔비디아에 그렇게 할 능력이 없었다는 것입니다. 당시 그는 오픈AI나 앤트로픽 같은 기초모델 연구소를 만드는 일이 얼마나 어려운지, 그리고 그들이 공급자 자신으로부터 거대한 투자를 받아야 했다는 사실을 깊이 내재화하지 못했습니다. 앤트로픽이 엔비디아의 컴퓨트를 쓸 수 있게 하려고 수십억 달러 규모 투자를 집행할 위치에 엔비디아는 없었습니다. 구글과 아마존웹서비스는 그 위치에 있었고, 초기에 거대한 투자를 넣어 앤트로픽이 그 대가로 자기들 컴퓨트를 쓰게 만들었습니다.

황은 자신의 실수를 분명히 말합니다. 그들에게 정말로 다른 선택지가 없었다는 것, 그리고 벤처캐피털이 앤트로픽이 되기를 바라며 AI 연구소에 50억-100억 달러를 넣는 일은 절대 없다는 것을 깊이 내재화하지 못한 것이 자신의 미스였다는 것입니다. 다만 이해했다 해도 당시 엔비디아가 그럴 위치에 있었을 것이라고는 생각하지 않습니다. 그리고 같은 실수를 다시 하지는 않겠다고 말합니다.

지금은 다릅니다. 황은 오픈AI에 투자하는 것이 기쁘고 그들이 규모를 키우도록 돕는 것이 기쁘며, 그렇게 하는 것이 필수적이라고 믿습니다. 가능해진 뒤 앤트로픽이 찾아왔을 때도 투자자가 되는 것이 기뻤고 규모를 키우도록 돕는 것이 기뻤다고 말합니다. 모든 것을 되돌릴 수 있고 당시 엔비디아가 지금만큼 컸다면 그 일을 하는 데 더없이 기뻤을 것이라는 것입니다.

[이해관계] 앤트로픽이 추세가 아니라 단일 사례라는 명제는 이 대담에서 황이 가장 강하게 밀어붙이는 주장이고, 동시에 엔비디아의 사업과 가장 직접 연결되는 주장입니다. TPU와 트레이니엄의 성장이 한 고객에게서 나온 것이라면 주문형 반도체는 시장 구조의 변화가 아니라 예외가 되고, 엔비디아의 마진 전망에 미치는 함의도 전혀 달라집니다. 같은 사실관계가 추세로 읽히면 가속기 시장의 경쟁 구도 자체가 재평가 대상이 됩니다.

투자 대목도 같은 맥락에서 읽을 필요가 있습니다. 황은 오픈AI와 앤트로픽 양쪽의 투자자이고, 자신이 투자하지 못한 시기를 실수로 규정하는 것은 앞으로도 모델 회사에 대한 대규모 투자를 계속하겠다는 예고이기도 합니다. 공급자가 고객의 지분을 갖는 구조는 수요의 안정성을 높이지만, 그 수요 가운데 자기 투자로 만들어진 부분을 얼마로 볼지는 보는 쪽에 따라 달라집니다.

엔비디아는 왜 하이퍼스케일러가 되지 않는가

할 수 있게 된 즉시 했다

파텔은 투자 이야기로 넘어갑니다. 여러 해 동안 엔비디아는 AI에서 돈을 버는 회사였고 이제 그 돈을 투자하고 있습니다. 보도에 따르면 오픈AI에 300억 달러, 앤트로픽에 100억 달러까지 넣었습니다. 그런데 이 회사들의 가치는 이미 올랐고 앞으로도 오를 것입니다.

파텔이 묻는 것은 시점입니다. 여러 해 동안 그들에게 컴퓨트를 주면서 어디로 가는지 보고 있었고, 몇 년 전만 해도 그들의 가치는 지금의 10분의 1이었으며 어떤 경우에는 1년 전만 해도 그랬습니다. 현금은 충분히 있었습니다. 엔비디아가 직접 기초모델 회사가 되거나, 거대한 투자로 그것을 가능하게 하거나, 지금 한 거래를 훨씬 낮은 밸류에이션에 할 수 있었던 세계가 있었다는 것입니다. 왜 더 일찍 하지 않았느냐는 질문입니다.

황은 할 수 있게 된 즉시 했다고 답합니다. 할 수 있었다면 더 일찍 했을 것이라는 말을 두 번 반복합니다. 앤트로픽이 엔비디아에 그것을 필요로 했던 시점에 엔비디아는 그럴 위치에 없었고, 그런 일이 회사의 사고방식 안에 없었다는 것입니다.

현금 문제였냐는 물음에 황은 투자 규모 때문이었다고 답합니다. 당시 엔비디아는 회사 밖에 투자해 본 적이 없었고 그만한 금액을 다뤄 본 적도 없었습니다. 그럴 필요가 있다는 것조차 몰랐습니다. 그들도 다른 모든 회사처럼 벤처캐피털에서 조달하면 된다고 생각했는데, 그들이 하려던 일은 벤처캐피털을 통해서는 할 수 없는 일이었습니다. 오픈AI가 하려던 일도 그랬고, 지금은 그것을 알지만 당시에는 몰랐다고 말합니다.

황은 그것이 그들의 천재성이라고 덧붙입니다. 그 시점에 그런 일을 해야 한다는 것을 알아차린 것이 그들이 영리한 이유라는 것입니다. 그리고 그들이 그렇게 한 것이 기쁘다고 말합니다. 엔비디아 때문에 앤트로픽이 다른 곳으로 가야 했지만 그 일이 벌어진 것 자체는 여전히 기쁘고, 앤트로픽의 존재는 세상에 좋은 일이라는 것입니다. 파텔이 그래도 분기마다 돈은 더 많이 벌고 있지 않느냐고 하자, 황은 그래도 후회를 품는 것은 괜찮다고 답합니다.

필요한 만큼만, 가능한 한 적게

파텔은 그렇다면 그 돈으로 무엇을 해야 하느냐고 묻습니다. 한 가지 답은 중개 생태계입니다. 연구소들이 컴퓨트를 빌려 쓸 수 있도록 자본적 지출(CapEx)을 운영비용(OpEx)으로 바꿔 주는 생태계가 생겨났습니다. 칩은 비싸지만 AI 모델이 좋아지면서 수명 동안 많은 돈을 벌어들이고 그 칩이 만드는 토큰의 가치도 올라가는데, 초기 구축 비용이 크다는 것입니다. 엔비디아는 그 자본적 지출을 감당할 돈이 있고, 보도에 따르면 코어위브(CoreWeave)에 63억 달러까지 보증을 서고 20억 달러를 투자했습니다.

그러니 엔비디아가 직접 클라우드가 되지 않는 이유가 무엇이냐는 질문입니다. 하이퍼스케일러가 되어 그 컴퓨트를 직접 빌려주면 되지 않느냐는 것입니다.

해설 파텔이 말한 중개 생태계는 가속기를 사는 데 드는 자본적 지출을 대신 지고, 모델 회사에는 시간 단위 사용료라는 운영비용으로 바꿔 파는 사업입니다. 코어위브와 뒤에 나오는 크루소, 람다처럼 AI 전용으로 세워진 이런 사업자를 네오클라우드라고 부릅니다. 대형 하이퍼스케일러와 달리 자체 현금흐름이 얇아서 장비 조달에 외부 자금이 필요하고, 그 자금을 대는 쪽에 엔비디아가 들어가 있다는 것이 파텔의 지적입니다.

보증, 즉 백스톱은 이 구조에서 가장 민감한 부분입니다. 엔비디아가 코어위브의 매출이나 임대 물량을 일정 금액까지 뒤에서 받쳐 준다는 뜻이고, 사업자가 빌린 돈을 갚을 수 있다는 신용의 근거가 사실상 엔비디아의 재무제표가 됩니다. 장비를 파는 쪽이 그 장비를 사는 쪽의 신용을 보강한다는 점에서 일반적인 판매와 성격이 다릅니다.

뒤에 나오는 래리는 오라클(Oracle)의 래리 엘리슨(Larry Ellison)입니다. 엘리슨이 2024년 9월 실적설명회에서 팰로앨토의 한 식당에서 황과 머스크와 저녁을 먹으며 GPU를 간청했다고 말한 것이 여러 매체에 보도되면서 일화가 퍼졌고, 황은 이 대담에서 간청은 없었다며 그 묘사를 부인합니다.

황은 그것이 회사의 철학이고 현명한 철학이라고 답합니다. 필요한 만큼은 하고 가능한 한 적게 한다는 것입니다. 컴퓨팅 플랫폼을 짓는 일은 엔비디아가 하지 않으면 정말로 아무도 하지 않는다고 믿습니다. 엔비디아가 감수한 위험을 감수하지 않았다면, NVLink를 지금의 방식으로 짓지 않았다면, 스택 전체를 짓지 않았다면, 생태계를 그렇게 만들지 않았다면, 대부분의 기간 손실을 보면서도 20년을 쿠다에 바치지 않았다면 아무도 그 일을 하지 않았을 것이라는 것입니다.

도메인 특화 라이브러리도 같은 예입니다. 15년쯤 전에 엔비디아는 CUDA-X 라이브러리들을 도메인별로 만드는 방향으로 밀고 들어갔는데, 자신들이 만들지 않으면 아무도 만들지 않는다는 것을 알았기 때문입니다. 레이 트레이싱이든 이미지 생성이든 AI의 초기 작업이든, 데이터 처리와 구조화된 데이터 처리와 벡터 데이터 처리든 마찬가지였습니다. 계산 리소그래피(computational lithography)를 위해 만든 cuLitho도 엔비디아가 만들지 않았다면 아무도 만들지 않았을 것이라고 말합니다. 그가 완전히 확신하는 대목이고, 그래서 엔비디아가 한 일을 하지 않았다면 가속 컴퓨팅은 지금처럼 나아가지 못했을 것이라는 결론입니다.

그러니 그 일은 엔비디아가 해야 하고 회사의 모든 힘을 다해 거기에 헌신해야 합니다. 그러나 세상에는 클라우드가 많습니다. 엔비디아가 하지 않아도 누군가 나타나는 일이라면 하지 않는다는 것입니다. 필요한 만큼은 하고 가능한 한 적게 한다는 조리법을 따를 때 클라우드는 후자에 속합니다. 황은 자신이 하는 모든 일을 그 렌즈로 본다고 말합니다.

클라우드에서 엔비디아가 한 일은 지원이었습니다. 엔비디아가 코어위브의 존재를 받쳐 주지 않았다면 이 네오클라우드, 즉 AI 클라우드들은 존재하지 않았을 것이라고 말합니다. 엔스케일(Nscale)을 지원하지 않았다면 지금의 자리에 없었을 것이고, 네비우스(Nebius)도 지금의 모습이 아니었을 것입니다. 그리고 지금 그들은 아주 잘하고 있습니다.

생태계에 투자하는 이유는 생태계가 번성하기를 원하기 때문이라고 황은 말합니다. 아키텍처와 AI가 가능한 한 많은 산업, 가능한 한 많은 국가와 연결되기를 바라고, 지구 전체가 AI 위에 그리고 미국 기술 스택 위에 지어지는 것을 가능하게 만들고 싶다는 것입니다. 그 비전이 엔비디아가 추구하는 것이라고 말합니다.

승자를 고르지 않는다

훌륭한 기초모델 회사가 워낙 많아서 엔비디아는 그들 모두에 투자하려 한다고 황은 말합니다. 승자를 고르지 않고 모두를 지원해야 한다는 것입니다. 사업에 반드시 필요한 일이면서 동시에 즐거움의 일부이기도 합니다. 그래서 일부러 승자를 고르지 않으려 애쓰고, 한 곳에 투자할 때는 모두에 투자한다고 말합니다.

파텔은 왜 일부러 승자를 고르지 않으려 하는지 묻습니다. 첫째 이유는 그것이 엔비디아의 일이 아니기 때문입니다. 둘째 이유로 황은 자기 회사의 창업기를 듭니다. 엔비디아가 처음 시작했을 때 3D 그래픽 회사가 60곳 있었고 살아남은 것은 엔비디아뿐입니다. 그 60곳을 놓고 어느 곳이 해낼지 물었다면, 엔비디아는 해내지 못할 쪽 명단의 맨 위에 있었을 것이라는 것입니다.

이유는 아키텍처였습니다. 엔비디아의 그래픽 아키텍처는 조금 틀린 것이 아니라 정확하게 틀려 있었다고 황은 말합니다. 개발자가 지원하기 불가능한 아키텍처를 만들었고 성공할 수 없는 구조였습니다. 좋은 제1원리에서 출발해 추론했는데 결론은 틀린 해법이었습니다. 누구라도 엔비디아를 탈락시켰을 것인데 지금 여기에 있다는 것입니다.

그래서 자신에게는 그것을 인정할 만큼의 겸손이 있다고 말합니다. 승자를 고르지 말라는 것입니다. 모두가 스스로 알아서 하게 두거나, 모두를 돌보거나 둘 중 하나라는 것이 황의 결론입니다.

금융업을 할 생각은 없다

파텔은 모순을 지적합니다. 네오클라우드라는 이유만으로 그들을 떠받치려고 우선하지는 않는다고 말했으면서, 동시에 네오클라우드 몇 곳을 열거하며 엔비디아가 없었다면 존재하지 않았을 것이라고 말했다는 것입니다. 두 이야기가 어떻게 양립하느냐는 질문입니다.

황의 답은 순서입니다. 우선 그들이 존재하기를 원해야 하고 엔비디아에 도움을 요청하러 와야 합니다. 존재하고 싶어 하고 사업계획과 전문성과 열정이 있어야 하며, 스스로 어느 정도 역량도 갖추고 있어야 합니다. 그 모든 것을 갖춘 끝에 출발을 위한 투자가 필요하다면 엔비디아가 그 자리에 있어 주겠다는 것입니다. 다만 그들이 자기 플라이휠을 빨리 돌리기 시작할수록 좋다고 덧붙입니다.

그리고 질문의 핵심을 황이 직접 정리합니다. 엔비디아가 금융업에 들어가고 싶으냐는 물음이고 답은 아니라는 것입니다. 금융업을 하는 사람들이 따로 있고, 엔비디아는 스스로 금융업자가 되기보다 그 사람들 모두와 함께 일하는 편을 택합니다. 목표는 자기가 하는 일에 집중하고 사업 모델을 가능한 한 단순하게 유지하면서 생태계를 지원하는 것이라고 말합니다.

그 기준에서 오픈AI는 예외가 아니라 적용 사례입니다. 오픈AI 같은 곳이 기업공개 전이라는 이유로 300억 달러 규모 투자를 필요로 하고 엔비디아가 그들을 깊이 신뢰한다면 하게 된다는 것입니다. 황이 보기에 오픈AI는 이미 비범한 회사이고 앞으로 대단한 회사가 될 것이며, 세상이 그들의 존재를 필요로 하고 원하며 자신도 원합니다. 순풍을 받고 있으니 지원해서 규모를 키우게 하자는 것입니다. 그런 투자는 상대가 엔비디아를 필요로 하기 때문에 하는 것이고, 가능한 한 많이 하려는 것이 아니라 가능한 한 적게 하려는 것이라고 말합니다.

[관점] 황은 금융업을 하지 않겠다고 말하지만, 공급자가 고객의 자금 조달에 들어가는 구조는 이미 상당히 진행되어 있습니다. 네오클라우드에 대한 지분 투자와 보증, 기초모델 회사에 대한 대규모 투자는 모두 엔비디아의 매출이 될 돈의 일부를 엔비디아가 먼저 공급한다는 성격을 갖습니다. 회계적으로는 투자와 매출이 분리되지만, 경제적으로는 수요의 일부가 공급자 자신의 자본으로 만들어집니다.

1990년대 말 통신장비 업계가 같은 구조를 크게 썼습니다. 장비 회사가 신생 통신사에 대출과 보증을 제공해 자기 장비를 사게 했고, 수요가 꺾였을 때 매출 감소와 투자 손실이 동시에 왔습니다. 지금의 규모와 수요 가시성은 당시와 다르지만 투자자가 확인해야 하는 질문은 같습니다. 매출 가운데 자기 자본으로 만들어진 부분이 얼마이고, 그 고리가 끊길 때 손실이 어디에 두 번 잡히는지입니다.

배분은 선입선출이고 가격은 바꾸지 않는다

파텔은 GPU 부족으로 넘어갑니다. 여러 해 동안 GPU 부족 상태에서 살아왔고 모델이 좋아지면서 부족은 더 심해졌다는 것입니다. 황은 GPU가 부족하다고 짧게 인정합니다.

파텔이 짚는 것은 배분 방식입니다. 엔비디아는 희소한 할당량을 최고가 입찰자에게만 주지 않고, 네오클라우드들이 존재하도록 코어위브와 크루소(Crusoe), 람다(Lambda)에 일부를 나눠 주는 방식으로 알려져 있습니다. 그것이 엔비디아에 왜 좋은지, 그리고 시장을 조각낸다는 이 묘사에 동의하는지 묻습니다.

황은 두 번 아니라고 답하고 전제가 틀렸다고 말합니다. 엔비디아는 이런 문제에 충분히 유념하고 있다는 것입니다. 우선 발주(PO)를 넣지 않으면 세상의 어떤 말도 차이를 만들지 않습니다. 발주를 받기 전에 엔비디아가 무엇을 할 수 있느냐는 것입니다. 그래서 첫 번째 일은 가능한 한 많은 상대와 예측을 맞추는 작업이고, 장비도 데이터센터도 짓는 데 오래 걸리기 때문에 예측을 통해 수요와 공급을 정렬한다고 말합니다.

두 번째는 그래도 결국 주문을 넣어야 한다는 것입니다. 어떤 이유로든 주문을 넣지 않았다면 엔비디아가 할 수 있는 일이 없습니다. 그 지점부터는 먼저 들어온 순서, 즉 선입선출(first in, first out)입니다. 다만 데이터센터가 준비되지 않았거나 데이터센터를 세우는 데 필요한 부품이 준비되지 않아 받을 준비가 안 되어 있다면, 다른 고객을 먼저 챙기기로 결정할 수 있습니다. 그것은 자기 공장의 처리량을 극대화하는 일일 뿐이고 그 정도의 조정은 한다고 말합니다.

그 밖에는 선입선출이라고 황은 반복합니다. 발주를 넣어야 하고 넣지 않으면 아무 일도 일어나지 않습니다. 물론 그와 다른 이야기들이 돌아다닙니다. 이 모든 이야기의 출발점이 된 기사가 있는데, 래리와 머스크가 자신과 저녁을 먹으면서 GPU를 간청했다는 기사입니다. 황은 그런 일은 없었다고 말합니다.

저녁은 분명히 먹었고 훌륭한 저녁이었지만, 어느 순간에도 그들이 GPU를 간청하지는 않았다는 것입니다. 그들은 주문을 넣기만 하면 됐고, 주문이 들어오면 엔비디아는 최선을 다해 용량을 가져다줍니다. 엔비디아는 복잡한 회사가 아니라는 것입니다.

파텔은 정리합니다. 대기열이 있고 데이터센터 준비 상태와 발주 시점에 따라 받는 시기가 정해진다는 것입니다. 그래도 최고가 입찰자가 그냥 가져가는 방식은 아닌 것 같은데 그렇게 하지 않는 이유가 있느냐고 묻습니다. 황은 그런 일은 절대 하지 않는다고 두 번 답합니다.

왜 최고가 입찰 방식을 쓰지 않느냐는 물음에 황은 그것이 나쁜 사업 관행이기 때문이라고 답합니다. 가격을 정해 놓으면 사람들이 살지 말지 결정한다는 것입니다. 반도체 업계의 다른 회사들이 수요가 높아지면 가격을 바꾸는 것은 알지만 엔비디아는 그렇게 하지 않고, 그것이 한 번도 관행이 된 적이 없습니다. 엔비디아는 믿고 의지할 수 있는 회사, 산업의 토대이기를 택한다는 것입니다. 가격을 제시했으면 그것이 가격이고, 수요가 천장을 뚫어도 그대로라고 말합니다.

해마다 약속을 지키는 회사

파텔은 그것이 TSMC와 생산적인 관계를 유지하는 이유냐고 묻습니다. 황은 엔비디아가 TSMC와 거래한 지 30년이 다 되어 간다고 답합니다. 두 회사 사이에는 법적 계약이 없습니다. 늘 거친 정의 같은 것이 작동해서, 어떤 때는 자신이 옳고 어떤 때는 틀리며 어떤 때는 더 좋은 조건을 얻고 어떤 때는 더 나쁜 조건을 얻습니다. 그래도 전체적으로 관계는 훌륭하고 그들을 완전히 믿고 완전히 의지할 수 있다고 말합니다.

엔비디아에 대해 믿고 의지할 수 있는 것은 제품 일정이라고 황은 말합니다. 올해는 베라 루빈(Vera Rubin)이 대단할 것이고 내년에는 베라 루빈 울트라가 나오며, 그다음 해에는 파인만(Feynman)이 나오고 그다음 해의 이름은 아직 공개하지 않았습니다. 해마다 엔비디아를 믿을 수 있다는 것입니다. 세상의 어떤 주문형 반도체 팀을 골라도, 해마다 내 앞에 있어 줄 것이라고 전 재산과 사업 전체를 걸 수 있는 곳을 찾기는 어렵다고 말합니다. 토큰 비용이 해마다 10분의 1로 떨어지는 일을 시계처럼 믿을 수 있는 상대가 있느냐는 것입니다.

역사상 어떤 파운드리에 대해서도 그런 말을 할 수 없었다고 황은 덧붙입니다. 그런데 오늘 엔비디아에 대해서는 그런 말을 할 수 있고 TSMC에 대해서도 할 수 있습니다. AI 팩토리 컴퓨트를 10억 달러어치 사고 싶어도 문제가 없고, 1억 달러어치든 1,000만 달러어치든 랙 하나든 그래픽카드 한 장이든 문제가 없습니다. 1,000억 달러어치 AI 팩토리를 주문하고 싶어도 문제가 없으며, 오늘 세계에서 그런 말을 할 수 있는 회사는 엔비디아뿐이라는 것입니다.

TSMC에 대해서도 같은 말을 할 수 있다고 황은 말합니다. 하나를 사든 10억 개를 사든 문제가 없고, 성숙한 사람들이 거치는 계획 절차를 거치기만 하면 됩니다. 그래서 엔비디아가 세계 AI 산업의 토대가 될 수 있다는 것이 수십 년에 걸쳐 도달한 위치이고 거대한 약속과 헌신의 결과라는 것입니다. 회사의 안정성과 일관성이 정말로 중요하다는 말로 이 절을 닫습니다.

[한국 관점] 배분 원칙에 대한 황의 설명은 한국 수요자에게 실무적으로 읽힙니다. 먼저 발주를 넣은 순서가 기본이고, 그다음 변수는 데이터센터가 물량을 받을 준비가 되어 있는지입니다. 가격 협상력이나 관계보다 발주 시점과 수전·건물 준비 상태가 인도 시기를 정한다는 뜻입니다.

한국에서 AI 데이터센터의 제약은 장비 확보보다 전력 계통 접속과 입지 쪽에 먼저 걸리는 경우가 많습니다. 황의 기준을 그대로 적용하면, 전력과 건물 일정이 밀리는 사업자는 발주를 먼저 넣어도 순번이 뒤로 조정될 수 있습니다. 공급 부족 국면에서 조달 전략의 초점이 가격 협상이 아니라 인도 조건을 맞출 수 있다는 증명으로 옮겨간다는 의미입니다.

중국에 AI 칩을 팔아야 하는가

미토스가 던진 질문

파텔은 중국 이야기를 꺼내면서 자신의 입장을 먼저 밝힙니다. 중국에 칩을 파는 것이 좋은지 나쁜지 자신은 사실 어떻게 생각하는지 모르지만, 출연자를 상대로 일부러 반대편을 맡는 역할을 좋아한다는 것입니다. 수출통제를 지지하는 다리오 아모데이(Dario Amodei)가 나왔을 때는 왜 미국과 중국이 둘 다 데이터센터 속 천재들의 나라를 가질 수 없느냐고 물었습니다. 황은 반대편에 서 있으므로 이번에는 반대 방향으로 묻겠다는 것입니다.

파텔이 드는 사례는 앤트로픽이 며칠 전 발표한 미토스 프리뷰(Mythos Preview)입니다. 앤트로픽은 이 모델을 공개하지 않고 있는데, 사이버 공격 능력이 너무 강해서 제로데이 취약점들이 패치되기 전에는 세상이 준비되지 않았다고 보기 때문입니다. 이 모델이 주요 운영체제와 주요 브라우저 전반에서 고위험 취약점을 수천 개 찾아냈다는 것이 앤트로픽의 설명입니다. 제로데이가 없도록 특별히 설계된 운영체제인 OpenBSD에서도 하나를 찾았고, 그것은 27년 동안 존재해 온 취약점이었습니다.

그래서 파텔의 질문은 이렇게 구성됩니다. 중국의 기업과 연구소와 정부가 이런 사이버 공격 능력을 가진 모델을 학습시킬 AI 칩을 확보하고, 더 많은 컴퓨트로 수백만 개의 인스턴스를 돌릴 수 있다면, 그것이 미국 기업과 미국의 국가안보에 위협이 되느냐는 것입니다.

황의 첫 답은 그 모델이 학습된 조건을 겨냥합니다. 미토스는 상당히 평범한 용량에서, 그것도 상당히 평범한 양의 용량에서 학습되었다는 것입니다. 비범한 회사가 해낸 일이지만, 그 모델이 학습된 용량의 규모와 컴퓨트의 종류는 중국에서 넉넉하게 구할 수 있습니다. 그러니 먼저 중국에 칩이 존재한다는 사실부터 인정해야 한다는 것이 황의 출발점입니다.

해설 제로데이는 아직 패치가 나오지 않아 방어 수단이 없는 취약점을 말합니다. 공격자가 먼저 알면 방어하는 쪽은 손쓸 시간이 없으므로, 파텔의 질문은 그런 취약점을 대량으로 찾아내는 능력을 누가 먼저 갖는지가 안보 문제라는 전제 위에 서 있습니다.

OpenBSD가 특별히 언급된 이유는 이 운영체제가 보안을 설계 원칙의 중심에 두고 기능을 줄여 온 계보에 있기 때문입니다. 그런 곳에서 27년 묵은 취약점이 나왔다는 것은, 사람이 검토해 온 영역에도 기계가 찾을 여지가 남아 있다는 뜻으로 제시됩니다.

황의 반박 구조도 짚어 둘 만합니다. 그는 그 능력이 위험한지를 다투지 않고, 그 능력을 만드는 데 필요한 컴퓨트의 양이 통제로 막을 수 있는 수준인지를 다툽니다. 뒤에 나오는 모든 논쟁이 이 지점에서 갈립니다.

중국에는 이미 칩이 있다

황은 중국이 가진 것을 하나씩 셉니다. 중국은 세계 주류 칩(mainstream chips)의 60%, 어쩌면 그보다 더 많은 양을 제조하고 있고 이 산업은 중국에 매우 큰 산업입니다. 세계 최고의 컴퓨터과학자 일부가 중국에 있습니다. 파텔도 알듯이 이 AI 연구소들에 있는 AI 연구자 대부분이 중국인이고, 세계 AI 연구자의 50%가 중국에 있다는 것입니다.

그래서 질문의 틀을 황은 다시 세웁니다. 에너지가 넘치고 칩이 충분하며 AI 연구자 대부분을 갖고 있는 나라를 두고, 그들이 걱정된다면 안전한 세계를 만드는 가장 좋은 방법은 무엇이냐는 것입니다. 황이 보기에 이 질문은 보유량을 줄이는 문제가 아니라 관계를 설정하는 문제입니다.

적으로 만드는 것이 가장 안전한 길인가

황의 답은 피해자로 만들고 적으로 돌리는 것이 최선의 답은 아닐 것이라는 쪽입니다. 그들은 적수이고 미국이 이기기를 원한다는 점은 분명히 합니다. 그러나 대화하는 것, 특히 연구 대화를 하는 것이 아마 가장 안전한 일이라고 말합니다. 중국을 적수로만 보는 지금의 태도 때문에 이 영역이 눈에 띄게 비어 있다는 것입니다.

그래서 황은 두 가지를 필수적이라고 말합니다. 미국의 AI 연구자와 중국의 AI 연구자가 실제로 이야기를 나누는 것이 필수적이고, AI를 무엇에 쓰지 않을지에 대해 양쪽이 합의하려고 시도하는 것이 필수적입니다. 통제의 강도가 아니라 합의의 존재를 안전의 조건으로 놓는 구성입니다.

소프트웨어의 버그를 찾는 문제에 대해서는 입장이 더 단순합니다. 그것이야말로 AI가 해야 하는 일이라는 것입니다. 많은 소프트웨어에서 버그를 찾아낼 것이고, 버그는 아주 많으며 AI 소프트웨어에도 많습니다. 황은 AI가 우리를 훨씬 더 생산적으로 만들어 줄 수 있는 수준에 도달한 것이 기쁘다고 말합니다.

오픈소스 생태계를 질식시키면 안 된다

황이 충분히 강조되지 않는다고 보는 것은 보안 쪽 생태계의 풍부함입니다. 사이버보안과 AI 사이버보안, AI 보안과 AI 프라이버시, AI 안전을 둘러싼 생태계가 이미 두텁다는 것입니다. 하나의 뛰어난 AI 에이전트를 수천 개의 AI 에이전트가 둘러싸고 안전하고 안정적으로 유지해 주는 미래를 만들려는 신생 기업들의 생태계가 있고, 그 미래는 반드시 온다고 봅니다. 아무도 지켜보지 않는 상태로 AI 에이전트가 돌아다니는 구도는 제정신이 아니라는 것입니다.

그런데 그 생태계가 번성하려면 오픈소스가 필요하다는 것이 황의 연결 고리입니다. 개방형 모델과 개방형 스택이 있어야 모든 AI 연구자와 컴퓨터과학자가 AI를 안전하게 지킬 만큼 강력한 AI 시스템을 만들 수 있다는 것입니다. 그래서 오픈소스 생태계를 활력 있게 유지하는 일은 무시할 수 없고, 그 상당 부분이 중국에서 나오고 있으므로 질식시켜서는 안 된다고 말합니다.

중국에 대해서도 두 가지를 함께 원한다고 황은 정리합니다. 미국이 가능한 한 많은 연산을 갖기를 당연히 원하는데, 지금 한계는 에너지이고 많은 사람이 그 문제에 매달려 있으며 에너지가 국가의 병목이 되게 해서는 안 됩니다. 동시에 원하는 것은 세계의 모든 AI 개발자가 미국 기술 스택 위에서 개발하고, AI의 진전이 특히 오픈소스일 때 미국 생태계에서 쓸 수 있는 상태입니다. 오픈소스 생태계는 외국 기술 스택에서만 돌아가고 닫힌 생태계는 미국 기술 스택에서 돌아가는 두 개의 생태계를 만드는 것은 극도로 어리석은 일이고, 미국에 끔찍한 결과라는 것입니다.

에너지가 칩을 대신한다

파텔은 응답할 지점이 많다며 쟁점을 추립니다. 해킹 문제로 돌아가 보면 핵심은 연산 능력의 차이라는 것입니다. 중국에 컴퓨트가 있는 것은 맞지만, 반도체 장비 수출통제 때문에 극자외선 노광장비가 없어 7나노미터(7nm) 공정에 머물러 있고, 그래서 실제로 생산할 수 있는 플롭스는 미국의 10분의 1 수준이라는 추정이 있습니다.

그 전제 위에서 파텔의 논증이 이어집니다. 중국이 결국 미토스 같은 모델을 학습시킬 수 있느냐면 답은 그렇다는 것입니다. 그러나 미국에 플롭스가 더 많기 때문에 미국 연구소들이 그 수준의 능력에 먼저 도달합니다. 앤트로픽이 먼저 도달했기 때문에 한 달 동안 능력을 쥐고 있으면서 미국 기업들에 접근권을 주고, 그들이 취약점을 모두 패치한 다음 공개할 수 있다는 것입니다.

배포 규모도 파텔의 논거입니다. 그런 모델을 학습시켰다 해도 대규모로 배포할 능력은 별개이고, 사이버 공격자가 1,000개 있을 때보다 100만 개 있을 때가 훨씬 위험합니다. 그래서 추론 컴퓨트가 대단히 중요합니다. 중국에 뛰어난 AI 연구자가 그렇게 많다는 사실이 무서운 이유도 거기에 있는데, 그 연구자들을 더 생산적으로 만드는 것이 바로 컴퓨트이기 때문입니다.

미국의 어느 AI 연구소에 물어도 자신들을 병목에 걸리게 하는 것은 컴퓨트라고 답한다고 파텔은 말합니다. 딥시크(DeepSeek) 창업자나 Qwen 경영진의 발언에서도 병목은 컴퓨트라고 되어 있습니다. 그렇다면 컴퓨트가 더 많은 미국 기업들이 미토스 수준의 능력에 먼저 도달해 사회를 준비시키는 것이, 컴퓨트가 적은 중국이 먼저 도달하는 것보다 낫지 않느냐는 질문입니다.

황은 미국이 항상 먼저여야 하고 항상 더 많이 가져야 한다는 점에는 동의합니다. 그러나 파텔이 묘사한 결과가 성립하려면 극단까지 밀고 가야 한다는 것입니다. 중국에 컴퓨트가 전혀 없어야 하고, 어느 정도 컴퓨트가 있다면 질문은 얼마나 필요한지로 바뀝니다. 중국에 있는 컴퓨트의 양은 막대하고, 세계 두 번째 규모의 컴퓨팅 시장인 나라이며, 흩어진 컴퓨트를 한데 모으기로 한다면 모을 것이 충분하다고 말합니다.

파텔이 그것이 사실이냐고, SMIC는 공정 노드에서 뒤처져 있다는 추정이 많다고 반문하자 황은 지금 말해 주겠다고 받습니다. 그가 꺼내는 것은 에너지입니다. 중국이 가진 에너지의 양은 믿기 어려운 수준이고, AI는 병렬 컴퓨팅 문제입니다. 에너지가 사실상 공짜라면 칩을 4배, 10배로 묶어 붙이지 못할 이유가 무엇이냐는 것입니다. 전력이 들어와 있는데 완전히 비어 있는 데이터센터가 있고, 유령 도시가 있듯이 유령 데이터센터도 있다는 것입니다.

그래서 황의 결론은 제조 역량으로 이어집니다. 중국의 칩 생산 역량은 세계 최대 수준에 속하고, 반도체 업계는 중국이 주류 칩을 독점하고 있다는 것을 알고 있으며 과잉 용량 상태입니다. 중국이 AI 칩을 가질 수 없다는 생각은 완전한 헛소리라는 것입니다. 전 세계에 컴퓨트가 하나도 없다면 미국이 더 앞서 있겠느냐고 물으면 그렇겠지만, 그것은 가능한 결과가 아니고 참인 시나리오도 아닙니다. 그들은 이미 충분한 컴퓨트를 갖고 있고, 파텔이 걱정하는 그 우려에 필요한 문턱은 이미 넘어섰다는 것입니다.

여기서 황은 5층 케이크를 다시 꺼냅니다. 가장 아래 층이 에너지이고, 에너지가 넘치면 칩의 부족을 메우며 칩이 넘치면 에너지의 부족을 메운다는 것입니다. 미국은 에너지가 희소하고, 그래서 엔비디아는 아키텍처를 계속 전진시키고 극단적 공동설계를 해서 적은 수의 칩으로도 와트당 처리량을 압도적으로 끌어올려야 합니다. 그런데 와트가 완전히 넉넉하고 공짜라면 와트당 성능을 신경 쓸 이유가 없고, 오래된 칩을 써도 됩니다. 7나노 칩은 본질적으로 호퍼이고 오늘의 모델들도 대체로 호퍼 세대에서 학습되었으므로, 7나노 칩은 충분히 좋으며 에너지의 풍요가 그들의 강점이라는 것입니다.

[반론] 파텔이 언급한 아모데이는 같은 쟁점을 정반대로 정리한 글을 공개해 두었습니다. 「On DeepSeek and Export Controls」에서 아모데이는 딥시크의 성과가 수출통제의 근거를 약화시키지 않고 오히려 더 중요하게 만든다고 주장했습니다. 수출통제의 목적은 민주주의 국가가 AI 개발의 최전선에 머물게 하는 것이며, 경쟁을 피하려는 수단이 아니라는 것이 그의 전제입니다.

아모데이의 핵심 논거는 효율 개선이 곡선을 옮길 뿐 곡선을 없애지는 않는다는 것입니다. 사고연쇄를 만들도록 강화학습으로 훈련하는 방식이 새로운 스케일링 축으로 떠올랐고 그 축은 곡선의 초기 구간에 있어서, 지출을 조금만 늘려도 큰 이득이 나오는 교차점에 와 있다고 그는 봅니다. 그래서 효율이 좋아질수록 컴퓨트의 가치는 떨어지지 않고 올라갑니다.

결론 부분에서 아모데이는 잘 집행된 수출통제만이 중국이 수백만 개의 칩을 확보하는 것을 막을 수 있고, 그것이 세계가 단극이 될지 양극이 될지를 가르는 가장 중요한 변수라고 썼습니다. 황이 보유량의 문턱을 이미 넘었다고 말하는 지점에서, 아모데이는 문턱이 아니라 누적 격차가 문제라고 말하는 셈입니다.

화웨이는 기록적인 한 해를 보냈다

파텔은 제조로 질문을 좁힙니다. 중국이 실제로 충분한 칩을 생산할 수 있느냐는 것입니다. 황은 이미 하고 있다고 답하고 증거를 묻자 화웨이(Huawei)를 듭니다. 화웨이가 회사 역사상 가장 큰 한 해를 막 보냈다는 것입니다.

몇 개를 출하했느냐는 물음에 황은 엄청나게 많고 수백만 개라고 답합니다. 수백만 개는 앤트로픽이 가진 것보다 훨씬 많다는 것입니다. 파텔이 중국 파운드리 중신궈지(SMIC)가 로직을 얼마나 출하할 수 있는지와 메모리는 얼마나 되는지가 쟁점이라고 하자, 황은 자신이 사실을 말해 주고 있다고 받습니다. 그들에게는 로직이 충분하고 HBM2 메모리도 충분하다는 것입니다.

파텔은 대역폭을 짚습니다. 학습과 추론에서 병목이 되는 것은 대역폭인데, HBM2를 쓴다면 최신 제품과 비교해 메모리 대역폭에서 거의 한 자릿수 차이가 날 수 있고 그것은 엄청난 차이라는 것입니다. 황의 답은 한 문장입니다. 화웨이는 네트워킹 회사라는 것입니다.

파텔이 그래도 가장 앞선 HBM에는 극자외선 노광이 필요하다는 사실은 변하지 않는다고 하자, 황은 사실이 아니고 전혀 사실이 아니라고 반박합니다. 엔비디아가 NVL72로 칩을 묶어 붙이듯 그들도 묶어 붙일 수 있다는 것입니다. 그들은 이미 실리콘 포토닉스를 시연해 이 모든 연산을 하나의 거대한 슈퍼컴퓨터로 연결해 보였으므로 전제가 틀렸다고 말합니다.

[한국 관점] 중국이 충분한 HBM을 갖고 있느냐는 이 논쟁은 한국 메모리 산업의 규제 지위와 바로 맞물립니다. 미국 상무부 산업안보국은 2025년 8월 말 관보 고지로 인텔 다롄과 삼성전자 중국 법인, SK하이닉스 중국 법인의 검증된 최종사용자(VEU) 지위를 같은 해 12월 31일자로 취소했고, TSMC 난징 공장도 같은 날 같은 지위를 잃었습니다. 세 곳은 그동안 이 지위를 근거로 미국산 장비와 소재, 기술과 소프트웨어를 건별 허가 없이 받아 왔습니다. 삼성전자와 SK하이닉스, 인텔 다롄 세 법인에 대한 규정은 2025년 9월 2일 연방관보(90 FR 42321)에 최종 규정으로 게재되었고, 수출관리규정(EAR) 15 CFR 748.15에 근거한 VEU 목록인 Supplement No. 7 to Part 748에서 세 법인을 삭제했습니다.

바뀐 것은 금지가 아니라 주기입니다. 산업안보국은 기존 공장의 가동을 위한 수출허가는 내주겠다고 밝혔지만, 중국 공장의 생산능력 확대나 기술 업그레이드를 위한 허가는 내줄 의향이 없다고 했습니다. 2025년 말 삼성전자와 SK하이닉스, TSMC가 2026년분 연간 허가를 받은 것으로 보도되었고, 그다음부터는 해마다 갱신해야 하는 구조가 되었습니다.

황의 논리를 한국 입장에서 읽으면 긴장이 드러납니다. 7나노와 HBM2로 충분하다는 주장이 맞을수록 메모리 통제의 효과는 작아지지만, 동시에 한국 기업의 중국 공장은 세대를 올리지 못한 채 연간 허가에 묶이는 상태가 유지됩니다. 통제의 효과를 의심하는 쪽과 통제의 비용을 지는 쪽이 다르다는 점이 이 대목의 한국적 함의입니다.

지렛대는 알고리즘이다

황이 마지막으로 꺼내는 논거는 알고리즘입니다. 중국의 AI 개발은 아무 문제 없이 잘 되고 있다는 것입니다. 세계 최고의 AI 연구자들이 컴퓨트에 제약을 받기 때문에 극도로 영리한 알고리즘도 함께 만들어 낸다는 설명입니다.

여기서 황은 앞서 쓴 숫자를 다시 씁니다. 무어의 법칙이 주는 개선은 연 25% 정도인데, 훌륭한 컴퓨터과학을 통해서는 알고리즘 성능을 10배까지 끌어올릴 수 있습니다. 지렛대가 놓인 자리는 훌륭한 컴퓨터과학이라는 것입니다.

구체적인 예도 듭니다. 전문가 혼합이 훌륭한 발명이라는 데는 의문이 없고, 놀라운 어텐션 메커니즘들이 필요한 컴퓨트의 양을 줄였다는 데도 의문이 없습니다. AI의 진전 대부분이 하드웨어 자체가 아니라 알고리즘의 진전에서 나왔다는 것을 인정해야 한다고 말합니다. 그렇다면 진전 대부분이 알고리즘과 컴퓨터과학과 프로그래밍에서 나온다는 뜻이고, 중국의 AI 연구자 군단이 그들의 근본적 우위가 아니라고 말해 보라는 것입니다.

그리고 황은 딥시크를 가리킵니다. 우리는 그것을 보고 있고, 딥시크는 사소한 진전이 아니라는 것입니다. 그가 이 절에서 내놓는 가장 구체적인 경고가 여기에 있습니다. 딥시크가 화웨이에서 먼저 나오는 날이 온다면 그것은 미국이라는 나라에 끔찍한 결과라는 것입니다.

미국 스택에서 돌아가는 모델은 좋은 소식이다

파텔은 왜 그것이 끔찍한 결과인지 되묻습니다. 지금은 딥시크 같은 모델이 오픈소스라면 어떤 가속기에서도 돌아가는데, 앞으로 그렇지 않게 될 이유가 무엇이냐는 것입니다.

황은 그렇지 않은 경우를 가정해 보라고 답합니다. 그 모델이 화웨이에 맞춰, 그들의 아키텍처에 맞춰 최적화되어 있다고 가정하면 엔비디아의 것은 불리해진다는 것입니다. 그리고 파텔이 설명한 상황을 자신은 좋은 소식으로 받아들였다고 말합니다. 어떤 회사가 소프트웨어와 AI 모델을 개발했는데 그것이 미국 기술 스택에서 가장 잘 돌아간다는 이야기이기 때문입니다. 나쁜 소식은 세계의 AI 모델들이 미국산이 아닌 하드웨어에서 가장 잘 돌아가는 상황이라는 것입니다.

파텔은 가속기를 바꾸지 못하게 막을 만큼 큰 격차의 증거를 보지 못하겠다고 반박합니다. 미국 연구소들은 자기 모델을 모든 클라우드와 모든 가속기에서 돌리고 있다는 것입니다. 황의 답은 자신이 그 증거라는 것입니다. 엔비디아에 맞춰 최적화된 모델을 다른 것에서 돌려 보라는 것입니다.

파텔이 미국 연구소들은 실제로 그렇게 한다고 하자 황은 더 잘 돌아가지는 않는다고 받습니다. 엔비디아의 성공이 완벽한 증거이고, AI 모델이 자기 스택에서 만들어져 자기 스택에서 가장 잘 돌아간다는 사실이 왜 비논리적인지 모르겠다는 것입니다. 파텔이 앤트로픽의 모델은 GPU와 트레이니엄과 TPU에서 돌아간다고 지적하자, 황은 바꾸는 데 많은 작업이 들어가야 한다고 답합니다. 그리고 글로벌 사우스와 중동으로 가 보라고 말합니다. 상자를 열었을 때 모든 AI 모델이 다른 누군가의 기술 스택에서 가장 잘 돌아간다면, 그것이 미국에 좋은 일이라는 터무니없는 주장을 하는 셈이라는 것입니다.

파텔은 상황을 다시 세웁니다. 중국 기업이 다음 미토스에 먼저 도달해 미국 소프트웨어의 보안 취약점을 먼저 찾아내는데 그것을 엔비디아 하드웨어에서 하고 글로벌 사우스에 내보낸다면, 엔비디아 하드웨어에서 돌아간다는 사실이 왜 좋은 일이냐는 것입니다. 황은 좋지 않다고 세 번 답합니다. 그러니 그런 일이 벌어지게 하지 말자는 것입니다.

그들은 우리 없이도 똑같이 할 것인가

파텔은 대체 가능성을 묻습니다. 미국이 컴퓨트를 보내지 않으면 그 자리가 화웨이로 정확히 채워진다고 보는 근거가 무엇이냐는 것입니다. 그들은 뒤처져 있고 더 나쁜 칩을 갖고 있습니다. 황은 지금 증거가 있다고 답하고, 그들의 칩 산업이 거대하다고 말합니다.

파텔은 숫자를 듭니다. H200과 화웨이 910C의 연산 성능이나 대역폭, 메모리를 비교해 보면 절반에서 3분의 1 수준이라는 것입니다. 황의 답은 한 문장입니다. 그들은 그것을 더 많이 쓰고, 두 배로 쓴다는 것입니다. 파텔이 결국 중국에 쓸 준비가 된 에너지가 있고 그것을 칩으로 채워야 한다는 논리로 들린다고 하자, 황은 그들이 제조를 잘한다는 점을 덧붙입니다.

파텔은 시간 축으로 들어갑니다. 결국 그들이 모두를 압도해 제조할 수 있게 되리라는 것은 확실하지만, 그 전에 몇 해의 결정적 구간이 있다는 것입니다. 황이 어느 해를 말하는지 묻자 파텔은 앞으로 몇 해라고 답합니다.

모든 사이버 공격을 수행할 수 있는 모델들이 나오는 구간입니다. 황의 답은 뒤집기입니다. 앞으로 몇 해가 결정적이라면 바로 그 몇 해 동안 세계의 모든 AI 모델이 미국 기술 스택 위에 지어지도록 해야 한다는 것입니다.

파텔은 그것이 왜 방어가 되는지 묻습니다. 미국 기술 스택 위에 지어진다고 해서, 그들이 더 앞선 능력을 갖고 미토스급 사이버 공격을 벌이는 것을 어떻게 막느냐는 것입니다. 황은 어느 쪽으로도 보장은 없다고 답합니다. 파텔이 그래도 먼저 손에 넣으면 준비할 수 있다고 하자, 황은 질문의 틀 자체를 공격합니다. 왜 AI 산업의 한 층이 시장 전체를 잃게 만들어서 다른 층에 이익을 주려 하느냐는 것입니다.

황의 논리는 이렇게 이어집니다. 다섯 개 층이 있고 모든 층이 성공해야 하며, 가장 성공해야 하는 층은 사실 AI 애플리케이션 층입니다. 그런데 왜 그 AI 모델 하나, 그 회사 하나에 그렇게 고정되어 있느냐고 묻습니다. 파텔이 그 모델들이 엄청난 공격 능력을 가능하게 하고 그것을 돌리려면 컴퓨트가 필요하기 때문이라고 답하자, 황은 그것을 가능하게 하는 것은 에너지와 칩과 AI 연구자 생태계라고 받습니다.

왜 한 층을 위해 다른 층의 시장을 버리는가

파텔은 한 걸음 물러나 전제를 다시 깝니다. 중국이 충분한 7나노 용량을 지을 수 있어야 하는데, 엔비디아가 3나노로 가고 파인만에서 2나노 또는 1.6나노로 가는 동안 그들은 7나노에 머물러 있습니다. 엔비디아가 1.6나노에 있을 때 그들은 여전히 7나노이고, 그 부족분을 메울 만큼 많이 생산해야 합니다. 에너지가 워낙 많으니 칩을 더 주면 그만큼 컴퓨트가 늘어나고, 결국 그들이 더 많은 컴퓨트를 얻는 문제로 귀결된다는 것입니다.

황은 파텔이 절대적인 표현으로 말한다고 지적합니다. 미국이 앞서 있어야 한다고 보고, 미국의 컴퓨트 총량은 세계 다른 어느 곳보다 100배 많으며, 미국은 앞서 있어야 하고 실제로 앞서 있다는 것입니다. 엔비디아는 가장 앞선 기술을 만들고 미국 연구소들이 그 소식을 가장 먼저 듣고 가장 먼저 살 기회를 갖도록 하며, 그들에게 돈이 부족하면 투자까지 해 줍니다. 그렇게 할 수 있는 모든 것을 하고 있다는 데 동의하느냐고 황은 되묻습니다.

파텔이 그래도 중국에 칩을 보내는 것이 어떻게 미국의 우위를 지키는 일이냐고 묻자, 황은 소속을 묻는 방식으로 답합니다. 베라 루빈은 미국을 위해 있다는 말로 시작해, 자신이 미국에 있는지, 자신을 미국의 일부로 보는지 묻습니다. 파텔이 그렇다고 답하자 엔비디아를 미국 회사로 보는지 다시 묻습니다. 그렇다면 왜 세계를 포기하는 대신 엔비디아가 세계에서 이길 수 있도록 더 균형 잡힌 규제를 만들지 않느냐는 것입니다.

황은 산업의 소속을 따집니다. 반도체 산업은 미국 생태계의 일부이고 미국 기술 주도권의 일부이며, AI 생태계와 AI 주도권의 일부입니다. 그런데 파텔의 정책과 철학은 미국이 세계 시장의 큰 부분을 포기하는 결론으로 이어진다는 것입니다.

농축우라늄 비유를 거부하다

파텔은 아모데이의 표현을 가져옵니다. 보잉(Boeing)이 북한에 핵무기를 팔면서 미사일 외피는 보잉이 만들었다고 자랑하는 것과 같고, 그것이 어떻게 미국 기술 스택을 돕는 일이냐는 비유입니다. 근본적으로는 그 능력을 넘겨주는 일이라는 것입니다. 황은 AI를 지금 말한 그런 것들과 비교하는 것은 광기라고 답합니다.

파텔은 비유를 바꿉니다. AI는 농축우라늄과 비슷해서 긍정적 용도와 부정적 용도가 모두 있고, 그래도 우리는 농축우라늄을 다른 나라에 보내려 하지 않는다는 것입니다. 황이 누가 농축우라늄을 보내고 있느냐고 되묻자 파텔은 농축우라늄이 컴퓨트에 해당하는 비유라고 설명합니다. 황은 형편없는 비유이고 비논리적인 비유라고 일축합니다. 파텔은 그래도 그 컴퓨트가 미국 소프트웨어 전체를 상대로 제로데이 공격을 할 수 있는 모델을 돌린다면 그것이 왜 무기가 아니냐고 밀어붙입니다.

황의 답은 두 갈래입니다. 첫째, 그 문제를 푸는 방법은 연구자들과 대화하고 중국과 대화하고 모든 나라와 대화해서 사람들이 기술을 그런 식으로 쓰지 않도록 하는 것입니다. 둘째, 미국이 앞서 있도록 베라 루빈과 블랙웰이 미국에 산더미처럼 넉넉하게 공급되도록 해야 합니다. 실적이 그것을 보여 줄 것이고, 미국이 가진 컴퓨팅의 양은 훌륭하며 뛰어난 AI 연구자들도 있으니 계속 앞서 있어야 합니다.

그러나 AI는 모델만이 아니라고 황은 덧붙입니다. AI는 5층 케이크이고 AI 산업은 모든 층에서 중요하며, 미국이 칩 층을 포함해 모든 층에서 이기기를 원한다는 것입니다. 시장 전체를 양보하는 것으로는 칩 층과 컴퓨팅 스택에서 장기적인 기술 경쟁에 이길 수 없다는 것이 그가 사실이라고 못 박는 대목입니다.

해설 파텔이 꺼낸 두 비유는 구조가 같습니다. 어떤 물건이 평화적 용도와 군사적 용도를 함께 갖는 이중용도 품목이라면, 그 물건의 이전 자체를 통제 대상으로 본다는 전제입니다. 핵 분야에서는 이 전제가 조약과 공급국 체제로 제도화되어 있어서, 농축우라늄은 상업적 수요가 있어도 이전이 통제됩니다.

황이 그 비유를 거부하는 근거는 대체 가능성과 민간 기반입니다. 농축우라늄은 소수 국가만 만들 수 있고 민간 수요 기반이 얇지만, 가속기는 상대가 직접 만들 수 있고 수요의 대부분이 민간이라는 것입니다. 뒤에 그가 마이크로프로세서와 DRAM, 전기를 끌어오는 것도 같은 맥락입니다.

뒤에 나오는 x86과 ARM은 각각 인텔 계열 중앙처리장치와 모바일·임베디드 쪽에서 표준이 된 명령어 집합입니다. 명령어 집합이 바뀌면 컴파일러와 운영체제, 응용 소프트웨어까지 다시 손봐야 해서 전환비용이 크고, 그래서 한번 자리를 잡으면 오래 유지됩니다. 황이 멜라녹스(Mellanox) 인수를 거론하는 것도 같은 논지의 연장인데, 가속기 성능만이 아니라 노드를 묶는 네트워크가 시스템 성능을 좌우한다는 뜻입니다.

자동차가 아니라 컴퓨팅이다

파텔은 쟁점을 좁힙니다. 지금 칩을 파는 것이 장기적으로 미국이 이기는 데 어떻게 도움이 되느냐는 것입니다. 테슬라(Tesla)는 오랫동안 아주 좋은 전기차를 중국에 팔았고 아이폰(iPhone)도 중국에서 팔립니다. 그것이 잠김 효과를 만들지는 않았고, 중국은 여전히 자기 버전의 전기차를 만들어 시장을 지배하고 있으며 스마트폰도 그렇습니다.

황은 대담 초반을 끌어옵니다. 파텔 자신이 엔비디아의 위치는 매우 다르다고 인정했고 모트라는 단어를 썼다는 것입니다. 엔비디아에 가장 중요한 단 하나는 생태계의 풍부함이고 그것은 개발자의 문제인데, AI 개발자의 50%가 중국에 있으므로 미국이 그것을 포기해서는 안 된다는 것입니다.

파텔은 미국에도 엔비디아 개발자가 많고, 그것이 미국 연구소들이 앞으로 다른 가속기를 쓰는 것을 막지도 않는다고 반박합니다. 지금도 다른 가속기를 쓰고 있고 그것은 괜찮고 좋은 일인데, 중국에서도 같은 일이 벌어지지 않을 이유를 모르겠다는 것입니다.

황은 혁신을 계속해야 한다고 전제한 뒤 점유율이 줄지 않고 늘고 있다고 말합니다. 중국에서 경쟁해도 어차피 그 시장을 잃게 된다는 전제에 대해, 자신은 아침에 패배자로 눈을 뜬 사람이 아니라고 답합니다. 그 패배자 같은 태도와 전제가 자신에게는 전혀 납득되지 않는다는 것입니다.

그리고 자동차와 선을 긋습니다. 엔비디아는 자동차가 아니라는 것입니다. 오늘 이 브랜드의 차를 사고 다른 날 다른 브랜드의 차를 쓰는 일은 쉽지만 컴퓨팅은 그렇지 않습니다. x86 거래가 존재하는 이유가 있고 ARM이 그토록 끈끈한 이유가 있는데, 이런 생태계는 교체하기 어렵고 막대한 시간과 에너지가 들며 대부분의 사람은 그것을 하고 싶어 하지 않습니다. 그러니 생태계를 계속 길러 내고 기술을 계속 전진시켜 시장에서 경쟁하는 것이 엔비디아의 일이라는 것입니다.

그 전제를 근거로 시장을 양보하는 것은 인정할 수 없다고 황은 말합니다. 미국이 패배자라고 생각하지 않고 자기 산업도 패배자가 아니기 때문에, 그 패배적 명제와 패배적 사고방식이 전혀 납득되지 않는다는 것입니다.

한계적 컴퓨트와 한계적 매출

파텔이 다음 주제로 넘어가겠다고 하자 황은 넘어갈 필요 없다며 이 대화를 즐기고 있다고 말합니다. 파텔은 그러면 넘어가지 않겠다고 답하고, 함께 원을 돌아 준 덕분에 쟁점의 핵심이 드러났다고 고마움을 표합니다. 황은 그 핵심이 파텔이 극단으로 간다는 점이라고 말합니다. 이 좁은 순간에 그들에게 조금이라도 컴퓨트를 주면 모든 것을 잃는다는 전제에서 논증이 출발한다는 것이고, 그런 극단은 유치하다고 덧붙입니다.

파텔은 자기 논증을 직접 정리합니다. 어떤 결정적 컴퓨트 문턱이 있다는 이야기가 아니라, 한계적으로 추가되는 컴퓨트가 모두 도움이 된다는 이야기라는 것입니다. 컴퓨트가 더 많으면 더 좋은 모델을 학습시킬 수 있다는 단순한 명제입니다. 황은 같은 논법을 뒤집어, 미국 기술 산업에 한계적으로 추가되는 매출도 모두 이롭다는 점을 인정해 달라고 요구합니다.

파텔은 그것을 받아들이지 않습니다. 그 칩에서 돌아가는 AI 모델이 사이버 공격 능력을 갖고 있거나, 그 칩이 사이버 능력을 가진 모델을 학습시키고 더 많은 인스턴스를 돌리게 한다면, 그것은 핵무기는 아니지만 일종의 무기를 가능하게 한다는 것입니다. 황은 그 논리라면 마이크로프로세서와 DRAM에도 같은 말을 할 수 있고 전기에도 할 수 있다고 반박합니다.

파텔은 실제로 그렇게 하고 있다고 답합니다. 가장 앞선 DRAM을 만드는 데 관련된 기술에는 수출통제가 걸려 있고, 중국을 상대로 반도체 제조 관련 품목 전반에 온갖 수출통제가 있다는 것입니다. 황은 미국이 DRAM과 중앙처리장치를 중국에 많이 팔고 있고 그것이 옳다고 본다고 답합니다.

파텔은 근본 질문으로 돌아갑니다. AI는 다른가라는 질문입니다. 소프트웨어의 제로데이를 찾아내는 수준의 기술이라면, 중국이 먼저 도달해 널리 배포하는 능력을 최소화하고 싶은 대상이 아니냐는 것입니다. 황은 미국이 앞서 있기를 원하고 그것은 통제할 수 있다고 답합니다. 칩이 이미 거기에 있고 그것으로 모델을 학습시키고 있는데 무엇을 통제하느냐는 물음에는, 미국에 컴퓨트가 많고 AI 연구자가 많으며 가능한 한 빨리 달리고 있다고 답합니다.

파텔이 미국은 핵무기를 가장 많이 갖고 있지만 농축우라늄을 어디에도 보내려 하지 않는다고 다시 말하자, 황은 그것은 농축우라늄이 아니라고 답합니다. 그것은 칩이고 그들이 직접 만들 수 있는 칩이라는 것입니다.

하나의 회사를 위해 시장을 내주는 일

파텔은 그래도 그들이 엔비디아에서 사는 이유가 있다고 지적합니다. 중국 기업 창업자들의 발언을 보면 컴퓨트에서 병목에 걸려 있다고 말한다는 것입니다. 황은 엔비디아의 칩이 더 좋기 때문이라고 답합니다. 종합적으로 더 좋다는 점에는 의문이 없다는 것입니다.

그리고 황은 파텔에게 세 가지를 인정하라고 요구합니다. 화웨이가 기록적인 한 해를 보냈다는 것, 여러 반도체 회사가 상장했다는 것을 인정할 수 있느냐고 묻고 파텔은 그렇다고 답합니다. 세 번째는 한때 엔비디아가 그 시장에서 매우 큰 점유율을 갖고 있었고 지금은 그렇지 않다는 사실입니다. 중국이 세계 기술 산업의 약 40%라는 점도 함께 인정할 수 있다는 것입니다.

그 위에서 황의 판단이 나옵니다. 미국 기술 산업을 위해 그 시장을 양보하는 것은 나라에 해를 끼치는 일이고, 국가안보에 해를 끼치는 일이며, 기술 주도권에 해를 끼치는 일이라는 것입니다. 그 모든 것이 한 회사의 이익을 위해 벌어지는 일이라는 점이 자신에게는 전혀 납득되지 않는다고 말합니다.

파텔은 혼란스럽다고 말하며 모순을 짚습니다. 하나는 경쟁이 허용되면 엔비디아의 칩이 훨씬 좋으니 화웨이와의 경쟁에서 이긴다는 진술이고, 다른 하나는 엔비디아가 없어도 그들은 똑같은 일을 할 것이라는 진술인데, 이 둘이 어떻게 동시에 참일 수 있느냐는 것입니다. 황은 명백히 참이라고 답합니다. 더 나은 선택지가 없으면 가진 유일한 선택지를 택하게 되는데 그것이 왜 비논리적이냐는 것입니다.

파텔은 한 단계씩 좁혀 갑니다. 그들이 엔비디아 칩을 원하는 이유는 더 좋기 때문이고, 더 좋다는 것은 컴퓨트가 더 많다는 뜻이며, 컴퓨트가 더 많으면 더 좋은 모델을 학습시킨다는 것입니다. 황은 그 연결을 끊습니다. 더 좋다는 것은 그냥 더 좋다는 뜻이고, 프로그래밍하기 더 쉽고 생태계가 더 좋기 때문에 더 좋다는 것입니다.

그러면서 황은 결론을 분명히 합니다. 무엇이 더 좋은 것이든, 당연히 그들에게 컴퓨트를 보낼 것이고 그게 어떻다는 것이냐고 말합니다. 중요한 것은 엔비디아가 그로부터 이익을 얻는다는 사실입니다. 미국 기술 주도권의 이익을 얻고, 개발자들이 미국 기술 스택 위에서 작업하는 이익을 얻으며, 그 AI 모델들이 세계로 확산될 때 미국 기술 스택이 그 모델에 가장 좋은 환경이 된다는 이익을 얻습니다. 그렇게 미국 기술을 계속 전진시키고 확산시킬 수 있으니 그것은 긍정적이고, 미국 기술 주도권의 매우 중요한 일부라는 것입니다.

그리고 황은 선례를 듭니다. 파텔이 옹호하는 정책은 미국 통신산업을 사실상 세계에서 정책적으로 밀어내는 결과를 낳았고, 그 결과 미국은 자국 통신을 스스로 통제하지도 못하게 되었다는 것입니다. 그것이 현명해 보이지 않고 조금 좁은 시야이며, 지금 자신이 설명하고 있는데도 파텔이 이해하기 어려워하는 의도하지 않은 결과로 이어졌다고 말합니다.

파텔은 다시 정리합니다. 잠재적 편익과 잠재적 비용이 있고 편익이 비용만큼의 값이 있는지를 따지는 문제인데, 자신은 황이 잠재적 비용을 인정하게 하려는 것이라는 설명입니다. 컴퓨트는 강력한 모델을 학습시키는 투입물이고 강력한 모델은 사이버 공격 같은 강력한 공격 능력을 가지며, 미국 기업이 미토스 수준에 먼저 도달해 능력을 보류하고 미국 기업과 정부가 소프트웨어를 보호할 시간을 버는 것은 좋은 일이었습니다. 중국이 더 많은 컴퓨트를 가져 미토스급 모델을 더 일찍 만들어 널리 배포했다면 매우 나빴을 것이고, 그렇게 되지 않은 이유 하나는 엔비디아 같은 회사들 덕분에 미국에 컴퓨트가 더 많다는 것입니다. 그러니 그것을 중국에 보내는 데 따르는 비용이 있다는 점을 인정하느냐는 질문입니다.

황은 자신이 보는 잠재적 비용을 맞세웁니다. AI 스택에서 가장 중요한 층 가운데 하나인 칩 층이 세계 두 번째 규모의 시장 전체를 양보하게 되고, 그래서 그들이 규모를 키우고 자기 생태계를 만들어 앞으로의 AI 모델이 미국 기술 스택과는 전혀 다른 방식으로 최적화되는 것이 그 비용이라는 것입니다. AI가 세계로 확산되면서 그들의 표준과 그들의 기술 스택이 미국의 것보다 우월해지는데, 그들의 모델이 개방되어 있기 때문이라는 설명입니다.

[이해관계] 황이 이 대목에서 말하는 잃어버린 점유율은 엔비디아의 실제 손익과 직접 연결됩니다. 2025년 4월 미국 정부가 중국 전용으로 설계된 H20에 허가 요건을 걸면서 엔비디아의 중국 데이터센터 사업은 사실상 멈췄고, 회사는 재고와 구매 약정에 대해 45억 달러 규모의 평가손실을 인식했습니다. 이후 실적 전망에서 중국 데이터센터 컴퓨트 매출은 아예 빠진 상태로 제시되어 왔습니다.

그러니 중국 시장을 포기하지 말아야 한다는 주장은 규제 완화가 곧 되돌아올 매출이라는 구조 위에 있습니다. 이 점이 주장을 틀리게 만들지는 않지만, 같은 사실관계를 두고 다른 결론을 낼 수 있는 자리에서 황이 어느 쪽에 서 있는지는 분명합니다. 그가 하나의 회사를 위한 일이라고 말할 때 그 화살이 수출통제를 지지하는 모델 회사를 향한다는 점도 함께 읽을 대목입니다.

동시에 황의 생태계 논거는 엔비디아가 투자자에게 설명해 온 위험과 같은 내용이기도 합니다. 중국 접근이 막히면 경쟁사가 더 큰 개발자·고객 생태계를 쌓게 되고, 통제가 완화되어도 점유율을 되찾기 어려워질 수 있다는 것입니다. 이해관계가 걸려 있다는 사실과 논거가 공시된 위험과 일치한다는 사실은 함께 성립합니다.

다섯 층 모두에서 이겨야 한다

파텔은 엔비디아의 커널 엔지니어와 쿠다 엔지니어를 충분히 신뢰한다고 말합니다. 그들이 최적화할 수 있을 것이라는 뜻인데, 황은 AI가 커널 최적화 이상의 문제라고 끊습니다. 파텔은 물론 그렇지만 증류를 포함해 자기 칩에 잘 맞는 모델을 만드는 방법이 많다고 덧붙이고, 황은 최선을 다하겠다고 답합니다. 파텔이 소프트웨어를 다 갖고 있으니 중국 생태계에 장기적으로 잠기는 상황은 상상하기 어렵다고, 그들이 한동안 조금 더 좋은 오픈소스 모델을 갖는다 해도 그렇다고 말합니다.

황은 세 문장을 사실로 못 박습니다. 중국은 세계에서 오픈소스 소프트웨어에 가장 많이 기여하는 나라이고, 세계에서 개방형 모델에 가장 많이 기여하는 나라이며, 오늘 그것이 미국 기술 스택, 즉 엔비디아 위에 지어져 있다는 것입니다.

그리고 다섯 층을 다시 정리합니다. AI 기술 스택의 다섯 층 모두가 중요하고 미국은 다섯 개 전부에서 이겨야 합니다. 가장 중요한 층은 당연히 AI 애플리케이션 층인데, 사회로 확산되어 가장 많이 쓰는 층이 이 산업혁명에서 가장 큰 이익을 얻기 때문입니다. 그러나 요점은 모든 층이 성공해야 한다는 것입니다.

여기서 황은 공포의 비용으로 넘어갑니다. AI가 어떤 핵폭탄 같은 것이라고 이 나라를 겁주어 모두가 AI를 싫어하고 두려워하게 만든다면 미국을 어떻게 돕는 것인지 모르겠고, 오히려 해를 끼치는 일이라는 것입니다. 소프트웨어 엔지니어링 일자리가 모두 사라질 것이라고 겁주어 사람들을 그 직업에서 몰아내고 그 결과 소프트웨어 엔지니어가 없어진다면, 그것도 미국에 해를 끼치는 일입니다.

방사선과 이야기가 다시 나옵니다. 컴퓨터 비전이 완전히 공짜이고 AI가 방사선과 의사보다 못할 일이 없다는 이유로 사람들을 방사선과에서 몰아내면, 직업과 과업의 차이를 오해하는 것이라고 황은 말합니다. 방사선과 의사의 직업은 환자 진료이고 과업은 영상을 읽는 일입니다. 그것을 그렇게 깊이 오해해 사람들이 방사선과 전공을 피하게 만들면 방사선과 의사가 충분하지 않게 되고 의료의 질도 떨어진다는 것입니다.

그래서 황의 주장은 전제의 형태에 대한 것입니다. 전제가 극단적이어서 모든 것이 0 아니면 무한으로 가면, 사실이 아닌 방식으로 사람들을 겁주게 된다는 것입니다. 삶은 그렇지 않습니다. 미국이 1등이기를 원하느냐면 당연히 그렇고, 그 스택의 모든 층에서 선도자여야 하느냐면 당연히 그렇다는 것입니다.

그리고 황은 미래의 대화를 예고합니다. 오늘 미토스를 이야기하는 것은 미토스가 중요하기 때문이고 그것은 훌륭한 일입니다. 그러나 몇 년 뒤 미국 기술 스택이 인도와 중동, 아프리카와 동남아시아로 확산되기를 원하게 되고 나라가 자국의 기술과 표준을 수출하고 싶어질 때, 그날 파텔과 다시 같은 대화를 하고 싶다고 말합니다. 그때 오늘의 대화를 정확히 들려주겠다는 것입니다. 파텔의 정책과 상상이 아무 좋은 이유도 없이 미국으로 하여금 세계 두 번째 규모의 시장을 양보하게 만들었다는 이야기입니다.

결론은 양보와 패배의 구분입니다. 양보해서는 안 되고, 잃는다면 잃는 것이지만 왜 양보하느냐는 것입니다. 아무도 전부 아니면 전무를 주장하고 있지 않다고 황은 분명히 합니다. 모든 것을 항상 중국에 보내자고 주장하는 사람은 없고, 최고의 기술과 가장 많은 기술은 언제나 미국에 먼저 있어야 합니다. 다만 세계에서도 경쟁해 이기려고 시도해야 하며, 두 가지는 동시에 일어날 수 있고 절대적 표현 대신 어느 정도의 섬세함과 성숙함이 필요하다는 것입니다.

블랙웰이 호퍼의 50배인 이유

파텔은 자기 논증이 걸려 있는 지점을 명확히 합니다. 중국이 몇 년 뒤 자기들이 만드는 최고의 칩에 맞춘 모델을 만들고 그 칩이 세계로 수출되어 표준을 정하는 경로입니다. EUV 수출통제 때문에 엔비디아는 1.6나노로 가는데 그들은 몇 년 뒤에도 7나노에 머물러 있습니다.

국내에서는 그 선택이 합리적일 수 있다고 파텔은 인정합니다. 에너지가 많고 대규모로 제조할 수 있으니 7나노를 계속 쓰면 됩니다. 그러나 수출에서는 그들의 7나노 칩이 엔비디아의 1.6나노 칩과 경쟁해야 합니다. 그들의 모델이 7나노에 워낙 깊이 최적화되어, 엔비디아의 1.6나노에서 돌리는 것보다 7나노에서 돌리는 것이 나을 정도가 되어야 한다는 것입니다.

황은 사실을 보자고 답합니다. 블랙웰이 호퍼보다 50배 앞선 리소그래피냐는 것입니다. 전혀 그렇지 않습니다. 무어의 법칙은 죽었고, 호퍼와 블랙웰 사이에서 트랜지스터 자체가 준 개선은 3년 간격으로 75% 정도라는 것입니다. 그런데 블랙웰은 호퍼의 50배입니다.

그래서 요점은 아키텍처가 중요하고 컴퓨터과학이 중요하다는 것입니다. 반도체 물리학도 중요하지만 컴퓨터과학이 중요합니다. AI의 영향은 대체로 컴퓨팅 스택에서 나오고, 그것이 쿠다가 그토록 효과적이고 그토록 사랑받는 이유입니다. 전문가 혼합이나 확산 모델, 분해 배치된 구조처럼 아키텍처를 완전히 바꾸고 싶을 때 그렇게 할 수 있는 유연성을 주는 생태계이자 컴퓨팅 아키텍처라는 것입니다.

그러므로 AI는 아래의 아키텍처만큼이나 위의 스택에 관한 문제라고 황은 말합니다. 아키텍처와 소프트웨어 스택이 자기 스택과 자기 생태계에 맞춰 최적화되어 있다면 그것은 당연히 좋은 일이고, 대담을 열면서 이야기한 엔비디아 생태계의 풍부함이 그 이유입니다. 사람들이 늘 쿠다를 먼저 프로그래밍하기를 좋아하는 이유를 물으면서, 중국의 연구자들도 그렇다고 덧붙입니다.

그러나 엔비디아가 중국을 떠나도록 강제된다면 그것은 우선 정책적 실수라고 황은 말합니다. 당연히 반발이 따르고 미국에 나쁘게 돌아왔습니다. 그것은 중국의 반도체 산업을 가능하게 만들고 가속했으며, 중국 AI 생태계 전체가 자국 아키텍처에 집중하도록 강제했습니다. 아직 늦지는 않았지만 그 일은 이미 벌어졌다는 것입니다.

마지막 전망도 분명합니다. 그들이 7나노에 갇혀 있지 않을 것이고 제조를 잘하므로 7나노에서 그 이상으로 계속 전진할 것입니다. 그렇다면 5나노와 7나노 사이에 10배의 차이가 있느냐면 답은 아니라는 것입니다. 아키텍처가 중요하고 네트워킹이 중요하며, 엔비디아가 멜라녹스를 산 이유가 바로 그것입니다. 에너지도 중요하고 그 모든 것이 중요하므로, 파텔이 증류해 내려는 방식처럼 단순한 문제가 아니라는 말로 중국 논쟁이 닫힙니다.

[관점] 파텔이 짚은 모순은 실제로 남습니다. 경쟁이 허용되면 엔비디아가 이긴다는 명제와, 엔비디아가 없어도 중국은 같은 일을 해낸다는 명제는 양립하기 어렵습니다. 황의 해소 방식은 두 명제의 시간 축을 분리하는 것입니다. 단기에는 더 나은 선택지가 없으면 열등한 선택지를 쓰게 되므로 통제가 보유량을 줄이지 못하고, 장기에는 생태계 전환비용이 커서 엔비디아가 경쟁에서 이긴다는 구성입니다.

그러나 이 구성은 통제의 효과를 평가하는 기준을 보유량에서 생태계로 옮겨 놓습니다. 보유량만 보면 황의 말대로 통제의 효과는 작을 수 있지만, 파텔이 묻는 것은 특정 능력에 먼저 도달하는 시점의 차이입니다. 둘은 서로를 반박하지 않고 다른 질문에 답하고 있어서, 이 대담이 한 시간 가까이 평행선을 그린 이유도 거기에 있습니다.

블랙웰 50배 논거도 한 겹 더 볼 필요가 있습니다. 트랜지스터 개선은 75%인데 성능은 50배라는 대조는 아키텍처와 소프트웨어의 몫이 크다는 것을 보여 주지만, 그 50배는 특정 작업과 특정 수치 형식에서 측정한 효율 개선입니다. 공정의 몫이 작다는 결론이 곧 7나노와 1.6나노의 격차가 작다는 결론으로 이어지지는 않고, 같은 아키텍처 역량을 양쪽이 갖췄다고 가정할 때만 성립합니다.

[사후 맥락] 이 대담 이후의 집계는 황의 진단과 같은 방향을 가리킵니다. 시장조사기관 국제데이터코퍼레이션(IDC)의 집계로 엔비디아의 중국 데이터센터 AI 칩 점유율은 2026년 상반기 34%로 내려앉았고, 같은 기간 화웨이는 28%를 차지해 격차를 좁혔습니다. 엔비디아의 중국 대상 데이터센터 AI 칩 출하량은 전년 동기 대비 44% 줄었습니다.

회사 쪽 설명도 같습니다. 엔비디아는 2026년 8월 실적설명회에서 직전 분기 중국 대상 H200 출하가 데이터센터 매출의 1%에도 못 미쳤다고 밝혔고, 분기 전망에는 중국 데이터센터 컴퓨트 매출을 아예 넣지 않았습니다. 대담에서 황이 말한 잃어버린 점유율은 추세로 굳어지는 중입니다.

엔비디아는 왜 여러 아키텍처를 동시에 하지 않는가

구형 노드로 돌아갈 수 있는가

파텔은 중국 이야기에서 넘어가면서 앞서 다룬 병목으로 돌아갑니다. 엔비디아가 이미 N3의 과반이고 언젠가 N2에서도 과반이 될 텐데, 더 오래된 공정 노드인 N7의 여유 용량으로 돌아갈 수 있겠느냐는 질문입니다. AI 수요가 워낙 커서 최첨단을 넓히는 속도가 따라가지 못하니, 오늘 수치 표현(numerics)에 대해 아는 것과 그동안의 개선을 모두 적용한 호퍼나 암페어(Ampere)를 만드는 식입니다. 2030년 이전에 그런 세계가 올 것으로 보느냐는 것입니다.

황은 그럴 필요가 없다고 답합니다. 세대마다 아키텍처는 트랜지스터 크기만의 문제가 아니기 때문입니다. 패키징과 적층, 수치 표현과 시스템 아키텍처에 엄청난 공학이 들어갑니다. 용량이 바닥났을 때 다른 노드로 쉽게 돌아간다는 것은 아무도 감당할 수 없는 수준의 연구개발이라는 것입니다. 앞으로 기울이는 것은 감당할 수 있어도 뒤로 돌아가는 것은 감당할 수 없다고 말합니다.

다만 사고실험으로는 답이 달라집니다. 앞으로 영원히 더 이상의 용량은 없다고 세상이 선언하는 날이 온다면 7나노로 돌아가겠느냐는 물음에, 황은 당장 그렇게 하겠다고 답합니다.

더 나은 아이디어가 없어서 하지 않는다

파텔은 누군가에게 들은 질문을 전합니다. 엔비디아는 왜 완전히 다른 아키텍처의 칩 프로젝트를 동시에 여러 개 돌리지 않느냐는 것입니다. 세레브라스(Cerebras) 방식의 웨이퍼 스케일을 할 수도 있고, 도조(Dojo) 방식의 거대 패키지를 할 수도 있으며, 쿠다 없는 설계를 해 볼 수도 있습니다. 자원과 공학 인재가 있으니 병렬로 다 할 수 있는데, AI와 아키텍처가 어디로 갈지 아무도 모르는 상황에서 왜 한 바구니에 담느냐는 질문입니다.

황은 할 수 있다고 답합니다. 다만 더 나은 아이디어가 없다는 것입니다. 그 모든 것을 할 수 있지만 더 낫지 않고, 시뮬레이터에서 전부 돌려 보면 증명 가능하게 더 나쁩니다. 그래서 하지 않고, 하고 싶은 바로 그 프로젝트들을 하고 있습니다. 워크로드가 극적으로 바뀐다면 다른 가속기를 추가하기로 결정할 수도 있다고 덧붙이는데, 알고리즘이 아니라 워크로드를 말하는 것이고 그것은 시장의 모양에 달려 있습니다.

토큰에 가격대가 생겼다

그 예가 그록(Groq)입니다. 최근 엔비디아는 그록을 더했고 그록을 쿠다 생태계 안으로 접어 넣을 계획입니다. 그렇게 하는 이유는 토큰의 가치가 워낙 높아져서 토큰에 서로 다른 가격을 매길 수 있게 되었기 때문입니다. 불과 몇 년 전만 해도 토큰은 공짜이거나 거의 비싸지 않았는데, 이제는 서로 다른 고객이 있고 그 고객들은 서로 다른 답을 원합니다.

고객이 워낙 많은 돈을 벌기 때문이라고 황은 설명합니다. 예를 들어 엔비디아의 소프트웨어 엔지니어들에게 훨씬 더 즉각적으로 반응하는 토큰을 줘서 지금보다 더 생산적으로 만들 수 있다면 자신은 그 값을 지불하겠다는 것입니다. 그런데 그 시장은 최근에야 생겨났습니다.

그래서 이제는 같은 모델을 응답 시간에 따라 서로 다른 구간으로 나눌 수 있게 되었다고 말합니다. 파레토 프런티어를 넓혀서 처리량은 낮아도 응답이 빠른 추론 구간을 만들기로 한 이유가 거기에 있습니다. 지금까지는 처리량이 높을수록 언제나 좋았습니다. 그러나 평균판매단가(ASP)가 매우 높은 토큰이 존재하고, 공장의 처리량이 낮아도 그 단가가 그것을 메우는 세계가 있을 수 있다고 봅니다.

그 이유로 그 결정을 했다는 것이고, 그 밖에는 아키텍처 관점에서 돈이 더 있다면 엔비디아의 아키텍처에 더 넣겠다고 황은 말합니다. 파텔이 극도의 프리미엄 토큰과 추론 시장의 분해가 매우 흥미로운 생각이라고 하자, 황은 그것을 세분화라고 고쳐 부릅니다.

해설 파레토 프런티어는 어느 한쪽을 좋게 하려면 다른 쪽을 반드시 나쁘게 해야 하는 조합들의 경계선입니다. 추론에서는 처리량과 응답 시간이 그 관계에 있어서, 요청을 많이 묶어 한꺼번에 처리하면 칩당 토큰 수는 올라가지만 사용자가 첫 글자를 보기까지의 시간은 길어집니다.

지금까지 데이터센터의 목표 함수는 처리량 하나였습니다. 같은 전력으로 토큰을 많이 뽑는 쪽이 언제나 이겼기 때문입니다. 황이 말하는 변화는 그 목표 함수가 둘로 갈라졌다는 것입니다. 응답 속도에 추가로 돈을 낼 고객이 생겼다면, 처리량을 희생하고 지연시간을 줄인 설비도 수익성이 설명됩니다.

그록은 낮은 지연시간의 추론에 특화된 반도체를 만들어 온 회사입니다. 엔비디아가 이 회사를 더해 쿠다 생태계로 접어 넣겠다고 말하는 것은 아키텍처를 분산하지 않겠다는 원칙과 모순되지 않는다는 설명이기도 합니다. 새로운 아키텍처를 시험하려는 것이 아니라 시장에 새로 생긴 구간을 채우려는 것이라는 뜻입니다.

[관점] 토큰 세분화는 가격 전략의 문제로 읽는 편이 정확합니다. 같은 모델을 응답 시간으로 나눠 팔 수 있다면 그것은 사실상 가격 차별이고, 지불 의사가 높은 고객에게서 더 받아 내는 구조입니다. 토큰이 범용재화가 된다는 전망에 대한 반론이 여기서 한 겹 더 생깁니다.

재무적으로 중요한 것은 이 변화가 설비 단위 경제를 바꾼다는 점입니다. 지금까지 데이터센터의 수익은 전력당 토큰 수로 환산되었는데, 단가가 구간별로 달라지면 처리량이 낮은 설비도 단가로 회수할 수 있습니다. 황이 말한 와트당 토큰이라는 지표 위에 토큰당 단가라는 축이 하나 더 얹히는 셈입니다.

다만 이 구간이 얼마나 큰지는 아직 확인되지 않았습니다. 황 자신이 최근에야 생긴 시장이라고 말하고, 근거로 든 사례도 자사 소프트웨어 엔지니어의 생산성입니다. 프리미엄 구간의 수요가 특정 업무에 한정되는지 아니면 추론 시장 전반의 구조가 바뀌는지는 앞으로의 실적에서 확인할 문제입니다.

딥러닝이 없었다면

파텔의 마지막 질문은 반사실 가정입니다. 딥러닝 혁명이 일어나지 않았다면 엔비디아는 무엇을 하고 있었겠느냐는 것입니다. 게임은 당연할 텐데 그 밖에는 무엇이냐는 물음에 황은 가속 컴퓨팅이라고 답합니다. 지금까지 줄곧 해 온 바로 그 일입니다.

회사의 전제는 범용 컴퓨팅이 많은 일에 좋지만 많은 계산에는 이상적이지 않다는 것이었다고 황은 설명합니다. 그래서 GPU라는 아키텍처와 쿠다를 CPU에 결합해 CPU의 작업을 가속했습니다. 코드의 어떤 커널이나 알고리즘을 GPU로 내려보내면 애플리케이션이 100배, 200배 빨라집니다. 그것을 쓸 곳은 공학과 과학과 물리, 데이터 처리와 컴퓨터 그래픽스와 이미지 생성 등 온갖 분야입니다. 오늘 AI가 존재하지 않더라도 엔비디아는 아주 큰 회사였을 것이라는 것입니다.

이유는 꽤 근본적이라고 황은 말합니다. 범용 컴퓨팅이 계속 확장하는 능력은 대체로 소진되었고, 그것을 해내는 길은 도메인 특화 가속이라는 것입니다. 엔비디아가 시작한 도메인 하나가 컴퓨터 그래픽스였지만 다른 도메인도 많습니다. 입자물리와 유체, 구조화된 데이터 처리처럼 쿠다로 이득을 보는 알고리즘은 온갖 종류가 있습니다.

회사의 사명은 가속 컴퓨팅을 세상에 가져오고 범용 컴퓨팅이 할 수 없는 종류의 응용을 전진시키며, 특정 과학 분야를 돌파하도록 돕는 수준까지 역량을 키우는 것이었다고 말합니다. 초기 응용은 분자동역학과 에너지 탐사를 위한 탄성파 처리, 이미지 처리처럼 범용 컴퓨팅이 지나치게 비효율적인 분야들이었습니다.

AI가 없었다면 매우 슬펐을 것이라고 황은 덧붙입니다. 다만 컴퓨팅에서 이룬 진전 덕분에 딥러닝이 대중화되었다는 것입니다. 어디에 있든 어떤 연구자든 과학자든 학생이든 PC나 지포스(GeForce) 애드인 카드로 놀라운 과학을 할 수 있게 만들었고, 그 근본적인 약속은 조금도 달라지지 않았습니다.

마지막으로 황은 GTC를 다시 가리킵니다. 행사의 맨 앞부분을 보면 AI가 하나도 없다는 것입니다. 계산 리소그래피나 양자화학 작업, 데이터 처리 작업은 전부 AI와 무관하지만 여전히 매우 중요합니다. AI가 흥미롭고 신나는 것은 알지만 AI와 무관한 아주 중요한 일을 하는 사람이 많고, 텐서가 그것을 계산하는 유일한 방법은 아니라는 것입니다. 모두를 돕고 싶다는 말로 대담이 끝납니다.

해설 범용 컴퓨팅의 확장이 소진되었다는 말은 공정이 멈췄다는 뜻이 아닙니다. 트랜지스터 밀도는 계속 올라갔지만, 전압을 함께 낮춰 전력밀도를 일정하게 유지하던 비례축소가 2000년대 중반에 한계에 부딪히면서 동작 주파수를 더 올릴 수 없게 된 것이 분기점이었습니다. 그 뒤 성능 향상은 코어 수를 늘리는 방향으로 옮겨 갔고, 병렬화되지 않는 작업에서는 체감 성능이 정체됐습니다.

도메인 특화 가속은 그 정체에 대한 답입니다. 모든 작업을 고루 잘하는 하나의 프로세서 대신, 특정 종류의 연산에 회로를 몰아준 장치를 붙여 그 부분만 수십 배에서 수백 배 빠르게 만드는 방식입니다. 황이 AI가 없었어도 엔비디아는 컸을 것이라고 말하는 근거가 여기에 있습니다. 가속이 필요해진 이유는 AI의 등장이 아니라 범용 컴퓨팅의 한계였다는 것입니다.

원문: Jensen Huang, TPU competition, why we should sell chips to China, & Nvidia’s supply chain moat (Dwarkesh Podcast) (Apr 2026) 전문은 원문에서 확인하실 수 있습니다.

참고할만한 글

다리오 아모데이 – 딥시크와 수출통제 (On DeepSeek and Export Controls) — 같은 쟁점을 정반대 결론으로 끌고 가는 글이어서, 황의 보유량 논거와 아모데이의 누적 격차 논거를 나란히 놓고 읽을 수 있습니다.
CSIS – 중국의 AI 미래를 틀어막다 (Choking Off China’s Access to the Future of AI) — 황이 비판하는 수출통제가 어떤 설계 논리로 만들어졌는지를 조치 단위로 보여 주는 보고서입니다.
사티아 나델라 – 마이크로소프트는 AGI를 어떻게 준비하는가 (How Microsoft is Preparing for AGI) — 같은 팟캐스트에서 하이퍼스케일러 쪽이 가속기 선택과 설비 투자를 어떻게 보는지 확인할 수 있습니다.