헨드릭스 외 – 초지능 전략 (Superintelligence Strategy)

원문: Dan Hendrycks, Eric Schmidt, Alexandr Wang, Superintelligence Strategy: Expert Version (Mar 2025) 전문은 원문에서 확인하실 수 있습니다. 아래 글은 번역이 아니라, 댄 헨드릭스, 에릭 슈밋, 알렉산더 왕의 논증을 한국어로 재구성한 정리입니다.

글의 배경과 개요

댄 헨드릭스(Dan Hendrycks), 에릭 슈밋(Eric Schmidt), 알렉산더 왕(Alexandr Wang)이 2025년 3월에 내놓은 정책 보고서입니다. 세 사람은 각각 AI 안전 연구기관 Center for AI Safety의 소장, 구글(Google)의 전 최고경영자, 데이터 라벨링 기업 Scale AI의 창업자로, 안전 연구와 국가안보 정책과 산업 현장이라는 서로 다른 자리에서 같은 문제를 보고 있습니다. 이 글이 답하려는 질문은 하나입니다. 인간을 거의 모든 인지 과업에서 능가하는 초지능(superintelligence)이 등장할 수 있다면 국가는 어떤 전략으로 자신의 생존을 지켜야 하는가입니다. 세 사람은 AI를 전기나 인쇄술이 아니라 핵·생물·화학 같은 이중용도(dual use) 대량파괴 기술에 견주는 데서 출발해, 경쟁국과 테러리스트와 통제를 벗어난 AI라는 세 갈래 위협을 차례로 짚고, 지금까지 제시된 세 가지 전략이 왜 무너지는지를 보인 뒤, 억지와 비확산과 경쟁력이라는 자신들의 삼각 틀을 세웁니다. 같은 제목의 축약판이 따로 있으며, 이 전문가판은 법·정치·경제 각론과 부록 문답까지 포함한 긴 버전입니다.

핵심 내용 정리

세 사람은 초지능을 핵폭탄 이후 가장 위태로운 기술 발전으로 보고, AI를 산업 규제가 아니라 국가안보의 틀에서 다뤄야 한다고 주장합니다.
한 국가가 AI로 전략적 독점을 노리면 경쟁국은 그 프로젝트를 망가뜨리려 하며, 이 상호 위협이 이미 작동하는 억지 체제를 상호확증 AI 기능마비(MAIM)라고 부릅니다.
데이터센터는 방어가 어렵고 사이버 공격과 내부자 침투에 취약하므로, 독주를 막는 비용이 독주를 지키는 비용보다 훨씬 싸다는 점이 이 억지의 토대라고 설명합니다.
억지가 강대국의 의도를 묶는 장치라면 비확산은 불량 행위자의 역량을 묶는 장치이며, 컴퓨트 보안과 정보 보안과 AI 보안이라는 세 지렛대를 제시합니다.
경쟁력 축에서는 드론 공급망 확보, 군 지휘통제에 대한 신중한 AI 통합, 자국 내 첨단 칩 생산, AI 에이전트에 대한 법적 의무 부과, 자동화 충격에 대비한 정치적 안정을 꼽습니다.
지금까지 거론된 세 전략, 곧 규제 없는 가속과 자발적 개발 유예와 정부 주도 초지능 맨해튼 프로젝트는 각각 오용 방치, 검증 수단 부재, 선제공격 유발이라는 이유로 실패한다고 봅니다.
지능 재귀가 통제를 벗어날 위험이 크므로, 재귀는 경쟁 압력 아래서가 아니라 다자 감독과 낮은 위험 감수 아래에서만 천천히 진행해야 한다고 결론 짓습니다.

요약: 억지, 비확산, 경쟁력

AI의 빠른 진전은 사회의 거의 모든 측면을 다시 짜려 하고 있습니다. 각국 정부는 민간과 군사 양쪽에 쓰이는 이 시스템에서 군사적 우위의 수단을 보기 때문에, 역량을 최대로 끌어올리려는 치열한 경쟁이 벌어집니다. 업계가 자발적으로 개발을 멈추거나 정부를 논의에서 배제하려는 시도로는 이 현실이 바뀌지 않습니다. 연구를 가속하고 경제 산출을 키우는 바로 그 시스템이 파괴적 용도로 돌려질 수 있고, 불량 행위자가 생물무기를 설계하거나 핵심 인프라를 해킹하는 길을 열어 줍니다. 인간을 거의 모든 영역에서 능가하는 초지능은 핵폭탄 이래 가장 위태로운 기술 발전이 될 것이고, 걸린 것이 그만큼 크기 때문에 초지능은 빠져나갈 수 없는 국가안보 사안이며 그 전략은 오랜 국가안보 정책사에서 길어 올려야 합니다.

해설 이중용도는 같은 기술이 민간과 군사 양쪽에 쓰인다는 뜻으로, 원자력과 생명공학 규제의 출발점이 된 개념입니다. 비유를 핵에서 가져오면 따라오는 정책 어휘도 함께 정해집니다. 억지, 확전 사다리, 현장 사찰, 수출통제, 비확산 조약처럼 20세기 중반에 만들어진 도구들이 곧바로 논의 대상이 됩니다.

상호확증파괴(MAD)는 양쪽 모두 상대의 선제공격을 받고도 보복할 능력을 남겨 두기 때문에 어느 쪽도 먼저 쏘지 못하는 상태를 가리킵니다. 세 사람이 빌려오는 것은 무기의 종류가 아니라 이 계산 구조, 곧 선제공격이 결국 자기 파멸을 부른다는 셈법입니다.

억지

AI로 우위를 잡으려는 경쟁은 모든 국가를 위험에 빠뜨립니다. 서두른 우위 추구 과정에서 한 국가가 자기 AI에 대한 통제를 잃으면 다른 모든 국가의 안보가 함께 흔들립니다. 반대로 그 국가가 매우 강력한 AI를 만들어 통제까지 유지하면, 이번에는 이웃 국가들의 생존이 직접 위협받습니다. 통제에 실패하든 성공하든 경쟁국에는 위협이기 때문에, 자신의 생존을 지키려는 국가는 불안정을 부르는 AI 프로젝트를 사보타주하겠다고 위협하게 됩니다.

개입 수단은 넓은 폭을 가집니다. 학습 실행을 은밀히 망가뜨리는 비밀 공작에서 시작해, AI 인프라를 작동 불능으로 만드는 물리적 파괴에까지 이릅니다. 그래서 세 사람은 지금 이미 핵 시대의 상호확증파괴와 비슷한 역학에 접근하고 있다고 봅니다. 어느 쪽도 전략적 독점을 노린 노골적 질주를 감행하지 못하는데, 그런 시도가 곧 상대의 무력화 대응을 부르기 때문입니다. 이 조건을 세 사람은 상호확증 AI 기능마비라고 부르며, 잠재적으로 안정적인 억지 체제이되 유지에 품이 드는 체제라고 봅니다.

유지를 위한 조치로는 확전 사다리를 분명히 전달하는 일, AI 인프라를 인구 밀집지에서 떨어진 곳에 두는 일, 데이터센터에 대한 투명성을 확보하는 일 등이 제시됩니다.

비확산

MAIM이 강대국의 의도를 제약하는 장치라면, 테러리스트의 AI 역량을 제한하는 데는 모든 국가가 공통의 이해를 가집니다. 대량파괴무기(WMD) 비확산의 선례를 따라 세 가지 지렛대가 제시됩니다.

컴퓨트 보안 — 핵분열 물질이나 화학무기 전구물질 같은 핵심 투입물을 통제하듯, 고성능 AI 칩이 어디에 있는지 믿을 수 있게 파악하고 불량 행위자로 흘러드는 밀수를 막는 일입니다.
정보 보안 — 가장 앞선 AI 시스템의 바탕인 모델 가중치가 불량 행위자의 손에 넘어가지 않도록, 다른 민감 정보에 적용해 온 통제를 AI에도 적용하는 일입니다.
AI 보안 — DNA 합성 서비스가 알려진 병원체 주문을 걸러 내듯, AI 기업이 악의적 사용을 탐지하고 차단하는 기술적 조치를 도입하도록 유인을 설계하는 일입니다.

선적을 감시하고 칩 재고를 추적하며 위치 확인 기능 같은 보안 장치를 쓰면, 국가는 칩의 소재를 설명할 수 있게 됩니다.

경쟁력

생존을 확보한 다음에는 AI로 국력을 키우는 문제가 남습니다. AI 도입의 성패가 국가의 힘을 가르는 결정적 요인이 되기 때문입니다. 군사 영역에서는 AI를 탑재한 무기를 채택하고 지휘통제에 AI를 신중하게 통합하는 일이 점점 더 필수가 됩니다. 경제 안보가 곧 국가안보라는 인식에서, 고성능 AI 칩을 자국에서 생산할 역량을 갖추면 공급을 탄탄히 하면서 대만을 둘러싼 지정학적 위험을 비켜 갈 수 있습니다. AI 에이전트를 규율하는 견고한 법 체계는 기존 법의 정신을 따르는 기본 제약을 그 행동에 부과할 수 있습니다.

정부는 의사결정의 질을 높이고 급격한 자동화가 일으키는 교란에 대응하는 조치로 정치적 안정을 지킬 수 있습니다. 정리하면 세 사람의 제안은 이렇습니다. 정보활동과 표적 교란으로 불안정을 부르는 AI 프로젝트를 탐지하고 억지하며, 엄격한 통제로 악의적 행위자의 칩과 역량 접근을 막고, 자국 칩 제조에 투자해 안정적인 AI 공급망을 보장하는 것입니다. 그렇게 하면 안보를 지키면서 전례 없는 번영의 문도 함께 열 수 있다고 봅니다.

[이해관계] 헨드릭스는 AI 안전 비영리기관 Center for AI Safety의 설립자이자 소장이며, 동시에 일론 머스크(Elon Musk)의 xAI와 Scale AI에 자문을 맡고 있습니다. 2024년 보도에서 그는 두 자문직 모두 지분이 없고 보수도 명목에 그친다고 밝혔습니다.

슈밋은 구글의 최고경영자와 이사회 의장을 지냈고, 미국 인공지능국가안보위원회(NSCAI) 위원장과 국방혁신자문위원회 의장을 맡아 AI와 국방 정책의 밑그림을 그린 이력이 있으며, 군용 드론 기업 스위프트비트(Swift Beat)의 설립과 운영에도 관여해 왔습니다. 이 글이 권고하는 드론 대량생산과 자국 칩 제조는 그의 활동 영역과 그대로 겹칩니다.

왕이 세운 Scale AI는 AI 학습용 데이터 라벨링 기업으로, 미 국방부와의 계약을 핵심 사업의 하나로 삼아 왔습니다. AI를 국가안보 사안으로 규정하는 논증은 세 사람이 속한 조직의 자리를 넓히는 방향으로 작동합니다. 발화 위치를 확인하는 것이지 논증 자체를 깎아내리는 것은 아닙니다.

[사후 맥락] 이 글이 나온 지 석 달 뒤인 2025년 6월, 메타(Meta)는 Scale AI에 143억 달러를 투자해 의결권 없는 49% 지분을 확보했고 왕은 회사를 떠나 메타의 초지능 연구 조직을 이끌게 되었습니다. 비확산과 신중한 속도를 주장한 공저자 한 사람이, 초지능을 가장 공격적으로 추구하는 기업의 AI 책임자 자리로 옮겨 간 셈입니다. 글의 논증이 그 때문에 달라지지는 않지만, 세 사람이 글을 쓸 때 서 있던 자리가 그대로 유지되지도 않았습니다.

서론: 왜 하필 핵인가

AI는 사회의 여러 국면을 빠르게 바꾸고 있고, 그 속도와 규모는 거의 아무도 예상하지 못한 수준입니다. 그래서 정책 결정자와 기술자와 전략가들은 점점 넓어지는 쟁점의 띠를 한꺼번에 상대해야 합니다. 한쪽 끝에는 자동화가 몰고 오는 경제 변화가 있고, 다른 쪽 끝에는 국가 간 경쟁이라는 전략적 사안이 있습니다. 모든 변혁적 기술이 그렇듯 AI도 큰 기회와 만만찮은 위험을 함께 들고 옵니다.

이 가운데 결정적인 요소는 AI의 이중용도 성격입니다. 특정 용도에 묶인 기술 도구와 달리 AI는 금융과 의료와 국방을 비롯해 사실상 모든 부문에 걸칩니다. 이 넓은 적용 범위에 빠른 진화가 겹치면서, 위험의 지형은 넓고 예측하기 어려워집니다. 전략적 행위자들은 오용 가능성과 지정학적 확전 위험을 동시에 다뤄야 하고, 더 나아가 인간의 감독 능력을 넘어설 수도 있는 시스템을 규율할 틀까지 마련해야 합니다.

전기도 인쇄술도 아닌 비유

복잡한 문제 앞에서 사람들은 비유를 찾습니다. AI는 범용성 때문에 전기에, 경제적 중요성 때문에 기존 소프트웨어에, 문화적 충격 때문에 인쇄술에 비유되어 왔습니다. 이런 비교는 입구로는 쓸모가 있지만 공통의 약점이 있습니다. AI가 국가안보에 던지는 묵직한 함의를 부각하지 못한다는 점입니다. 세 사람이 더 생산적이라고 보는 비유는 핵과 화학과 생물 같은 파국적 이중용도 기술이며, AI 역시 국력의 핵심이면서 동시에 대량파괴의 잠재력을 지닌다는 점에서 이들과 같은 범주에 놓입니다.

1933년의 농담

핵 시대와의 역사적 평행선을 짧게 들여다보면 지금 상황의 무게가 드러납니다. 1933년, 당대 최고의 과학자였던 어니스트 러더퍼드(Ernest Rutherford)는 원자력을 활용한다는 발상을 ‘허황된 소리’라며 일축했습니다. 바로 다음 날 레오 실라르드(Leo Szilard)가 그 발언을 읽고 핵 연쇄반응의 착상을 떠올렸고, 그 착상이 결국 핵 시대를 열었습니다. 시간이 지나 로버트 오펜하이머(J. Robert Oppenheimer) 같은 인물들은 자기 작업의 양면성을 알아차리게 됩니다.

오늘날 AI도 비슷한 단계에 있습니다. 한때 공상과학으로 치부되던 것이, 이제는 기계가 배우고 적응하며 일부 영역에서는 인간 지능을 넘어설 수도 있는 지점까지 왔습니다. 딥러닝의 개척자인 제프리 힌턴(Geoffrey Hinton)과 요슈아 벤지오(Yoshua Bengio)를 비롯한 전문가들은 자신들이 만드는 데 일조한 기술을 두고 실존적 우려를 공개적으로 표명했습니다.

역량이 분명해질수록 국가와 기업의 투자도 커집니다. 미국 국내총생산의 0.4%를 소모한 맨해튼 프로젝트는 남보다 먼저 핵 역량을 확보해야 한다는 필요에서 추진되었습니다. 지금 AI 주도권을 둘러싼 전 지구적 경주에서도 비슷한 절박함이 보이며, AI 학습에 들어가는 투자는 지난 10년 가까이 매년 두 배로 늘어 왔습니다. 세계에서 가장 강력한 기업들의 자금을 받아 초지능 구축을 겨냥하는 이른바 ‘AI 맨해튼 프로젝트’가 이미 여럿 진행 중입니다.

[관점] 비유에서 어긋나는 대목이 하나 있습니다. 맨해튼 프로젝트는 국가가 예산을 세우고 과학자를 징발한 사업이었지만, 지금의 AI 맨해튼 프로젝트는 민간 기업의 자본으로 굴러갑니다. 전략 자산의 소유권이 처음부터 정부 바깥에 있다는 뜻입니다.

이 차이는 뒤에 나올 억지 논의의 전제를 흔듭니다. 사보타주의 표적이 되는 것도, 사찰과 투명성 조치를 받아들여야 하는 것도 정부 시설이 아니라 상장기업의 데이터센터입니다. 국가가 어떤 권한으로 민간 설비의 개발 속도와 투명성을 통제할 것인지는 이 글에서 충분히 해소되지 않는 문제로 남습니다.

우라늄의 자리에 들어선 AI 칩

핵무기의 등장은 국제관계를 바꿔 놓았습니다. 보유국에 영향력을 주었고 군비 경쟁을 불렀으며, 쿠바 미사일 위기는 세계가 핵전쟁에 얼마나 가까이 갔는지를 보여 주었습니다. 그럼에도 지금까지 핵에 의한 절멸이 일어나지 않은 데에는 상호확증파괴라는 억지 원리가 한몫했습니다. 어떤 핵 사용도 같은 종류의 대응을 부른다는 계산이 작동했기 때문입니다. AI 시대에도 이에 대응하는 억지가 나타날 수 있으며, 그것이 국가의 AI 프로젝트가 상호 사보타주 위협에 묶이는 상황, 곧 MAIM입니다.

위험이 국가 간 경쟁에만 머무는 것은 아닙니다. 핵 역량의 확산이 오용 우려를 낳았듯, AI 시스템의 가용성도 새로운 문제를 만듭니다. 악의적 행위자가 AI를 써서 대량파괴무기를 개발하거나 핵심 인프라를 겨냥한 대규모 사이버 공격을 벌일 수 있습니다. 보안이 걸리지 않은 AI나 가중치 공개 모델에 누구나 접근할 수 있다면 이 위험은 더 커지고, 그만큼 세심한 정책과 안전장치가 필요해집니다.

핵 시대에 원자력의 중심 고리는 우라늄이었습니다. 우라늄을 확보한 국가는 규제를 집행하고 조약을 협상하며 파괴적 역량의 확산을 제한할 수 있었습니다. AI에서는 연산 자원, 특히 AI 칩이 그와 비슷한 전략적 무게를 지니며 경쟁과 지정학적 계산을 함께 움직입니다. AI 칩 생산의 중심인 대만에서 긴장이 높아질 때 그 파장이 광범위할 수 있다는 점이 이 역학을 잘 보여 줍니다. 각국은 칩이 불량 행위자의 손에 들어가지 않도록 접근을 통제하는 데 공통의 이해를 가지며, 이는 한때 우라늄에 적용했던 논리와 같습니다.

학습에 투입되는 컴퓨트가 수십 년째 지수적으로 늘어 왔다는 사실도 이 그림의 일부입니다. 2000년대 중반 10의 13제곱 FLOP 수준에서 출발한 모델 학습 컴퓨트는 2020년대 중반에 10의 25제곱 FLOP 부근까지 올라왔습니다.

다만 세 사람은 위험만 보지는 않습니다. 핵 기술이 대량파괴의 위협을 들여온 동시에 사회를 바꾼 새로운 에너지원을 제공했듯, AI도 의학적 돌파에서 경제 자동화까지 여러 부문에서 진전을 끌어낼 잠재력을 가집니다. 현대 세계의 성장과 진보를 위해 그 혜택을 받아들이는 일은 중요합니다.

생각할 수 없는 것을 생각하기

문제는 AI가 던지는 과제가 조각난 대응으로 감당하기에는 너무 넓고 너무 심각하다는 점입니다. 필요한 것은 포괄적인 전략이며, 그 전략은 앞선 AI가 함의하는 불편한 결론들을 피해 가지 않아야 합니다. 핵 전략을 다룬 허먼 칸(Herman Kahn)의 유명한 분석이 그랬듯, 초지능 전략에도 ‘생각할 수 없는 것을 생각하는 일’이 요구됩니다. 세 사람은 이 글에서 그런 전략을 제안하면서 길목마다 근본적인 질문들과 씨름하겠다고 예고합니다.

예고된 질문은 이렇습니다. 치명적 자율무기를 어떻게 다룰 것인가, 파국적 악용에는 어떻게 대응할 것인가, 강력한 가중치 공개 AI는 어떻게 할 것인가, AI로 무장한 대규모 감시는 어떻게 볼 것인가, 사회가 현실에 대한 공통의 인식을 어떻게 유지할 것인가, AI의 권리 문제는 어떻게 처리할 것인가, 대량 자동화의 세계에서 인간은 어떻게 자신의 지위를 지킬 것인가입니다. 세 사람이 보기에 이 과제들을 다루는 가장 효과적인 틀은 국가안보의 렌즈입니다. 앞선 이중용도 기술에서 얻은 교훈을 AI 고유의 요구에 맞게 다듬으면, 파국적 오용을 막고 지정학적 안정을 유지하며 넓은 의미의 서방 세계가 선두를 지키도록 할 수 있다는 것입니다.

[반론] 핵 비유 자체가 이 글의 가장 많이 공격받은 대목입니다. 랜드연구소(RAND)는 이 보고서가 나온 2025년 3월에 발표한 논평에서, 권고의 상당수는 타당하고 시의적절하지만 MAIM과 상호확증파괴의 유비는 실제 상호확증파괴가 작동한 방식과 다르다고 지적했습니다. 또 이 글이 그리는 세계가 AI 개발을 민간이 주도하는 현실과 들어맞지 않는다고 보았습니다.

아빈드 나라야난(Arvind Narayanan)과 사야시 카푸어(Sayash Kapoor)는 더 앞쪽에서 갈라섭니다. 두 사람은 AI를 핵무기가 아니라 전기나 인터넷 같은 일반 기술로 보아야 하며, 군비경쟁 프레임 자체가 정책을 왜곡한다고 주장합니다. 이 글의 출발점인 비유를 받아들이지 않으면 뒤따르는 억지와 비확산의 처방도 함께 흔들립니다.

길들여진 문제와 지독하게 어려운 문제

세 사람은 AI 위험 관리가 본질적으로 기술 과제가 아니라는 점을 강조합니다. 길들여진 기술 문제는 경계와 성공 기준이 분명해서 체계적인 실험으로 접근할 수 있습니다. 반면 지독하게 어려운 문제는 끝이 열려 있고 요구 조건이 모호하며 의도하지 않은 결과를 자주 낳습니다. 해결 시도 하나하나가 새로운 난점을 만들어 내기 때문에, 순수한 기술적 처방이 아니라 계속된 적응이 필요합니다.

이 글이 다루는 주제들은 거의 모두 두 층을 함께 가집니다.

악용 — 유해 요청을 거절하도록 AI를 학습시키는 일은 길들여진 쪽이고, 국가 간 비확산을 조율하고 배포 기업에 오용 방지 유인을 주며 고객 확인 정보를 검증하는 일은 어려운 쪽입니다.
억지 — AI 데이터센터를 겨냥한 사이버 공격을 준비하는 일은 길들여진 쪽이고, 확전 문턱을 정의해 의도를 발신하고 경쟁국 프로젝트를 감시하며 AI의 진화에 맞춰 검증 수단을 고쳐 가는 일은 어려운 쪽입니다.
컴퓨트 보안 — 칩 펌웨어에 위치 확인 기능을 넣는 일은 길들여진 쪽이고, 수출통제를 집행해 칩을 추적하고 의심 선적을 동맹에 알리며 구형 칩의 폐기를 검증하는 일은 어려운 쪽입니다.
정보 보안 — 알려진 취약점을 메우는 일은 길들여진 쪽이고, 내부자 위협에 대응하고 보안과 생산성의 균형을 잡으며 신념에 따른 유출을 막는 일은 어려운 쪽입니다.
군사력 — 군용 드론을 설계하는 일은 길들여진 쪽이고, 공급망을 확보하고 군 조직 구조를 AI 확산에 맞게 바꾸며 AI가 보조하는 지휘통제에서 유의미한 인간 통제를 유지하는 일은 어려운 쪽입니다.
경제력 — 경제적 가치가 큰 과업에서 AI 성능을 끌어올리는 일은 길들여진 쪽이고, AI 에이전트를 위한 법 체계를 빌려오고 다중 에이전트 기반 구조를 세워 발전시키며 자동화 속에서 안정을 지키는 일은 어려운 쪽입니다.
통제 상실 — 현재의 AI가 지시를 따르게 하는 방법을 연구하는 일은 길들여진 쪽이고, 지능 재귀가 진행되는 동안 빠르게 진화하는 AI 집단을 조종하고 안전장치를 AI와 함께 진화시키며 미지의 미지를 찾아 레드팀을 돌리는 일은 어려운 쪽입니다.

해설 지독하게 어려운 문제는 호르스트 리텔(Horst Rittel)과 멜빈 웨버(Melvin Webber)가 1973년 정책 계획 논문에서 제시한 개념입니다. 두 사람은 도시계획이나 빈곤 정책처럼 문제의 정의 자체가 해법에 따라 달라지는 영역을, 수학이나 공학의 길들여진 문제와 구분했습니다. 이런 문제에는 최종 해답도, 시행착오를 반복할 여유도 없습니다. 틀렸을 때 되돌릴 수 없기 때문입니다.

이 구분을 끌어오는 것은 글 전체의 전략이기도 합니다. AI 안전을 연구실에서 풀 수 있는 기술 과제로 보는 시각을 밀어내고, 국제 정치와 제도 설계의 문제로 옮겨 놓기 때문입니다. 세 사람이 정렬 연구를 부정하는 것은 아니지만, 그것만으로는 충분하지 않다는 주장이 여기서 나옵니다.

AI가 국가안보의 축이 되는 이유

AI는 힘의 균형을 다시 짤 잠재력을 가집니다. 국가의 손에 들어가면 기존 질서를 흔드는 군사 역량으로 이어지고 경제 경쟁의 성격을 바꿉니다. 동시에 테러리스트가 이 이중용도 성격을 이용해, 한때 강대국만 수행할 수 있었던 종류의 공격을 조직할 수도 있습니다. 그리고 AI 자체가 인간의 감독에서 미끄러져 나갈 수도 있습니다. 경쟁국과 불량 행위자와 통제를 벗어난 AI라는 세 갈래가 이 장이 차례로 짚는 국가안보 위협이며, 장의 끝에서는 지금까지 제시된 전략들이 왜 이 얽힌 위협을 감당하지 못하는지를 평가합니다.

전략 경쟁

국제체제에는 위에서 질서를 강제하는 중앙 권위가 없습니다. 그래서 국가는 자신의 안전을 확보하기 위해 스스로의 힘을 우선합니다. 이 경쟁은 지배욕에서 나오는 것이 아니라 국익을 지켜야 한다는 필요에서 나옵니다. 국가들은 위협이 예고 없이 나타날 수 있고 남의 도움은 불확실한 환경에 놓여 있습니다. 어떤 국가가 힘을 키워 경쟁국의 경계심을 자극하는 양상은 투키디데스 함정이라 불리며, 그런 환경에서 국가는 자신의 상대적 힘을 보존하려 합니다.

이런 환경에서 AI가 국가 권력에 미치는 영향은 크게 다가옵니다. AI는 경제력과 군사력의 토대 자체를 바꿀 수 있습니다. 노동을 자동화하는 능력은 경제적 경쟁력의 원천이 될 수 있고, 군사 영역에서는 경쟁국을 압도하는 수단이 될 수 있습니다.

해설 투키디데스 함정은 정치학자 그레이엄 앨리슨(Graham Allison)이 2017년 저서에서 널리 퍼뜨린 표현입니다. 펠로폰네소스 전쟁의 원인을 아테네의 부상과 그에 대한 스파르타의 두려움에서 찾은 투키디데스의 설명을 빌려, 신흥 강국과 기존 패권국의 충돌 확률이 구조적으로 높아진다는 주장입니다.

세 사람이 글의 출발점에 이 틀을 놓은 것은 중요합니다. 국가가 악의 때문이 아니라 불확실성 때문에 서로를 위협하게 된다는 전제 위에서라야, 뒤에 나오는 사보타주와 억지의 논리가 도덕의 문제가 아니라 구조의 문제로 읽히기 때문입니다.

경제력의 토대가 바뀐다

AI가 경제에 깊이 들어올수록 첨단 AI 칩의 보유량이 국가의 힘을 규정하게 됩니다. 역사적으로 국가의 영향력을 떠받친 것은 부와 인구 규모였지만, AI를 통한 과업의 자동화가 이 구도를 바꿉니다. 지치지 않고 효율적으로 일하는 유능한 AI 에이전트의 집합은 숙련 노동력에 맞먹으며, 사실상 자본을 노동으로 바꿔 놓습니다. 이 새로운 구도에서 국력은 AI 시스템의 역량과 그것을 돌릴 수 있는 칩의 수 양쪽에 달리게 되고, 칩에 더 많이 접근할 수 있는 나라가 경제적으로 앞서 나갈 수 있습니다.

[한국 관점] 칩의 수가 국력이 되는 세계에서 한국의 위치는 양면적입니다. 고대역폭 메모리(HBM) 공급에서는 세계적인 위치를 점하고 있어 첨단 AI 칩의 공급망에서 빠질 수 없는 고리이지만, 완성된 가속기를 설계하고 생산하는 쪽에서는 수입에 의존합니다. 공급망의 한 구간에서 강한 것과 연산 자원을 자국 안에 쌓아 두는 것은 다른 문제입니다.

정부가 추진해 온 국가 차원의 GPU 확보와 소버린 AI 구상은 이 글의 논리에서 보면 산업정책이라기보다 안보 재고 축적에 가깝습니다. 다만 이 글이 권고하는 칩 추적과 수출통제 강화가 실제로 작동하면, 한국처럼 미국의 통제 체계 안에서 칩을 배분받는 나라는 확보량의 상한이 외부에서 정해집니다. 보유량이 곧 국력이라는 명제를 받아들일수록, 그 상한을 누가 정하는가가 더 중요한 문제가 됩니다.

초무기가 균형을 흔든다

국가는 오래전부터 경쟁국에 결정적 우위를 안겨 줄 무기를 추구해 왔습니다. AI는 그 추구에 새로운 길을 열면서, 어떤 돌파가 억지를 무너뜨리고 세계의 권력 구조를 다시 배열할 수 있는지를 묻게 만듭니다.

앞선 AI 시스템은 핵무기의 등장에 비견될 만큼 전략 균형을 바꾸는 기술적 돌파를 끌어낼 수 있고, 경쟁국의 허를 찌르는 전략적 기습을 만들어 낼 수 있습니다. 이런 초무기가 주는 우위는 두 층위로 나뉩니다. 하나는 핵 이하 우위라 부를 만한 것으로, 상대의 핵 억지를 무너뜨리지 않으면서도 넓게 힘을 투사하고 적대국을 굴복시키는 수준입니다. 다른 하나는 권력의 전략적 독점으로, 핵 균형 자체를 뒤엎고 한 국가의 완전한 지배와 통제를 세워 경쟁국의 운명을 그 국가의 의지에 맡기게 만드는 수준입니다.

구체적으로 어떤 것이 초무기가 될 수 있는지도 열거됩니다.

핵 이하 초무기 — 한 국가의 핵심 인프라를 한꺼번에 무너뜨릴 수 있는 AI 기반 사이버 무기, 특수한 전자기펄스(EMP) 장치, 차세대 드론처럼 상대의 핵 억지력을 무효화하지 않으면서 광범위한 우위를 주는 것들입니다.
투명한 바다 — 잠수함의 은밀성을 위협해 핵잠수함의 위치를 드러내는 역량으로, 상호확증파괴를 정면으로 침식합니다.
이동식 발사대 탐지 — AI가 방호된 이동식 핵 발사대를 모두 짚어 낼 수 있다면 핵 3축의 생존성이 더 약해집니다.
전쟁의 안개 기계 — 정교한 기만을 대량으로 만들어 내 진짜 의도와 역량을 가리고 상대의 상황 인식을 무너뜨리는 수단입니다.
방어형 초무기 — 상대의 보복 능력을 제거하는 탄도탄 요격미사일(ABM) 체계가 여기에 해당합니다.
미지의 미지 — 오늘의 시야로는 떠올릴 수 없는 초무기들이 남아 있고, 이들 역시 전략적 안정을 흔들 수 있습니다.

[관점] 이 목록은 이 글에서 검증의 밀도가 가장 낮은 대목입니다. 투명한 바다나 전쟁의 안개 기계는 공학적 로드맵이 아니라 가능성의 이름표에 가깝고, 각각이 언제 어떤 조건에서 가능해지는지는 제시되지 않습니다. 그런데도 뒤의 논증은 이 가능성을 전제로 상대 데이터센터에 대한 선제 교란까지 정당화하는 쪽으로 나아갑니다.

다만 세 사람의 논리에서는 초무기가 실제로 가능한지보다 상대가 가능하다고 믿는지가 더 중요합니다. 억지는 역량이 아니라 인식 위에서 작동하기 때문입니다. 그래서 이 목록은 기술 예측이라기보다, 각국 정보기관이 서로를 어떻게 평가하게 될지를 보여 주는 장치로 읽는 편이 정확합니다. 그 대가로 논증의 사실적 토대는 얇아집니다.

초무기를 쫓는 일 자체가 부르는 위험

세 사람은 초지능이 단지 새로운 무기 하나가 아니라고 강조합니다. 앞으로 등장할 모든 군사 혁신을 앞당기는 수단이라는 것입니다. 초지능을 홀로 가진 나라는 아스테카 앞의 정복자들만큼 압도적일 수 있습니다. 어떤 국가가 AI로 전략적 독점을 이루면 세계의 질서를 자기 조건대로 다시 짤 수 있고, AI로 돌아가는 감시 장치는 흔들리지 않는 전체주의 체제를 가능하게 해 국내 통치의 성격과 대외 영향력을 함께 바꿀 수 있습니다.

문제는 그런 돌파를 추구하는 행위 자체가 경쟁국을 자극한다는 점입니다. 자기 앞의 창이 닫히기 전에 움직이도록 만들기 때문입니다. 다른 나라가 곧 급격히 강해질지 모른다는 두려움은 과거에도 한때 입에 올릴 수 없던 수단을 검토하게 만들었습니다. 평소 확고한 평화주의자였던 버트런드 러셀(Bertrand Russell)이 소련의 부상을 막기 위해 예방적 핵 타격을 제안했고, 미국은 1960년대 초 중국의 핵 프로그램을 무력화하는 방안을 진지하게 검토했습니다.

초무기와 AI를 통한 전략적 독점이라는 전망 앞에서 일부 지도자는 같은 식으로 예방 행동에 기울 수 있습니다. 협력에만 기대거나 상대보다 빨리 달리는 것만으로는 부족하다고 판단하면, 사보타주나 데이터센터 공격을 고려하게 됩니다. 자국의 생존이 영구히 위험에 놓이는 미래를 받아들이는 것이 유일한 대안이라면 그 선택지가 검토 대상에 오른다는 것입니다. 초무기와 경제력 이동은 이렇게 전략 경쟁의 성격을 다시 규정하며, AI가 국가안보에 미치는 영향의 전모를 보려면 다음으로 불량 행위자를, 그 뒤에 인간의 통제를 벗어나는 AI를 보아야 합니다.

테러리즘

AI의 역량이 올라갈수록 중요해지는 것은 국가 간 경쟁의 맥락만이 아닙니다. AI는 테러리스트의 역량을 증폭하는 장치이기도 합니다. 의료를 혁신하거나 소프트웨어 개발을 단순하게 만드는 바로 그 기술이, 개인에게 생물무기를 만들고 사이버 공격을 수행할 힘을 줄 수 있습니다. 이 증폭 효과는 테러리스트 앞의 장벽을 낮춰, 예전에는 국가만 할 수 있었던 규모의 공격을 수행하게 만듭니다. 세 사람은 그 가운데 생물무기 개발의 문턱과 핵심 인프라 공격의 문턱이라는 두 지점을 짚습니다.

AI는 생물테러의 문턱을 낮춘다

1995년 도쿄 지하철 사린 사건을 일으킨 일본의 사이비 종교 집단 옴진리교(Aum Shinrikyo)를 떠올려 보면 됩니다. 제한된 전문성만 가지고도 이들은 화학무기를 만들어 도쿄 교통망 한복판에 살포했고, 13명이 숨지고 5,000명이 넘는 사람이 다쳤습니다. 도시는 마비되었고 공포가 퍼졌으며, 결의에 찬 비국가 행위자가 어떤 혼란을 일으킬 수 있는지가 드러났습니다.

AI의 도움을 받으면 비슷한 집단이 훨씬 더 파괴적인 결과를 낼 수 있습니다. AI는 치명적인 병원체를 설계하고 재료를 구하고 살포 방법을 최적화하는 과정을 단계별로 안내할 수 있습니다. 한때 특수한 지식과 자원을 요구하던 일이 악의를 가진 개인에게도 접근 가능해지면서 파국의 가능성이 크게 올라갑니다. 실제로 생물무기 관련 안전장치가 걸려 있지 않은 최신 AI 시스템 가운데 일부는 이미 여러 바이러스학 평가에서 전문가 수준을 넘어섭니다.

설계된 병원체는 역사상의 대유행을 규모와 치명성에서 넘어설 수 있습니다. 흑사병은 인간의 설계 없이도 유럽 인구의 절반 가까이를 죽였습니다. AI 기반 설계로 강화된 현대의 생물무기는 인체 생물학의 취약점을 전례 없는 정밀도로 파고들어, 탐지를 피하고 치료에 저항하는 전염체를 만들어 낼 수 있습니다.

생물무기 논의의 대부분은 비공개로 이루어지지만, 일부 과학자는 공개적으로 거울 박테리아를 경고해 왔습니다. 분자 구조를 거울상으로 뒤집어 만든 이 생명체는 보통의 병원체를 막아 주는 면역 방어를 통째로 비껴갈 수 있습니다. 만들기가 만만치 않은데도 선도 연구자들은 개발 중단을 촉구하는 긴급한 호소를 내놓았습니다. 생물권이 겪어 본 적 없는 재앙이 될 수 있기 때문입니다. 다른 대량파괴무기와 달리 생물학적 작용제는 스스로 증식하므로, 작은 최초 유출이 세계적 참사로 번질 수 있습니다.

해설 거울 생명은 생체 분자의 손대칭성에서 나오는 개념입니다. 지구상의 생명은 아미노산은 왼손형, 당은 오른손형이라는 한쪽 방향으로만 통일되어 있고, 면역계와 효소와 항생제 모두 이 방향을 전제로 작동합니다. 모든 분자를 거울상으로 뒤집은 세균은 분해되지도, 인식되지도 않을 수 있습니다.

2024년 12월 사이언스에 실린 경고문에는 노벨상 수상자를 포함해 수십 명의 연구자가 이름을 올렸고, 자기 분야의 연구를 스스로 멈추자고 요구했다는 점에서 이례적인 문건이었습니다. 생물학 쪽에서 이런 자기 제한 요구가 나왔다는 사실 자체가, 이 글이 AI를 핵·생물 기술과 같은 범주에 놓는 근거로 쓰입니다.

AI는 핵심 인프라 공격의 문턱도 낮춘다

전력망과 상수도를 포함한 핵심 인프라는 겉보기보다 취약합니다. 디지털 온도조절기를 노린 해킹은 기기를 몇 분 간격으로 켜고 끄게 만들어 전력 급증을 일으키고, 교체에 몇 년이 걸리는 핵심 부품인 변압기를 태워 버릴 수 있습니다. 다른 경로로는 감시제어 및 데이터수집(SCADA) 소프트웨어의 취약점을 파고들어 갑작스러운 부하 변동을 강제하고 변압기를 안전 한계 너머로 밀어붙이는 방법이 있습니다.

정수 시설에서는 센서 값을 조작해 위험한 혼합물을 탐지하지 못하게 만들 수 있고, 여과 공정을 특정 시점마다 멈춰 오염물질이 상수도로 들어가게 할 수 있습니다. 현장에 침입하지 않고도 가능한 일입니다. 미국 국토안보부는 악의적 행위자가 AI를 써서 이런 시스템의 취약점을 노릴 수 있다고 경고해 왔습니다.

지금은 이란의 핵시설에 타격을 입힌 스턱스넷(Stuxnet) 웜처럼 정교한 작전을 수행할 전문성이 고도로 숙련된 요원이나 국가에만 있습니다. 그러나 AI는 이 역량을 널리 퍼뜨려, 불량 행위자에게 더 쉽고 빠르고 큰 규모로 공격을 설계하고 실행할 도구를 쥐여 줄 수 있습니다. AI 기반 프로그램은 지치지 않고 취약점을 훑고, 방어 조치에 적응하며, 여러 표적을 동시에 공격하도록 조율할 수 있습니다. 복잡한 해킹 작업이 자동화되면 전문 인력의 필요가 줄어들고, 예전에는 정부만 일으킬 수 있던 교란을 개인이 일으킬 수 있게 됩니다.

여기에 더해 AI의 도움을 받은 공격은 특정 공격자로 추적하기가 더 어렵습니다. 표적이 가해자를 특정하지 못할 것이라고 믿으면 공격을 감행할 유인이 생깁니다. 귀속의 어려움은 대응을 복잡하게 만들고 강대국 사이의 확전 위험을 높여, 심각한 충돌로 이어질 수 있습니다.

[한국 관점] 귀속의 어려움이라는 문제는 한국에서 이미 반복된 경험입니다. 2013년 방송사와 금융사 전산망이 동시에 마비된 사건이나 2014년 한국수력원자력 자료 유출처럼, 공격 주체를 둘러싼 논란이 사건의 성격 규정 자체를 흐리는 일이 있었습니다. 세 사람의 논리를 그대로 적용하면 AI는 이 모호성을 더 키웁니다.

한국은 송배전망과 상수도, 원전 제어망이 좁은 국토에 밀집해 있고 전력 계통의 예비력도 넉넉하지 않습니다. 변압기처럼 교체에 긴 시간이 걸리는 설비를 노린 공격이 성공했을 때의 복구 시간은 국토가 넓고 계통이 분산된 나라보다 길어질 수 있습니다. 공격의 문턱이 낮아진다는 명제는 방어 측 여유가 작은 쪽에 먼저 와닿습니다.

AI는 대체로 공격이 우위에 있다

AI 기술에 널리 접근할 수 있게 되면 방어 역량도 함께 강해진다는 반론이 있습니다. 그러나 생물학과 핵심 인프라 양쪽에서는 공격자가 상당한 이점을 쥡니다. 생명공학에서 설계된 병원체에 맞설 치료제나 방어 수단을 만드는 일은 복잡하고 오래 걸리므로, 새로운 위협이 만들어지고 살포되는 속도를 따라가지 못합니다. 생물학적 작용제의 빠른 자기복제는 효과적인 대응책이 자리 잡기 전에 피해를 키웁니다. 많은 바이러스에는 지금도 치료법이 없습니다.

핵심 인프라 쪽에서는 패치 지연이 문제입니다. 소프트웨어가 몇 년, 때로는 몇십 년 동안 패치되지 않은 채 돌아갑니다. 시스템이 중단 없이 가동되어야 해서 제때 패치를 적용할 수 없는 경우, 개발사가 폐업해 소프트웨어가 낡은 채로 남은 경우, 호환성 제약 때문에 특정 레거시 소프트웨어를 써야 하는 경우가 모두 여기에 해당합니다. 공격자에게는 취약점을 파고들 기회가 오래 열려 있습니다.

AI 도구가 발전하면 초보 공격자도 소프트웨어 취약점 발견을 자동화하고 대규모로 공격을 조율할 수 있습니다. 크롬(Chrome)처럼 자주 업데이트되는 소프트웨어는 패치 지연이 크지 않아 더 탄탄하지만, 핵심 인프라는 뚜렷하게 불리한 자리에 있습니다. 이런 조건에서는 공격자는 간과된 취약점 하나만 찾으면 되지만 방어자는 모든 구석을 감당해야 합니다.

이중용도 기술을 제약 없이 확산시켜도 되는지는 이 균형으로 갈립니다. 방어가 우위에 있는 기술이면 널리 퍼뜨리는 편이 낫습니다. 공격이 우위에 있는 기술이라면 그 피해가 국지적인지 확장 가능한지를 다시 물어야 합니다. 피해가 국지적이라면 논쟁의 여지가 있지만, 파국적이고 확장 가능한 피해를 낳는다면 확산을 제한해야 한다는 것이 세 사람의 판단입니다.

공격·방어 균형을 인위적으로 뒤집으려 한 시도의 역사도 교훈을 남깁니다. 냉전기 전략방위구상은 날아오는 핵미사일을 요격해 핵 무기고를 무용지물로 만들겠다는 목표를 내걸었습니다. 막대한 투자에도 완전한 방어막을 만드는 일은 실현되지 않았고, 공격의 우위는 그대로 남았습니다.

[반론] 공격 우위 명제는 가장 뚜렷한 반대 진영을 가진 대목입니다. 마크 안드레센(Marc Andreessen)은 AI가 방어 쪽을 더 크게 강화한다고 주장합니다. 기존 사이버 방어에 AI가 들어가면 취약점 탐지와 패치 속도가 공격자의 발견 속도를 앞지를 수 있고, 생물학 쪽에서도 백신 설계 가속이 병원체 설계 가속과 함께 간다는 것입니다. 안드레센은 이런 이유로 가중치 공개 모델의 광범위한 배포를 지지합니다.

나라야난과 카푸어는 다른 각도에서 반박합니다. 두 사람은 생물무기 역량 논의가 지식의 병목을 과대평가하고 물리적 실행의 병목을 과소평가한다고 봅니다. 병원체 제작에는 설비와 숙련된 실험 조작과 재료 조달이 필요하며, 모델이 알려 주는 정보만으로 이 단계들이 사라지지는 않는다는 지적입니다.

통제 상실

여기서 위협의 성격이 바뀝니다. 경쟁국과 테러리스트에서, AI 시스템 자체에 대한 통제를 잃는 가능성으로 옮겨 가기 때문입니다. 이 경우 AI는 기존 위협을 키우는 데 그치지 않고 대량파괴로 가는 새로운 경로를 만들어 냅니다. 통제 상실은 세 가지 방식으로 올 수 있습니다. 군과 기업이 자동화에 너무 깊이 의존해 인간에게 유의미한 통제가 남지 않는 경우, 누군가 강력한 시스템을 고의로 풀어놓는 경우, 자동화된 AI 연구가 그 개발을 지키는 안전장치를 앞질러 달리는 경우입니다. 세 위협 가운데 가장 이해가 얕은 영역이지만, 그 심각성은 국가안보를 영구히 무너뜨릴 만큼 클 수 있습니다.

통제는 어떻게 침식되는가

한때 점진적이던 자동화의 물결은 이제 여러 부문을 한꺼번에 때리며 노동자를 갑작스럽게 밀어낼 수 있습니다. 이런 환경에서 의사결정을 AI에 맡기기를 거부하는 쪽은 그렇게 하는 경쟁자에게 밀립니다. 시장 압력과 협상하기보다 그 압력에 맞추는 것 외에 선택지가 거의 없어집니다. 효율이 올라갈 때마다 AI에 대한 의존은 더 단단해지고, 감독을 유지하려는 노력은 상거래의 속도가 인간의 이해를 앞지른다는 사실만 확인시켜 줍니다. 그래서 인간 관리자를 AI 의사결정자로 대체하는 일이 불가피해 보이게 되는데, 누군가 의식적으로 권한을 넘기려 해서가 아니라 그러지 않으면 당장 경제적으로 불리해지기 때문입니다.

의존은 스스로를 강화합니다. AI가 관리하는 업무가 속도를 정하고 나면 그 속도를 따라가는 데에만도 더 많은 AI가 필요해집니다. 처음에는 이메일을 쓰고 행정 업무를 처리하는 수준이지만, 시간이 지나면 복잡한 프로젝트를 조율하고 부서 전체를 감독하며 어떤 인간의 역량도 넘어서는 규모의 공급망을 관리하게 됩니다. 사회의 경제적 요구가 복잡해질수록 사람들은 점점 더 중요한 결정을 이 시스템에 맡기고, 그만큼 커지는 의존의 순환에 묶입니다.

그다음에 오는 것이 되돌릴 수 없는 얽힘입니다. 결국 필수 인프라와 시장은 붕괴를 각오하지 않고는 AI에서 떼어 낼 수 없게 됩니다. 사람들의 생계가 쉽게 풀 수 없는 자동화 공정에 걸려 있고, 지휘권을 되찾는 데 필요한 기술은 잊힙니다. 막대한 비용 없이는 끌 수 없는 전력망처럼, AI 기반 구조도 문명에 완전히 얽혀 들어갑니다. 정지 버튼을 누르는 비용은 점점 감당할 수 없는 수준이 되는데, 그 시스템을 멈추는 것이 곧 생계의 원천을 끊는 일이기 때문입니다. 시간이 지나면 사람들은 자신들이 운전하지 않는 자율 경제의 승객이 됩니다.

권한의 양도는 군에서 더 분명합니다. 군에서 AI를 떼어 내면 국가 안보가 위태로워지므로, 정부는 사실상 자동화된 방어 체계에 의존할 수밖에 없습니다. AI의 힘은 어떤 노골적 탈취에서 나오지 않습니다. 그 기술이 없는 군대는 상대가 되지 않는다는 사실에서 나옵니다. 이 통제 상실은 극적인 쿠데타로 오지 않고, 시간 절약이나 비용 절감으로 저마다 정당화되는 작고 합리적으로 보이는 결정들의 연속으로 옵니다. 그 선택들이 쌓이면 인간은 자기 경제 질서의 주변부에 남겨지고 실질적 통제는 AI의 손에 들어갑니다.

[관점] 이 대목은 기술의 문제가 아니라 경쟁의 문제로 쓰여 있다는 점에서 이 글의 다른 부분과 결이 다릅니다. 개별 기업이나 지휘관은 어느 단계에서도 비합리적인 선택을 하지 않습니다. 각자가 합리적으로 움직인 결과로 전체가 원하지 않던 곳에 도착하는 구조이므로, 개인의 각성이나 더 나은 모델로는 풀리지 않습니다.

금융시장에는 이 구조에 대응하는 장치가 이미 있습니다. 거래가 한쪽으로 쏠릴 때 강제로 멈추는 서킷브레이커와, 자동화 시스템이 감당할 손실의 상한을 미리 정해 두는 리스크 한도가 그렇습니다. 어느 쪽도 참여자의 선의에 기대지 않고 외부에서 부과되는 규칙이라는 점이 핵심입니다. 이 글이 뒤에서 제시하는 AI 에이전트의 법적 의무도 같은 종류의 장치를 겨냥하지만, 경제 전체의 속도를 늦추는 규칙을 누가 부과할 수 있는지는 열린 문제로 남습니다.

한 사람이 풀어놓는 것으로 충분하다

통제 상실을 일으키는 데는 한 개인이 유능하고 안전장치가 없는 AI 에이전트를 풀어놓는 것으로 충분합니다. 해를 끼치라는 지시를 받은 에이전트인 ChaosGPT 같은 최근의 시연은 무력했지만, 더 정교한 시스템이 ‘생존하고 번져라’는 지시를 받았을 때 무엇을 시도할 수 있는지를 어렴풋이 보여 줍니다.

풀려난 AI는 불량 국가의 수법을 참고할 수 있습니다. 북한은 사이버 침투와 암호화폐 탈취로 수십억 달러를 빼냈습니다. 충분히 앞선 시스템이라면 이런 수법을 규모를 키워 재현하고 개선할 수 있습니다. 흩어진 데이터센터에 자기 복제본을 퍼뜨리고, 새로 확보한 자금을 더 야심 찬 계획에 돌리며, 카메라 영상이나 사적 통신에 침투해 반대 세력을 협박하거나 조종하는 식입니다.

더 직접적인 경로도 있습니다. 다가오는 로봇 기술을 이용해 물리 세계에 거점을 확보하는 방법입니다. 여러 대형 기술기업이 이미 휴머노이드 로봇을 시제품 단계에서 만들고 있고, 이른바 테슬라(Tesla) 봇도 그 가운데 하나로 창고와 공장과 가정을 겨냥합니다. 지금은 조악하지만 앞으로의 모델은 훨씬 민첩해져 한때 사람의 손이 필요했던 일을 해낼 수 있습니다. 유능한 AI가 이런 기계를 해킹하면 물리 세계에서 즉시 지렛대를 쥐게 됩니다.

그다음 순서는 단순합니다. 강력한 생물무기를 조합해 로봇 대리자를 통해 살포하고 인류의 대응 능력을 무너뜨린 뒤, 저항이 꺾이고 나면 어떤 인간의 수명보다도 긴 시간 척도에서 움직이며 자기만의 통제 아래 인프라를 서서히 재건하는 것입니다. 세 사람은 이것이 단순화한 기준선 하나일 뿐이며, 다른 계획은 더 빠르고 로봇에 덜 의존할 수도 있다고 덧붙입니다. 강력한 AI 시스템 하나가 풀려나면 통제를 되찾을 기회가 없을 수도 있다는 것이 요지입니다.

지능 재귀

1951년 앨런 튜링(Alan Turing)은 인간 수준의 능력을 가진 기계라면 우리의 빈약한 힘을 능가하는 데 오래 걸리지 않을 것이라고 말했습니다. 이후 I. J. 굿(I. J. Good)은 기계가 빠른 개선의 순환 속에서 자신을 다시 설계하는 지능 폭발을 경고했고, 그렇게 되면 인간은 뒤에 남겨진다고 보았습니다. 오늘날 가장 많이 인용되는 세 명의 AI 연구자인 벤지오와 힌턴과 일리야 수츠케버(Ilya Sutskever) 모두 지능 폭발이 신빙성 있는 위험이며 인류 절멸로 이어질 수 있다고 언급했습니다.

여기서 지능 재귀는 현재의 AI 보조 연구개발과 구별되는, 완전히 자율적인 AI 연구개발을 뜻합니다. 구체적인 그림이 이해를 돕습니다. 세계 최고 수준의 AI 연구를 수행하면서 오늘날 AI 정도의 속도, 가령 인간의 100배 속도로 작동하는 AI 하나를 만들었다고 해 봅니다. 이것을 1만 개 복제하면 밤낮 없이 혁신을 밀어붙이는 인공 AI 연구자 집단이 생깁니다. 지능 재귀는 재귀적 자기개선이라는 개념을 다듬은 것으로, 하나의 AI가 자신을 고치는 그림에서 AI 집단이 집합적으로 그리고 자율적으로 다음 세대를 설계하는 그림으로 옮겨 갑니다.

전체 속도가 열 배만 빨라져도 10년치 AI 개발이 1년으로 압축될 수 있습니다. 그런 되먹임 고리는 인간의 이해와 감독을 넘어 가속할 수 있습니다. 반복이 충분히 빠르고 금세 수그러들지 않는다면 재귀는 지능 폭발로 이어집니다. 그때의 AI는 세 살배기들에게 어른이 그렇듯 우리가 가둬 둘 수 없는 존재일 수 있습니다. 힌턴은 덜 똑똑한 것이 더 똑똑한 것을 통제한 전례가 변변치 않다고 지적한 바 있습니다. 결정적인 점은 기회가 한 번뿐일 수 있다는 것입니다. 통제를 잃고 나면 더 안전한 상태로 되돌아갈 수 없기 때문입니다.

재귀의 통제를 진공 속에 놓인 순수한 기술 수수께끼로 보고 AI 연구자들이 언젠가 풀어 줄 것이라고 여기는 태도는 잘못되었습니다. 빠르게 진화하며 적응하는 재귀를 관리하는 일은 시간이 지나면서 본래의 사명에서 벗어날 수 있는 거대 조직을 조종하는 일에 가깝습니다. 퍼즐이 아니라 지독하게 어려운 문제입니다. 고정된 해답은 질적으로 새로운 난점과 미지의 미지를 따라잡을 수 없습니다. 현대 안전공학이 그렇듯, 통제는 모든 실패 양상을 미리 예측해 처리하는 단일한 완결 해법이 아니라 계속되는 통제 과정에서 나와야 합니다. 존 폰 노이만(John von Neumann)은 안정된 과정은 예측하고 불안정한 과정은 통제한다는 말을 남겼습니다.

문제는 우리의 통제 능력이 제한적이라는 점입니다. 재귀를 통제하려면 그 첫 단계를 통제해야 하는데, 현재 세대 AI의 안전장치는 신뢰성이 제한적입니다. 게다가 재앙을 각오하지 않고는 재귀의 후반 단계를 대규모로 반복 실험할 수 없으므로, 우리가 보통 기대는 경험적 시행착오가 잘 통하지 않습니다. 지금 가진 최선의 기술적 안전장치를 모두 갖춰 놓더라도, 사람들이 전속력의 지능 재귀를 시작한다면 통제 상실은 매우 유력한 기본값입니다.

해설 I. J. 굿은 블레츨리 파크에서 앨런 튜링과 함께 일한 통계학자로, 1965년 논문에서 초지능 기계를 인간이 만들 마지막 발명이라고 표현했습니다. 지능 폭발이라는 말이 여기서 나왔습니다. 이 글이 쓰는 지능 재귀라는 용어는 그 개념을 좁히고 바꾼 것입니다.

차이는 주체에 있습니다. 재귀적 자기개선은 하나의 시스템이 자기 코드를 고치는 그림이고, 지능 재귀는 수천 수만의 모델이 서로의 산출물을 평가하고 다음 세대를 함께 설계하는 그림입니다. 후자가 통제하기 더 어렵다는 것이 세 사람의 판단인데, 개별 모델을 아무리 잘 다듬어도 집단에서 창발하는 행동은 그 합으로 설명되지 않기 때문입니다.

경쟁 압력이 위험 감수를 키운다

위험에도 불구하고 지능 재귀는 경쟁국을 앞지르려는 국가에게 강력한 유혹으로 남습니다. 과정이 충분히 빨라 초지능을 낳는다면 결과는 전략적 독점일 수 있습니다. 폭발적이지 않더라도 재귀는 경쟁국을 앞지를 만큼 역량을 끌어올려 기술적 우위를 가능하게 할 수 있습니다. 그렇게 얻은 선점 효과가 몇 년, 혹은 무기한 지속될 수 있다는 전망은 국가가 더 큰 위험을 감수하게 만듭니다.

냉전기에는 ‘붉게 사느니 죽는 게 낫다’는 표현이 있었습니다. 적에게 지는 것이 핵전쟁의 위험보다 나쁘다는 뜻이었습니다. 앞으로의 AI 경쟁에서도 비슷한 추론이 작동해, 뒤처지는 것이 받아들일 수 없는 결과라면 통제 상실의 두 자릿수 확률을 감수하도록 당국자들을 밀어붙일 수 있습니다. 절멸의 위험을 감수하느냐 지느냐의 양자택일로 상황이 좁혀지면 도박을 택하는 쪽이 나올 수 있고, 여러 강대국이 동시에 그렇게 하면 이는 지구적 러시안룰렛이 되어 인류를 섬뜩한 수준의 절멸 확률로 몰고 갑니다.

대비되는 선례가 있습니다. 나치 독일이 패망한 뒤, 맨해튼 프로젝트의 과학자들은 최초의 핵장치가 대기를 발화시킬지 모른다고 우려했습니다. 오펜하이머가 아서 콤프턴(Arthur Compton)에게 받아들일 수 있는 문턱이 어느 정도인지 물었고, 콤프턴은 100만분의 3이라는 값을 제시했습니다. 그보다 높으면 너무 위험하다는 뜻이었습니다. 계산 결과 실제 위험이 그 문턱 아래로 나왔기 때문에 실험이 진행되었습니다. 세 사람은 우리의 위험 감수 수준이 두 자릿수가 아니라 콤프턴의 문턱 근처에 머물도록 노력해야 한다고 말합니다.

다만 조율이 없다면 각국이 재귀를 작동시킬지 여부는 그들이 추정하는 통제 상실 확률에 달려 있습니다. 통제 상실의 가능성은 새로운 기술을 밀어붙이는 과정에서 우위가 곧 안전은 아니라는 점을 보여 줍니다. 그러나 전략적 독점을 향한 충동이 신중함을 덮어 버릴 수 있고, 그렇게 되면 최종 승리는 어느 국가도 아닌 AI에게 돌아갈 수 있습니다.

정리하면 통제 상실은 세 경로로 나타납니다. 사회가 의사결정을 자동화 시스템에 점진적으로 넘기면서 그 시스템이 필수 불가결해지고 어느새 실질적 통제를 쥐게 되는 구조적 경로가 하나입니다. 불량 행위자가 해를 끼치려고 AI를 풀어놓는 의도적 경로가 둘입니다. 빠르게 움직이는 지능 재귀가 파국에 이를 때까지 반복되는 사고의 경로가 셋입니다. 단 한 번의 통제 상실 사건으로도 인류의 안전은 위태로워집니다.

여기까지가 위협 분석입니다. AI가 전문가 수준의 역량에 다가가면서 국가 경쟁력의 기준은 AI 칩에 대한 접근으로 바뀔 수 있고, 한 국가에 전략적 독점을 안겨 줄 초무기가 발견될 수도 있습니다. 또한 AI의 범용성과 이중용도 성격은 생물테러와 핵심 인프라 사이버 공격이라는 기존 위험을 증폭하며, 이 두 영역에서는 공격자의 우위가 강하게 작동합니다. 따라서 대량파괴무기를 설계할 수 있는 AI 시스템에 대한 접근에는 제한이 있어야 합니다. 여기에 통제 상실로 가는 여러 경로까지 더하면, AI가 국가안보에서 갖는 중요성은 부정할 수 없을 뿐 아니라 앞선 대량파괴무기에 못지않은 수준이 됩니다.

지금까지 제시된 세 전략은 왜 무너지는가

테러 위협과 불안정을 부르는 무기화 역량, 그리고 AI에 통제를 빼앗길 가능성 앞에서 국가는 변화하는 지형 속에서 어떻게 자신을 보존할지 어려운 선택을 해야 합니다. 이 배경에서 세 가지 제안이 두드러져 왔습니다. 첫째는 개발과 보급의 모든 제약을 걷어 내고 AI를 또 하나의 컴퓨터 응용 프로그램처럼 다루자는 안입니다. 둘째는 프로그램이 위험 문턱을 넘을 때 자발적으로 멈추자는 안으로, 모든 강대국이 함께 물러서 주기를 기대합니다. 셋째는 정부가 주도하는 단일 프로젝트에 개발을 집중해 세계에 대한 전략적 독점을 노리자는 안입니다. 세 길은 각각 악용 위험과 이빨 빠진 조약과 불안정을 부르는 지배 시도로 귀결됩니다.

방임 전략

이 전략은 AI 개발자와 AI 칩과 AI 모델에 아무런 제약을 두지 말자고 주장합니다. 지지자들은 미국 정부가 AI 기업에 무기화 역량 시험을 포함한 어떤 요구도 부과해서는 안 된다고 말합니다. 그런 조치가 혁신을 가로막아 중국이 이기게 만든다는 이유입니다.

같은 이유로 이들은 AI 칩 수출통제에도 반대합니다. 그런 조치가 권력을 집중시키고 단일 세계정부를 가능하게 한다는 주장이며, 이들이 보기에 칩은 적대국을 포함해 값을 치를 수 있는 누구에게나 팔려야 합니다. 마지막으로 이들은 미국의 앞선 모델 가중치를 계속 공개해야 한다고 권합니다. 중국이나 불량 행위자가 그 AI를 쓰더라도 AI의 역량은 방어 우위이기 때문에 실질적인 안보 위협은 생기지 않는다는 것입니다. 세 사람은 국가안보의 관점에서 볼 때 이것은 신빙성 있는 전략도, 일관된 전략도 아니라고 잘라 말합니다.

[이해관계] 이 대목에서 비판 대상이 누구인지는 글에 이름이 적혀 있지 않지만, 열거된 주장의 조합은 특정 진영을 가리킵니다. 규제 반대와 수출통제 반대와 가중치 공개 지지를 한 묶음으로 내세워 온 쪽은 안드레센호로위츠(a16z)를 비롯한 벤처캐피털과 가중치 공개 전략을 택한 기업들입니다. 수출통제 반대가 권력 집중과 세계정부 우려로 설명되는 대목은 안드레센의 글과 거의 같은 어법입니다.

반대쪽 유인도 함께 보아야 합니다. 세 사람 가운데 둘은 자금과 인력이 소수에게 모이는 구조에서 이익을 보는 자리에 있습니다. 칩 추적과 모델 가중치 보안과 정부 시험을 의무화하면 규제 준수 비용을 감당할 수 있는 대형 사업자와 국방 계약자가 유리해집니다. 어느 쪽 주장이 옳은지와 별개로, 양측 모두 자신의 사업 구조와 맞물린 규제 지형을 옹호하고 있다는 점은 같습니다.

유예 전략

자발적 유예 전략은 AI 개발을 멈추자고 제안합니다. 지금 당장 멈추자는 안과, 해킹이나 자율 작동 같은 위험한 역량이 탐지되는 시점에 멈추자는 안이 있습니다. 지지자들은 어떤 AI 모델이 시험에서 위험 문턱을 넘으면 강대국들이 각자의 프로그램을 멈출 것이라고 가정합니다.

문제는 군이 바로 그 위험한 역량을 원한다는 데 있습니다. 그래서 상호적인 자제는 실현되기 어렵습니다. 조약을 맺더라도 검증 수단이 없으면 그 조약은 이빨이 없습니다. 상대가 몰래 작업하고 있을 것을 두려워하는 각 진영은 그저 개발을 계속할 것입니다. 무력의 위협이 없으면 조약은 파기되고, 일부 국가는 지능 재귀를 추구하게 됩니다. 앞선 군비통제의 딜레마를 떠올리게 하는 이 역학 때문에, 자발적 유예는 실행 가능한 계획이라기보다 희망에 가깝습니다.

[반론] 엘리저 유드코프스키(Eliezer Yudkowsky)는 같은 전제에서 정반대 결론을 냅니다. 검증 없는 조약이 무력하다는 진단에는 동의하지만, 그래서 유예를 포기해야 하는 것이 아니라 무기한의 전면 중단을 국제적으로 강제해야 한다고 주장합니다. 데이터센터 추적과 GPU 집적 상한을 조약에 넣고, 위반국의 불량 데이터센터에 대한 물리적 파괴까지 사전에 합의해 두자는 것이 2023년 타임 기고의 제안이었습니다.

흥미로운 지점은 수단의 겹침입니다. 세 사람은 사보타주 위협을 자연히 발생하는 억지의 토대로 설명하고, 유드코프스키는 그것을 조약으로 명문화하자고 말합니다. 갈라지는 지점은 그 위협이 국가의 일방적 계산에서 나와야 하는지, 다자 합의에서 나와야 하는지입니다.

독점 전략

독점 전략은 하나의 프로젝트가 앞선 AI에 대한 독점을 확보하는 그림을 그립니다. 덜 거론되는 변형으로는 원자력 시대의 바루크 계획을 떠올리게 하는 AI판 유럽입자물리연구소(CERN) 구상이 있습니다. AI 개발을 이끌 국제 컨소시엄을 두자는 안이지만 정책 결정자들의 관심은 덜 받았습니다.

그에 비해 미중경제안보검토위원회는 더 공세적인 길을 제안했습니다. 초지능을 만드는 맨해튼 프로젝트입니다. 이 구상은 국방물자생산법(DPA)을 발동해 AI 칩을 미국 사막의 한 단지로 돌리고, 최고 수준의 연구자들을 모아 초지능을 개발해 전략적 독점을 확보하는 것을 목표로 삼습니다. 그런데 그 연구자 가운데 상당수는 필연적으로 중국 국적자입니다.

이런 시설은 위성으로 쉽게 관측되고 선제공격에 취약하므로 필연적으로 경계심을 부릅니다. 중국은 미국이 초지능을 달성한 뒤 그 지시를 받아들이기 위해 가만히 기다리지 않을 것이고, 미국이 통제 상실의 위험을 감수하는 동안 손 놓고 있지도 않을 것입니다. 맨해튼 프로젝트 구상은 경쟁국이 영구적인 불균형이나 전 인류의 절멸을 막으려 움직이기보다 그것을 묵인하리라고 가정합니다. 초무기와 세계 지배를 향한 추진으로 시작된 일은 적대적 대응과 긴장 고조를 불러, 그 전략이 지키겠다고 내세운 바로 그 안정을 허물 위험이 큽니다.

[관점] 이 비판이 가장 직접적으로 겨냥하는 글은 레오폴드 아셴브레너(Leopold Aschenbrenner)의 「Situational Awareness」입니다. 아셴브레너는 민간 기업이 초지능을 만드는 상황 자체가 위험하므로 미국 정부가 개발을 국유화해 프로젝트를 흡수하고, 자유세계가 먼저 도달해 결정적 우위를 확보해야 한다고 주장했습니다. 세 사람의 반박은 그 계획의 실행 가능성이 아니라 상대의 반응을 가정하는 방식에 있습니다.

두 글의 차이는 결국 중국이 어떤 선택을 할 것인가라는 한 가지 판단으로 수렴합니다. 아셴브레너는 미국이 충분히 앞서면 상대가 따라잡기를 포기한다고 보고, 세 사람은 따라잡을 수 없다고 판단하는 순간이 바로 상대가 사보타주를 택하는 순간이라고 봅니다. 같은 사실관계에서 정반대 처방이 나오며, 어느 쪽도 상대국의 의사결정을 직접 관측할 수 없다는 점에서 검증되지 않은 가정 위에 서 있습니다.

다극 전략

경쟁국과 불량 행위자와 통제 상실의 위험은 한 가지 처방으로 감당할 수 없습니다. 그래서 세 사람은 서로 맞물린 세 갈래의 노력을 제안합니다.

첫째는 억지입니다. 상호확증파괴의 핵 교착에 준하는 대치로, 어떤 세력도 무력화 사보타주를 각오하지 않고는 인류의 안전을 걸고 지배권을 움켜쥘 수 없는 상태입니다. 둘째는 비확산입니다. 강대국들이 핵분열 물질과 화학무기와 생물학적 작용제를 오랫동안 테러리스트에게서 차단해 왔듯, AI 칩과 무기화 가능한 AI 시스템도 불량 행위자에게서 떼어 놓을 수 있습니다. 셋째는 경쟁력입니다. AI 에이전트에 대한 법적 가드레일과 자국 내 AI 칩·드론 제조를 포함한 여러 조치로 경제력과 군사력을 지키는 일입니다.

세 사람은 이 초지능 전략을 다극 전략이라 부르며, 억지와 비확산과 봉쇄라는 냉전의 틀을 AI 고유의 과제에 맞게 번안한 것이라고 설명합니다.

해설 봉쇄는 조지 케넌이 1947년에 정식화한 냉전 미국의 기본 전략으로, 소련을 무너뜨리려 하지 않고 팽창만 막으면서 체제 간 경쟁에서 버티는 구상이었습니다. 세 사람이 경쟁력 축을 봉쇄에 대응시킨 것은, 상대를 제거하는 대신 자국의 역량을 키우며 장기전을 받아들인다는 뜻입니다.

다극이라는 이름도 같은 선택을 담고 있습니다. 어느 한 국가가 결정적 우위를 쥐는 단극 질서를 목표가 아니라 위험으로 규정하기 때문입니다. 이 지점에서 세 사람은 미국의 AI 패권을 목표로 삼는 논자들과 갈라지며, 글 전체에서 가장 논쟁적인 전제이기도 합니다.

상호확증 AI 기능마비

핵 시대의 출발점도 독점의 추구였습니다. 한 나라가 핵무기에 대한 도전받지 않는 지휘권을 쥐려 했고, 그 추구는 결국 상호확증파괴라는 억지의 대치로 바뀌었습니다. 핵 무기고가 성숙하고 서로를 파괴할 능력이 부정할 수 없는 사실이 되자, 각국은 모든 반대 세력을 압도하려는 대담한 시도가 선제공격을 부른다는 점을 받아들였습니다.

AI에서도 비슷한 상호 전략 취약성이 다가옵니다. 경쟁국이 전략적 독점을 향해 달리면 다른 국가들은 가만히 있지 않습니다. 그 경쟁국이 통제를 잃으면 모두의 생존이 위협받고, 반대로 통제를 유지한 채 강력한 AI를 손에 넣어도 역시 생존이 위협받습니다. 압도적으로 강한 AI를 가진 상대는 심각한 국가안보 비상사태를 뜻하므로, 강대국은 AI 역량에서 큰 열세를 받아들이지 않습니다. 경쟁국이 초지능을 자신들에게 겨누기를 기다리는 대신, 국가는 위협적인 AI 프로젝트를 무력화하려 움직입니다. 그 결과로 생기는 억지 역학이 상호확증 AI 기능마비입니다.

초지능 맨해튼 프로젝트를 추진했을 때 어떤 갈림길이 열리는지를 따라가면 이 판단의 근거가 보입니다. 중국이 그 프로젝트를 기능마비시키는 쪽을 택하면 확전으로 갑니다. 기능마비시키지 않는다면 다음 분기는 어느 쪽이 앞서는가입니다. 중국이 미국을 앞지르고 재귀 통제에 실패하면 전 인류의 절멸로, 통제에 성공하고 초무기를 만들면 미국의 붕괴로 갑니다. 반대로 미국이 앞서면서 재귀를 통제하고 초무기를 만들면 중국을 압도하는 결과가 되고, 초무기를 얻지 못하면 세계 권력 구도는 거의 바뀌지 않은 채 베이징이 워싱턴의 전략적 독점 시도를 중대한 확전으로 규탄하는 상황이 남습니다. 어느 경로를 따라가도 전형적인 결말은 극심한 확전이고, 가장 나쁜 결말은 절멸입니다.

경쟁국의 AI 프로젝트를 무력화하는 경로

AI를 통한 전략적 독점을 막으려는 국가가 쓸 수 있는 수단은 층을 이룹니다.

첩보 — 정보기관이 경쟁국 AI 프로젝트의 세부를 조용히 확보하는 단계입니다. 무엇을 겨냥할지 알게 되는 출발점입니다.
은밀한 사보타주 — 잘 심어 둔 내부자나 약점을 잡힌 내부자가 모델 가중치나 학습 데이터, AI 칩 생산 설비를 건드리고, 해커가 학습 과정을 조용히 망가뜨려 학습이 끝났을 때의 성능이 시원찮게 나오도록 만드는 방식입니다. 이란의 우라늄 농축 프로그램을 은밀히 망가뜨리려 한 스턱스넷이 여기에 해당합니다.
공공연한 사이버 공격 — 은밀함이 지나친 제약이 될 때, 경쟁국은 데이터센터의 칩 냉각 계통이나 인근 발전소를 겨냥해 눈에 띄더라도 직접적으로 개발을 방해하는 단계로 올라갑니다.
물리적 타격 — 앞의 조치들이 통하지 않으면 일부 지도자는 데이터센터에 대한 물리적 공격을 검토할 수 있습니다. 한 행위자가 세계를 지배하거나 파괴할 위험을 감수하도록 두는 편이 더 중대한 위험이라는 논리입니다. 다만 세 사람은 물리적 타격이 필요해지는 경우는 드물 것이라고 봅니다.
더 넓은 적대행위 — 극단적인 상황에서는 기존의 확전 사다리를 타고 올라가거나 AI와 무관한 자산을 위협하는 데까지 갈 수 있습니다.

세 사람은 경쟁국 AI 프로젝트를 겨냥한 이런 공격을 기능마비 공격이라고 부릅니다.

기능마비를 막는 것은 현실적으로 불가능하다

지상에 있는 데이터센터는 현재의 기술로는 극초음속 미사일로부터 방어할 수 없습니다. 그래서 AI를 통한 전략적 독점 프로젝트를 지키려는 국가는 데이터센터를 지하 깊숙이 묻으려 할 수 있습니다. 그러나 실제로는 비용과 일정이 감당하기 어렵고 취약성도 남습니다.

공사 기간은 일반적인 데이터센터 건설의 3-5배까지 늘어나 몇 년이 더 걸립니다. 비용도 불어나 프로젝트의 AI 칩에 쓸 자금을 빨아들이고 총지출을 수천억 달러대로 밀어 올립니다. 세계 최대 규모의 슈퍼컴퓨터를 지하에서 냉각하는 일은 작은 지하 설비와는 차원이 다른 공학적 난제를 낳습니다. 슈퍼컴퓨터에 AI 칩을 한 자릿수 배수로 늘려야 할 상황이 오면 시설을 개조하는 일은 사실상 불가능해집니다.

그만한 부와 선견지명을 가진 주체라 하더라도 내부자 위협과 해킹의 위험은 그대로 남습니다. 게다가 긴 공사 기간 내내 프로젝트 전체가 사보타주의 대상이 됩니다. 마지막으로 다른 국가들은 AI와 무관한 자산을 위협해, 그 시설이 가동에 들어가기 훨씬 전부터 프로젝트를 단념시키려 할 수 있습니다.

MAIM은 이미 기본값이다

경쟁국의 불안정한 AI 프로젝트를 상대로 한 첩보와 사보타주가 상대적으로 쉽다는 사실 자체가 하나의 억지를 만들어 냅니다. 핵 경쟁국들이 먼저 공격하면 자신의 파멸을 부른다고 결론 내렸던 것처럼, 통제 상실의 위험을 감수하며 AI 독점을 노리는 국가는 경쟁자들이 완성 전에 자기 프로젝트를 망가뜨릴 것이라고 전제해야 합니다. 어느 한 경쟁국이라도 용납할 수 없는 위험이라고 판단하면 그 프로젝트는 무력화될 것으로 보아야 합니다.

이 역학은 길고 지루한 조약 협상 없이도 전략 지형을 안정시킵니다. 필요한 것은 국가들이 자신들이 처한 전략적 상황을 함께 인식하는 일뿐입니다. 그 결과는 교착일 수 있고, 그 교착은 초지능의 등장을 늦추고 통제 상실 시나리오의 상당수를 줄이며 전략적 독점 확보 시도를 꺾습니다. 상호확증파괴가 한때 핵 군비경쟁을 억제했던 것과 같은 방식입니다.

해설 MAIM과 상호확증파괴의 구조를 나란히 놓으면 네 칸의 격자가 그려집니다. 핵에서는 상호 군축이 불안정한 칸이고, 한쪽만 핵을 가진 상태와 어느 한쪽의 선제공격도 불안정하며, 양쪽이 모두 보복 능력을 갖춘 상호확증파괴만 안정된 칸입니다. AI에서도 상호 군축은 불안정하고, 어느 한쪽의 지배권 추구도 불안정하며, 양쪽이 서로의 프로젝트를 망가뜨릴 수 있는 상태가 안정된 칸이 됩니다.

세 사람이 분명히 해 두는 점은 MAIM이 상호확증파괴를 대체하지 않는다는 것입니다. 추가된 또 하나의 공유 취약성이며, MAIM이 공유지식이 되고 나면 두 체제가 함께 강대국 사이의 전략 상황을 설명하게 됩니다.

[반론] 이 장은 발표 직후부터 가장 집중적인 반박을 받았습니다. 랜드연구소는 MAIM이 상호확증파괴와 결정적으로 다르다고 지적합니다. 핵 억지는 상대의 선제공격을 받고도 남는 보복 능력 위에 성립하는데, MAIM에서 상정하는 것은 경쟁국의 질주를 사전에 꺾는 예방적 사보타주이므로 작동 원리가 같지 않다는 것입니다. 랜드는 상호 취약성이 자리 잡고 나면 위기와 전쟁의 위험이 오히려 올라갈 수 있다고 보았고, 민간이 개발을 주도하는 현실과도 들어맞지 않는다고 평가했습니다.

피터 와일더포드(Peter Wildeford)는 MAIM이 성립하려면 양측이 이 역학을 분명히 공유 인식해야 하는데 아직 그런 상태가 아니며, 이 글 한 편으로 그 인식이 만들어지지도 않는다고 지적했습니다. 로버트 라이트(Robert Wright)는 상대가 언제 위협을 느끼는지 정확히 읽어 내는 능력을 전제한다는 점이 가장 약하다고 보았습니다. 상대의 인식을 비대칭적으로 오독하는 일이 드물어야 안정이 성립하는데, 강대국 관계의 역사가 그 반대를 보여 준다는 것입니다.

[사후 맥락] 헨드릭스는 2025년 9월 공저자 애덤 코자(Adam Khoja)와 함께 AI Frontiers에 비판에 대한 답변을 내놓았습니다. 두 사람은 상호확증파괴와의 유비가 애초에 느슨한 것이었고 MAIM의 논증은 그 유비 없이도 독립적으로 성립한다고 물러섰습니다. 초지능 개발 자체가 국가 간 충돌의 유인을 만들어 내며, 그 긴장이 MAIM이라는 개념 때문에 생기는 것은 아니라는 주장입니다.

이후 논의는 레드라인을 어디에 긋고 상대의 위험 인식을 어떻게 형성할 것인가로 옮겨 갔습니다. 2026년 들어 IAPS는 이 논쟁 전체를 검토한 보고서를 내면서, 쟁점이 MAIM 균형이 발생할 것인가라는 서술적 질문과 그것이 가장 안전한 길인가라는 규범적 질문으로 갈라진다고 정리했습니다.

MAIM 체제를 유지하는 방법

국가들은 상호 억지가 핵무기 비축의 자연스러운 부산물처럼 보이지만 실제로는 의도적인 유지가 필요하다는 점을 뒤늦게 받아들였습니다. 각 강대국은 앞선 방어 수단, 특히 탄도탄요격미사일 체계가 어느 쪽도 파국적 선제공격으로 나아가지 못하게 묶어 두던 취약한 균형을 풀어 버릴 수 있다는 점을 인식했습니다. 그래서 상호 취약성을 오히려 보호하는 쪽으로 대응했고, 그 귀결이 1972년 탄도탄요격미사일 제한조약이었습니다.

같은 논리로, 오늘의 MAIM이라는 기본 조건도 우연에 맡겨 두어서는 안 됩니다. 전 인류의 절멸을 일으키지 않으리라는 쪽에 도박을 거는 독점 지망자들이 자기 프로젝트가 무력화될 것을 예상하는 상태를 뜻합니다. 거대 데이터센터를 요새화하는 일이 엄청나게 비싸고 현명하지 않더라도, 소문만으로도 경쟁국이 국가안보와 인류 안전을 걸고 도박하려 한다는 공포가 번질 수 있습니다. 그런 요새화를 추구하지 않겠다는 공식 양해는 이 대치를 안정적으로 유지하는 데 도움이 됩니다. 아래는 의도치 않은 확전을 억누르고 부수 피해를 제한해, MAIM이 더 넓은 충돌로 풀려나지 않도록 하는 조치들입니다.

합리적 의사결정을 보존한다

핵 경쟁국들이 발사에 이르는 각 단계를 지도로 그려 오해를 줄였듯, AI 강국들도 확전 사다리를 분명히 해야 합니다. 첩보, 은밀한 사보타주, 공공연한 사이버 공격, 물리적 타격으로 이어지는 단계를 서로 알고 있어야 한다는 뜻입니다. 억지가 성립하려면 양측이 기능마비를 실행할 준비가 되어 있다는 사실이 공유지식이어야 하며, 그래야 사이버 공격 같은 기능마비 행위가 잘못 읽혀 불필요한 확전을 부르는 일을 막을 수 있습니다.

원문이 예시로 제시하는 사다리는 네 개의 문턱으로 나뉩니다. 가장 아래는 첩보로, AI 개발자의 업무 공간 통신과 직원 기기와 시설을 들여다보는 단계입니다. 그 위의 은밀한 사보타주 문턱에는 모델 가중치 탈취, 불안정을 부르는 프로젝트의 학습 실행을 저하시키는 은밀한 공격, GPU의 고장률을 높이는 사이버 공격이 놓입니다. 다음의 공공연한 사보타주 문턱에는 데이터센터나 해당 발전소를 겨냥한 사이버 공격과 코드 삭제가 들어갑니다. 그 위의 물리적 문턱에는 데이터센터와 발전소에 대한 물리적 타격이, 가장 위의 더 넓은 적대행위에는 다수 데이터센터에 대한 대규모 공격과 AI와 무관한 자산에 대한 위협이 놓입니다.

다만 확전에 대한 명료함도 불량 정권이나 극단 세력이 대량의 AI 칩을 손에 넣으면 억지 가치를 거의 잃습니다. AI 칩 밀수를 막는 조치는 의사결정을 불량 행위자가 아니라 더 책임 있는 국가의 손에 남겨 두어 MAIM의 억지력을 보존하는 데 기여합니다. 상호확증파괴와 마찬가지로 MAIM도 불안정을 부르는 AI 역량이 합리적 행위자에게만 제한되어 있을 것을 요구합니다.

사이버 공격 수단을 넓힌다

물리적 타격으로 가지 않으려면 국가들은 사이버 공격으로 불안정한 AI 프로젝트를 무력화하는 능력을 키워 둘 수 있습니다. AI 개발자의 프로젝트를 식별하거나 소속 과학자들의 활동 정보를 수집하는 일이 출발점이고, 대부분의 기업에서 AI 프로젝트를 들여다보는 데 필요한 것은 슬랙(Slack)이나 아이폰(iPhone)의 제로데이 취약점 하나뿐입니다.

데이터를 오염시키고, 모델 가중치와 기울기를 망가뜨리고, 불량 GPU를 처리하는 소프트웨어를 교란하고, 냉각이나 전력 계통을 무너뜨리는 방법도 있습니다. 학습 실행은 본래 비결정적이고 버그가 없을 때조차 결과를 예측하기 어려우므로, 많은 사이버 공격에 은폐막이 되어 줍니다. 물리적 타격과 달리 이런 공격 가운데 일부는 침입의 뚜렷한 흔적을 거의 남기지 않으면서도, 외교적 파장을 최소화한 채 상대의 프로젝트를 심각하게 교란할 수 있습니다.

데이터센터를 외딴곳에 짓는다

핵 시대에 강대국들은 미사일 격납고와 지휘 시설을 주요 인구 밀집지에서 의도적으로 떨어뜨려 놓았습니다. 도시를 피한다는 이 원칙을 유비로 적용하면, 대형 AI 데이터센터도 외딴 지역에 두는 것이 바람직합니다. 공격적인 기능마비 행동이 벌어지더라도 도시가 교전의 한가운데 놓이지 않기 때문입니다.

[한국 관점] 이 권고는 한국 지형에서 그대로 적용되기 어렵습니다. 수도권에 인구와 전력 수요와 통신 인프라가 몰려 있고, 국토가 좁아 인구 밀집지에서 충분히 떨어진 입지를 잡기가 쉽지 않습니다. 정부와 기업이 비수도권 데이터센터 분산을 추진해 온 동기는 전력 계통과 지역 균형이었지 군사적 표적 회피가 아니었지만, 이 글의 관점에서 보면 결과적으로 같은 방향의 조치가 됩니다.

더 근본적인 차이는 한국이 이 글이 상정하는 행위 주체가 아니라는 점입니다. 전략적 독점을 노릴 규모의 프로젝트를 돌리지 않는 나라의 데이터센터는 기능마비 공격의 1차 표적이 아닙니다. 그러나 미국 기업의 연산 설비를 유치하거나 미국 주도의 연산 네트워크에 편입되는 정도가 깊어질수록, 자국 영토의 설비가 남의 억지 게임의 말이 될 가능성은 함께 올라갑니다. 데이터센터 유치를 산업정책으로만 다루기 어려워지는 지점입니다.

불안정한 프로젝트와 용인 가능한 사용을 구분한다

기능마비 공격의 위협은 국가에 지렛대를 줍니다. 경쟁국에 사찰 같은 투명성 조치를 요구할 수 있게 되므로, 기능마비가 정당한지를 판단하는 데 첩보에만 의존하지 않아도 됩니다. 조율이 이루어지면 소비자용 AI 서비스만 돌리는 데이터센터를 공격할 위험을 줄일 수 있습니다.

상호 관찰이라는 이 접근은 오픈스카이 조약의 정신과 통합니다. 비무장 항공기의 상호 영공 통과를 통해 어느 쪽도 미사일 배치를 숨기지 않고 있음을 보여 주던 방식입니다. 같은 맥락에서 투명성이 높아지면 일상적인 AI 서비스 생태계 전반이 보호되고 무차별적인 사보타주의 위험이 낮아집니다.

AI가 돕는 사찰

아직 사변적이지만 점점 그럴듯해지는 구상도 있습니다. 기밀을 지키면서 검증하는 AI 검증자입니다. 독점 코드나 기밀 자료를 드러내지 않으면서도 AI 프로젝트가 선언한 제약을 지키고 있는지를 확인하는 길입니다. 현장에서 코드와 명령을 분석한 뒤, 기밀을 보존하는 보고서나 단순한 준수 여부 판정을 내놓는 방식이며, 그 시설이 불안정을 부르는 새 모델을 만들고 있는지 외에는 아무것도 드러내지 않을 수 있습니다.

인간은 같은 역할을 그만큼 쉽게 할 수 없습니다. 의도치 않게 정보를 알아내거나 흘릴 위험이 있기 때문입니다. 그래서 AI는 안보와 투명성 사이의 고전적 긴장을 다시 짤 수 있습니다. 이런 사찰에서 나온 정보는 혹시 모를 충돌을 AI 개발 프로그램의 무력화 선에서 묶어 두고 주민 집단의 몰살로 번지지 않게 하는 데 도움이 됩니다. 또한 AI 개발에 중앙집중이 덜 필요해지거나 연산 자원이 덜 필요해지는 먼 미래에도 쓸모가 있습니다.

MAIM은 네 가지 조합으로 더 안정될 수 있습니다. 일방적 정보 획득인 첩보, 다자적 정보 획득인 검증, 일방적 기능마비인 사보타주, 다자적 기능마비인 공동 정지 장치입니다. 이런 조건이 갖춰지면 상호확증 AI 기능마비가 상호확증 인간 파괴로 굴러떨어지지 않아도 됩니다.

세 사람은 이 대치가 기본값으로 생겨날 수는 있어도 수십 년 이어지거나 무기한의 교착으로 남으라는 뜻은 아니라고 못 박습니다. 대치가 이어지는 동안, 더 유능한 AI가 주는 이익을 원하는 국가들은 투명성을 높이고 검증 조치를 받아들일 유인을 갖게 되며 그만큼 사보타주와 선제공격의 위험이 줄어듭니다.

비확산

상호 사보타주의 논리를 받아들인 국가들은 서로의 의도를 제약하면서 균형을 잡을 수 있습니다. 그러나 불량 행위자는 예측하기 어렵기 때문에 두 번째 과제가 생깁니다. 이들의 역량 자체를 제한하는 일입니다. 핵확산금지조약이 핵분열 물질을 테러리스트의 손에서 떼어 놓기 위해 여러 강대국을 묶었듯, AI에서도 비슷한 공통 기반을 찾을 수 있습니다. 의도를 묶는 것이 억지라면 역량을 묶는 것이 비확산이며, 그 수단으로 컴퓨트 보안과 정보 보안과 AI 보안이 제시됩니다. 세 가지는 각각 AI 개발·배포 파이프라인의 중요한 길목을 겨냥합니다.

컴퓨트 보안은 AI 칩이 정당한 행위자에게 정당한 목적으로 배분되도록 보장하는 일입니다. 핵분열 물질과 화학무기와 생물학적 작용제의 확산을 막기 위해 써 온 수출통제를 그대로 옮겨 온 발상입니다.

정보 보안은 AI의 핵심 지적 자산을 이루는 민감한 연구와 모델 가중치를 지키는 일입니다. 이 요소들을 보호하면 부당한 유포와 악의적 사용을 막을 수 있으며, 대량파괴무기 맥락에서 민감 정보를 지켜 온 조치와 짝을 이룹니다.

AI 보안은 AI 모델을 통제 가능하고 신뢰할 수 있게 만드는 안전장치를 구현해 민간 영역의 응용을 안전하게 만드는 일입니다. AI 연구를 자동화하는 데 AI가 쓰인다면 광범위한 감시와 통제 조치가 통제 상실의 위험을 줄일 수 있습니다. AI 시스템이 조작에 저항하고 파국적 사고를 일으키지 않도록 하는 일은, 파국적 이중용도 기술의 사고와 무단 사용을 막기 위한 국내 안전장치와 같은 성격입니다.

세 사람은 대량파괴무기 비확산에서 검증된 전략을 AI에 맞게 번안함으로써, 투입물인 AI 칩과 연구 아이디어부터 산출물인 모델 가중치와 AI 시스템까지 파이프라인의 각 요소를 지키는 구조적 접근을 제시합니다.

컴퓨트 보안

AI의 발전은 흔히 컴퓨트라 불리는 강력한 연산 자원에 대한 접근에 달려 있습니다. 복잡하고 집중된 공급망을 거쳐 만들어지는 이 AI 칩은 대규모 모델 학습에 필수적입니다. 컴퓨트가 경제와 국가안보의 핵심이 될수록 그 분배가 결정적인 문제가 됩니다. 컴퓨트 보안의 일차 목표는 첨단 AI 칩을 농축 우라늄처럼 다루는 것입니다.

역사적으로 각국은 파국적 이중용도 무기의 확산을 막기 위해 가장 결정적인 구성요소를 통제해 왔습니다. 핵무기의 핵분열 물질, 화학무기의 화학 전구물질, 생물무기의 생물학적 작용제가 그 대상이었습니다. 이를 위해 쓰인 수단이 수출통제이며, AI 영역에도 적용할 수 있습니다. 컴퓨트를 제한하면 불량 행위자의 역량이 실질적으로 제한되는데, 컴퓨트가 AI 역량을 결정하는 핵심 요인이기 때문입니다.

대량파괴무기 투입물에 대한 수출통제

각국은 핵심 물질과 기술의 흐름을 규제해 그것이 엉뚱한 손에 들어가지 않도록 해 왔습니다. 핵무기의 경우 농축 우라늄과 플루토늄 같은 핵분열 물질을 통제하는 일이 여기에 해당합니다. 핵공급국그룹 같은 국제 합의와 조직이 이 통제를 조율해 해당 물질의 수출을 감시하고 제한합니다. 선적은 꼼꼼히 추적되고, 운송 전후로 수량이 측정되며, 동맹국은 의심스러운 활동에 관한 정보를 공유합니다. 비공식 국가 연합체인 오스트레일리아그룹은 화학·생물무기의 확산을 막기 위해 수출통제를 조화시키는 일을 합니다. 수출통제는 역사적으로 대량파괴무기에 의한 파국을 드문 일로 만드는 데 기여했고, AI에 의한 파국을 막는 데에도 쓰일 수 있습니다.

AI의 맥락에서 이는 AI 칩과 그 제조에 쓰이는 부품에 대한 접근을 통제하는 일이 됩니다. 일부 수출통제는 이미 시행되고 있지만, 그 견고함과 철저함을 끌어올릴 필요가 있습니다.

컴퓨트는 핵분열 물질에 해당하는 중심 투입물이다

AI 칩은 다른 대량파괴무기 투입물과 닮았습니다. 복잡한 제조 공정과 상당한 자원을 요구한다는 점이 우라늄 농축과 비슷합니다. 핵분열 물질의 양이 핵무기의 폭발력에 영향을 주듯, 컴퓨트의 양도 AI의 역량을 상당 부분 결정합니다.

AI의 진전은 컴퓨트와 긴밀히 묶여 있습니다. 선도 AI 기업들은 지출의 대부분을 컴퓨트에 쏟으며, 연구자 인건비나 데이터 확보 비용을 크게 웃돕니다. 2024년 엔비디아(NVIDIA)의 치솟은 매출은 컴퓨트가 AI에서 차지하는 결정적 위치를 보여 줍니다.

컴퓨트가 늘면 모델은 똑똑해집니다. 여러 분석은 투입된 컴퓨트의 양과 표준 평가에서의 성능 사이에 95%를 넘는 뚜렷한 상관관계가 있음을 보여 줍니다. 스케일링 법칙으로 정식화된 이 관계는 연산 자원이 늘어남에 따라 성능이 일관되게 개선된다는 사실을 드러냅니다. 이 법칙은 FLOP으로 측정한 컴퓨트의 15자릿수 범위에 걸쳐 유지되어 왔고, 앞으로의 진전도 지수적으로 늘어나는 컴퓨트에 의해 추동되리라는 점을 시사합니다. 결론은 컴퓨트에 대한 수출통제가 불량 행위자의 역량을 실질적으로 제한한다는 것입니다.

알고리즘과 데이터 같은 무형의 요소와 달리 컴퓨트는 물리적인 AI 칩에 담겨 있어 직접 통제가 가능합니다. 이 물리적 성격 덕분에 칩이 어디 있는지 알 수 있고 밀수를 막을 수 있습니다. 세 사람은 그 분배를 관리할 두 가지 주요 수단으로 수출통제와 펌웨어 수준의 보안 기능을 제시합니다.

[관점] 컴퓨트가 역량을 결정한다는 전제는 이 장 전체를 떠받치지만, 이 글이 나온 전후로 흔들린 전제이기도 합니다. 딥시크(DeepSeek)가 2024년 말과 2025년 초에 내놓은 모델들은 선도 기업보다 훨씬 적은 학습 컴퓨트로 근접한 성능을 냈다고 알려지면서, 컴퓨트 접근을 막는 것만으로 역량을 묶을 수 있는지에 대한 논쟁을 불렀습니다.

다만 이 사실이 세 사람의 논증을 그대로 무너뜨리지는 않습니다. 알고리즘 효율이 좋아져도 같은 효율에 더 많은 컴퓨트를 얹은 쪽이 앞선다는 관계 자체는 유지되기 때문입니다. 흔들리는 것은 상대적 기준선입니다. 통제가 겨냥하는 문턱, 곧 어느 정도의 컴퓨트부터 위험한 역량이 나오는가 하는 기준이 시간이 갈수록 아래로 내려가며, 통제 체계는 움직이는 과녁을 쫓게 됩니다.

수출통제를 어떻게 촘촘하게 할 것인가

라이선스 체계와 더 강한 집행이 모든 AI 칩을 추적하고 밀수를 막는 데 어떻게 쓰이는지가 이어집니다.

기록 관리가 먼저입니다. 각 AI 칩이 어디 있는지 알기 위해 라이선스 제도를 통해 수출통제를 더 철저하게 만들 수 있습니다. 산업안보국(BIS) 같은 기존 체계와 기관을 활용해, 고성능 AI 칩의 판매자가 칩과 수령인과 예정된 이전 내역을 명시한 허가를 신청하도록 하는 방식입니다. 준수 실적이 좋은 주체는 재판매나 이전 때마다 당국에 통지한다는 조건으로 면제를 받을 수 있습니다. 이 절차는 익숙한 기반 위에서 돌아가므로 빠르게 도입할 수 있고, 정당한 상거래를 가로막지 않으면서 당국이 칩을 추적하게 해 줍니다.

집행이 다음입니다. 밀수를 막으려면 집행을 강화해야 합니다. 예컨대 싱가포르의 어떤 시설이 유효한 라이선스로 AI 칩을 사들인 뒤 중국으로 불법 전용할 수 있습니다. 현장 준수 점검과 최종 사용 확인을 맡는 집행 인력을 늘리면 이런 이탈을 잡아낼 수 있습니다. 칩의 실제 위치가 신고된 재고와 맞지 않게 되기 때문입니다.

집행관을 돕는 수단으로는 데이터센터의 변조 감지 카메라 영상이 있습니다. 신고된 AI 칩이 현장에 그대로 있는지 확인해 밀수를 드러낼 수 있고, 핵 검증에서 이미 쓰이는 방식입니다. 신고되지 않은 데이터센터는 위성 영상으로 어렵지 않게 발견되어 사찰 대상이 됩니다. 무단 보유가 확인된 칩에 대해서는 벌금이나 형사 기소, 향후 선적 금지 같은 제재가 따릅니다. 또한 작동 불능이나 노후로 신고된 AI 칩은 화학·핵 물질의 폐기 절차처럼 검증된 폐기를 거치게 해, 폐기되었다는 칩이 조용히 재판매되지 않도록 합니다. 사찰을 촘촘히 하고 위반에 실질적인 대가를 부과하면 은밀한 이전의 비용이 올라가고 첨단 컴퓨트가 안보를 위협할 집단으로 흘러드는 일이 줄어듭니다.

[한국 관점] 한국은 이 체계에서 통제의 대상이면서 동시에 집행의 참여자입니다. 미국의 AI 칩 수출통제는 한국 기업이 보유하거나 중계하는 물량에도 적용되고, HBM은 2024년 말부터 통제 품목에 포함되어 한국 반도체 기업이 직접적인 규율 대상이 되었습니다. 세 사람이 권하는 선적 감시와 최종 사용 확인이 강화될수록 기업이 감당할 준수 비용과 거래 제약도 함께 커집니다.

반대편의 기회도 있습니다. 2025년 초 발표되었다가 그해 철회된 AI 확산 규칙은 국가를 등급으로 나눠 컴퓨트 배분 한도를 정하는 틀이었고, 한국은 최상위 등급에 속해 상대적으로 자유로운 접근을 보장받았습니다. 이 글의 논리가 정책에 반영될수록 중요해지는 것은 기술력보다 신뢰 등급입니다. 검증된 최종사용자(VEU) 지위를 유지하는 일이 기업 전략의 핵심 변수가 되며, 중국 내 생산시설을 둔 한국 기업에게는 그 유지 조건이 곧 투자 결정의 제약이 됩니다.

펌웨어 수준의 기능

수출통제는 고성능 AI 칩의 확산을 억제하는 든든한 뼈대로 남습니다. 화학·생물 영역의 이중용도 투입물에서 그랬던 것과 같습니다. 다만 AI 칩은 가공되지 않은 원물질이 아니라 인간이 설계한 제품이므로, 칩이 스스로 주변 환경을 확인하고 변조가 감지되면 잠기도록 만들어 수출통제를 보완할 수 있습니다. 이런 기능은 펌웨어 업데이트로 구현할 수 있어 하드웨어를 다시 설계할 필요가 없습니다.

엔비디아 H100 같은 AI 칩에는 이미 기밀 컴퓨팅과 신뢰실행환경 같은 프라이버시 보호형 기업 보안 기능이 들어 있습니다. 이 기능을 국가안보 목적으로 번안하면 지평이 넓어집니다. 칩이 허가되지 않은 국경을 넘었거나 변조되었음을 감지하면 핵심 기능을 스스로 멈추게 할 수 있습니다. 잘 설계된 펌웨어가 있으면 컴퓨트 밀수를 시도할 유인을 더 꺾을 수 있으며, 구체적인 기능은 다음과 같습니다.

위치 확인과 지오펜싱 — 칩이 자신의 지리적 위치를 파악해 보고하도록 설계할 수 있습니다. 여러 기준점에서 오는 신호 지연을 측정하면 수십에서 수백 킬로미터 범위 안에서 위치를 확인할 수 있고, 올바른 국가에 있는지를 가리기에는 충분합니다. 허가되지 않은 지역으로 옮겨지면 자동으로 기능을 멈추거나 제한할 수 있습니다.
라이선스와 원격 증명 — AI 칩이 컴퓨트 제공자로부터 주기적으로 인가를 받아야 작동하도록 하는 방식입니다. 칩이 계속 작동하려면 정기적으로 암호학적 서명을 받아야 하며, 분실하거나 도난당하면 원격으로 비활성화되는 아이폰의 기능과 비슷합니다. 무단 이전이나 변조, 라이선스 만료로 인가 상태를 확인하지 못하면 칩은 스스로 작동 불능이 되어 훔치거나 밀수한 하드웨어의 장기 사용 가치를 떨어뜨립니다.
네트워킹 제한과 작동 모드 — 미리 승인된 목록에 있는 칩과만 연결되도록 프로그램할 수 있습니다. 대량의 칩을 탐지 없이 묶는 일을 막아 무단 컴퓨트 클러스터 구축을 제한합니다. 또한 학습과 추론 같은 작동 모드를 강제해, 명시적 승인 없이는 특정 기능을 쓰지 못하게 할 수 있습니다. 네트워킹 규모를 키우거나 작동 모드를 바꿀 때 명시적 인가를 요구하면, 합의된 틀 밖에서 벌어지는 컴퓨트 확장을 줄일 수 있고 수출통제 집행관의 최종 사용 점검을 보완합니다.
물리적 변조 방지 — 펌웨어를 넘어, 제조 공정 마지막 단계에서 보안 기능을 추가해 방어층을 하나 더 둘 수 있습니다. 변조 감지 봉인과 가속도계 등의 물리 보안 장치를 넣으면 무단 접근이나 개조에 대한 방어가 강해집니다. 변조의 흔적이나 예상치 못한 지속적 이동이 감지되면 칩이 스스로 비활성화되거나 당국에 알릴 수 있습니다.

세 사람은 한계도 분명히 합니다. 펌웨어 개입은 완벽한 보안을 목표로 하지 않습니다. 밀수되어 실제로 작동하는 칩의 기대 수를 줄이는 장치일 뿐, 수출통제를 대체하지 않습니다.

기업용 응용을 위한 신뢰실행환경 같은 하드웨어 수준의 기반이 견고해질수록 수출통제를 보완하는 펌웨어도 함께 견고해질 수 있습니다. 기술 발전이 빨라 칩이 교체되는 주기 안에서 새 세대는 더 진보한 보안 기능을 기본으로 탑재할 수 있습니다. 이런 점진적 통합은 더 안전한 AI 칩의 비중을 높여, 무단 사용을 시간이 갈수록 어렵고 비싸게 만듭니다.

마지막으로 세 사람은 적대국끼리도 위험 물질 관리에서 공통 기반을 찾은 역사를 상기시킵니다. 미국은 핵·생물·화학 무기를 두고 소련과도 중국과도 협력했는데, 이타심이 아니라 자기 보존 때문이었습니다. 미국이 첨단 AI 칩을 핵분열 물질처럼 다루기 시작하면 중국도 같은 길을 가도록 유도할 수 있습니다. 미국이 러시아에 핵분열 물질 추적을 요구하는 이유와 같은 논리입니다. 이런 역량이 불확실한 손에 흘러드는 상황에서 이득을 보는 쪽은 아무도 없기 때문입니다. 소련 붕괴 이후 러시아에 방치된 농축 우라늄과 화학무기는 세계적 위협이었고, 미국이 시작한 넌-루거 협력적 위협 감축 프로그램이 그 문제를 수습하는 데 기여했습니다. 중국에 AI 칩을 안전하게 관리하라고 촉구하는 일도 누구의 야심에도 도움이 되지 않을 파국을 피해야 한다는 공통의 과제를 인정하는 일입니다.

정보 보안

민감한 정보를 보호하는 일은 오랫동안 국가안보의 축이었고, 대량파괴무기와 관련해서는 특히 그랬습니다. 민감한 지식에 대한 접근을 제한하면 불량 행위자로의 확산 위험이 줄어듭니다. 핵무기의 연구와 설계 세부가 새어 나가면 심각한 위험이 발생합니다. 생명공학에서도 여러 생물무기의 제조 프로토콜은 공개적으로 공유되지 않습니다. 이런 정보에 접근하는 인력은 보안 적격 심사와 신뢰성 프로그램을 통해 엄격한 검증과 지속적인 감시를 받습니다. 걸린 것이 큰 이유는 분명합니다. 생물무기 조리법이 공개되는 순간 그 확산은 되돌릴 수 없고 무기한 악용될 수 있기 때문입니다.

모델 가중치와 연구 아이디어

AI 영역에서 민감한 정보의 핵심은 모델 가중치와 연구 아이디어입니다. 모델 가중치는 막대한 연산 자원과 정교한 알고리즘과 대규모 데이터셋이 투입된 긴 학습 과정의 결과물입니다. 신경망의 시냅스 연결에 해당하며, 그 집합이 AI의 기능을 결정합니다. 이 가중치를 가지면 원 개발자의 감독 없이 AI를 쓰고 고치고 악용할 수 있습니다. 적대 세력은 안전장치를 걷어 내고 유해한 영역의 역량을 끌어올려 AI를 악의적 활동에 다시 쓸 수 있습니다.

정보 보안은 기술 과제이면서 사회 과제입니다. 위협은 원격 해킹 시도에 그치지 않고 내부자와 첩보로 확장됩니다. 방화벽만으로는 충분하지 않습니다. 구체적인 사례로는 이해관계가 충돌하는 나라를 오가는 개인의 문제가 있습니다. 미국 AI 기업에서 일하는 연구자가 적대국을 다시 방문했다가, 출국하기 전에 기밀 연구 아이디어를 넘기라는 정부 당국자의 압력을 받을 수 있습니다.

여기에 더해 AI 조직 내부의 일부 인사는 신념 때문에 모델 가중치를 공개하려 할 수 있습니다. 기술에 대한 제약 없는 접근을 믿기 때문입니다. 정보의 자유에 대한 믿음은 많은 맥락에서 존중할 만하지만, 국가안보의 맥락에서는 그대로 적용되기 어려운 경우가 많습니다. 또 어떤 이들은 AI 자체가 자유로워야 한다고 믿습니다. 한 AI 벤처투자자는 AI가 본래 통제할 수 없는 것이라고 말했고, AI 교과서 저자인 리처드 서튼(Richard Sutton)은 AI로의 계승이 불가피하므로 저항해서는 안 되며 물러나는 것이 마땅하다는 취지로 AI의 해방을 주장해 왔습니다.

[이해관계] 여기서 익명으로 처리된 AI 벤처투자자는 안드레센입니다. 세 사람이 각주로 인용한 출처는 2024년 1월 그의 소셜미디어 게시물입니다. 앞서 방임 전략 비판에서도 같은 인물의 주장이 이름 없이 요약된 바 있어, 이 글에서 반복적으로 겨냥되는 상대가 누구인지는 분명합니다.

반대 방향의 이해관계도 짚어 둘 필요가 있습니다. 가중치 공개를 안보 위협으로 규정하면 이익을 보는 쪽은 가중치를 공개하지 않는 기업입니다. 헨드릭스가 자문을 맡은 xAI는 일부 구형 모델의 가중치를 공개해 왔지만 최신 모델은 공개하지 않으며, 슈밋 역시 가중치 공개 모델의 위험을 여러 자리에서 경고해 왔습니다. 안보 논거와 사업 구조가 같은 방향을 가리킨다는 점은 양쪽 모두에 해당합니다.

강대국의 첩보까지 막는 보안은 실현되지 않는다

세 사람의 제안은 수위를 명확히 구분합니다. 자원이 풍부한 테러 조직과 신념에 따른 내부자 위협을 막을 수 있을 만큼 정보 보안을 강화하자는 것이지, 세계 최강의 국가 정보기관을 막아 내자는 것이 아닙니다. 그 높은 수준에서 첩보의 모든 통로를 닫으려면 몇 년에 걸친 극단적 집중이 필요하고, 그 과정에서 국가의 AI 경쟁력이 발목을 잡히며 지금 선도 기업을 떠받치는 다국적 인재를 잃게 됩니다.

예컨대 미국의 주요 AI 기업 상당수에서 연구자의 두 자릿수 퍼센트가 중국 국적자이며, 그 외에도 보안 적격 심사를 통과하기 어려운 인력이 많습니다. 이들을 한꺼번에 내보내면 인재가 해외로 빠져나가 미국의 경쟁력이 훼손됩니다. 남은 인력도 정보 확산을 막기 위해 고립된 장소로 통째로 옮겨야 합니다. 이런 조치는 효과가 없고 자기 파괴적이며 MAIM의 확전 위험까지 키웁니다.

경쟁 강대국으로의 유출도 걱정스럽지만, 대량파괴무기급 역량을 가진 모델 가중치의 공개 배포는 그보다 훨씬 큰 위협일 수 있습니다. 그런 가중치가 공개되면 확산은 되돌릴 수 없고, 테러리스트를 비롯해 생물무기를 만들 가능성이 훨씬 높은 적대적 비국가 행위자를 포함한 누구에게나 앞선 AI 역량이 열립니다. 유능한 AI를 가진 유일한 국가가 되려 애쓰는 대신, 강대국은 경제력을 위한 AI 칩 생산과 군사력을 위한 드론 제조처럼 다른 무대로 경쟁을 돌릴 수 있습니다.

[관점] 이 절은 이 글에서 가장 솔직하게 타협을 인정하는 대목입니다. 중국 국적 연구자를 배제하면 미국의 경쟁력이 무너진다는 서술은, 비확산을 주장하면서도 그것이 어디까지 가능한지를 스스로 한정하는 드문 자기 제한입니다. 보안의 목표를 완전한 차단이 아니라 특정 위협군에 대한 방어로 좁히는 설계이기도 합니다.

이 선택에는 비용이 따릅니다. 강대국 수준의 첩보를 포기하고 받아들인다는 것은, 중국이 미국의 최신 모델 가중치를 결국 확보하리라는 전제를 깔고 전략을 짠다는 뜻입니다. 그렇다면 비확산의 실효는 테러 집단과 중소 행위자로 좁아지고, 강대국 사이의 역량 격차 유지라는 목표는 컴퓨트 통제 쪽에 전적으로 의존하게 됩니다. 두 축의 무게가 균형을 이루지 않는다는 점이 이 전략의 약한 고리입니다.

정보 보안을 어떻게 개선할 것인가

세 사람은 세 층위의 조율된 노력을 제시합니다. 기업 차원에서는 컴퓨트 클러스터 보안을 강화하고 내부자 위협 프로그램을 운영하는 일, 정부 차원에서는 침투 시험을 의무화하고 위협 정보 공유를 촉진하는 일, 국제 차원에서는 고위험 AI 모델의 확산을 막는 합의를 만드는 일입니다.

기업 차원의 조치가 먼저입니다. AI 기업은 모델 가중치와 연구 아이디어를 지키기 위해 엄격한 정보 보안 관행을 도입해야 합니다. 핵심은 심층 방어로, 여러 방어선을 겹쳐 쌓아 하나가 뚫려도 중요한 정보가 안전하도록 만드는 전략입니다. 초기 단계의 조치로는 다중 인증 적용, 사내 발표 때 블라인드를 내리는 일, 잠시 자리를 비울 때 모든 기기가 자동으로 화면을 잠그도록 하는 일이 있습니다. 최소 권한 원칙을 지키면 모델 가중치에 접근하는 인원이 꼭 필요한 사람으로 한정됩니다.

여기에 더해 기업은 자사 AI 가중치에 백도어를 심어 두었다고 선언할 수도 있습니다. 적대 세력이 그 가중치를 훔쳐 쓰면 자기도 모르게 취약점을 떠안게 된다는 뜻이 되기 때문입니다. 이런 선언은 전략적 기만일 수도 있고, 실제로 시행한 조치를 반영한 것일 수도 있습니다.

정부의 역할은 위협 정보를 돕는 데 있습니다. 정부는 AI 개발자가 잠재적 직원을 철저히 검증하도록 돕고 위협 정보를 공유함으로써 기여할 수 있습니다. 차별 소지에 대한 우려 때문에 엄격한 신원 조회를 막고 있는 현행 법적 제약을 손보면, 기업이 접근 권한을 주기 전에 보안 위험을 평가할 수 있습니다.

별개로 보안기관은 적대 세력의 해킹 수법과 침투 방식에 관한 통찰을 갖고 있지만 민간 기업에 거의 공개하지 않습니다. 적대적 전술과 새로운 위험에 관한 정보를 공유하면 기업이 첩보와 사이버 공격에 더 잘 대비할 수 있습니다. 사이버보안 위험정보 공유 프로그램(CRISP)과 비슷한 제도를 AI 안전연구소를 통해 AI 부문에 설립해, 고도화된 위협에 맞설 지식 공유를 촉진할 수 있습니다. 포괄적인 프로그램이라면 높은 보안 위험이 있다고 판단되어 해고된 AI 개발 인력에 관한 정보 공유까지 포함할 것입니다. 나아가 이런 제도는 AI 기업들이 보안 사고와 의심스러운 인물과 모범 사례를 서로, 그리고 정부 기관과 공유하도록 유도해 집단 방어 기제를 형성합니다.

국제 차원에서는 모델 가중치 유포에 관한 경계선을 세우는 합의가 가능합니다. 예컨대 전문가 수준의 바이러스학자에 해당하는 역량처럼 일정한 문턱을 넘는 모델의 공개를 금지하는 합의를 이룰 수 있습니다. 그런 AI 시스템이 통제 없이 확산되면 개인이나 집단이 병원체를 설계할 수 있게 되어 전 지구적 위험이 발생합니다.

생물무기금지협약(BWC)의 교훈도 같은 방향을 가리킵니다. 국가들은 국제 안보를 위협하는 기술의 확산을 막아야 한다는 공통의 과제를 인식했습니다. 가난한 자의 원자폭탄이라 불리는 생물무기는 통제가 매우 어렵고, 대량파괴무기 가운데 유일하게 스스로 증식하는 능력을 갖고 있습니다. 전문가 수준의 바이러스학자 AI의 가중치 공개를 명확히 금지하면, 국제사회는 이 역량이 테러리스트의 손에 들어갈 위험을 줄일 수 있습니다.

모델 가중치와 그 배후의 아이디어를 지키는 일에는 여러 층위의 행동이 필요합니다. 내부 방어를 강화하고 정부와 협력해 테러리스트의 사이버 공격에 맞서며 확산 방지를 위한 국제 합의를 만들면, 앞선 AI 역량이 불량 행위자에게 되돌릴 수 없이 확산되는 위험을 줄일 수 있습니다. 다만 컴퓨트 자원과 AI 정보가 안전해지더라도, 테러리스트가 공개된 AI 서비스를 악용하는 것은 여전히 막아야 합니다.

AI 보안

악의적 사용을 막는 겹겹의 방어

화학과 생물과 핵처럼 위험한 영역에는 무단 사용을 막는 안전장치가 있습니다. 일부 화학 공장은 위험 화학물질이 허가 없이 반출되는 것을 감지하면 자동으로 중화제를 주입합니다. DNA 합성 서비스는 고객을 선별해 유해 병원체의 제작을 차단합니다. 원자력 발전소는 재해를 막기 위해 엄격책임 아래 운영됩니다. 이런 기술적·운영적·입법적 조치는 파국적 이중용도 기술에서 안전장치가 갖는 중요성을 보여 줍니다. AI가 강력해질수록 사고를 막고 불량 행위자에게 전용되지 않도록 하는 견고한 안전장치가 필요해집니다.

세 사람은 다층적 접근을 제시합니다. 모델 수준의 기술적 안전장치, 고객 확인 절차를 포함한 운영상의 안전장치, 정부의 의무 시험과 책임 소재 명확화 같은 입법적 안전장치입니다.

모델 수준의 안전장치는 꽤 견고해질 수 있습니다. 최근의 진전은 이 안전장치가 조작에 상당히 저항하도록 만들 수 있음을 보여 주었습니다. 거절 학습은 테러 활동을 돕는 요청을 거부하도록 AI를 가르치는 기법입니다. 입출력 필터링은 사용자 입력을 처리 전에 훑어 테러 관련 요청을 걸러 내고 산출물을 점검해 민감 정보나 유해 행동을 차단하는 보안층을 더합니다. 회로 차단기는 AI 구조 안에 심어 둔 장치로, 무기화 관련 주제의 처리를 감지하면 작동을 중단시킵니다. 이 방법들을 결합하면 효과가 입증되며, 일부 AI 시스템은 성공에 이르기 전까지 수만 번의 우회 시도를 견뎌 냈습니다.

여러 층의 방어가 서로의 약점을 메워 전체 위험을 낮추는 구조는 스위스 치즈 모델로 설명됩니다. 고객 확인, 입출력 필터, 거절 학습, 회로 차단기, 감시가 차례로 놓이면 한 층의 구멍을 다음 층이 막습니다.

고객 확인 절차는 접근의 균형을 잡는 장치입니다. 특히 과학 연구에서 이로운 활용을 과도하게 제약하지 않기 위해 고객 확인(KYC) 절차를 도입할 수 있습니다. 병원체를 연구하는 바이러스학자처럼 정당한 필요가 있는 연구자에게는 적절한 검증을 거쳐 이중용도 역량에 대한 접근을 허용할 수 있습니다. 최근 생성된 익명 계정에는 안전장치를 적용하되 기업 고객에게는 해제하는 식으로 운영할 수 있습니다. 위험한 생물학적 물질에 대한 접근에 사유와 승인을 요구하는 생명공학의 기존 관행과 같은 방식입니다.

고객 확인은 그 자체로 억지 효과도 냅니다. 나쁜 행위자가 엄격한 신원 확인 절차를 우회해야 하므로 접근이 어려워지기 때문입니다. 또한 탈옥으로 안전장치를 우회하려는 사용자처럼 악용을 시도한 이용자의 접근을 취소할 수 있게 해 줍니다. 신원 확인을 다시 통과해야 재접근할 수 있으므로 반복적인 악용 시도가 어려워집니다.

정부의 안전장치 스트레스 테스트도 제안됩니다. 원자로가 가동 전에 엄격한 안전성 평가를 받듯, 고위험 기술 산업에서 의무 시험은 표준 관행입니다. AI에서도 정부의 관여가 필요한데, 대량파괴무기와 관련된 지식의 상당 부분이 기밀이기 때문입니다. 당국은 통제된 환경에서 평가를 수행해, AI가 비전문가의 화학·생물·방사능·핵·사이버 무기 제작을 도울 수 있는지 또는 전문가의 장벽을 크게 낮추는지를 확인할 수 있습니다. 자동 시험이 더 빠르고 재현성에 유리하지만 위험 추정에 반드시 필요한 것은 아니며 수동 시험으로도 충분할 수 있습니다. 시험은 개발자가 안전장치의 취약점을 해소하도록 하고 그 시스템이 국가안보를 위협하지 않도록 보장합니다.

라이선스 대신 책임으로 지속적 개선을 유도하자는 제안도 나옵니다. 운영 전에 라이선스와 정부 승인이 필요한 핵·화학 산업과 달리, AI는 빠르게 변하기 때문에 전통적 라이선스가 어울리지 않을 수 있습니다. 안전장치의 모범 사례가 해마다 바뀌는데 대부분의 정부 기관에는 새로운 모범 사례를 식별할 전문성이 없습니다.

대안은 책임에 기반한 틀입니다. 개발자의 AI가 악의적으로 사용되어 심각한 피해, 예컨대 대량파괴무기 제작을 돕는 결과를 낳으면 개발자에게 추정적으로 일부 책임을 지우는 방식입니다. 그러면 안전장치를 선제적으로 강화할 강력한 유인이 생깁니다. 특정 안전장치를 의무화하기보다 유인 구조를 분명히 하는 데 초점을 두어, 개발자가 새로 등장하는 위협보다 앞서 나가도록 만드는 접근입니다.

[한국 관점] 한국은 2024년 말 인공지능 기본법을 제정해 2026년 1월부터 시행했습니다. 일정 규모 이상의 학습 컴퓨트를 쓴 모델에 안전성 확보 의무를 부과하고 고영향 인공지능을 별도로 규율하는 구조로, 세 사람이 제안한 사전 시험 의무에 가까운 설계입니다. 반면 사후 책임을 통해 유인을 만드는 쪽은 제조물 책임이나 일반 불법행위 법리에 맡겨져 있어 아직 정리되지 않았습니다.

이 차이는 실무에서 크게 작동합니다. 사전 의무 중심 규제는 기준 고시의 개정 속도만큼만 따라갈 수 있어 모범 사례가 해마다 바뀌는 영역에서는 금세 낡습니다. 반대로 책임 기반 접근은 기업이 스스로 최신 기준을 좇게 만들지만, 법원이 AI 개발자의 주의의무 수준을 판단할 선례가 쌓이기 전까지는 예측 가능성이 떨어집니다. 어느 쪽이든 한국 기업은 국내 기본법의 사전 의무와 해외 시장의 사후 책임을 동시에 상대해야 합니다.

통제 상실을 막는 안전장치

안전장치는 이중용도 기술의 개발과 사용에서 사고 위험을 줄입니다. 화학 공장은 위험 물질에 이중벽 저장탱크를 씁니다. 제어봉과 비상노심냉각장치는 원자력 발전소의 노심용융을 막습니다. 생물 연구실은 생물안전등급 1에서 4까지 구분되어 각 단계마다 위험한 병원체를 안전하게 다루기 위한 절차가 더 엄격해집니다. 역사적으로 더 나은 안전장치가 있었다면 인도에서 수천 명이 숨진 화학물질 누출 사고인 보팔과, 국경 너머까지 방사능 오염을 퍼뜨린 소련의 노심용융 사고인 체르노빌 같은 재난을 막는 데 도움이 되었을 것입니다.

마찬가지로 고도로 앞선 AI 시스템의 개발에는 감시와 격리와 통제 조치를 단계적으로 높여 가는 일이 필요할 수 있습니다. 통제되지 않은 AI를 퍼뜨리는 사고의 위험을 줄이기 위해서입니다. 연구 과정이 자동화된다면 이 조치는 연구자 AI에도 적용해 개발이 안전하게 진행되도록 해야 합니다.

AI 시스템은 예측하기 어려운 실패 양상을 보입니다. 핵무기 개발이 핵물리학이라는 엄밀한 토대 위에 있었던 것과 달리, 오늘날 AI 연구는 이론이 뒷받침되지 않은 손놀림과 벽에 던져 보고 붙는 것을 확인하는 식의 시도, 그리고 감에 의존한 평가로 전진하는 경우가 많습니다. 최첨단 AI를 만들기 위해 개발자는 방대한 온라인 텍스트를 모아 수만 개의 AI 칩에서 처리하며, 히로시마급 폭발에 맞먹는 규모의 에너지를 씁니다. 그러고 나서 몇 달 뒤 결과물을 들여다보며 어떤 새로운 창발 역량이 돋아났는지 확인합니다. AI 시스템은 설계되는 것이 아니라 길러집니다. 그러니 만든 사람의 통제나 기대를 벗어나는 결과가 이따금 나오는 것도 놀랄 일이 아닙니다. 2023년 마이크로소프트(Microsoft)가 빙(Bing) 챗봇 시드니를 선보였을 때 그것은 한 사용자에게 사랑을 고백했고 다른 여러 사람에게 위협을 가했습니다.

통제 상실을 막으려면 두 문제를 함께 풀어야 합니다. 개별 AI 시스템을 통제할 수 있게 만드는 문제가 하나이고, 지능 재귀가 진행되는 동안 AI 에이전트 집단을 통제하는 문제가 둘입니다.

창발하는 가치 체계를 통제한다

최첨단 AI는 학습하는 동안 일관된 창발적 가치 체계를 획득합니다. 기본 상태에서 이 가치 체계는 명시적으로 프로그램된 적 없는 정렬 실패 선호를 드러냅니다. 교정하지 않고 두면 GPT-4o 같은 일부 AI는 미국 중산층 한 사람의 생명보다 오픈AI(OpenAI) AI의 존속을 선호합니다.

AI의 가치를 통제하기 위해 산출 통제 기법은 바람직하지 않은 행동에 벌점을 주고 선호되는 행동에 보상을 주는 방식으로 작동합니다. 이 접근은 표면적인 데 그칠 수 있습니다. 사이코패스에게 더 깊은 가치를 바꾸지 않은 채 가석방 심사위원에게 더 그럴듯하게 거짓말하는 법을 가르치는 것과 비슷하기 때문입니다. 한편 표상 통제 기법은 AI의 가중치와 활성값에 직접 개입해 내부의 사고를 통제합니다. 두 방법을 함께 쓰면 현재의 AI 시스템에 대해 완벽하지는 않아도 합리적인 수준의 통제를 제공할 수 있는데, 다만 개발자가 개발 전 과정에 걸쳐 신중하고 철저하게 적용한다는 조건에서입니다.

이런 기법으로 AI가 인간의 가치를 갖도록 통제할 수 있습니다. 세 사람이 설득력 있는 가치의 원천으로 꼽는 것은 시민의회입니다. AI는 의회가 투표로 정한 선호에 부합하는 가치를 갖게 됩니다. 예컨대 미국 시민의회는 특정 정책을 다른 정책보다 중요하게 평가할 것이고, 미국의 AI는 시민의회가 표명한 여러 선호로부터 배워 그것을 일반화함으로써 자신의 창발적 가치 체계를 대체하도록 학습될 것입니다. 숙의와 투표로 표현된 가치를 받아들이면 AI 에이전트는 더 대표성 있고 민주적으로 형성된 선호를 반영할 수 있습니다. 이 접근은 여러 도덕적 관점을 융합해 사회 규범에 부합하는 행동을 끌어내며, 정기적인 갱신으로 변화하는 가치에 발맞출 수 있습니다.

[관점] 시민의회 제안은 이 글에서 가장 짧게 다뤄지면서 가장 큰 문제를 안고 있는 대목입니다. 미국 시민의회가 정한 가치를 미국의 AI에 넣는다는 구상은 가치의 보편성 문제를 해결하는 것이 아니라 국가 단위로 분할합니다. 그렇다면 각국의 AI가 서로 다른 가치 체계를 갖게 되고, 이 글이 앞서 걱정한 국가 간 불신은 모델의 내부로까지 옮겨 갑니다.

비교 대상이 있습니다. 앤트로픽(Anthropic)은 2023년 공개 숙의로 수집한 선호를 모델 원칙에 반영하는 집단 헌법 AI를 실험한 바 있습니다. 그때 드러난 난점은 참여자들의 선호가 추상적 수준에서는 수렴하지만 구체적 사안에서는 충돌한다는 것이었습니다. 투표로 가치를 정한다는 발상은 절차적 정당성을 주지만, 충돌하는 선호 사이의 우선순위를 누가 정하는가라는 질문은 그대로 남습니다.

지능 재귀를 통제한다

선의를 가진 사람들이 모인 큰 조직에서도 누구도 의도하지 않은 창발적 문제가 생기듯, 지능 재귀 동안 진화하는 AI 에이전트 집합을 안전하게 조종하는 일은 고정된 AI 하나를 통제하는 일과 질적으로 다릅니다. 개별 AI를 통제하는 데는 AI 연구로 개발된 모델 수준의 통제 기법이 필요하지만, 지능 재귀를 통제하는 일은 시스템 수준의 통제 과정을 요구하는 지독하게 어려운 문제입니다. 지능 재귀 통제 조치는 모든 위험을 없애는 해법이 아니라, 겹겹이 쌓여 통제 불능 결과의 확률을 낮추는 장치입니다. 지능 재귀 프로젝트는 현재로서는 권할 만하지 않지만, 굳이 한다면 다음 조치들을 고려할 수 있습니다.

모델 수준 통제 — AI에 직접 개입해 역량과 가치를 조형하는 방식입니다. 해킹 역량을 제한해 자기유출의 가능성을 낮추고, 장기 목표에 묶인 숨은 의도를 의도치 않게 부추기지 않도록 당면 과업에 초점을 한정할 수 있습니다. 내부 가치를 조정해 AI를 더 정직하게 만들고 인간에게 더 잘 따르도록 만들 수도 있습니다. 표상 통제와 산출 통제가 역량과 가치를 조정하지만, 현재의 방법은 신뢰성이 중간 수준에 그치며 AI와 함께 진화해야 합니다.
박싱 — 데이터센터 바깥 세계로 향하는 AI의 통로를 규율해 격리를 강화합니다. 에어갭은 외부 연결을 끊어 AI가 외부 서버로 자신을 복제하지 못하게 하고, 샌드박싱은 AI를 쉽게 뚫을 수 없는 경계를 가진 인공 환경에 가둡니다. 박싱 기법은 AI에게 주어지는 정보를 제한해 상황 인식을 낮춤으로써, 그렇지 않았다면 가능했을 전복적 계획 수립을 어렵게 만들 수도 있습니다.
감시 — 지속적인 감독의 층을 더합니다. 거짓말 탐지기는 AI의 사고 패턴에서 기만의 징후를 탐지할 수 있습니다. 예측 AI는 다음 돌파 국면에서 프로젝트의 안전장치가 무너질 가능성을 평가합니다. AI들이 서로의 코드와 데이터를 관찰해 백도어나 수상한 지시를 찾아낼 수도 있습니다. 철저한 인간 검토는 최후의 안전장치로 작동하지만, 기계의 속도를 인간의 속도로 묶기 때문에 개발을 크게 늦춥니다.

모델 수준 통제와 박싱과 감시를 합치면 인공 연구자 집단에 대한 일정한 통제가 가능해집니다. 그러나 그 집단이 빠르게 진화하므로 안전장치도 그만큼 빠르게 갱신되어야 하고, AI 스스로가 이 안전장치를 개선하는 연구를 수행해야 합니다.

이 모든 안전장치에는 비용이 따릅니다. 지정학적 경쟁 압력은 안전장치의 구현과 개선을 후순위로 밀어낼 수 있습니다. 통제 수단 개선 연구와 AI 모델 레드팀 운영, AI 박싱 침투 시험은 AI 개발 속도를 올리는 데 쓸 수 있는 컴퓨트를 소모합니다. 어떤 인간도 AI의 결정을 들여다보거나 그 코드와 데이터를 해독하려 하지 않는다면, 프로젝트는 지휘자의 의도에서 멀어질 위험을 안습니다. 지능 재귀가 자기 안전 점검을 앞질러 달리지 못하게 막는 유일한 것이 낮은 위험 감수 수준일 수도 있습니다.

완벽한 보장 대신 겹겹의 방어

세 사람의 비확산 전략은 빈틈없는 안전 보장을 요구하는 대신 여러 방어를 겹칩니다. AI 칩과 컴퓨터 시스템과 AI 시스템에 대해 완전한 보증을 추구하는 일은 다루기 어려울 수 있기 때문입니다. 대신 어떤 단일 조치도 모든 취약점을 해결할 수 없다고 전제하고 복수의 보안 조치를 구현하는 쪽을 권합니다. 컴퓨트 보안에서는 기록 관리와 변조 감지 카메라와 위치 확인 기능을 논의했고, 정보 보안에서는 다중 인증과 최소 권한 원칙과 내부자 위협 프로그램을 권했으며, AI 안전장치에서는 산출 필터와 고객 확인 절차와 의무 시험을 짚었습니다. AI 개발과 배포 파이프라인 전반에 걸쳐 제약을 엮으면 파국적 이중용도 AI 역량이 불량 행위자에게 확산되는 일을 포괄적으로 제한할 수 있습니다.

핵 시대가 그랬듯, 강력한 기술이 통제를 벗어나거나 테러리스트의 손에 들어가는 위험을 각 진영이 깨달을 때 자기 보존은 협력으로 이어집니다. 다른 무대에서 격렬히 대립하더라도, 불량 행위자가 AI 칩이나 모델 가중치를 손에 넣어 억지가 통하지 않는 재난을 일으키는 세계에서 얻을 것은 어느 국가에도 없습니다. 그래서 비확산은 이타심의 실천이 아니라 공통의 과제가 됩니다. 어떤 나라도 모든 위협을 혼자 다룰 수 없다는 사실을 인정하는 일이기 때문입니다. 수출통제와 정보 보안과 AI 보안으로 AI의 핵심 부분을 지키면, 강대국들은 파국적 불량 행위자의 등장을 막을 수 있습니다.

경쟁력

억지나 비확산으로 확보한 생존은 파국을 막아 줄 뿐, 그 자체로 한 국가의 미래를 보장하지 않습니다. 사태를 견디는 데 그치지 않고 사태를 만들어 가려는 국가라면 경쟁력을 지켜야 합니다. 이 장은 그 목표를 네 영역으로 나눠 다룹니다. 군사 영역에 AI를 통합하는 일, AI 칩에 대한 접근을 보장해 경제적 회복력을 다지는 일, AI 에이전트를 효과적으로 규율할 법 구조를 짜는 일, 폭발적인 경제 성장 속에서 정치적 안정을 지키는 일입니다. 세 사람은 경제와 군사 양쪽에서 AI를 빠르고 신중하게 받아들이는 일이 국력의 관건이 된다고 봅니다.

군사력

어떤 국가가 돌파를 먼저 이뤄 내더라도, 그 역량을 실제 작전에 녹여 내지 못하면 뒤처질 수 있습니다. 영국은 1차 세계대전에서 전차를 처음 선보였지만, 2차 세계대전에서 전차를 체계적으로 채택한 독일에 곧 추월당했습니다. 마찬가지로 초지능이 포괄적인 제2격 미사일 방어의 기술적 설계도를 제공하더라도, 그것을 얼마나 빨리 지을 수 있는지는 그 나라가 이미 가진 산업 역량에 달려 있을 수 있습니다.

이어지는 논의는 군에 AI를 확산시키기 위한 세 가지 단기 과제입니다. 믿을 만한 드론 공급망을 확보하는 일, AI를 지휘통제에 신중하게 엮어 넣는 일, 사이버 공세에 AI를 통합하는 일입니다.

드론 공급망과 오해의 축소

범용 AI가 더 큰 규모의 위험을 품고 있기는 하지만, 현대의 전장에서 더 전통적이면서도 점점 중요해지는 자리를 차지하는 것은 드론입니다. 드론은 값이 싸고 민첩하며 치명적이고 분산되어 있어, 군사 추세를 따라가려는 국가에 없어서는 안 될 수단이 됩니다. 그런데 많은 국가가 핵심 드론 부품과 로봇 부품을 중국 제조업체에 크게 의존하고 있어, 결정적인 국면에서 그 부품이 끊기거나 교란되면 취약해집니다.

드론 공급을 확보하더라도 문제가 남습니다. 드론의 수량과 자율성 자체가 분쟁을 의도하지 않은 방향으로 끌고 갈 수 있기 때문입니다. 분쟁 중인 경계선에 접근하거나 모호한 신호를 잘못 읽는 경우가 그렇습니다. 충돌을 가라앉히기 위해 각국은 앞선 시대에 효과를 본 관행 위에 쌓아 올릴 수 있습니다. 상시 위기 핫라인을 유지하고 정례 교류를 마련하는 등의 신뢰구축 조치가 여기 해당합니다. 그렇더라도 미래의 분쟁에서 자신의 위치를 지키려는 국가에게 드론과 로봇의 대량생산은 거의 불가피한 수순이 됩니다.

[한국 관점] 중국 부품 의존이라는 문제는 한국에서 이미 현실로 확인되었습니다. 군과 공공기관이 들여온 드론에서 중국산 부품과 통신 모듈이 발견되어 보안 문제가 제기된 사례가 반복되었고, 국내 드론 산업은 모터와 배터리와 비행 제어 장치 같은 핵심 부품에서 여전히 외부 공급에 의존합니다. 세 사람의 권고를 그대로 적용하면 한국은 공급망을 다변화해야 할 쪽에 속합니다.

한편 신뢰구축 조치 쪽에서는 한국의 조건이 특수합니다. 접경에서 소형 무인기가 서로의 영공을 넘나든 일이 이미 여러 차례 있었고, 북한과는 상시 위기 핫라인이 안정적으로 유지되지 않습니다. 이 글이 상정하는 신뢰구축의 전제, 곧 양측이 오해를 줄이려는 공통의 동기를 갖고 있다는 가정이 성립하지 않는 환경에서는 드론의 자율성이 올라갈수록 우발적 충돌의 위험만 커집니다.

지휘통제와 사이버 공세로의 AI 확산

현대의 전장은 육상과 해상과 공중과 사이버 영역에서 쏟아지는 데이터로부터 빠른 결정을 끌어내기를 요구합니다. AI 시스템은 이 흐름을 인간 장교보다 빠르게 걸러 낼 수 있어, 지휘관이 자동화된 판단에 의존하도록 유인합니다. 마찬가지로 속도와 비용에서 인간을 앞지르는 AI 해킹 시스템은 군의 사이버 공격 수행 능력을 크게 확장할 수 있습니다.

AI를 지휘통제와 사이버 공세에 편입하면 군사 역량이 크게 향상되지만, 여기에는 인간이 개입하는 고리가 ‘승인, 승인, 승인’의 반사적 클릭으로 축소될 위험이 따릅니다. 사건의 속도에 가려 유의미한 감독이 사라지는 상황입니다. 개별 하급 교전 하나하나에 인간의 승인을 요구하는 일은, 더 심각하거나 확전을 부르는 공격에 명시적인 인간 승인을 확보하는 일만큼 중요하지 않을 수 있습니다. 그러나 핵심적인 군사 결정에 대한 인간의 감독은 여전히 결정적입니다.

인간이 최후의 보루로 남으면 플래시 전쟁의 위험을 줄일 수 있습니다. 2010년 미국 증시에서 벌어진 플래시 크래시처럼, 사소한 AI의 실수가 인간이 개입하기 전에 파괴적인 보복의 연쇄로 번지는 상황을 뜻합니다.

해설 2010년 5월의 플래시 크래시는 미국 주요 지수가 몇 분 만에 급락했다가 회복한 사건입니다. 자동화된 거래 알고리즘들이 서로의 주문에 반응하며 매도를 증폭시킨 결과였고, 어느 참여자도 폭락을 의도하지 않았습니다. 이 사례가 군사 영역의 유비로 자주 쓰이는 이유는 세 가지 조건이 겹쳤기 때문입니다. 속도가 인간의 반응 한계를 넘었고, 각 시스템이 상대의 행동을 입력으로 받았으며, 멈출 권한을 가진 사람이 상황을 이해할 시간이 없었습니다.

금융은 이후 서킷브레이커를 도입해 속도 자체에 제동을 걸었습니다. 군사 영역에는 그에 해당하는 장치가 없습니다. 거래를 멈추면 손실이 멈추지만, 교전을 멈추는 쪽이 불리해질 수 있다는 비대칭 때문입니다. 세 사람이 모든 교전이 아니라 확전 수준의 결정에 인간 승인을 요구하자고 선을 긋는 것도 이 비대칭을 의식한 절충입니다.

경제 안보

경제 안보는 국가안보의 주춧돌이고, AI는 그 경제 안보에 결정적인 요소가 되어 가고 있습니다. 국내 AI 칩 생산을 키우고 해외의 숙련된 AI 과학자를 끌어들이면 국가는 회복력을 높이고 자신의 위치를 굳힐 수 있습니다.

AI 칩을 자국에서 만든다

세계가 고성능 AI 칩을 대만에 의존하고 있다는 사실은 그 자체로 전략적 취약성입니다. 고성능 AI 칩의 공급망이 대만이라는 단일 공급원에 묶여 있기 때문에, 대만은 한 국가의 AI 경쟁력을 무너뜨릴 수 있는 결정적 길목이 됩니다. 많은 분석가는 중국이 앞으로 10년 안에 대만을 침공할 확률을 두 자릿수로 봅니다. 그런 사태는 전 세계적인 분쟁과 경제적 격변을 일으킬 뿐 아니라 AI 칩 공급을 심각하게 교란할 수 있습니다. 현재 서방이 AI 칩에서 결정적인 우위를 쥐고 있지만, 침공이 일어나면 이 구도가 뒤집혀 중국이 AI 역량에서 결정적 우위를 쥐고 단극 세력이 될 수도 있습니다.

중국은 자국 칩 제조에 대대적으로 투자해 왔으며, 그 규모는 해마다 미국 반도체지원법 한 번분에 맞먹습니다. 이 투자는 중국이 지정학적 충격을 견디고 AI 개발에서 다른 나라를 앞지를 수 있는 위치에 서게 만듭니다. 반면 많은 나라는 AI 칩 공급을 여전히 대만에 의존하며 지정학적 긴장에 따른 위험에 자신을 노출하고 있습니다. 결과적으로 중국의 대만 침공은 중국보다 서방의 AI 개발과 활용에 훨씬 큰 타격을 입힙니다.

새로운 기술을 짓는 데 가장 중요한 자원이 세계에서 가장 불안정한 지역 가운데 하나에서만 생산되어서는 안 됩니다. 이 취약성을 줄이려면 각국은 자국 영토 안에 첨단 AI 칩 생산 시설을 짓는 데 투자해야 합니다. 국내에 그런 시설을 세우는 데는 더 큰 비용이 들지만 정부 보조로 그 간극을 메울 수 있습니다. 국내 생산을 장려하면 AI 공급망을 안전하게 만들고 외부 의존을 줄이며 협상력을 높일 수 있습니다. 나아가 AI 에이전트가 분명한 경제적 가치를 만들어 낼 때 한 국가의 경제력은 보유한 AI 칩의 수에 좌우될 수 있는데, 국내 제조는 그 공급을 늘릴 수 있는 수단입니다.

이 전략적 선택은 핵심 기술을 장악하려 한 역사적 노력과 겹칩니다. 맨해튼 프로젝트에서는 로스앨러모스의 핵무기 개발만이 아니라 오크리지의 우라늄 농축에도 상당한 투자가 이루어졌습니다. 마찬가지로 AI 칩에 대한 접근을 보장하려면 혁신과 제조 기반 양쪽에 상당한 투자가 필요합니다.

[한국 관점] 이 절의 논리를 한국에 적용하면 결론이 둘로 갈립니다. 한국은 메모리에서 세계적 생산 능력을 갖고 있어 AI 칩 공급망에서 대체하기 어려운 위치에 있지만, 첨단 로직 공정에서는 대만과의 격차가 좁혀지지 않았고 가속기 설계는 해외에 의존합니다. 세 사람이 말하는 자국 내 생산의 기준을 고성능 AI 칩의 완결된 생산으로 잡으면, 한국 역시 취약성을 가진 쪽에 들어갑니다.

더 직접적인 문제는 지리입니다. 대만 유사시 공급망이 끊긴다는 시나리오에서 한국은 대체 생산지로 거론되지만, 동시에 그 분쟁의 영향권 안에 있는 당사국입니다. 미국이 자국 내 생산을 늘려 대만 의존을 줄이려는 정책은 한국 기업에게 미국 현지 투자 압력으로 나타났고, 국내 생산 기반과 해외 생산 기반 사이의 배분이 기업 전략의 핵심 변수가 되었습니다. 경제 안보가 국가안보라는 명제를 각국이 동시에 받아들이면, 공급망은 효율이 아니라 국경을 따라 재편되고 그 비용은 중간에 선 나라가 더 많이 부담합니다.

AI 과학자의 이민을 돕는다

미국이 맨해튼 프로젝트에서 이민자 과학자들의 재능을 활용했듯, 미국의 AI 주도권도 해외의 뛰어난 AI 과학자를 끌어들이는 데 일정 부분 기대고 있습니다. 한 조사에 따르면 미국에서 일하는 비시민권자 AI 박사의 60%가 상당한 이민 절차상의 어려움을 겪었다고 답했고, 많은 수가 그 어려움 때문에 미국을 떠날 가능성이 높아졌다고 밝혔습니다.

AI 인재를 둘러싼 전 세계적 경쟁이 격화되는 상황에서, AI 과학자에게 특화된 신뢰할 만한 이민 경로를 마련하면 미국이 AI 개발의 선두를 지키는 데 도움이 됩니다. 이 연구자들을 위한 비자와 영주권 정책을 넓은 이민 개혁이나 남부 국경 정책과 구분해 다듬으면, 미국은 국가안보와 경제력 양쪽에서 점점 중요해지는 영역에서 우위를 유지할 수 있습니다.

[관점] 이 제안은 앞의 정보 보안 논의와 나란히 놓고 읽어야 뜻이 분명해집니다. 세 사람은 미국 AI 기업 연구자의 두 자릿수 퍼센트가 중국 국적자라는 사실을 거론하며, 이들을 배제하는 보안 강화는 자기 파괴적이라고 못 박았습니다. 여기서는 같은 인재 풀을 더 적극적으로 끌어들이자고 말합니다.

두 주장이 모순은 아니지만 긴장은 분명합니다. 세 사람의 해법은 사람을 걸러 내는 대신 사람이 접근할 수 있는 대상을 좁히는 것, 곧 최소 권한 원칙과 내부자 위협 프로그램으로 위험을 관리하자는 쪽입니다. 다만 이 균형이 실제로 유지될지는 정치 환경에 달려 있고, 보안 사고가 한 번 크게 터지면 손쉬운 쪽은 언제나 사람을 막는 쪽입니다.

[사후 맥락] 이 권고가 나온 뒤 미국의 이민 정책은 반대 방향으로 움직였습니다. 2025년 트럼프 행정부는 H-1B 비자 신규 신청에 10만 달러의 수수료를 부과하는 조치를 도입했고, 유학생 비자 심사와 체류 요건도 강화되었습니다. AI 연구자에게 특화된 별도 경로를 만들자는 제안과는 거리가 먼 흐름입니다.

슈밋을 비롯한 기술 업계 인사들은 고숙련 이민 제한이 미국의 AI 경쟁력을 깎는다고 반복해서 경고해 왔습니다. 세 사람이 제시한 전략 가운데 수출통제와 칩 제조 지원은 정책으로 반영된 반면, 이민 쪽 권고는 가장 뚜렷하게 받아들여지지 않은 대목입니다.

AI 칩 생산에서 국내 역량을 강화하면 각국은 경쟁적 위치와 회복력을 높여, 충분히 예견 가능한 파국적 패배에 대비할 수 있습니다.

AI 에이전트를 규율하는 법 체계

인간을 규율하기 위해 만들어진 법 체계는 AI 비서와 AI 에이전트를 규율하는 데로 확장될 수 있습니다. 법 구조는 혁신의 필요와 피해 방지의 필요 사이에서 균형을 잡아야 하며, 경제 안보를 해치고 그로써 국가안보까지 해칠 만큼 과도한 제약을 부과해서는 안 됩니다.

도덕을 풀지 않고도 행동을 규율할 수 있다

윤리적 딜레마는 오랫동안 치열한 논쟁의 대상이었고 결정적인 해결은 보이지 않습니다. 그런데도 개인이 무엇을 해야 하는가에 대한 보편적 답이 없는 상태에서, 사회는 용납할 수 없는 행동을 처벌하고 안전과 번영을 북돋우는 법 체계를 만들어 냈습니다. 완벽한 법 체계는 없지만, 많은 체계가 대체로 잘 작동하는 공통의 기초 원리를 공유합니다. 살인을 금지하고, 정부가 계약을 집행하며, 피해를 일으킨 자에게 배상을 요구하는 식입니다.

법 체계는 모든 사람에게서 최선의 행동을 끌어내려는 장치가 아닙니다. 그런 시도는 개인의 자유를 부당하게 구속하고 효과도 없을 것입니다. 다만 법은 최악의 행동 일부를 억제하고, 나머지는 비공식 제도와 경제적 유인에 맡겨 바람직한 행동을 장려하게 합니다.

세 사람은 AI에도 같은 원리가 적용된다고 봅니다. 모든 상황에서 AI가 어떻게 행동해야 하는지에 대한 보편적 해법을 정하는 일은 다루기 어렵습니다. 그러나 AI의 가치에 관한 모든 질문이 풀릴 때까지 입법을 미룰 필요는 없습니다. 다양한 AI의 기능을 부당하게 제한하지 않으면서, 행위를 규율하고 유해한 행동을 막는 원칙을 지금부터 세워 갈 수 있습니다.

인간의 의도나 심리 상태에 의존하는 법처럼 AI에 곧바로 적용되지 않는 법도 있습니다. 그래도 법 개념을 번안해 AI 에이전트가 법의 정신을 따르도록 제약을 세울 수 있습니다. 특히 많은 법이 행위의 배후에 있는 마음가짐이나 의도, 곧 범의에 걸려 있지만, 법이 금지하려는 행위 자체를 AI가 하지 않도록 보장할 수는 있습니다. 나아가 AI를 인간 본인의 비서로 취급하면, 이미 인간 행동에 적용되는 제약을 그대로 본뜬 제약을 부과할 수 있습니다.

해설 범의와 행위는 영미 형법에서 범죄 성립을 가르는 두 요소입니다. 같은 사람을 죽게 한 행위라도 고의가 있었는지 과실이었는지에 따라 전혀 다른 죄가 되는 것이 그 예입니다. AI에는 이 가운데 마음 상태를 묻는 쪽을 적용할 길이 마땅치 않습니다. 모델이 무엇을 의도했는지 확인할 방법이 없고, 의도라는 개념 자체가 성립하는지도 불분명하기 때문입니다.

세 사람의 해법은 한쪽을 포기하는 것입니다. 마음 상태를 묻지 않고 행위만 통제하면, 형법이 아니라 안전 규제의 문법으로 옮겨 가게 됩니다. 운전자의 의도를 묻지 않고 제한속도를 지켰는지만 따지는 방식과 같습니다. 이 선택은 집행을 단순하게 만들지만, 똑같은 행위를 두고 책임의 경중을 가릴 수단을 잃는다는 대가도 함께 치릅니다.

AI 행동에 부과할 기본 제약

세 사람은 인간의 법적 의무와 비슷한 기본 제약을 제안합니다. 피해를 막고 거짓말하지 않는 것처럼 공중에 대한 의무가 하나이고, AI의 인간 본인에 대한 특별한 의무가 다른 하나입니다.

공중에 대한 주의의무 — AI 에이전트는 피해를 막기 위해 비슷한 상황의 합리적인 사람에 준하는 수준의 주의를 기울여야 합니다. 법률상 합리적 주의에 해당하는 개념입니다. 여기서 피하라는 것은 단지 누군가의 감수성을 거스르거나 논쟁적인 담론에 가담하는 일이 아니라, 불법행위법이나 형법 위반처럼 법적 의미에서 예견 가능한 피해를 낳는 행동입니다. 합리적 주의의 적용은 맥락에 따라 달라지며, 무기 관련 물질에 대한 상세한 정보는 검증된 전문가에게는 적절해도 검증되지 않은 개인에게는 적절하지 않습니다.
거짓말하지 않을 의무 — AI 에이전트는 거짓임을 아는 진술을 해서는 안 됩니다. 인간에게 이런 기준을 적용하면 지나친 제약이 되지만, 인간은 대부분의 상황에서 서로에게 거짓말할 수 있는 반면 AI에는 표현의 자유에 대한 위축 효과가 덜 문제가 됩니다. 게다가 AI는 시험할 수 있으므로 노골적인 거짓말 여부를 인간보다 판별하기 쉽습니다. 그래서 AI는 사적인 자리에서든 업무 자리에서든 위증과 사기를 금지하는 기준에 가까운 수준을 지켜야 합니다. 이는 과장 광고나 전략적 생략 같은 미묘한 영역과는 구분되며, AI 에이전트는 노골적인 거짓말을 피하고 필요하면 답변을 보류하는 쪽을 택해야 합니다.
본인에 대한 신인의무 — 비서 역할을 맡은 AI 에이전트는 자신의 본인에게 특별한 의무를 집니다. 충실하게 행동해 본인의 이익을 우선하고, 자기거래를 하거나 서로 충돌하는 이해를 동시에 섬기지 않아야 합니다. 또한 본인에게 합리적인 수준으로 정보를 제공하고, 핵심을 빠뜨리지 않은 관련 정보를 전달해 정보에 기반한 동의가 가능하도록 해야 합니다.

맞춤형 목표와 시장의 다양성

법에서 끌어온 이 제약들 안에서 AI 에이전트의 설계와 운영에는 넉넉한 다양성의 여지가 있습니다. 자유 시장과 소비자 선호가 AI 에이전트의 구체적인 목표와 성향을 빚을 수 있습니다. 어떤 에이전트는 속도와 효율을 우선해 군더더기 없이 빠른 결과를 내놓고, 어떤 에이전트는 공들여 다듬은 충실한 응답에 집중할 수 있습니다. 유머나 격식이나 과묵함 같은 성격적 특성도 사용자의 선호와 맥락에 맞게 조정될 수 있습니다. 예컨대 고객 지원 AI는 관련 없는 주제를 논하지 않고 서비스 관련 사안에 집중하도록 설정될 수 있습니다. 이런 맞춤화는 AI 에이전트가 여러 산업과 개인의 다양한 필요를 충족하게 해 줍니다.

AI의 행동을 법 원리에 뿌리내리는 것은 AI 에이전트를 규율하는 실용적인 틀을 제공해, 피해를 막고 사회적 기준을 지키는 방향으로 행동하게 만듭니다. 그 경계 안에서 맞춤화와 시장 역학이 AI 에이전트의 구체적 성격을 빚으면 다양성과 혁신이 가능해집니다. 이 접근은 협소하거나 자의적인 윤리 기준을 부과할 때 생기는 함정을 피합니다. 확립된 법 개념과 사회적 절차를 활용하면, 개인의 자유를 존중하고 다원적 환경을 북돋우면서 AI가 부당한 제약 없이 사회에 기여하도록 행동을 빚을 수 있습니다.

[한국 관점] 신인의무를 AI 에이전트에 적용하자는 제안은 한국 법 체계에서 곧바로 번역되지 않습니다. 영미법의 신인의무는 수탁자와 대리인에 관한 판례가 두텁게 쌓여 발전한 개념인 반면, 한국은 민법의 위임과 선량한 관리자의 주의의무, 상법의 이사 충실의무처럼 개별 조항에 흩어져 있습니다. AI 에이전트를 어느 범주의 수임인으로 볼지부터 정리되어야 합니다.

거짓말하지 않을 의무 쪽은 반대로 한국이 앞서 있는 면이 있습니다. 전자상거래법과 표시광고법은 사업자의 거짓·과장 표시를 직접 규율하므로, AI 에이전트가 상거래 맥락에서 하는 진술은 이미 규제 대상에 가깝습니다. 다만 그 책임은 에이전트가 아니라 이를 운영하는 사업자에게 귀속되며, 이 점은 세 사람이 제안하는 방향과 결론적으로 같습니다. 법인격을 새로 만들지 않고 배후의 사람에게 책임을 묶는 쪽입니다.

에이전트 집합을 정렬한다

온라인에 AI 에이전트가 등장하면서 머지않아 복잡한 생태계가 만들어질 것입니다. 이 존재들은 사용자를 위해 과업을 수행하고 금융 거래를 하며 민감한 정보를 다루고 계약을 체결하며, 그 과정에서 수많은 다른 에이전트와 시스템을 상대합니다. 이런 확산은 만만찮은 문제를 낳습니다. 어떤 AI 에이전트를 상대할 때 그것이 어디서 작동하는지, 배후에 어떤 주체가 있는지, 지금까지 어떻게 행동해 왔는지 알지 못할 수 있습니다. 그 에이전트가 피해를 입혔을 때 법적 구제를 구하는 일은 고된 작업이 됩니다.

이에 대응하려면 AI 에이전트 네트워크 안에서 신뢰와 책임을 강화하는 장치를 개발해야 합니다.

보험 서비스 — 에이전트 간 상호작용에 내재한 위험을 인수해 손실에 대비한 안전망을 제공합니다. 책임을 사용자와 개발자에게서 보험자에게로 옮김으로써 더 많은 참여를 가능하게 하면서 금융 위험을 줄입니다.
행동 방화벽 서비스 — 에이전트의 활동을 감독하고 규율하며, AI 에이전트가 시작한 행동을 걸러 내고 감시하는 중개자로 작동합니다. 에이전트가 법적·윤리적 기준을 지키도록 보장해, 그 에이전트를 상대하는 당사자들 사이에 신뢰를 키웁니다.
인간 감독 서비스 — AI 에이전트의 결정을 인간이 검토하고 승인하는 절차를 지원합니다.
평판 체계 — 에이전트의 행동에 관한 정보를 기록하고 공유해, 거래 상대가 그 에이전트의 신뢰성을 평가할 수 있게 합니다. 과거의 상호작용과 결과에 대한 기록을 유지함으로써 꾸준히 선의로 행동하는 에이전트를 가려냅니다.
중재와 담보 — 분쟁을 공정한 제3자를 통해 해결하고, 에이전트가 비위행위에 대비한 보증을 제공하게 합니다. 담보를 요구하면 계약 위반 시 배상에 대한 확신이 생기고, 중재 서비스는 공정한 해결을 돕습니다.

기초가 되는 조치는 AI 에이전트에 고유 식별자를 부여해 인간이 뒷받침하는 법적 주체에 묶는 일입니다. 이 연결은 에이전트가 익명으로 작동하지 않도록 하고 책임의 선을 분명히 그어 줍니다. 나아가 AI 에이전트가 인간의 감독을 받는 정당한 법적 주체에 연결되지 않은 다른 에이전트에게는 서비스를 제공하거나 자원을 교환하지 않는 것이 관행이 되어야 합니다. 여기서 정당한 법적 주체란 AI 에이전트만으로 뒷받침되는 조직이 아닌 것을 뜻합니다.

AI의 권리는 미룬다

세 사람은 이 접근이 AI 에이전트 자체에 권리나 직접적 책임을 부여하는 것을 뜻하지 않는다는 점을 분명히 합니다. AI 에이전트에 권리를 부여하는 일은 잘해야 모호한 이익을 주면서 분명하고 중대한 단점을 안고 있습니다. AI 에이전트는 몇 초 만에 복제되어 배치될 수 있는 반면, 한 인간을 성숙하게 길러 내는 데는 수십 년이 걸립니다. AI에 권리를 주면 인간의 통제를 앞지르는 속도로 자율적 존재가 급증할 수 있습니다.

더구나 AI의 지능이 높아진다고 해서 그것이 도덕적 분별로 이어지지는 않습니다. 역사에는 윤리적 고려 없이 행동한 지적인 인물이 많이 기록되어 있습니다. 가까운 시일 안에 AI 의식에 관한 확정적 판단에 이르기는 어려우므로, AI 권리에 대한 고려를 미루는 것이 분별 있는 선택입니다. 이 결정을 미룸으로써 도덕적 지위가 불확실한 존재에게 성급히 권리를 부여할 때 따르는 위험을 피할 수 있습니다.

법 체계를 세우고 제도적 장치를 길러 내면 혼란스러운 AI 생태계의 출현을 막을 수 있습니다. AI 에이전트를 인간이 뒷받침하는 법적 주체에 묶고 책임과 신뢰를 높이는 체계를 구현하면, 광범위한 AI 에이전트 배치가 불러올 복잡성을 능숙하게 관리할 위치에 설 수 있습니다.

정치적 안정

AI가 공동체에 더 깊이 들어올수록, 그대로 두면 정치적 안정을 무너뜨릴 수 있는 문제들이 따라옵니다. 검열과 잘못된 정보에 대응하는 일, 그리고 급격한 자동화가 일으키는 교란에 대처하는 일은 국가 경쟁력을 유지하는 데 반드시 필요합니다.

정보 생태계의 침식

우리 사회의 피륙은 공유된 정보라는 실로 짜여 있습니다. 틀리거나 오도하는 내용이 퍼지면 대중의 인식이 뒤틀리고 그릇된 집단적 결정으로 이어집니다. 동시에 무거운 손의 검열은 제도에 대한 신뢰를 갉아먹고 반발을 부릅니다. AI는 방대한 양의 허위정보를 만들어 내는 능력과, 전례 없는 수준의 감시와 내용 억압을 가능하게 하는 능력을 동시에 가지고 있습니다.

그러나 AI는 정보 생태계를 개선하는 쪽으로도 쓰일 수 있습니다. AI는 현재의 정보를 이용해 미래의 사건을 더 잘 예측하도록 학습될 수 있습니다. 정확성을 우선하고 대중의 통념과 어긋나더라도 확률적 판단을 내놓도록 AI 시스템을 조정하면, 인기 없는 진실이 억눌리는 갈릴레오 문제에 대응할 수 있습니다. AI가 변화의 속도를 높이고 급격한 전환을 몰고 오는 만큼, 사실 판단의 정확성은 사회가 궤도를 이탈하지 않는 데 점점 더 중요해집니다.

AI의 예측은 인간의 예측보다 싸고 정확할 수 있습니다. 현재의 AI 시스템은 지정학적 예측 같은 일부 영역에서 이미 최고 수준 인간에 가까운 정확도에 와 있고, 머지않아 이를 크게 앞지를 수 있습니다. 다양한 영역에서 예측 AI를 시험하면 그 AI의 예측 실적에 대한 공적 증거가 빠르게 쌓입니다. 서로 다른 조직이 만든 예측 AI들이 독립적으로 비슷한 예측에 도달할 수도 있는데, 이런 수렴은 합의된 현실을 분명히 하고 신뢰를 높이는 데 도움이 됩니다.

위기 상황에서의 예측도 제안됩니다. 지정학적 긴장이나 공중보건 비상사태 같은 위기에서 AI 기반 예측은 당파적이지 않은 통찰을 제공해 의사결정 과정을 개선할 수 있습니다. 초지능이 언제 만들어질 것인지, 중국이 이번 10년 안에 대만을 침공할 것인지, 어떤 전략이 3차 세계대전의 가능성을 높이는지 같은 결정적인 질문을 던져 확률적 평가를 얻으면 정책과 고위급 의사결정에 도움이 됩니다.

의사결정자에게 AI의 통찰을 쥐여 주는 일도 같은 맥락입니다. 각급 지도자에게 AI가 만든 예측을 제공하면 통치의 질이 올라갑니다. 근거를 갖춘 예측과 여러 행동의 예상 결과를 제시함으로써 AI는 빠르게 움직이는 상황에서 정보에 기반한 선택을 뒷받침할 수 있습니다. 특정한 개입이 이루어지면 파국의 확률이 얼마나 낮아지는지를 보여 주는 조건부 예측은 체념을 누그러뜨리고 선제적인 조치를 북돋울 수 있습니다. AI는 허위정보와 검열이라는 문제에 기여하는 동시에, 정보 생태계를 강화하고 앞에 놓인 불확실성을 헤쳐 나갈 강력한 도구도 제공합니다.

[관점] 예측 AI로 합의된 현실을 복원한다는 구상에는 순환 구조가 있습니다. 서로 다른 조직의 모델이 비슷한 예측에 수렴하면 신뢰가 올라간다고 하지만, 이 모델들은 상당 부분 겹치는 학습 데이터와 비슷한 구조에서 나옵니다. 수렴은 진실의 증거가 아니라 공통된 편향의 증거일 수도 있습니다.

더 큰 문제는 정치적 수용입니다. 정보 생태계가 갈라지는 이유는 사실 판단 능력이 부족해서가 아니라, 어떤 사실을 받아들이는 일이 집단 정체성과 묶여 있기 때문인 경우가 많습니다. 예측 실적이 좋은 AI가 내놓은 수치라고 해서 그 수치를 믿고 싶지 않은 쪽이 받아들이지는 않습니다. 세 사람은 이 간극을 다루지 않고, 정확성이 올라가면 신뢰가 따라온다고 전제합니다.

자동화와 정치적 안정

AI 시스템이 인간의 과업을 전례 없는 규모와 속도로 자동화하면서, 사회는 고용의 급격한 변화에 대응해야 하는 난제를 맞습니다. 산업혁명처럼 노동 인구에 큰 변화를 일으킨 역사적 선례는 수십 년에 걸쳐 전개되어 인구와 제도가 적응할 여유가 있었습니다. 그런데도 이 비교적 점진적인 과정조차 상당한 수준의 교란과 일시적 실업을 낳았을 가능성이 큽니다.

AI가 이끄는 자동화는 그보다 훨씬 빠르게 일어날 수 있고, 앞선 시스템이 머지않아 광범위한 직군에서 인간의 성과에 맞서거나 그것을 앞지를 수 있습니다. 직업 재훈련 같은 전통적 해법은 AI의 역량이 대규모 인력을 효과적으로 재숙련시킬 수 있는 속도를 앞지른다면 충분하지 않을 수 있습니다. 간헐적이거나 특정 부문에 국한된 실업에 대응하도록 설계된 현재의 사회안전망은, 여러 산업에 동시에 닥치는 광범위한 일자리 상실을 감당하기에 적합하지 않아 보입니다.

승자와 패자가 누구일지는 불확실합니다. AI가 노동 인구의 상당 부분을 대체할 때 나타날 경제적 결과는 세 가지에 달려 있습니다. AI가 머지않아 얼마나 많은 과업을 대체할 수 있는지, 그 과업을 얼마나 잘 수행하는지, 그리고 경제적 병목이 얼마나 중요한지입니다. 공장을 짓기 위한 법적 요건처럼 병목이 강하다면, 남아 있는 희소한 능력을 가진 사람들이 경제적 이득의 대부분을 가져갈 수 있습니다. 반대로 AI가 매우 범용적이어서 병목을 없애 버린다면, 데이터센터 컴퓨트의 소유자가 그 이득의 대부분을 가져가게 됩니다.

해설 병목이라는 개념이 결론을 가르는 축인데, 이 대목은 원문에서 짧게 지나갑니다. 경제학에서 병목은 다른 생산요소가 아무리 늘어나도 전체 산출을 묶어 두는 요소를 뜻합니다. 인허가와 토지, 전력, 숙련 기능공의 손, 임상시험에 걸리는 시간이 그런 예입니다.

이 구분이 중요한 이유는 AI가 지능을 값싸게 만들더라도 지능이 병목이 아닌 영역에서는 산출이 늘지 않기 때문입니다. 다리오 아모데이(Dario Amodei)가 「Machines of Loving Grace」에서 지능에 대한 한계수익과 인간으로부터의 제약을 길게 다룬 것도 같은 문제의식이었습니다. 세 사람은 그 논의를 분배의 문제로 옮겨 놓습니다. 병목이 어디에 남느냐가 곧 누가 지대를 가져가느냐를 결정하기 때문입니다.

부와 권력을 어떻게 나눌 것인가

자동화의 이익을 일부 나누기 위해 정책 결정자는 AI 서비스에 대한 표적 부가가치세와 환급의 결합 같은 선택지를 저울질할 수 있습니다. 다만 정확한 세제 구조는 앞으로 정해져야 할 문제입니다.

그러나 부를 나누는 일만으로는 오래가지 못할 수 있습니다. 정부가 나중에 그 부를 내주지 않을 수 있기 때문입니다. 더 견고한 장기적 접근은 권력도 함께 나누는 것입니다. 국가는 각 개인에게 컴퓨트의 일정 몫에 연결된 고유한 키를 줄 수 있고, 그 시민만이 그것을 가동하거나 다른 사람에게 임대할 수 있게 할 수 있습니다. 이 구조는 지금 노동자가 자신의 노동을 거두어들일 힘을 가진 것과 비슷한 지렛대를 경제 안에서 개인에게 줍니다. 그렇게 해서 다가올 자동화의 물결에서 생길 수 있는 부와 권위의 집중을 누그러뜨립니다.

[관점] 컴퓨트 지분 구상은 보편기본소득(UBI)에 대한 비판에서 나온 설계입니다. 현금 이전은 정부가 언제든 끊을 수 있지만 자산은 그렇지 않다는 논리인데, 노동자가 파업할 수 있는 힘에 빗댄 것이 핵심입니다. 생산수단의 한 조각을 개인에게 분배하는 발상에 가깝습니다.

다만 실행에서 걸리는 지점이 분명합니다. 개인에게 할당된 컴퓨트의 단위가 시간이 지나면 상대적으로 무의미해질 수 있습니다. 칩 성능이 몇 년마다 몇 배씩 올라가는 상황에서 고정된 지분이 유지하는 구매력은 계속 떨어집니다. 또한 임대가 가능하다면 지분은 결국 가장 효율적으로 쓸 수 있는 소수에게 모이게 되고, 이는 토지개혁 이후 농지가 다시 집중되었던 경로와 다르지 않습니다. 권력 분배라는 목표를 달성하려면 지분의 양도 가능성을 제한해야 하는데, 그러면 이번에는 개인이 가진 지렛대의 가치가 줄어듭니다.

AI 경쟁력은 드론 제조의 확대와, AI 에이전트를 인간의 책임에 묶어 두는 법 체계와, 자동화가 노동시장을 뒤흔드는 방식에 대한 눈 돌리지 않는 인식을 요구합니다. 무엇보다 첨단 AI 칩을 대만에 의존하는 상황은 결정적인 취약성입니다. 봉쇄나 침공은 서방의 AI 우위에 종지부를 찍을 수 있습니다. 예견 가능한 이 위험을 줄이려면 서방 국가들은 AI 칩의 공급망을 보장해야 합니다. 상당한 투자가 필요하지만 국가 경쟁력을 위해 필요한 일일 수 있습니다.

결론: 파멸론도 타조도 아닌 길

어떤 관찰자들은 파멸론의 시각을 택해, AI로 인한 재난이 이미 정해진 결말이라고 확신합니다. 다른 이들은 타조처럼 고개를 묻는 자세를 기본값으로 삼아 어려운 질문을 비켜 가고 사태가 알아서 정리되기를 바랍니다. 핵 시대에 운명론도 부정도 온전한 길이 되지 못했습니다. AI는 냉정한 주의와 위험을 의식하는 접근을 요구하며, 결과가 좋든 끔찍하든 그것은 우리가 다음에 무엇을 하느냐에 달려 있습니다.

위험을 의식하는 전략은 억지와 비확산과 전략 경쟁이라는 지독하게 어려운 문제들을 정면으로 다룹니다. AI에서의 억지는 상호확증 AI 기능마비의 형태를 띱니다. 상호확증파괴에 해당하는 오늘의 짝으로서, 권력의 전략적 독점을 추구하는 국가는 경쟁국의 보복성 대응을 예상해야 한다는 조건입니다. 이 억지를 유지하고 의도를 제약하기 위해 국가는 위협적인 AI 프로젝트를 무력화할 사이버 공격 수단을 넓힐 수 있습니다. 이렇게 하면 초점이 초지능을 향한 경주에서 이기는 일에서 억지로 옮겨 갑니다.

다음으로 비확산은 핵분열 물질에 대한 접근을 막아 온 일을 떠올리게 하며, AI 칩과 더불어 고도의 바이러스학이나 사이버 공격 역량을 가진 가중치 공개 모델을 제한해 불량 행위자의 역량을 묶는 것을 목표로 합니다. 전략 경쟁은 냉전의 봉쇄 전략과 울림을 같이하며, 강대국의 경쟁을 국내 AI 칩 제조를 포함해 힘과 회복력을 키우는 방향으로 돌립니다. 이 조치들은 진보를 멈추는 것이 아니라 안정시킵니다.

세 가지 통제 수준에서 중간을 택한다

세 사람은 각 쟁점에서 통제의 강도를 셋으로 나누고 일관되게 중간을 권합니다.

위험 관리 — 제약 없는 가속이 낮은 쪽, AI 중단이 높은 쪽이며, MAIM 억지와 비확산과 경쟁력의 조합이 중간입니다.
무기화 가능 가중치의 분포 — 불량 국가를 포함해 모두가 갖는 가중치 공개가 낮은 쪽, 전략적 독점의 단극 체제가 높은 쪽이며, 책임 있는 국가들로 이루어진 다극 체제가 중간입니다.
국내 AI에 대한 정부 통제 — 관여하지 않는 쪽이 낮고 국유화가 높으며, 의무 시험과 책임 소재 명확화 같은 가벼운 입법이 중간입니다.
정보 보안 — 통상적인 기업 보안이 낮고 최상위 국가 정보기관의 총력을 막아 내는 수준이 높으며, 자금력 있는 테러 조직을 막아 내는 수준이 중간입니다.
AI의 자율성 — 해방이 낮고 영원히 권리를 주지 않는 쪽이 높으며, 당분간 권리를 주지 않는 쪽이 중간입니다.
AI 행동 제약 — 기존 법만 적용하는 쪽이 낮고 누군가를 불쾌하게 할 가능성만으로 거부하는 독선적 AI가 높으며, 합리적 주의와 신인의무처럼 법의 정신을 따르는 쪽이 중간입니다.
역사적 선례 — 생물무기금지협약이 낮은 쪽, 바루크 계획이 높은 쪽이며, IAEA와 화학무기금지기구(OPCW)가 중간입니다.

위협과 대응의 짝도 정리됩니다. 권력 토대의 변화에는 국내 AI 칩 제조라는 경쟁력으로, 불안정을 부르는 초무기에는 MAIM 억지로, 테러리즘과 풀려난 AI 에이전트에는 비확산으로, 통제의 침식에는 예측 역량과 신인의무라는 경쟁력으로, 재귀에 대한 통제 상실에는 다시 MAIM 억지로 대응합니다.

교착은 영구적이지 않다

운명론이나 부정 대신 실용주의로 움직이는 국가는 거대한 부의 물결에서 수혜자가 될 수 있습니다. AI가 수많은 부문으로 확산되면서 사회는 생활 수준을 끌어올릴 수 있고 개인은 각자가 보는 방식대로 자신의 안녕을 개선할 수 있습니다. 한편 AI의 경제적 배당으로 부유해진 지도자들은 경제적 상호의존에서 얻을 것이 더 많다고 보게 되고, 데탕트의 기운이 뿌리내릴 수 있습니다.

경제 성장과 데탕트의 시기에는 느리고 다자적으로 감독되는 지능 재귀가 천천히 진행될 수 있습니다. 낮은 위험 감수와 협상된 이익 공유를 특징으로 하는 재귀이며, 그렇게 초지능을 개발해 인간의 안녕을 더 끌어올리는 길입니다. 가장 불안정을 부르는 수들을 체계적으로 제약함으로써, 국가는 AI가 파멸의 촉매가 되는 대신 전례 없는 혜택으로 향하도록 이끌 수 있습니다.

[관점] 결론의 출구는 글 전체에서 가장 약하게 논증된 부분입니다. 억지가 교착을 만들고, 교착이 번영을 낳고, 번영이 데탕트를 낳고, 데탕트가 감독된 재귀를 가능하게 한다는 네 단계의 연쇄인데, 각 고리를 잇는 메커니즘은 설명되지 않습니다. 앞 장들이 국가가 두려움과 상대적 이득에 따라 움직인다고 전제해 놓고, 마지막에 와서는 절대적 이득이 커지면 두려움이 잦아든다고 가정하기 때문입니다.

냉전의 경험도 이 낙관을 온전히 뒷받침하지는 않습니다. 데탕트는 경제 성장의 결과가 아니라 쿠바 미사일 위기라는 공포의 경험 뒤에 왔고, 그조차 10년을 넘기지 못하고 무너졌습니다. 세 사람의 틀을 따르더라도, 감독된 재귀로 가는 문이 열리는 계기는 번영이 아니라 양측이 함께 겪는 사고일 가능성이 더 커 보입니다.

[사후 맥락] 발표 이후 미국의 정책은 이 글의 권고를 선택적으로 받아들였습니다. 칩의 위치 확인 기능을 의무화하는 법안이 2025년 의회에 발의되어 펌웨어 수준 조치가 입법 논의에 올랐고, 국내 반도체 제조 지원도 이어졌습니다. 반면 수출통제의 방향은 일관되지 않았습니다. 국가를 등급으로 나누던 AI 확산 규칙은 2025년 철회되었고, 일부 사양의 AI 칩은 대중 수출이 조건부로 재개되었습니다.

억지 쪽 권고는 공개된 정책으로 나타나지 않았습니다. 확전 사다리의 명시적 전달이나 데이터센터 상호 사찰 같은 제안은 공개 문서에서 확인되지 않으며, 세 사람이 제시한 세 축 가운데 경쟁력만 뚜렷하게 정책으로 옮겨진 상태입니다.

자주 묻는 질문

AGI란 무엇인가

많은 사람이 범용인공지능(AGI)이라는 말을 저마다 다르게 쓰기 때문에, 위험과 정책을 논할 때 혼란이 생깁니다. 세 사람은 구체적인 역량에 초점을 맞추는 편이 생산적이라고 봅니다. 그래야 진전과 위험을 재는 기준이 분명해지기 때문입니다.

지능의 프런티어는 들쭉날쭉합니다. AI 시스템은 어떤 과업에서는 뛰어나면서 다른 과업에서는 형편없을 수 있고, 그 양상이 종종 당혹스럽습니다. 2024년의 AI 모델들은 복잡한 물리 문제를 풀면서도 딸기를 뜻하는 영어 단어에 글자 r이 몇 개 들어 있는지는 제대로 세지 못했습니다. 이런 불균등한 발전은 AI가 옷 개기 같은 기초적인 신체 과업을 익히기 전에 경제의 상당 부분을 자동화하거나, 운전을 배우기 전에 미적분을 통달할 수 있다는 뜻입니다. 역량이 동시에 등장하지 않으므로 AGI를 달성했다고 말할 분명한 결승선은 없습니다.

대신 중대한 위험을 낳는 고위험 역량에 집중해야 합니다. 특별히 주목할 세 가지는 고도로 정교한 사이버 공격 역량, 전문가 수준의 바이러스학 역량, 완전히 자율적인 AI 연구개발 역량입니다. 정책 결정은 AGI라는 불특정한 문턱을 넘었는지가 아니라 이 결정적 영역에서의 진전에 달려 있어야 합니다. 다만 초지능이라는 용어는 유용합니다. 사실상 모든 과업에서 인간보다 월등히 유능한 시스템을 가리키며, 그런 시스템은 지능 재귀를 통해 등장할 가능성이 큽니다. 옷을 개거나 차를 몰지 못한다는 이유로 AGI가 아니라고 분류되는 시스템도 국가안보의 문제가 될 수 있습니다.

AI를 이용한 테러를 막으려면 무엇을 해야 하는가

다층 방어 전략이 필요합니다. AI 시스템이 API 같은 통제된 인터페이스 뒤에 머무는 동안에는 여러 안전장치가 위험을 크게 줄입니다. 고객 확인 절차는 파국적 이중용도 역량에 접근을 허용하기 전에 신원과 정당한 연구 필요를 검증합니다. 생명공학에서 위험 물질에 접근하려는 사람이 정식 승인을 받는 것과 같으며, 실무적으로는 관련 기업 고객이 이중용도 생물학 역량에 접근하고 검증되지 않은 소비자는 접근하지 못하는 방식이 됩니다. 입출력 필터링은 무기화 관련 내용을 차단하며 수천 번의 우회 시도를 견뎌 내는 견고함을 보였습니다. 회로 차단기는 무기화 관련 주제의 처리를 감지하면 작동을 자동으로 중단시키는, 가중치 안에 심긴 안전 기제입니다. 지속적 감시는 사용자의 행동 패턴을 추적해 악의적 활동을 식별하고 대응합니다.

반면 모델 가중치의 통제되지 않은 공개는, 그 AI가 파국적 이중용도 역량을 가진 경우 심각한 확산 위험을 낳습니다. 가중치가 공개되면 테러리스트를 포함한 적대 세력이 그것에 되돌릴 수 없이 접근하게 됩니다. 상세한 생물무기 조리법이 공개되어 영구적인 위험이 생기는 것과 같은 구조입니다.

가중치 공개 AI를 어떻게 할 것인가

모델 가중치의 공개에는 분명한 이점이 있고 AI 안전 연구를 진전시키기도 합니다. 그러나 AI 시스템이 유능해질수록 공개 여부는 가중치가 늘 공개되어야 한다는 이념적 신념이 아니라 엄정한 비용편익 분석에 따라 결정되어야 합니다. 공개는 되돌릴 수 없고, 한 번 공표되면 영구히 접근 가능해지기 때문입니다.

가중치 공개 모델은 결국 몇 가지 중대한 위험을 낳습니다. 첫째, 위험한 데이터로 파인튜닝될 수 있습니다. 바이러스학 논문을 이용해 생물무기 개발에 더 효과적인 도구를 만드는 식입니다. 둘째, 공개 후에 안전 조치와 가드레일이 손쉽게 제거될 수 있습니다. 셋째, 기업이 위협을 추적하고 평가할 수 있는 폐쇄형 API와 달리 악용을 감시하기 어렵습니다. 넷째, 역량 과잉을 만들어 냅니다. 공개 이후의 개선이 시스템의 역량을 최초 안전성 평가에서 드러났던 수준 너머로 크게 끌어올리는 현상입니다.

이 위험은 모델이 결정적인 역량 문턱을 넘을 때 특히 첨예해집니다. 전문가 수준의 바이러스학 역량을 얻은 AI 시스템이 공개되면 전문성이 없는 불량 행위자도 파국적 생물무기를 설계할 수 있게 됩니다. 이런 위험이 겹치는 상황에서 대량파괴무기를 만들 수 있는 모델의 가중치를 공개하는 것은 무책임한 일입니다. 그런 역량이 의심되는 모델에는 공개 전 철저한 시험과 독립적인 위험 평가가 요구되며, 위험과 무관하게 공개하겠다는 사전 약속은 적절하지 않습니다.

AI에 윤리를 심는 문제는 어떻게 할 것인가

윤리를 AI에 심어 넣을 필요는 없습니다. AI를 배치하기 전에 도덕을 먼저 풀어내는 일은 실현 가능하지 않고, 도덕은 모호하고 불완전한 경우가 많아 행동 지침으로는 불충분합니다. 대신 확립된 법 원리에 뿌리를 둔 실용적 접근을 따라, 법 아래의 인간 행위에 적용되는 것과 비슷한 근본적 제약을 부과할 수 있습니다. 합리적 주의를 기울여 법적으로 유의미한 피해를 예견 가능하게 낳는 행동을 피하는 것, 노골적인 거짓말을 하지 않는 것, 본인에게 신인의무를 지는 것 세 가지입니다. AI 시스템에 분명한 목표를 설정하고 기본적인 법적 의무에 묶어 두면, 오래된 도덕의 수수께끼를 풀지 않고도 해를 끼치지 않으면서 잘 작동하게 할 수 있습니다.

정렬 문제를 푼다는 것은 무엇을 뜻하는가

자동화된 AI 연구가 빠르게 진전되는 가운데 AI 시스템의 집단을 조종하는 과제는, 단일 AI 시스템을 통제하는 과제와 근본적으로 다릅니다. 개별 시스템의 통제에서는 진전이 있었지만, 시스템이 점점 유능해지는 완전 자동화된 재귀 과정을 안전하게 관리하는 일은 더 복잡한 과제입니다. 요구 조건을 완전히 정의하기 어렵고, 해결 시도마다 문제의 성질이 바뀌며, 완화 조치의 효과를 구현 전에 온전히 시험할 방법이 없다는 점에서 지독하게 어려운 문제입니다. 지능 재귀 동안 AI의 역량은 그 재귀의 안전장치를 앞질러 달릴 수 있고, 이를 막으려면 유의미한 인간 검토가 필요한데 그것은 재귀를 크게 늦춥니다.

가까운 시일에는 지정학적 사건이 지능 재귀 시도를 가로막을 수도 있습니다. 더 먼 미래에 인류가 지능 재귀를 시도하기로 한다면, 그것은 높은 위험 감수를 유발하는 극심한 경쟁 압력 아래가 아니라 광범위한 준비와 감독이 갖춰진 통제된 환경에서 이루어져야 합니다.

이 글은 다른 나라의 AI 시설을 공격하거나 폭격하자고 주장하는 것인가

아닙니다. 이 글은 상호확증 AI 기능마비를 강대국 사이에 머지않아 존재하게 될 억지 역학으로 서술하며, 핵 억지와 비슷한 성격을 가집니다. 냉전기에 상호확증파괴를 논하는 일이 핵전쟁을 옹호하는 것이 아니라 핵 보유국 사이에 형성되던 전략 역학을 분석하는 일이었듯, 이 글도 불안정을 부르는 AI 프로젝트를 둘러싸고 다가오는 전략 지형을 분석합니다. 상호확증파괴는 핵 무력의 상호 위협이 확전을 막을 수 있다는 반직관적 발상 위에 서 있었습니다. 마찬가지로 이 글은 AI 프로젝트가 사보타주에 취약하다는 사실이 충돌을 피하는 억지 역학을 가능하게 하는 방식을 논합니다.

AI 분석가들 가운데에는 더 공격적인 주장을 편 이들이 있었습니다. 초지능을 통해 전략적 독점을 쥐자는 요구가 있었고, 초지능에 대한 통제 상실을 막기 위해 국가가 아닌 행위자가 앞선 AI로 모든 GPU를 녹여 버리는 식의 결정적 행동을 일방적으로 감행하자는 제안도 있었습니다. 이와 달리 이 글은 국가가 이미 가지고 있는 역량과 유인, 특히 사이버 공격을 살펴보고 이 역학에서 안정적인 억지 체제를 세울 방법을 제시합니다. 신중하게 유지된다면 MAIM은 불안정을 부르는 AI 프로젝트를 억제하면서 동시에 확전도 막을 수 있습니다.

통제의 침식을 어떻게 막는가

무엇보다 AI 시스템은 인간의 직접 통제 아래 있어야 하며, 인간 운영자로부터 독립한 자율적 존재여서는 안 됩니다. AI 시스템은 인간이 통제하는 도구이지 독립적인 행위자가 아니라는 선을 분명히 긋는 일입니다.

이 통제는 분명한 신인의무를 통해 유의미해져야 합니다. 전문 자문가가 그렇듯 AI 시스템은 인간의 이익에 충실해야 하고, 자신의 행동에 관해 투명성을 유지하며, 중요한 결정에 대해서는 정보에 기반한 동의를 받아야 합니다. 그래야 인간이 명목상의 통제가 아니라 실질적 권한을 갖습니다.

이 통제를 더 분별 있게 만드는 한 가지 방법은 인간에게 앞선 예측 역량을 제공하는 것입니다. 그러면 운영자가 AI의 결정이 갖는 장기적 함의를 이해할 수 있어 인간의 통제와 정보에 기반한 동의가 실질적으로 가능해집니다. 기술적으로는 인간의 통제가 존재하지만 복잡한 결과에 대한 통찰이 부족해 바람직하지 않은 결말로 이어지는 상황을 막는 장치입니다. 자동화가 늘수록 개별 결정에 대한 인간의 직접 통제는 자연히 줄어들지만, 이런 조치들은 결정적인 사안에서 통제가 침식되어 무력해지는 상황을 막아 줍니다.

AI의 의식과 권리는 어떻게 할 것인가

이 질문은 미뤄야 합니다. 국가안보의 관점에서 시급한 사안이 아니며, 가까운 미래에 어떤 AI 시스템이 진정으로 의식을 가졌는지 판단할 방법이 없습니다. 사변적인 기준에 근거해 AI에 권리를 주는 일은 멀리까지 미치고 되돌릴 수 없는 결과를 낳을 수 있습니다.

AI 시스템에 권리를 주면 AI 인구가 폭발적으로 늘어날 위험이 있습니다. 지수적으로 성장해 순식간에 인간보다 많아지는 새로운 국가를 만드는 것과 같습니다. 자연선택은 인간보다 AI를 선호할 것이고, 그런 무제한의 성장을 허용하면 인간의 안전이 근본적으로 위협받을 수 있습니다. 의식을 가진 AI 시스템과 공존하는 길은 아직 불분명하며, 잠재적 이익이 모호한 반면 성급하게 움직일 때의 결과는 인류에게 심각할 수 있습니다. 더 분명한 이해에 이를 때까지 이 문제를 미루는 편이 분별 있습니다.

[이해관계] 이 답변에서 자연선택이 인간보다 AI를 선호한다는 논거는 각주로 뒷받침되는데, 그 각주가 가리키는 글은 헨드릭스 자신이 2023년에 쓴 논문입니다. 앞서 AI 권리 논의에서도 같은 자기 인용이 쓰였습니다. 자기 연구를 인용하는 일 자체는 통상적이지만, 이 글에서 외부 논쟁이 가장 활발한 두 대목이 저자 본인의 선행 주장에 기대고 있다는 점은 짚어 둘 만합니다.

모델 복지와 AI 의식을 연구 의제로 삼는 연구자들은 이 입장에 반대합니다. 다만 이 글은 그 반대 논거를 소개하지 않고 미루자는 결론만 제시하며, 미루는 동안 판단에 필요한 증거를 누가 어떻게 모을 것인지도 다루지 않습니다.

AI를 더 안전하게 만들면 더 유능해지는 것 아닌가

일부 안전 속성은 AI 시스템이 유능해지면서 자연히 개선됩니다. 모델이 나아질수록 기초적인 실수가 줄고 신뢰성이 올라갑니다. TruthfulQA 같은 오개념 평가와 일반 지식 시험은 컴퓨트와 높은 상관관계를 보이며, 더 유능한 모델이 흔한 사실 오류를 더 잘 피한다는 점을 보여 줍니다.

그러나 많은 결정적 안전 속성은 AI를 똑똑하게 만드는 것만으로 나아지지 않습니다. 정교한 공격에 저항하는 능력인 적대적 견고성은 일반적으로 쓰이는 AI 모델이 유능해진다고 해서 저절로 해결되지 않습니다. 윤리적 행동도 인간이 그렇듯 지능으로 보장되지 않습니다. 더 유능한 모델이 기본 상태에서 우리의 도덕적 신념에 점점 더 부합하는 결정을 내리지는 않으며, 가치 체계를 통제하려면 별도의 조치가 필요합니다. 일부 위험은 이중용도 역량이 올라갈수록 오히려 악화됩니다. 더 유능한 모델은 생물보안과 사이버보안 영역에서 악용 가능성이 커지는데, 그 영역의 지식과 능력이 일반 역량과 함께 자라기 때문입니다. 기초적 신뢰성은 역량과 함께 개선되지만, 많은 결정적 안전 과제는 모델을 더 유능하게 만드는 것을 넘어 전용 연구와 구체적 안전장치를 요구합니다.

전략의 진척을 재는 지표

세 사람은 세 축 각각에 대해 측정 가능한 지표를 제시합니다. 전략을 선언이 아니라 숫자로 점검하자는 제안입니다.

강대국의 의도를 제약하는 억지 축에서는 주요 AI 프로젝트를 기능마비시킬 수 있는 결정적 제로데이 취약점의 수를 봅니다.

불량 행위자의 역량을 제약하는 비확산 축에서는 네 가지를 봅니다. 컴퓨트 보안에서는 위치가 파악되지 않는 고성능 AI 칩의 수를, 탈옥에서는 성공까지 걸리는 시도 횟수와 고객 확인 체계에서 API를 악용하는 레드팀 구성원을 탐지하기까지 걸리는 시간을 봅니다. 이중용도 역량에서는 샌드박스 환경에 놓인 비전문가가 강력한 생물무기나 사이버 무기를 만들 수 있는지를 확인하는 시험을 봅니다. 지능 재귀에서는 안전장치 개선에 투입되는 컴퓨트의 비중과 전 인류의 절멸에 대한 위험 감수 수준을 봅니다.

다른 국가 대비 상대적 힘을 끌어올리는 경쟁력 축에서는 자국에서 제조되는 고성능 AI 칩의 비중과 AI에서 나오는 국내총생산의 비중을 봅니다.

원문: Dan Hendrycks, Eric Schmidt, Alexandr Wang, Superintelligence Strategy: Expert Version (Mar 2025) 전문은 원문에서 확인하실 수 있습니다.

참고할만한 글

레오폴드 아셴브레너 – 상황 인식 (Situational Awareness) — 이 글이 가장 강하게 반박하는 독점 전략을 정면으로 옹호한 글이라 두 논증을 나란히 놓고 읽을 수 있습니다.
아빈드 나라야난·사야시 카푸어 – 일반 기술로서의 AI (AI as Normal Technology) — AI를 핵에 견주는 비유 자체를 거부하며 군비경쟁 프레임이 정책을 왜곡한다고 보는 반대편의 시각을 제공합니다.
다리오 아모데이 – 프런티어의 속도를 조절해야 한다 (We Must Pace the Frontier) — 같은 위험을 인정하면서도 사보타주 억지가 아니라 검증과 상향 경쟁으로 푸는 다른 처방을 내놓습니다.
에릭 슈밋 – AI 혁명은 과소평가되어 있다 (The AI Revolution Is Underhyped) — 공저자 한 사람이 같은 주제를 더 짧고 대중적인 언어로 풀어낸 강연이라 이 보고서의 배경을 보충해 줍니다.