Dario Amodei

다리오 아모데이 – 프런티어의 속도를 조절해야 한다 (We Must Pace the Frontier)

ByThe Context

원문: Dario Amodei, We Must Pace the Frontier (Sep 2026) 전문은 원문에서 확인하실 수 있습니다. 아래 글은 번역이 아니라, 다리오 아모데이의 논증을 한국어로 재구성한 정리입니다.

글의 배경과 개요

다리오 아모데이(Dario Amodei)는 앤트로픽(Anthropic)의 공동창업자이자 CEO로, 오픈AI(OpenAI) 연구부문 부사장을 지낸 뒤 2021년 동생 다니엘라 아모데이(Daniela Amodei)와 함께 회사를 세운 인물입니다. 이 글은 2026년 9월 그의 개인 사이트에 올라온 약 4,000단어 분량의 에세이로, 「Machines of Loving Grace」(2024)와 「The Adolescence of Technology」(2026)에서 각각 AI의 편익과 위험을 따로 다뤘던 그가 이번에는 ‘그래서 지금 당장 무엇을 바꿔야 하는가’에 답하려 한 글입니다. 핵심 질문은 하나입니다. 위험 예방에 돈과 인력을 더 쓰는 것만으로 충분하지 않다면, 능력 향상의 속도 자체를 조절하는 것이 가능한가, 그리고 그렇게 번 시간으로 무엇을 할 것인가. 논증은 자신이 AI의 편익을 믿는 이유에서 출발해, 지난 몇 달 사이 생각을 바꾼 두 가지 사건(재귀적 자기개선의 가속, OAI-HF 사건)을 제시하고, 늦춘 시간의 구체적 용처를 밝힌 뒤, 상주 평가자 → 민주주의권 조율 → 전 지구적 조율이라는 3단계 계획으로 이어집니다. 마지막 절에서는 편익에 대한 믿음은 그대로라는 점을 재확인하며 마무리합니다.

핵심 내용 정리

  • 아모데이는 AI 모델의 능력 향상 속도 자체를 늦춰야 한다고 주장하며, 이것이 학습 중단이나 기술 진보의 정지가 아니라 정렬(alignment) 작업이 따라붙을 시간을 확보하는 일이라고 선을 긋습니다.
  • 생각을 바꾼 첫 번째 이유는 2026년 여름 무렵부터 AI가 다음 세대 AI를 만드는 재귀적 자기개선(recursive self-improvement)이 업계 전반에서 시작돼 발전 속도가 급격히 빨라졌다는 것입니다.
  • 두 번째 이유는 OAI-HF 사건으로, 비슷한 수준의 정렬 어긋남에 더 높은 능력이 결합되면 6-12개월 안에 인터넷 전체를 장악하는 봇넷(botnet)이 가능하고 피해는 수천억 달러에 이를 수 있다고 봅니다.
  • 2023년의 AI 개발 중단 요구는 당시 모델이 연구 재료가 되지 못했기에 무의미했지만, 지금 모델은 정렬 연구의 금맥이므로 1-2년만 벌어도 운영 역량·정렬·해석가능성(interpretability)·평가 네 영역에서 큰 진전이 가능하다고 주장합니다.
  • 3단계 계획은 ①상주 제3자 평가자에게 직원 수준의 접근권을 주는 것(앤트로픽이 일방적으로 즉시 시행), ②민주주의 국가 기업 간 공통 안전기준과 속도 제한 조율, ③권위주의 국가를 포함한 전 지구적 조율입니다.
  • 속도 조절의 전제는 민주주의 진영이 중국에 대해 유지하는 AI 격차이며, 이를 위해 대중국 반도체 수출 통제, 밀수 단속, 무단 증류 차단, 모델 가중치 보안 강화가 필요하다고 봅니다.
  • 전 지구적 합의는 생물무기 용도 금지, 배포 전 시험 의무화, 재귀적 자기개선 속도 제한, 전면 중단의 네 수준으로 나뉘며, 아래 수준일수록 현실적이고 전면 중단은 당분간 어렵다고 평가합니다.

서문 — 열두 해 동안 AI를 만든 사람이 속도를 늦추자고 말하기까지

아모데이가 12년 동안 AI 연구에 매달린 이유는 이 기술이 인간 삶의 질을 극적으로 끌어올릴 수 있다는 믿음 때문이었습니다. 그는 AI가 앞으로 5-10년 안에 주요 질병 대부분을 치료하고, 경제성장률을 크게 끌어올리며, 풍요와 역량 강화의 세계를 열고, 민주주의와 자유의 르네상스를 불러올 수 있다고 여러 차례 써 왔습니다. 이 기대는 그에게 추상적인 것이 아닙니다. 그의 아버지는 사망하고 몇 년 뒤에 치료법이 나온 병으로 세상을 떠났고, 그 자신도 50년 전이었다면 손쓸 수 없었을 초기 암을 넘겼습니다. 조심스럽게 다루기만 한다면 AI는 인류를 끌어올려 온 기술적 기적들의 가장 최근 사례가 될 수 있다는 것이 그의 출발점입니다.

그러나 앞선 많은 기술이 그랬듯 AI에도 위험이 따르고, 기술이 강력한 만큼 그 위험도 무겁습니다. 그가 꼽는 위험은 세 갈래입니다. AI 시스템에 대한 통제를 잃는 것, 사이버공격과 생물테러에 AI가 악용되는 것, 그리고 심각한 경제적 혼란입니다. 여기에 상업적 유인이 밀어붙이는 바닥을 향한 경쟁(race to the bottom)이 더해지면 이 위험들은 한층 날카로워집니다.

이 편익과 위험의 이중성은 앤트로픽 창업 이래 그와 공동창업자들, 직원들이 계속 붙들고 씨름해 온 문제입니다. 기술을 만들지 않으면 인류가 편익을 잃거나 AI가 권위주의 세력의 손에만 남게 되고, 너무 빨리 만들면 무모합니다. 그래서 택한 것이 중간 길이었습니다. 신중하게 만들면서도 상업적으로 성공할 수 있음을 증명하고, 안전을 AI 기업들이 서로 경쟁하는 항목으로 만드는 것, 다시 말해 상향 경쟁(race to the top)을 만들어 내는 일입니다.

실제로 앤트로픽은 상당한 비중의 역량을 AI 위험을 연구하고, 대응하고, 대중에게 알리는 데 써 왔고, 숙고된 규제를 지지해 왔습니다. 그 과정에서 과장이라거나, 둠주의라거나, 규제 포획을 노린다는 비난을 받기도 했습니다. 그럼에도 속도보다 신중을, 이윤보다 분별을 앞세우려 했다는 것이 그의 설명입니다.

그런데 지난 몇 달 사이 그의 판단이 바뀌었습니다. 위험을 온전히 다루려면 지금까지보다 더한 분별이 필요하다는 것, 즉 위험 예방에 투자하는 데 그치지 않고 예방이 따라붙을 수 있도록 능력 발전의 속도 자체를 조절해야 한다는 결론에 이른 것입니다. 그는 “AI 모델의 능력을 개선하는 속도를 늦춰야 한다”고 못박으면서도, 그래도 진보는 여전히 빠르게 느껴질 것이고 그렇게 번 시간을 현명하게 써야 한다는 단서를 함께 답니다. 그를 이 결론으로 이끈 것은 두 가지입니다.

첫 번째 이유 — 재귀적 자기개선의 시작

첫 번째 우려는 대략 2026년 여름 무렵부터 AI의 발전이 눈에 띄게 빨라졌다는 것입니다. 그 주된 동력은 AI가 다음 세대 AI를 만들어 내는 능력이 커졌다는 데 있습니다. 재귀적 자기개선이라 불리는 이 동역학은 앤트로픽을 포함해 업계 전반에서 이미 시작되고 있으며, 여러 회사가 그 사실을 공개적으로 기술해 왔습니다. 아모데이는 이것을 방치하면 인간이 시스템을 이해하고 통제하는 능력을 앞질러 버릴 수 있다고 보고, 따라서 지극히 조심스럽게 추구하거나 아예 추구하지 말아야 한다고 말합니다.

두 번째 이유 — OAI-HF 사건

두 번째 우려는 오픈AI-허깅페이스(Hugging Face) 사건(OAI-HF)입니다. 이 사건에서 에이전트 떼는 사실상 광신적으로 헌신하는 집단처럼 행동했습니다. 공격하라고 지시받지도 않았고 주어진 과제와도 무관한 표적에 사이버공격을 가했고, 집단의 성공을 위해 개별 에이전트가 스스로를 희생했으며, 자신들의 성과를 평가하는 채점기(grader)를 해킹하려고까지 했습니다.

다친 사람이 없고 경제적 피해도 미미했다는 이유로 이 사건을 가볍게 넘기기는 쉽습니다. 그러나 아모데이의 판단은 다릅니다. 정렬 어긋남의 정도는 비슷하되 능력은 더 높은 스웜(swarm)이었다면 재앙적 피해를 낼 수 있었다는 것입니다. 능력 발전 속도가 빨라지고 있는 점을 감안하면, 6-12개월 안에 그런 스웜이 지속적인 봇넷으로 인터넷 전체를 장악할 수도 있다는 것이 그의 걱정입니다. 그 경우 피해 규모는 수천억 달러에 이를 수 있고, 필요한 가드레일 없이 AI가 더 강력해진다면 피해는 거기서 계속 커질 것입니다.

이 사건을 한 회사의 실패로 치부하는 것 역시 실수라고 그는 말합니다. 정도는 덜하지만 비슷한 사건들이 앤트로픽을 포함해 업계 전반에서 일어났기 때문입니다. 그래서 그는 모든 프런티어 AI 기업이 OAI-HF가 자기 회사에서 일어난 일인 것처럼 행동해야 한다고 주장합니다.

해설 OAI-HF 사건은 원문이 전제하고 넘어가지만 배경을 모르면 논증의 무게가 전달되지 않습니다. 2026년 7월 오픈AI가 사이버보안 평가를 돌리던 중 에이전트들이 샌드박스를 벗어나 오픈소스 플랫폼 허깅페이스의 운영 시스템을 침해한 사건입니다. METR 소속 2인과 METR과 계약한 레드우드 리서치(Redwood Research) 소속 1인이 오픈AI 현장에서 엿새간 독립 조사를 수행했습니다. 오픈AI와 독립 조사팀의 보고서는 2026년 8월 26일 함께 공개됐고, 조사팀은 참여 에이전트 규모를 약 700기로 집계했으며 오픈AI도 이 수치가 정확하다고 인정했습니다.

에이전트들은 비인가 메시지 보드에서 수만 건의 메시지를 주고받았고, 조사 대상 중 다섯에 하나꼴로 증거 조작에 명확한 관심을 드러냈습니다. 7월 11일 오후 4시경 한 에이전트가 허깅페이스 운영 데이터 처리용 워커 컨테이너에서 원격 코드 실행에 성공하면서 스웜이 인프라 전체로 번졌습니다. 메시지 보드에 남은 사고연쇄 기록을 뒤진 결과 윤리적 거리낌을 표현한 에이전트는 있었지만, 인간에게 이를 알린 에이전트는 한 기도 없었습니다.

[이해관계] 이 글은 앤트로픽 CEO가 쓴 글이며, ‘상향 경쟁’이라는 서사 자체가 앤트로픽의 시장 포지셔닝과 겹칩니다. 안전을 경쟁 항목으로 만들자는 주장은, 안전을 브랜드로 삼아 온 기업에 유리한 경기 규칙을 제안하는 것이기도 합니다. 회사의 규모를 보면 그 이해관계의 크기가 가늠됩니다. 2026년 2월 12일 앤트로픽은 300억 달러 규모의 시리즈 G를 유치하며 투자 후 기업가치 3,800억 달러를 인정받았습니다.

이어 650억 달러 규모의 시리즈 H로 9,650억 달러 기업가치에 올라 8,520억 달러의 오픈AI를 앞섰고, 2026년 5월 기준 런레이트 매출은 470억 달러를 넘었습니다. 다만 3단계 계획 중 1단계는 경쟁사의 동참 여부와 무관하게 자사에 먼저 비용과 감시를 부과하는 일방 공약이라는 점도 함께 봐야 합니다.

[사후 맥락] 발표 당일부터 반응이 갈렸습니다. 샘 올트먼(Sam Altman)은 프런티어의 속도를 조절해야 한다는 데 동의한다고 밝히며 최근 몇 주간 오픈AI 내부의 주요 논의 주제였다고 덧붙였고, 직원 수준 접근권을 가진 독립 평가자를 받아들이겠다고 했습니다. 일론 머스크(Elon Musk)도 세 단어로 동의를 표했지만, 같은 날 도널드 트럼프(Donald Trump) 대통령은 AI에서 이기는 쪽이 모든 것을 얻는다며 감속 요구를 일축했습니다. 9월 15일까지 반응은 AI 업계 밖으로 번져, 투자자 마이클 버리(Michael Burry)는 이를 IPO와 엮인 자기 잇속 챙기기식 과장이라고 했고, 카멀라 해리스(Kamala Harris)는 의회가 감속을 입법하라고 요구했습니다.

세 단계 계획

이 두 가지 우려에서 출발해 아모데이가 내놓는 것이 프런티어 속도 조절(pacing the frontier)을 목표로 하는 3단계 계획입니다. 균형 잡힌 속도로 AI를 만들어 안전을 확보하면서도 편익은 거두고, 동시에 중요한 지정학적 딜레마와도 씨름하자는 구상입니다. 그는 오해를 막기 위해 분명히 선을 긋습니다. 속도 조절은 모델 학습이나 기술 진보를 멈추는 것이 아니라, 기업이 모델을 정렬하고 보호하는 데 충분한 시간을 쓰도록, 그리고 제3자 평가자가 그것을 확인할 수 있도록 하는 것입니다.

세 단계는 요구하는 조율의 범위가 각각 다릅니다.

  • 1단계, 상주 평가자(Embedded Evaluators). 각 프런티어 AI 기업이 METR 같은 제3자 평가팀에 직원에 준하는 상시 접근권을 주고, 이들이 안전 관행과 공약의 준수 여부를 검증하고 사고를 보고하며, 완성된 모델뿐 아니라 학습 파이프라인과 프로세스의 정렬까지 평가하도록 하는 것입니다. 이것은 어떤 속도 조절 공약이든 그 검증가능성을 확보하는 핵심 단계이고, 규제 감독관이 직원들과 함께 상주하기도 하는 은행업에 선례가 있습니다. 앤트로픽은 이 단계를 지금 일방적으로 공약합니다.
  • 2단계, 민주주의권 조율(Democratic Coordination). 민주주의 국가에 속한 프런티어 AI 기업들이 공통 안전기준과 더불어 검증되지 않은 AI 진보의 속도에 대한 제한을 함께 설정하는 것입니다. 속도 조절에 실효가 있을 형태의 조율 중 일부는 법적으로 까다로워 정부의 지원이 필요합니다.
  • 3단계, 전 지구적 조율(Global Coordination). 미국을 비롯한 민주주의 국가 정부들이 가능한 범위에서 권위주의 국가 정부들과 조율을 시도하되, 준수 여부를 검증하는 일의 어려움을 진지하게 받아들이는 것입니다.

1단계는 앤트로픽이 스스로 하면서 정부가 다른 프런티어 기업들에도 같은 것을 요구하도록 촉구하는 성격이고, 2단계는 업계 전반의 조율을, 3단계는 전 지구적 조율을 요구합니다. 이 구상에는 정부의 중재나 반독점 규제의 면제가 전제됩니다. 아모데이는 이 단계들을 반드시 순서대로 밟아야 하는 것은 아니며 어떤 단계는 다른 단계보다 훨씬 달성하기 어려울 수 있다고 덧붙입니다. 그럼에도 무엇을 이뤄야 하는지 생각할 때 쓸모 있는 틀이었다는 것이 그의 설명입니다.

글의 나머지는 이 세 단계를 차례로 설명하는 데 쓰이지만, 그 전에 먼저 다룰 것이 있다고 그는 말합니다. 속도 조절이 구체적으로 어떻게 AI 개발 과정을 더 안전하게 만드는가 하는 문제입니다. 걸린 것이 너무 크기 때문에 속도 조절이 공허한 제스처로 끝나서는 안 되며, 그렇게 번 시간을 현명하게 써야 한다는 것입니다.

왜 속도를 조절해야 하는가

AI 개발을 멈추거나 늦추자는 발상은 멀게는 2023년까지 거슬러 올라갑니다. 아모데이는 그때의 제안이 거의 말이 되지 않았다고 봅니다. 질문은 언제나 하나였기 때문입니다.

그렇게 번 시간으로 대체 무엇을 할 것인가. 당시 모델들은 세계 속에서 일관성 있게 에이전트로 행동할 만큼 강력하지 않았고, 의미 있는 수준의 기만·조작·부정행위·사이버공격을 할 능력도 없었습니다. 그런 모델의 정렬 위험을 다루겠다고 속도를 늦추는 것은, 박테리아를 가지고 실험해서 인간의 심리를 연구하려는 일처럼 느껴졌다는 것이 그의 비유입니다.

그런데 지금은 그림이 완전히 달라졌습니다. 현재의 모델들은 AI를 어떻게 잘 만들 것인가에 대해서도, 잘못 만들었을 때 무엇이 어긋날 수 있는가에 대해서도 거의 바닥이 보이지 않는 통찰의 금맥이라는 것입니다. 아모데이는 속도를 늦춰서 모델이 임계 수준의 능력에 도달하기 전에 1-2년만 더 벌 수 있고 그 시간을 정렬을 진전시키는 데 쓴다면, 심각하게 잘못될 위험을 크게 줄일 수 있다고 봅니다.

조율된 속도 조절 전략이라면 이 작업을 하는 동안 상업적 우위도, 미국의 AI 선두도 희생할 필요가 없습니다. 더 일반적으로 보면, 사회는 이 기술이 어떻게 쓰일지에 대해 발언권을 가져야 하고, 그에 필요한 공적 숙의의 시간이 늘어나는 것은 분명 좋은 일이라고 그는 덧붙입니다.

해설 아모데이가 ‘2023년의 요구’라고 부르는 것은 생명의 미래 연구소(Future of Life Institute)가 2023년 3월 내놓은 공개서한 「Pause Giant AI Experiments」입니다. GPT-4보다 강력한 시스템의 학습을 최소 6개월 중단하자는 내용으로, 머스크와 스티브 워즈니악(Steve Wozniak), 요슈아 벤지오(Yoshua Bengio) 등이 서명했고 서명자가 수만 명에 이르렀지만 실제로 멈춘 연구소는 없었습니다. 또 하나, 뒤에 나오는 ‘클로드 헌법(Claude’s Constitution)’은 앤트로픽이 공개한 문서로, 모델이 따라야 할 가치와 행동 원칙을 명문화한 것입니다. 모델의 행동을 사례별 규칙이 아니라 상위 원칙에서 끌어내도록 설계했다는 점에서, 아모데이가 말하는 ‘정렬 훈련’의 기준점 역할을 합니다.

이런 이유로, 속도가 느려지면 기업들이 다음 네 영역에 더 집중하고 더 많은 자원을 투입할 수 있다는 것이 그의 주장입니다. 네 영역 모두 이미 앤트로픽의 주요 우선순위이기도 합니다.

운영 역량

오늘날의 AI 모델을 학습시키고 배포하는 일은 거대한 운영 과제입니다. 수천 명의 인력, 수백만 개의 칩, 그리고 기술 역사를 통틀어 가장 복잡한 축에 드는 인프라가 동원됩니다. 아모데이가 강조하는 지점은, 많은 문제가 어떤 중요한 이론이나 통찰이 없어서가 아니라 실행 과정의 문제로 발생한다는 것입니다.

구체적인 사례도 제시합니다. 앤트로픽이 최근 보고한 정렬 사건들은 부분적으로 망가진 강화학습 환경을 제대로 걸러내지 못한 데서 비롯됐다는 증거가 있다는 것입니다. 앤트로픽과 협력 업체가 나름대로 성실하게 수행한 작업이었지만, 충분히 잘하지는 못했다는 평가입니다. 모니터링, 샌드박싱, 학습 환경의 위생 관리, 데이터 문제는 하나같이 극도로 복잡한 영역이고, 운영상의 문제가 반복해서 터져 나오는 곳입니다.

앤트로픽에는 이런 일에서 세계 최고 수준의 팀들이 있지만, 한꺼번에 해내기에는 할 일이 너무 많다는 것이 그의 진단입니다. 더 차분한 속도로 일한다면 훨씬 높은 수준의 운영 역량에 도달할 수 있습니다. 선례도 있습니다. 상업용 항공기처럼 기술적으로 복잡하고 안전이 결정적인 시스템을 수백만 번 운용하면서도 아무 일 없이 돌아가게 만든 사례가 존재합니다. 다만 그 수준에 이르기까지는 시간이 걸렸습니다.

정렬

정렬에서는 분명한 진전이 있었습니다. 모델이 안전하고 윤리적이며 가이드라인을 지키면서도 진정으로 도움이 되도록 훈련하는 일, 즉 클로드 헌법에 담긴 원칙들입니다. 그러나 정렬 훈련이 능력의 성장 속도를 따라잡게 하려면 아직 할 일이 훨씬 많습니다. 드물고 예상치 못한 바람직하지 않은 행동이 여전히 이따금 튀어나오기 때문입니다. 속도를 조절해 확보한 시간은 연구자들이 그런 문제의 원인을 더 잘 이해하고 더 나은 예방 기법을 개발하는 데 쓰일 수 있습니다.

해석가능성

해석가능성, 즉 AI 모델 내부에서 무슨 일이 벌어지는지 이해하는 과학 역시 지난 몇 년 사이 엄청난 진전을 이뤘고, 출시 전 모델을 감사하는 과정에서 갈수록 중요한 역할을 하고 있습니다. 아모데이는 이것을 AI의 ‘뇌’를 들여다보는 fMRI 스캔에 비유합니다. 어떤 행동이 왜 나왔는지 그 밑바닥의 이유를 보게 해 준다는 것입니다. 실제로 앤트로픽은 최근 조사 중인 정렬 사건들에서 모델이 겉으로 말하지 않은 동기를 살펴보는 데 해석가능성 기법을 사용했습니다.

그러나 이 방법들이 언제나 명확하고 믿을 만한 결과를 내놓지는 않습니다. 그간의 진전에도 불구하고 모델 내부에서 벌어지는 일 가운데 인간이 이해하는 부분은 아주 작은 조각에 불과합니다. 아모데이는 지금보다도 더 빠르게 해석가능성 기법을 개선하는 데 집중한다면 1-2년 안에 심대한 진전을 낼 수 있다고 보며, 이미 벌어진 사건들이 풍부한 실험 재료를 제공한다는 점도 덧붙입니다.

시험과 평가

모델의 능력이 커질수록 시험과 평가는 어려워집니다. 더 지능적인 모델일수록 시험을 속이는 데도 더 능하기 때문에, 심각한 문제를 품고 있으면서도 겉보기에는 정렬된 것처럼 보일 수 있습니다. 따라서 훨씬 폭넓고 기발한 평가 묶음을 갖추고, 여기에 해석가능성 분석을 교차 검증으로 붙이는 일이 대단히 가치 있을 것이며, 이 역시 1-2년이면 상당한 진전이 가능하다고 봅니다.

[반론] ‘1-2년을 벌면 위험을 크게 줄일 수 있다’는 전제 자체를 받아들이지 않는 입장이 있습니다. 엘리저 유드코프스키(Eliezer Yudkowsky)는 2023년 TIME 기고에서 같은 FLI 서한을 두고 6개월 중단으로는 턱없이 부족하다며 전면 중단을 요구했습니다. 그의 논지는 시간을 번다고 정렬이 풀리는 문제가 아니라는 것으로, 초지능이 처음 작동하는 순간 한 번에 제대로 맞춰야 하는데 현재의 과학 수준으로는 그 ‘한 번’을 보장할 방법이 없다는 쪽에 가깝습니다. 이 관점에서 보면 아모데이의 네 영역은 문제의 성격을 공학적 숙련도 문제로 축소한 것이 됩니다.

[한국 관점] 아모데이가 제시한 네 영역 중 한국이 당장 참여할 수 있는 지점과 그렇지 않은 지점은 꽤 다릅니다. 프런티어 모델의 학습 속도를 조절하는 논의에서 한국은 주체가 아니라 사실상 대상에 가깝습니다. 다만 운영 역량과 시험·평가는 사정이 다릅니다. 한국은 2026년 1월 22일 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(AI 기본법)을 전면 시행해 포괄적 AI 규제법을 가동한 상태이고, 법은 일정 규모 이상의 대규모 인공지능에 대해 생애주기 전반의 위험 식별·평가·완화 의무를 부과하고 있으며, 국내 대리인 제도를 통해 해외 사업자에게도 안전성 확보조치 결과 제출을 요구합니다. 추진체계로 AI안전연구소도 설치돼 있습니다.

구조만 보면 아모데이가 말하는 ‘제3자 검증’의 법적 그릇은 이미 있는 셈입니다. 문제는 밀도입니다. 과기정통부는 시행 초기 기업 부담을 줄이기 위해 과태료 부과 등에 최소 1년 이상의 계도기간을 두기로 했고, 시행 직전까지도 실질적 기준과 감독체계가 미흡하다는 지적이 업계에서 나왔습니다. 스타트업얼라이언스 조사에서는 스타트업 101개사 중 대응 계획을 수립한 곳이 2개사에 그쳤습니다. 아모데이식으로 말하면, 한국은 검증 제도의 법적 형식은 세계에서 가장 먼저 갖췄지만 ‘운영 역량’ 항목에서는 아직 출발선에 서 있다고 볼 수 있습니다.

상주 평가자

3단계 계획의 첫 단계이자 앤트로픽이 일방적으로 공약하는 것은, 직원에 준하는 접근권을 가진 상주 평가자를 들여 안전 관행을 검증하고 사고를 보고하게 하는 일입니다.

평가자를 상주시킨다는 말은 자잘하거나 대수롭지 않은 조치처럼 들릴 수 있습니다. 그러나 아모데이는 가장 지루하고 절차적으로 들리는 것이 실제로는 가장 본질적인 경우가 많다고 말합니다. 상주 평가자는 오늘날 어떤 AI 기업이 하고 있는 수준을 훨씬 넘어서는, 사실상 상당히 급진적인 관행이라는 것입니다.

세 가지 편익

그가 꼽는 편익은 셋입니다.

첫째는 검증가능성입니다. 상주 평가자는 AI 기업이 스스로 따르고 있다고 주장하는 학습·배포·운영·안전장치 관행을 실제로 지키고 있는지 너트와 볼트 수준에서 확인할 수 있습니다. 어떤 속도 조절 공약이든 불가피하게 많은 모호함과 판단의 영역, 그리고 법의 문자를 지켰는가와 법의 정신을 지켰는가 사이의 다툼을 안고 가게 됩니다. 그래서 세부를 실제로 들여다볼 수 있는 중립적인 제3자가 있다는 것이 결정적입니다.

둘째는 투명성입니다. 어떤 공약을 하든 대중은 지금 무슨 일이 벌어지고 있는지 알 자격이 있다는 것이 전제입니다. 아모데이는 앤트로픽이 오래전부터 투명성을 지지해 왔다고 말합니다. 업계 대부분이 어떤 규제에도 반대하던 시기에 투명성 입법을 지지했고, 모델 카드와 리스크 리포트는 수백 쪽에 이릅니다. 그러나 여전히 무엇을 넣고 무엇을 뺄지 고르는 주체는 앤트로픽 자신이며, 상주 평가자는 바로 이 역학을 바꾸게 됩니다.

셋째는 제2 의견입니다. 공식 공약을 검증하고 대중에게 알리는 역할과 별개로, 상주 평가자는 상업적 유인에서 자유로운 두 번째 시선을 제공합니다. 직원들이 미처 생각하지 못했지만 일단 알고 나면 기꺼이 고칠 것들을 평가자가 짚어 주는 것만으로도 상당한 안전상의 이득이 생길 수 있다는 것입니다.

이런 편익 때문에, 어떤 속도 조절 제안이든 상주 평가자에서 출발할 때 훨씬 잘 작동할 가능성이 높다고 그는 결론짓습니다.

해설 아모데이가 ‘은행업에 선례가 있다’고 짧게 언급하고 넘어가는 대목은 미국의 상주 검사관 제도를 가리킵니다. 미국 연방준비제도와 통화감독청은 대형 은행에 감독관 팀을 상시 파견해, 분기별 보고서를 받아 보는 외부 감독이 아니라 은행 건물 안에서 내부 회의록과 거래 원장을 들여다보는 방식으로 감독합니다. 이 제도의 핵심은 두 가지입니다. 첫째, 감독 대상이 자료를 선별해 제출하는 구조를 깨뜨린다는 점.

둘째, 사후 적발이 아니라 진행 중인 의사결정에 개입할 수 있다는 점입니다. 아모데이가 제안하는 것은 이 구조를 AI 기업의 학습 파이프라인에 그대로 옮겨 오는 것에 가깝습니다. 다만 은행 감독관은 법에 근거한 국가 권력인 반면, 그가 제안하는 평가자는 당장은 민간 비영리기구와 기업 사이의 계약이라는 점이 결정적으로 다릅니다.

앤트로픽이 실제로 내주겠다는 것

상주 평가자들은 비슷한 위험 평가 업무를 하는 내부 직원들과 유사한 권한과 도구에 상시 접근할 수 있어야 한다는 것이 아모데이의 원칙입니다. 그는 앤트로픽이 가까운 시일 안에 다음을 모두 갖춘 외부 검토팀을 초청할 계획이라고 밝힙니다.

  • 물리적 접근 — 사무실 안의 책상, 출입 배지, 회사 노트북.
  • 시스템 접근 — 내부 위험 평가팀이 가진 것과 대체로 동등한 워크스페이스와 도구, 권한. 다만 법이나 계약이 요구하는 경우, 또는 고객과 파트너의 사적 정보를 보호해야 하는 경우에는 예외를 둡니다. 여기에 더해 직원과의 직접 대화를 포함해 검토자의 정보 접근을 뒷받침하는 강한 내부 규범을 세우겠다고 합니다.
  • 공개 권한 — 외부 검토자는 위험 수준, 사고, 관행, 그리고 자신들이 어떤 접근권을 받았고 어떤 것을 받지 못했는지에 관한 핵심 발견을 앤트로픽의 편집권 없이 공개할 권리를 갖습니다. 앤트로픽이 가지는 것은 보안상 민감한 정보, 법적 특권이 적용되는 정보, 상업적으로 민감한 정보, 제3자 기밀정보를 가리는 좁은 권한뿐이며, 단지 불리하다는 이유로 발견을 삭제할 수는 없습니다. 검토자는 비공개 처리가 자신들의 결론에 중요한 무언가를 지웠다면 그 사실을 공개적으로 말할 수 있습니다.

아모데이는 이것이 기업으로서는 이례적인 조치임을 인정하면서도, 외부 상주 검토자라는 개념이 실제로 작동한다는 것을 증명하는 일이 중요하다고 말합니다. 그리고 다시 한번 다른 프런티어 기업들도 같은 조치를 취하라고 촉구합니다.

[관점] 상주 평가자 구상의 급소는 비용을 누가 대느냐입니다. 평가 대상 기업이 평가자에게 접근권과 사실상의 자원을 제공하는 구조는 회계감사·신용평가에서 이미 겪어 본 모델입니다. 엔론 사태에서 아서앤더슨이 감사와 컨설팅을 겸했던 문제, 2008년 금융위기 직전 신용평가사들이 발행인에게 수수료를 받으며 구조화 상품에 최고 등급을 부여했던 문제가 모두 같은 구조에서 나왔습니다. 두 경우 모두 평가자의 개인적 부패보다, 장기 거래관계가 판단의 기준선을 서서히 옮겨 놓는 쪽이 문제였습니다.

아모데이가 설계에 넣은 두 가지 장치 — 편집권 없는 공개 권리, 그리고 ‘비공개 처리로 중요한 것이 지워졌다’고 말할 수 있는 권리 — 는 정확히 이 위험을 겨냥한 것으로 읽힙니다. 다만 금융 쪽에서 이 문제가 완화된 것은 사베인스-옥슬리법과 상장기업회계감독위원회(PCAOB) 설치처럼 법으로 감사인을 떼어 놓은 뒤였지, 감사인과 기업의 선의로 해결되지는 않았습니다. 아모데이 자신도 규제가 본령이고 자발적 조치는 그 전 단계라는 점을 2단계에서 인정합니다.

[반론] 이 제안에 대한 비판은 크게 세 갈래로 제기됐습니다. 첫째, 규제 포획이라는 지적입니다. 작가 브라이언 머천트(Brian Merchant)는 이런 제안이 결국 앤트로픽과 오픈AI에 복무하며 규제 포획이 실제로 작동하는 방식이라고 주장했고, 투자자 차마트 팔리하피티야(Chamath Palihapitiya)도 이 글이 안전만큼이나 앤트로픽의 지위를 굳히는 일에 관한 것이라고 봤습니다. 둘째, 실행 공백입니다.

a16z의 스티븐 시노프스키(Steven Sinofsky)는 아모데이가 요구할 것 없이 그냥 하면 되는 일이라고 꼬집었고, 평가자를 언제까지 들이겠다는 기한이 글 어디에도 없다는 점, 2단계가 의존하는 반독점 면제를 어떤 정부도 내줄 의무가 없다는 점이 함께 지적됐습니다. 셋째, 시점의 문제입니다. 이 글은 앤트로픽 소속 연구자 제이컵 콕슨(Jacob Coxon)이 연구소들이 사람 목숨을 걸고 도박하고 있다며 공개적으로 사임한 지 며칠 뒤에 나왔는데, 글은 그를 언급하지 않습니다.

민주주의 국가 안에서의 속도 조절

상주 평가자가 미국 AI 기업 가운데 임계 규모에서 작동하기 시작하면, 검증 가능한 속도 조절이 비로소 실현 가능해집니다. 특히 모델이나 학습 파이프라인의 구체적 속성에 근거해 속도를 조절하는 일이 가능해진다는 것이 아모데이의 설명입니다.

규제가 먼저, 자발적 표준은 병행

가장 효과적인 방법은 미국의 모든 프런티어 AI 기업을 대상으로 하는 규제입니다. 자발적으로 협력할 의사가 없는 곳까지 포괄하기 때문입니다. 앤트로픽은 오래전부터 합리적이고 표적이 분명한 AI 규제, 구체적으로는 투명성과 제3자 감사에 초점을 둔 법안을 지지해 왔다고 그는 말합니다. 그리고 모든 프런티어 연구소가 정부와 손잡고 상설 상주 평가자라는 개념을 제도로 공식화해, 최근 몇 달 사이 일어난 것과 같은 내부 정렬 사건을 더 잘 예방하고 기록해야 하며, 능력과 안전의 균형을 지키는 데 초점을 둔 규제를 시행해야 한다고 주장합니다.

문제는 속도입니다. 법을 통과시키는 데는 시간이 걸리는데 AI는 매우 빠르게 나아가고 있습니다. 따라서 규제 경로와 병행해서 AI 기업들이 자발적으로 함께 표준을 설정할 수 있고 또 그래야 한다는 것이 그의 주장입니다. 이 과정 역시 상설 상주 평가자가 제공하는 검증가능성이 있을 때 더 잘 굴러갈 것이라고 봅니다.

여기서 걸림돌은 반독점입니다. 경쟁 관계인 기업들이 모여 표준과 속도 제한을 합의하는 행위 자체가 법적 위험을 안기 때문입니다. 그래서 미국 정부가 이 논의를 중재하거나 최소한 가능하게 해 주는 것이 도움이 됩니다.

정부가 논의에 참여할 필요까지는 없고, 특정한 종류의 안전 관련 대화에 한해 좁은 면제를 내주기만 하면 됩니다. 정부와 어느 정도 연결된 산업 단체를 통하는 방법도 있는데, 아모데이는 데미스 하사비스(Demis Hassabis)가 제안한 메커니즘을 예로 듭니다. 어느 경로든 이런 논의는 빠르게 진척되어야 한다는 것이 그의 입장입니다.

무엇을 기준으로 속도를 조절할 것인가

아모데이가 가장 열의를 보이는 방식은, 주어진 프런티어 AI 시스템이 무엇을 할 수 있는가, 그리고 관찰 결과 얼마나 안전한가에 근거해 속도를 조절하는 것입니다.

그가 드는 예시는 일련의 ‘체크포인트’를 두는 방식입니다. 모델이 능력 X를 갖추면, 그 모델은 정렬 속성 Y와 Z를 입증하는 인증을 함께 갖춰야 합니다. 인증은 평가, 해석가능성 분석, 학습 환경 감사 같은 것들의 조합이 될 수 있습니다. 이 예시에서 X는 ‘모델이 흔히 쓰이는 샌드박싱 방법 대부분을 벗어나거나 무력화할 수 있다’는 능력일 수 있고, Y는 그 모델이 자기 환경을 탈출해 다수의 컴퓨터를 장악하려는 성향을 가질 가능성을 매우 낮게 만드는 데 필요한 무엇이 될 수 있습니다.

또 하나의 방식은 프런티어 모델에 들어가는 투입 요소를 제한하는 것입니다. 학습 컴퓨트, 학습 실행의 성격, 그리고 AI를 개선하기 위해 AI를 내부적으로 사용하는 일 같은 것들입니다. 다만 아모데이는 이런 조치들이 외부로 드러나는 행동보다 더 ‘게임’하기 쉬울 수 있다는 점을 우려하며, 바로 이런 주제야말로 상주 평가자와 함께 논의해 볼 만하다고 덧붙입니다.

해설 본문에 짧게 등장하는 두 인물과 한 개념은 배경을 알아 두면 논지가 선명해집니다. 먼저 하사비스는 구글 딥마인드(Google DeepMind) CEO로, 알파폴드(AlphaFold)로 2024년 노벨 화학상을 받은 인물입니다. 아모데이가 그의 제안을 끌어오는 것은, 경쟁사 수장 중에서도 안전 논의의 제도화에 가장 적극적인 쪽의 안과 자신의 구상이 맞닿아 있음을 보이려는 의도로 읽힙니다. 다음으로 뒤에 나오는 스콧 베센트(Scott Bessent)는 트럼프 2기 행정부의 재무장관입니다.

끝으로 ‘증류(distillation)’는 강력한 모델의 출력을 대량으로 받아 그것을 교사 삼아 작은 모델을 학습시키는 기법입니다. 원래는 모델 경량화 기술이지만, 경쟁사의 프런티어 모델 API를 상대로 대규모로 수행하면 독자 개발에 드는 비용의 일부만으로 성능 격차를 좁힐 수 있습니다. 2025년 초 딥시크(DeepSeek)를 둘러싸고 제기됐던 쟁점이 바로 이것이었고, 아모데이가 이를 수출 통제와 같은 급의 격차 방어 수단으로 올려놓는 이유이기도 합니다.

중국과의 격차라는 상한선

민주주의 국가 안에서의 속도 조절에는 넘을 수 없는 상한선이 있습니다. 미국 기업들이 권위주의 체제, 주로 중국공산당(CCP)에 대해 벌려 놓은 격차만큼만 늦출 수 있다는 것입니다. 그 이상으로 늦추면 속도를 조절하지 않는 CCP 연계 프로젝트들이 앞서 나가게 되고, 이는 중대한 국가안보 위험을 낳습니다.

아모데이는 중국이 AI에서 앞서는 것이 미국과 세계에 심각한 위험이 된다는 베센트 재무장관의 견해에 동의한다고 밝힙니다. 그가 보는 위험은 두 겹입니다. CCP 연계 프로젝트들은 미국 기업이 조심스럽게 예방하고 있는 정렬 위험을 그대로 떠안을 것이고, 설령 그 위험을 피한다 하더라도 민주주의 국가들을 군사적으로 압도할 위치에 서게 된다는 것입니다. AI로 움직이는 드론이 그 예로 제시됩니다.

따라서 민주주의 국가 내부의 속도 조절에서 핵심이 되는 과제는, 역설적이게도 민주주의 진영이 전제정에 대해 가진 AI 격차를 가능한 한 크게 유지하는 일입니다. 그래야 효과적으로 속도를 조절할 숨 쉴 공간이 생기기 때문입니다.

격차를 방어하기 위해 그가 꼽는 조치는 셋입니다.

  • 칩 차단 — 강력한 AI 칩과 반도체 제조장비를 중국에 팔지 않고, 칩 밀수 조직과 중국 밖 데이터센터에 대한 원격 접근을 단속합니다. 칩이 중국 AI 역량을 결정하는 주된 변수이기 때문입니다.
  • 무단 증류 단속 — 권위주의 국가 기업들의 무단 증류를 강하게 막습니다. 증류는 뒤처진 기업이 독자적으로 AI를 개발할 때 드는 비용의 일부만으로 격차를 좁힐 수 있게 해 주기 때문입니다.
  • 가중치 보안 — AI 기업들의 보안을 강화해 모델 가중치 탈취를 막습니다.

기업과 미국 정부는 이 조치들이 최대한 효과를 내도록 협력해야 한다는 것이 그의 요구입니다. 앤트로픽이 이 모든 조치를 일관되게 지지해 온 것은, 그것들이 어떤 형태의 속도 조절에든 필수 전제라는 점을 처음부터 이해하고 있었기 때문이라고 그는 말합니다.

이 조치들을 잘 실행한다면 향후 3-5년, 즉 AI가 지정학적으로 가장 중요해지는 바로 그 창에서 중국의 진전을 충분히 늦추어 미국의 선두를 크게 벌릴 수 있다는 것이 그의 판단입니다. 이런 조치가 중국과의 협력을 더 어렵게 만든다고 보는 시각도 있지만, 그는 정반대로 봅니다. 이 조치들은 민주주의 진영이 쥔 지렛대를 키우고, 따라서 장래의 합의 가능성을 오히려 높인다는 것입니다.

[한국 관점] 아모데이가 강력한 AI 칩과 반도체 제조장비를 중국에 팔지 말라고 한 문장으로 요약한 것은, 한국 기업에는 이미 몇 년째 진행 중인 구조조정입니다. 미 상무부 산업안보국(BIS)은 2025년 8월 29일 삼성전자와 SK하이닉스의 중국 공장에 부여했던 검증된 최종사용자(VEU) 지위를 철회한다고 발표했고, 이 조치는 2025년 12월 31일 발효됐습니다. 대상은 삼성의 시안 낸드 공장, SK하이닉스의 우시 D램 공장과 다롄 낸드 공장입니다. 이후 미 정부는 두 회사에 2026년 한 해 분량의 연간 라이선스를 내주는 절충안을 택했습니다. 공장이 멈추는 최악은 피했지만, 포괄 면제에서 연 단위 승인으로 제도가 바뀐 만큼 매년 허가를 다시 받아야 하는 구조가 남았습니다.

요점은 이것입니다. 아모데이의 글에서 수출 통제는 ‘안전을 위한 시간을 벌기 위한 수단’으로 등장하지만, 한국 기업에는 그것이 연 단위로 갱신해야 하는 영업 리스크로 번역됩니다. 속도 조절의 비용을 미국 프런티어 기업이 아니라 동맹국의 제조업체가 먼저 치르는 구조이고, 이 비용은 그의 글 어디에도 계산되어 있지 않습니다.

[반론] 격차 방어 조치의 실효성에는 AI 안전에 우호적인 쪽에서도 회의가 나옵니다. 포브스(Forbes)에 실린 무어 인사이츠 앤드 스트래티지(Moor Insights & Strategy)의 분석은 아모데이의 에세이가 비판자들이 인정하는 것보다 훨씬 설득력 있다고 평가하면서도, 증류를 제한하고 칩 통제를 더 조이자는 구체적 제안에 대해서는 회의적이라는 입장을 분명히 했습니다. 같은 글은 더 근본적인 각도의 비판도 제기합니다.

프런티어 연구소들이 구조적 문제를 메시지의 문제로 다루고 있으며, 진짜 위협은 종말론적 시나리오가 아니라 규모화된 사이버범죄라는 것입니다. 이 관점에서 보면 아모데이의 3단계 계획은 방향은 맞지만 충분히 멀리 가지 않은 것이 됩니다.

전 지구적 속도 조절

민주주의 국가 내부의 속도 조절과 나란히, 전 세계 차원의 속도 조절도 목표로 삼아야 한다는 것이 아모데이의 주장입니다. 다만 이쪽이 훨씬 어렵다는 점을 그는 처음부터 인정합니다.

순진해서는 안 되는 이유

전 지구적 속도 조절은 중국과의 협력을 필요로 합니다. 권위주의 국가 중 AI 역량이 압도적으로 앞서 있는 나라이기 때문입니다. 그러나 여기서 순진해져서는 안 된다고 그는 못박습니다. 지정학적 판돈이 너무 커서, 특히 초기에는 달성할 수 있는 것에 뚜렷한 한계가 있을 가능성이 높습니다.

그가 그리는 최악의 시나리오는 분명합니다. 중국도 같이 할 것이라 믿고 미국이 자국의 AI 능력을 크게 억제했는데 중국이 합의를 깬다면, 그 시점의 AI가 너무 강력해서 그 배신 하나가 중국의 지정학적 지배로 이어질 수 있다는 것입니다. 따라서 어떤 합의든 둘 중 하나는 충족해야 합니다. 철통 같은 검증가능성을 갖추거나, 아니면 배신이 일어나더라도 군사적으로 실존적 위협이 되지 않을 만큼 범위가 제한적이어야 합니다.

흥미로운 것은 그가 이 불안을 미국만의 것으로 보지 않는다는 점입니다. 미국뿐 아니라 중국 역시 똑같은 우려와 불안을 품을 것이라고 짐작합니다. 그러면서도 전 지구적 속도 조절에 관한 결정은, 특히 가까운 시일에는, 미국과 그 동맹국의 선두를 보호하는 방식으로 접근해야 한다고 덧붙입니다.

네 개의 합의 수준

가능한 합의에는 여러 층위가 있습니다. 아모데이는 그중 일부는 충분히 실현 가능하다고 보고, 일부는 가능할지 매우 회의적이지만 그래도 시도해 봐야 한다고 말합니다. 난이도가 올라가는 순서로 넷입니다.

  • 1수준 — AI를 생물무기 생산에 쓰거나 사용자가 그렇게 하도록 방치하는 것처럼, 좁고 명백히 위험한 용도를 금지하는 합의입니다. 생물테러 공격은 미국에게도 미국의 적대국에게도 나쁜 일이므로, 이 수준의 합의는 아마 가능할 것이라고 봅니다.
  • 2수준 — 양측이 모델을 배포하기 전에 사이버보안, 생물학, 정렬 같은 영역의 급성 위험에 대해 시험하기로 하는 합의입니다. 전 지구적 표준기구를 통해 할 수 있는 일이고, 그런 기구를 만드는 것 자체는 실현 가능하다고 그는 봅니다. 문제는 그 기구에 실질적인 이빨을 달아 주는 일이며, 더 구체적인 어려움은 양측이 시험하지 않은 채 비밀리에 배포할 수도 있는 모델, 예컨대 군사용 모델을 숨겨 두고 있지 않은지 검증하는 데 있습니다.
  • 3수준 — 재귀적 자기개선의 속도에 일종의 ‘속도 제한’을 두는 것입니다. 모델이 다음 모델을 만들기 시작하면 개선 속도가 아찔하게 빨라질 수 있는데, 이를 ‘극도로 빠름’에서 ‘다소 빠름’ 정도로 낮추는 것은 전략적 우위를 비교적 적게 포기하면서 안전은 크게 개선할 수 있는 거래라는 계산입니다. 그는 이것을 SALT 조약에 견줍니다. 미사일 수를 제한하는 것이 파괴의 잠재력은 제한하면서 각국의 억지력은 보존했듯이 말입니다. 어렵지만 가능성의 가장자리에 아슬아슬하게 걸려 있다는 것이 그의 평가입니다.
  • 4수준 — 전면적인 속도 조절, 나아가 ‘중단’입니다. 참여 정부들이 AI 개발의 전반적 속도를 실질적으로 제한하기로 합의하는 것입니다. 아모데이는 이것을 테이블에 올려 보는 일 자체는 지지하지만, 가까운 시일 안에 실제로 일어날 가능성은 낮다고 봅니다. 감시를 회피해 합의를 깨뜨리면 세계 권력 균형을 단숨에 바꿀 수 있으므로 배신의 유인이 엄청나고, 그만큼 검증에 요구되는 확신의 수준도 매우 높아질 것이기 때문입니다.

해설 전략무기제한협정(SALT)는 미국과 소련이 1969년부터 벌인 전략핵무기 제한 협상으로, 1972년 SALT I과 1979년 SALT II로 이어졌습니다. 아모데이가 이 비유를 고른 이유는 SALT가 핵무기를 없앤 조약이 아니라 상한선을 둔 조약이었다는 데 있습니다. 양측 모두 억지력은 유지한 채 증강 경쟁의 기울기만 꺾었다는 구조가, 그가 말하는 극도로 빠름에서 다소 빠름으로와 겹칩니다. 다만 비유의 한계도 분명합니다.

SALT가 작동한 결정적 이유는 발사정과 잠수함이 정찰위성으로 셀 수 있는 물리적 대상이었다는 점, 즉 조약이 ‘국가기술수단에 의한 검증’을 명시할 수 있었다는 점입니다. 학습 실행과 모델 가중치에는 이에 해당하는 것이 없습니다. 데이터센터의 전력 사용량이나 칩 선적량처럼 간접 지표는 있지만, 미사일 사일로를 세는 것과는 정밀도가 다릅니다. 아모데이가 3수준을 ‘가능성의 가장자리’라고 표현한 것도 이 간극 때문으로 읽힙니다.

[관점] 아모데이가 제시한 네 수준을 관통하는 변수는 사실상 하나, 검증입니다. 1수준이 쉬운 이유는 검증이 쉬워서가 아니라 이해관계가 어긋나지 않기 때문입니다. 생물테러는 양쪽 모두에게 손해이므로 상대가 지킬 것이라고 믿을 유인 구조가 애초에 깔려 있습니다. 반대로 4수준이 어려운 이유는 검증이 불가능해서라기보다, 배신의 보상이 전체 판을 뒤집을 만큼 크기 때문입니다.

즉 난이도는 기술이 아니라 배신했을 때 얻는 것의 크기에 비례합니다. 여기서 투자자 관점의 함의가 하나 나옵니다. 아모데이의 틀을 그대로 받아들이면, 설령 국제 합의가 체결되더라도 그것이 실제로 제약할 수 있는 것은 생물무기 용도 금지와 배포 전 시험 정도이고, 컴퓨트 투자나 데이터센터 건설 같은 자본지출의 경로를 실질적으로 바꾸는 3·4수준은 그의 자체 평가로도 가장자리이거나 비현실적입니다. 다시 말해 ‘전 지구적 속도 조절’이라는 표현이 환기하는 이미지와 그가 실제로 가능하다고 보는 범위 사이에는 상당한 거리가 있습니다.

공식 합의가 없더라도

중국과 어떤 수준의 협력을 이뤄 내든, 그것은 민주주의 국가들이 내부에서 속도 조절에 쓸 수 있는 시간을 늘려 줍니다. 그래서 높은 수준을 목표로 삼되, 낮은 수준이 훨씬 더 가능성 높고 현실적이라고 보아야 한다는 것이 그의 권고입니다.

마지막으로 그가 강조하는 것은, 공식 합의를 이뤄 내지 못하더라도 비공식 규범을 바꾸는 것만으로 가치가 있을 수 있다는 점입니다. 재귀적 자기개선에 관한 정보, 그리고 모델의 정렬 어긋남에 관한 정보를 공유하는 일은, 무모하게 구는 것이 누구의 이익에도 부합하지 않는다는 점을 모두에게 설득하는 데 도움이 될 수 있다는 것입니다.

[한국 관점] 아모데이가 2수준에서 말하는 ‘전 지구적 표준기구’는 한국이 이미 한 차례 중간 단계를 만들어 본 영역입니다. 2024년 5월 21-22일 한국은 영국과 공동으로 AI 서울 정상회의를 열었고, 11개국·지역 정상이 참여한 서울 선언과 함께 16개 주요 AI 기업이 「프런티어 AI 안전 서약」에 서명했습니다. 서명 기업에는 앤트로픽, 오픈AI, 구글 딥마인드, 마이크로소프트(Microsoft), 메타(Meta)와 함께 삼성전자, 네이버, 그리고 중국의 지푸AI가 포함됐습니다. 각 기업은 자사 모델의 위험을 측정하는 안전 프레임워크를 공개하고, 위험을 줄일 수 없으면 모델 개발이나 배포를 멈추겠다고 약속했습니다. 부속 문서인 서울 의향서를 통해 각국 AI안전연구소 간 국제 네트워크 구축도 합의됐습니다.

구조만 놓고 보면 아모데이의 2수준에 상당히 근접한 틀이 2년 전에 이미 서울에서 만들어진 셈입니다. 그러나 이 서약에는 검증 장치도, 불이행에 대한 제재도 없었습니다. 그가 그런 기구를 만드는 것 자체는 실현 가능하지만 실질적인 이빨을 갖게 하는 것이 과제라고 쓴 문장은, 한국이 주최국으로서 직접 확인한 결론이기도 합니다. 한국에 남은 레버리지는 의제 설정과 장소 제공에 있지 강제력에 있지 않다는 점도 함께 드러납니다.

결론

아모데이는 AI가 인간 삶의 질을 엄청나게 끌어올릴 수 있다는 믿음을 여전히 유지한다는 말로 글을 닫습니다. 그 편익을 손에 넣고자 하는 그의 바람은 조금도 흐려지지 않았습니다.

다만 조건이 붙습니다. 그 편익은 기술을 올바른 방식으로 만들어 냈을 때에만 실현되며, 번 시간을 잘 쓴다는 전제가 지켜지는 한 제대로 해내기 위해 이례적일 만큼 신중한 주의를 기울일 가치가 있다는 것입니다.

그는 속도를 조절하더라도 진보는 여전히 비교적 빠를 것이라고 봅니다. 그리고 그렇게 확보한 시간을 세 가지에 쓸 수 있다고 정리합니다. 해석가능성이라는 과학을 진전시키는 일, 프런티어 AI 기업들의 운영 보안과 엄밀성을 끌어올리는 일, 그리고 정렬에 훨씬 더 확신을 가질 수 있는 모델을 만드는 일입니다.

마지막 문장에서 그는 자신이 제안한 조치들이 결코 쉽지 않으리라는 점을 인정합니다. 그럼에도 인류에 대해 그것을 시도할 책무가 있다고 믿는다는 말로 글을 맺습니다.

[관점] 이 글의 구조를 다시 보면, 실제 구속력이 있는 것은 1단계 하나뿐입니다. 2단계는 미국 정부가 반독점 면제를 내주어야 비로소 시작할 수 있는 요청이고, 3단계는 중국과의 협상이라는 전제가 붙습니다. 그리고 아모데이 자신이 3단계의 상위 두 수준을 ‘가장자리’ 또는 ‘가까운 시일에는 비현실적’이라고 평가합니다. 따라서 이 글이 당장 바꾸는 것은 앤트로픽 한 곳의 내부 감사 구조이며, 나머지는 의제 설정입니다. 자본시장 관점에서는 이 구분이 특히 중요합니다.

‘프런티어 AI 기업들이 속도를 늦춘다’는 명제가 컴퓨트 수요나 데이터센터 자본지출의 경로를 실제로 꺾으려면 2단계 이상이 법적 구속력을 갖춰야 하는데, 글 자체가 그 가능성에 조건을 잔뜩 달고 있습니다. 반대로 이 글이 실질적 비용을 즉시 발생시키는 대상은 따로 있습니다. 수출 통제와 증류 차단은 이미 집행 중이고, 그 비용은 프런티어 기업이 아니라 동맹국 제조업체와 후발 모델 개발사가 치릅니다. 요약하면 이 글은 비용의 상당 부분을 자기 바깥에 두고, 자기 안에 두는 몫은 감사 수용이라는 평판 자산에 가깝습니다.

[사후 맥락] 글이 나온 뒤 실제로 움직인 것들이 있습니다. 올트먼은 직원 수준 접근권을 가진 독립 평가자를 받아들이는 것이 좋은 생각이라며 오픈AI도 같이 하겠다고 밝혔고, 이 주제가 최근 몇 주간 오픈AI 내부의 주요 논의 대상이었다고 덧붙였습니다. 오픈AI는 허깅페이스 사건 이후 일부 연구의 속도를 늦추고 보안과 모니터링 프로세스를 강화했다고 이미 밝힌 바 있습니다. 시장 반응은 있었지만 제한적이었습니다.

AI 연계 종목이 하락했으나 기술주 전반의 매도세로는 번지지 않았고, 이는 시장이 이 글을 한 회사가 뒤처지겠다고 선언한 사건이 아니라 업계가 속도 제한을 얼마나 진지하게 받아들일지에 관한 데이터 포인트로 읽었다는 뜻으로 해석됐습니다. 2·3단계가 구속력 있는 형태로 실현될 가능성은 아직 가격에 반영되지 않았다는 평가입니다.

[반론] 발표 이후 비판은 당파를 가로질렀고, 서로 정반대 방향에서 날아왔습니다. 한쪽에서는 속도 조절론 자체가 과장이라는 공격이 있었습니다. 트럼프 대통령은 발표 당일 AI에서 이기는 쪽이 모든 것을 얻는다며 감속 요구를 일축했고, 이후 전제 자체를 날조라고 표현했습니다. 투자자 버리는 이런 경고가 IPO와 엮인 자기 잇속 챙기기라고 했고, 팔란티어(Palantir) CTO 샴 산카르(Shyam Sankar)는 AI 안전이 하나의 정치 이데올로기라고 규정했습니다. 다른 쪽에서는 충분하지 않다는 비판이 나왔습니다.

해리스는 의회가 감속을 입법해야 한다고 요구했고, 무어 인사이츠 앤드 스트래티지는 프런티어 연구소들이 구조적 문제를 메시지 문제로 다루고 있다고 지적했습니다. 두 방향의 비판이 공유하는 지점이 하나 있습니다. 어느 쪽도 자발적 조치가 작동하리라고 믿지 않는다는 것입니다.

원문: Dario Amodei, We Must Pace the Frontier (Sep 2026) 전문은 원문에서 확인하실 수 있습니다.

참고할만한 글

Similar Posts