샘 해먼드 – AI에 관한 95개 명제 (Ninety-Five Theses on AI)

원문: Samuel Hammond, Ninety-five theses on AI (May 2024)
전문은 원문에서 확인하실 수 있습니다. 아래 글은 번역이 아니라, 샘 해먼드의 논증을 한국어로 재구성한 정리입니다.

글의 배경과 개요

샘 해먼드(Samuel Hammond)가 2024년 5월 자신의 뉴스레터 세컨드베스트(Second Best)에 올린 글로, AI를 둘러싼 95개의 명제를 ‘순서 없이’ 늘어놓은 목록입니다. 하나의 매끄러운 논증을 펼치는 대신 짧은 선언 95개를 열 개 묶음으로 나눠 못 박아 두는 형식을 택했고, 각 명제에는 근거 대신 링크 한두 개만 달려 있습니다. 이 글이 답하려는 질문은 ‘AI를 어떻게 다룰 것인가’보다는 ‘AI 논쟁에서 전선이 어디에 잘못 그어져 있는가’에 가깝습니다. 그래서 규제 찬반, 오픈소스 찬반, 가속이냐 감속이냐 같은 기존 대립 구도를 하나씩 해체하면서 자기 입장을 그 사이에 놓는 방식으로 전개됩니다. 논증 경로는 좁은 감독의 정당화에서 출발해 규제 일반에 대한 회의, 기술 진보의 속도, 오픈소스, 진영 논쟁, 초지능, 제도 붕괴, 체제 변동, 상상력의 실패, 생물학 순으로 범위를 넓혀 갑니다. 마지막 묶음에 이르면 정책 문건의 어조는 사라지고 인간 조건 자체에 대한 전망만 남습니다.

핵심 내용 정리

프런티어 연구소에 대한 감독은 필요하지만, 그 수단은 학습 컴퓨트 임계값처럼 좁고 단순한 기준이어야 한다고 봅니다.
지금 거론되는 AI 규제 대부분은 설익었거나 시기상조이며, 최적의 조합은 표적 규제와 전면적 규제완화라고 주장합니다.
AI 진보는 정체된 것이 아니며, 지난 12개월이 앞으로 보게 될 가장 느린 구간이었다고 말합니다.
오픈소스 논쟁은 대체로 헛다리이고 실질적으로는 메타를 둘러싼 논쟁이라고 정리합니다.
가속이냐 감속이냐는 거짓 이분법이며, 중요한 것은 속도가 아니라 어느 갈림길로 들어서느냐라고 봅니다.
AI의 물결은 피할 수 없지만 단일한 초지능을 만드는 일은 필연이 아니라 소수 기업의 이념적 선택이라고 말합니다.
지능 폭발은 국가 붕괴에 가까운 체제 변동을 부르며, 그 뒤에 생길 제도는 지금의 자유민주주의와 연속성이 크지 않으리라고 전망합니다.

1부 AGI 연구소 감독은 신중한 선택

해먼드는 첫 묶음을 미국의 국가이익에서 시작합니다. 프런티어 모델(frontier model)의 능력을 가까이서 감시하는 일은 미국의 국가이익에 부합한다는 것이 첫 명제입니다. 그리고 여기에 곧바로 조건을 붙입니다. AI 규제 대부분이 쓸모 있는지에 대해 양가감정을 품으면서도, 프런티어 연구소에 대한 감독만큼은 지지할 수 있다는 것입니다. 규제 일반에 냉담한 사람과 최전선 기업을 들여다보자는 사람이 같은 사람일 수 있다는 뜻입니다.

그가 꼽는 수단은 학습 컴퓨트(training compute) 임계값입니다. 한시적 조치로서, 학습에 투입된 연산량을 기준으로 범용인공지능(AGI)을 좇는 연구소를 골라내 안전성 시험과 공시를 요구하는 방식은 가능한 선택지 가운데 개입이 가장 적고 표적이 가장 분명하다고 평가합니다. 학습 컴퓨트는 모델 능력을 재는 불완전한 대리지표이지만 튼튼하고, 무엇보다 단순하다는 엄청난 미덕이 있다고 덧붙입니다.

반대로 기술은 ‘용도’나 ‘위험’을 기준으로만 규제해야 한다는 교리는 시장 친화적으로 들리지만 결과는 그 반대라고 지적합니다. 기술 자체를 특정하는 접근보다 규제 범위가 훨씬 넓어진다는 것이고, 그 실례로 유럽연합(EU)의 인공지능법을 듭니다. 규제의 그물을 더 넓게 던지는 쪽은 용도 기준이지 기술 기준이 아니라는 것이 이 묶음에서 가장 반직관적인 대목입니다.

해설
컴퓨트 임계값은 모델의 성능을 직접 재기 어려우니 학습에 들어간 연산량이라는 양적 기준으로 규제 대상을 가려내자는 발상입니다. 미국은 2023년 10월 조 바이든(Joe Biden) 행정부의 AI 행정명령에서 이 방식을 처음 제도화했고, 학습 연산량 10의 26승 부동소수점 연산을 기준선으로 삼아 그 이상을 쓴 모델의 개발사가 안전성 시험 결과를 정부에 보고하도록 했습니다. 생물학 서열을 다루는 모델에는 10의 23승이라는 훨씬 낮은 기준을 따로 뒀습니다.

이 보고 의무의 법적 근거로 끌어온 것이 한국전쟁기에 만들어진 국방물자생산법(DPA)입니다. 전시 산업 동원을 위한 법을 AI 공시에 쓰는 것이 과하다는 비판이 곧바로 나왔고, 해먼드가 이 묶음의 뒷부분을 공들여 방어하는 지점이 바로 여기입니다.

국방물자생산법을 동원한 것에 대해 해먼드는 적절한 선택이었다고 봅니다. 국방부만이 쓸 수 있는 고유한 수단이 있고, 충분히 진전된 AI에는 진짜 국가안보 위험이 따라붙기 때문입니다. 나아가 AGI나 초지능(superintelligence), 그 밖의 이중용도(dual use) 능력이 정말 가까이 왔는지 의심하면서도 이 조치를 지지할 수 있다고 말합니다. 근본적 불확실성 아래에서 이 법의 발동이 제공하는 선택지의 가치, 즉 나중에 필요해졌을 때 이미 손에 쥐고 있다는 점만으로도 값을 한다는 논리입니다.

마지막 명제는 가장 흔한 반론을 겨냥합니다. 1억달러가 넘는 학습 실행의 결과물에 안전성 시험과 공시를 요구하는 것은 규제 포획(regulatory capture)의 사례가 아니며, 컴퓨트 비용에 견주면 의미 있는 진입장벽도 되지 못한다는 것입니다. 수억 달러를 태우는 쪽에게 시험 비용은 반올림 오차에 가깝다는 지적이고, 규제가 대기업을 보호한다는 익숙한 주장이 이 경우에는 성립하지 않는다는 판정입니다.

[이해관계]
해먼드는 워싱턴의 기술정책 싱크탱크인 미국혁신재단(FAI)의 선임 이코노미스트로, 이 글을 쓸 무렵 AI와 신기술이 제도에 미치는 영향을 연구 주제로 삼고 있었습니다. 그 전에는 니스카넨센터(Niskanen Center)에서 사회정책 책임자로 일했고 이후에도 선임연구원으로 이름을 올려 두고 있습니다.

그의 일은 워싱턴의 정책 결정자를 향해 권고를 내놓는 것입니다. 95개 명제가 관찰자의 메모가 아니라 어느 쪽 법안을 밀고 어느 쪽을 막을지에 대한 제안서에 가깝게 읽히는 이유이고, 좁은 감독과 넓은 규제완화를 한 묶음으로 제시하는 구성 역시 그 자리에서 나온 설계로 보는 편이 정확합니다.

[한국 관점]
한국은 해먼드가 갈라 놓은 두 길을 모두 택했습니다. 2026년 1월 시행된 인공지능 기본법은 한편으로 학습에 쓰인 누적 연산량이 10의 26승 부동소수점 연산 이상인 초고성능 모델에 안전성 확보 의무를 지웁니다. 미국 행정명령이 썼던 수치와 같고 EU의 10의 25승보다는 느슨한 선입니다.

다른 한편으로 에너지·의료·채용·대출심사 등 열 개 영역에서 쓰이면서 사람의 기본권에 중대한 영향을 미치는 자동 시스템은 고영향 인공지능으로 따로 분류해 영향평가와 위험관리 의무를 지웁니다. 해먼드의 분류대로라면 앞쪽은 그가 지지하는 기술 기준이고 뒤쪽은 그가 경계한 용도 기준입니다. 두 체계가 한 법 안에 들어온 이상, 규제의 그물이 실제로 얼마나 벌어질지는 시행령과 고시를 어떻게 운용하느냐에 달려 있습니다.

2부 제안된 AI 규제 대부분은 설익었거나 시기상조

변곡점에서는 포괄 입법을 하지 않습니다

1부에서 좁은 감독을 옹호한 해먼드는 2부에서 곧바로 방향을 틀어 규제 일반을 겨냥합니다. 사건이 빠르게 움직이고 불확실할 때, 정부의 정책결정에서 재량과 자율성의 가치는 상당히 높아진다는 것이 출발점입니다. AI가 바로 그런 조건에 있다는 뜻입니다. 그래서 기술적 변곡점(inflection point)에서 포괄적인 제정법을 짜는 일은 현명하지 않다고 말합니다. 규제하려는 대상이 무엇인지, 그 기본적인 존재론 자체가 아직 흔들리고 있기 때문입니다.

그가 제시하는 대안은 두 개를 한 묶음으로 가는 것입니다. AI에 대한 최적의 정책 대응은 표적 규제와 대부분 영역에 걸친 전면적 규제완화의 조합이라는 것입니다. 1부의 컴퓨트 임계값이 앞의 절반이라면, 나머지 산업 전반에서 규제를 걷어내는 일이 뒤의 절반입니다. 규제라는 것은 특정한 생산양식과 산업구조에 들어맞는 규칙과 표준, 절차를 성문화해 둔 것이므로 기술이 급변하는 시기에는 낡아 버리기 쉽다는 논리가 그 바탕에 깔려 있습니다.

규제완화를 지지하는 이유도 통상적인 것과 다릅니다. 그 이익은 정태적 효율성이 조금 나아지는 데서 오는 것이 아니라, 시장과 정부가 혁신에 적응할 수 있는 능력이 커지는 데서 온다고 봅니다. 규제완화의 핵심은 비용 절감이 아니라 적응 능력이라는 셈입니다.

진짜 장벽은 기존 법령에 있습니다

여기서 그는 AI 규제 논쟁의 초점이 잘못 맞춰져 있다고 지적합니다. AI의 상업적 도입을 가로막는 주된 규제 장벽은 앞으로 생길 AI 전용법이 아니라 이미 자리 잡고 있는 기존 법령 속에 있다는 것입니다. 의료, 금융, 운송처럼 면허와 절차가 촘촘한 영역에서 AI가 멈춰 서는 이유는 새 규제가 생겨서가 아니라 옛 규제가 그대로 있기 때문이라는 뜻입니다.

AGI까지의 시간표가 짧을수록 정책결정자와 조직은 초점을 ‘충격에 대비하기’로 옮겨야 한다고도 말합니다. 규제를 설계할 시간이 남아 있다는 전제 자체가 시간표에 달려 있다는 것입니다. 그리고 가장 견고한 형태의 AI 거버넌스는 결국 인프라 계층과 하드웨어 계층에서 작동하리라고 봅니다. 모델이나 용도를 쫓아다니며 규율하기보다 데이터센터와 칩이라는 물리적 길목을 잡는 편이 흔들리지 않는다는 판단입니다.

완벽한 집행이라는 뜻밖의 위험

2부에서 가장 독창적인 대목은 마지막 두 명제입니다. 현존하는 법과 규제는 집행이 불완전하리라는 기대 위에서 수위가 맞춰져 있다는 것이 전제입니다. 그 위에 AI가 감시와 집행의 비용을 크게 낮추면, 법전의 글자는 한 자도 바뀌지 않은 채 모든 기존 법령의 사실상의 강도가 크게 올라간다는 결론이 따라옵니다. 더 넓은 자유화가 함께 가지 않는다면 그렇게 된다는 단서를 붙여 둡니다.

해설
법경제학에서는 법규범의 실제 억제력을 제재의 크기와 적발 확률의 곱으로 봅니다. 적발 확률이 낮다는 사실이 이미 제도 설계에 녹아 있다는 뜻이고, 그래서 현실의 법체계는 느슨한 집행, 재량에 의한 비집행, 암묵적 관용을 전제로 균형을 잡고 있습니다. 과속 단속이 모든 도로에서 상시로 이뤄지지 않는다는 사실이 사람들이 수용하는 제한속도의 수준을 떠받치는 식입니다.

해먼드의 논점은 AI가 이 숨은 변수를 건드린다는 것입니다. 카메라와 기록을 읽어 내는 비용이 0에 가까워지면 적발 확률이 1에 수렴하고, 그러면 아무도 법을 바꾸지 않았는데 규제의 실질 강도만 몇 배로 뛰게 됩니다. 이 경우 자유의 축소는 입법이 아니라 기술을 통해 일어나므로, 의회의 표결도 대중의 동의도 거치지 않습니다.

마지막 명제는 미국의 연방제를 겨냥합니다. 주정부는 공공부문 현대화와 규제 샌드박스에 집중해야 하며, 서로 호환되지 않는 AI 안전 규제의 누더기를 만드는 일은 피해야 한다는 것입니다. 50개 주가 제각기 다른 안전 의무를 부과하면 어느 쪽도 실효를 거두지 못한 채 비용만 쌓인다는 익숙한 우려이고, 1부에서 그가 연방 차원의 단일한 컴퓨트 기준을 지지한 것과 짝을 이루는 주장입니다.

[반론]
AI 안전 분야의 논평가 즈비 모쇼위츠(Zvi Mowshowitz)는 이 95개 명제에 하나씩 답하면서 2부 대부분에 동의했지만, 두 대목에서는 단서를 달았습니다. 변곡점에서 포괄 입법을 피하라는 원칙에는 ‘대체로’라는 말이 붙어야 동의할 수 있다는 것입니다. 상황은 빠르게 닥쳐오는데 정부는 느리기 때문에, 신중함을 이유로 너무 오래 기다릴 여유가 없다는 이유입니다.

주법의 누더기에 대해서도 원칙으로는 동의하지만 현실에서는 차선책이 있다고 봅니다. 당시 캘리포니아에서 논의되던 프런티어 모델 규제 법안처럼, 연방 의회가 움직이지 못하는 상황에서는 누군가는 해야 한다는 논리가 성립한다는 것입니다. 그가 더 걱정한 쪽은 주법이 생기는 것 자체가 아니라, 연방 입법이 마련된 뒤에도 캘리포니아가 자리를 비켜 주지 않는 상황이었습니다.

[사후 맥락]
이 글이 나온 뒤 미국의 연방 정책은 해먼드가 1부에서 옹호한 쪽을 걷어내는 방향으로 움직였습니다. 2025년 1월 도널드 트럼프(Donald Trump) 대통령은 취임 당일 바이든 행정부의 AI 행정명령을 폐기했고, 사흘 뒤 AI 리더십의 장벽 제거를 내건 새 행정명령으로 대체했습니다. 국방물자생산법에 근거해 추진되던 상무부 산업안보국(BIS)의 보고 의무 규칙은 최종 확정되지 못한 채 멈췄습니다.

반면 그가 피하라고 한 주법의 누더기는 그대로 현실이 됐습니다. 2025년 한 해에만 38개 주에서 145건의 AI 관련 법이 제정됐고, 그해 7월 상원은 주 차원의 AI 입법을 10년간 묶어 두려던 조항을 99대 1로 걷어냈습니다. 캘리포니아는 10의 26승 부동소수점 연산이라는 바로 그 컴퓨트 기준을 주법에 담은 프런티어 AI 투명성법을 2026년 1월부터 시행했고, 텍사스와 일리노이의 AI법도 같은 날 발효했으며 콜로라도법은 2026년 6월로 이어졌습니다. 연방정부는 2025년 12월 행정명령으로 법무부에 주법을 다투는 소송 조직을 두게 했고, 결국 연방 단일 기준 대신 연방과 주의 충돌이 남았습니다.

3부 AI 진보는 정체가 아니라 가속

스케일링만으로는 인간 수준에서 멈춥니다

해먼드는 이 묶음을 단정적인 예측으로 엽니다. 지난 12개월 동안의 AI 진보는 앞으로 상당 기간 보게 될 가장 느린 구간이었다는 것입니다. 2024년 중반, 모델 성능이 정체에 들어섰다는 관측이 돌던 시점에 내놓은 말이라는 점을 감안해야 합니다. 체감되는 정체는 가속의 반대 증거가 아니라 다음 도약 직전의 숨 고르기라는 입장입니다.

이어서 그는 대규모 언어모델(LLM) 스케일링의 한계를 분명히 긋습니다. 스케일링은 아직 갈 길이 많이 남았지만, 그것만으로는 초지능에 이르지 못한다는 것입니다. 이유는 학습 목표 자체에 있습니다. 인간이 만든 데이터에 대해 교차 엔트로피 손실을 최소화하는 작업은 인간 수준의 지능으로 수렴한다는 것이고, 목표 함수가 인간의 글인 한 도달점도 인간이라는 뜻입니다.

해설
사전학습의 목표는 다음에 올 단어의 확률 분포를 인간이 쓴 글의 분포에 최대한 가깝게 맞추는 것입니다. 교차 엔트로피 손실은 그 둘이 얼마나 어긋나는지를 재는 지표이고, 손실이 0에 가까워진다는 것은 인간이 쓴 글을 거의 완벽하게 흉내 낸다는 뜻입니다. 여기서 해먼드가 짚는 지점은, 이 목표에는 인간보다 더 잘하라는 신호가 들어 있지 않다는 것입니다.

그래서 거론되는 것이 자가 대국(self-play)입니다. 바둑에서 인간 기보를 떠난 알파고(AlphaGo) 계열이 인간의 수준을 넘어선 것은 인간을 모방하는 대신 스스로와 겨루며 승패라는 외부 기준으로 학습했기 때문입니다. 모방에는 천장이 있고 경쟁에는 없다는 비유가 이 대목의 바탕에 깔려 있습니다.

따라서 인간 수준의 추론을 넘어서려면 다음 토큰 예측 바깥의 학습 방법, 이를테면 강화학습과 자가 대국이 필요하다고 봅니다. 그리고 그런 방법이 일단 작동하기 시작하면 규모의 이익을 즉시 거둬들일 것이라고 예측합니다. 덧붙여 강화학습에 기반한 위협 모델이 너무 성급하게 평가절하됐다고 지적합니다. 언어모델이 주인공이 되면서 강화학습 에이전트가 목표를 비틀어 추구할 위험은 한물간 걱정처럼 취급됐는데, 그 폐기가 이르다는 것입니다.

[반론]
모쇼위츠는 스케일링이 인간 수준에 수렴한다는 명제에 대해 스스로 혼란스럽다고 적었습니다. 인간이 쓴 모든 글을 예측하려면 적어도 인간이 낼 수 있는 최고 수준의 지능이 필요한 것 아니냐는 반문입니다. 또 이 계산에는 구현하기 어렵지 않은 비계 기법들이 빠져 있고, 상한선에 해당하는 인간 수준에만 닿아도 거기서 스스로를 끌어올리는 일이 가능해진다고 봤습니다. 그는 해먼드의 명제에 75퍼센트 정도의 확신만 둘 수 있다고 했습니다.

강화학습 위협 모델에 대해서는 더 분명하게 갈렸습니다. 모쇼위츠는 그 위협이 성급하게 폐기된 것이 아니라 합당한 만큼 할인되고 있다고 보았고, 95개 명제 가운데 그가 명시적으로 반대한 23개 중 하나로 이 항목을 꼽았습니다.

그렇다고 하룻밤 사이에 신이 되지는 않습니다

앞으로의 돌파는 꽤 불연속적일 수 있으며, 특히 에이전트 쪽에서 그렇다고 봅니다. 성능이 완만한 곡선을 그리며 오르는 것이 아니라 어느 지점에서 갑자기 다른 종류의 일을 해내기 시작한다는 뜻입니다. 다만 그다음 단계에 대해서는 신중합니다. AGI가 연구개발을 가속해 빠르게 초인간 수준으로 올라설 수는 있지만, 거기서 단숨에 신과 같은 초인공지능(ASI)으로 치솟는 일, 이른바 순식간의 도약(foom)은 일어나기 어렵다고 봅니다. 컴퓨트 병목이 있고 고차원 벡터 공간은 더 압축되지 않기 때문이며, 그래서 레이 커즈와일(Ray Kurzweil)이 과소평가되어 있다는 말을 덧붙입니다.

커즈와일을 호명한 것은 속도의 그림을 두고 편을 가르는 대목입니다. 커즈와일식 전망은 기하급수적이되 연속적인 곡선이고, 순식간의 도약은 그 곡선이 어느 지점에서 수직으로 꺾인다는 그림입니다. 해먼드는 앞쪽을 택합니다. 빠르지만 물리적 제약을 따르는 가속이라는 것입니다.

그렇다고 안심할 일은 아니라는 단서가 곧바로 따라붙습니다. 재귀적 자기개선과 메타학습은 지금 존재하는 하드웨어의 한계 안에서도 위험할 만큼 강력한 AI 시스템을 낳을 수 있다는 것입니다. 새 칩을 기다릴 필요도 없다는 뜻이고, 마지막 명제는 이 묶음을 한 문장으로 요약합니다. 느린 이륙도 결국에는 급격해진다는 것입니다.

[사후 맥락]
이 묶음은 글이 나온 뒤 2년 사이에 가장 잘 들어맞은 부분입니다. 다음 토큰 예측 바깥의 방법이 필요하다는 명제가 나온 지 넉 달 만에 오픈AI(OpenAI)가 추론에 테스트 타임 컴퓨트를 쏟아붓는 o1을 내놓았고, 연말에는 후속 모델을 예고했습니다. 검증 가능한 보상을 이용한 강화학습(RLVR)이 사후학습의 표준 기법으로 자리 잡으면서, 정답을 채점할 수 있는 영역에서는 모델이 인간의 평균적 풀이를 모방하는 단계를 넘어섰습니다.

2025년 1월 딥시크(DeepSeek)가 공개한 R1은 같은 방법이 소수의 대형 연구소 바깥에서도 재현된다는 것을 보여 줬습니다. 불연속적 도약이 특히 에이전트 쪽에서 일어나리라는 예측도 그 뒤 코딩 에이전트의 확산으로 확인된 편입니다. 반대로 지난 12개월이 가장 느린 구간이었다는 첫 명제는 이후 여러 차례 반복해서 인용되면서, 체감 정체와 실제 진보가 자주 어긋난다는 점을 상기시키는 문장이 됐습니다.

4부 오픈소스는 대체로 헛다리

격차는 벌어지고, 위험선은 다가옵니다

해먼드는 오픈소스 논쟁을 찬반으로 보지 않고, 그 논쟁이 다루는 대상 자체가 잘못 설정됐다고 봅니다. 먼저 추세 판단을 깔아 둡니다. 독점 모델과 오픈소스 모델 사이의 격차는 시간이 갈수록 벌어질 것이며, 작은 공개 모델들이 지금보다 훨씬 유능해지더라도 그 격차는 그대로 남는다는 것입니다. 작은 모델이 좋아지는 것과 최전선이 공개되는 것은 다른 이야기라는 지적입니다.

그러면서 2년 안에 프런티어 모델이 어떤 능력 문턱을 넘을 것이고, 그때가 되면 많은 오픈소스 옹호자들조차 사전에 공개는 위험하다고 인정하게 되리라고 예측합니다. 다만 현재 시점의 판정은 그 반대입니다. 지금까지 공개된 주요 오픈소스 모델 가운데 위험했던 것은 하나도 없으며, 라마3(Llama3)나 알파폴드(AlphaFold) 같은 모델을 공개해서 얻은 이익은 막대하다고 평가합니다. 공개가 지금까지 해를 끼치지 않았다는 사실과 앞으로도 그러리라는 전망은 별개라는 것이 이 묶음의 뼈대입니다.

용어 자체에 대한 지적도 덧붙입니다. 진정한 오픈소스는 가중치뿐 아니라 학습 데이터와 코드까지 공개하는 것을 뜻하며, 이는 잠복 요원(sleeper agent)이 심긴 모델이나 오염된 데이터로 학습된 모델이 퍼지는 일을 막기 위해 반드시 필요하다고 말합니다. 이어서 가장 위험한 모델은 학습 비용이 비싸 적어도 초기에는 대기업만 만들 수 있으리라고 보고, 그렇다면 초점은 역시 프런티어 능력을 감시하는 쪽에 둬야 한다고 1부의 결론으로 돌아옵니다.

해설
흔히 오픈소스 AI라 불리는 것의 대부분은 가중치 공개(open weights)에 그칩니다. 학습이 끝난 모델의 파라미터 값을 내려받아 쓸 수 있게 열어 줄 뿐, 어떤 데이터로 어떤 절차를 거쳐 학습했는지는 공개하지 않는다는 뜻입니다. 소프트웨어에서 오픈소스가 사람이 읽고 고칠 수 있는 소스 코드를 뜻했던 것과는 거리가 있습니다.

해먼드가 언급한 잠복 요원은 2024년 초 앤트로픽(Anthropic)이 발표한 연구에서 나온 개념입니다. 특정 조건이 충족될 때만 악의적으로 행동하도록 학습된 모델은 평소에는 정상으로 보이고, 표준적인 안전 학습으로도 그 행동이 제거되지 않는다는 결과였습니다. 가중치만 받아서는 그런 장치가 심겨 있는지 확인할 방법이 사실상 없고, 이것이 가중치 공개가 공개와 폐쇄 사이의 어정쩡한 중간 지대라는 비판의 근거가 됩니다.

이것은 메타에 관한 논쟁입니다

여기서 그는 논쟁의 성격을 다시 규정합니다. 오픈소스냐 폐쇄냐의 논쟁은 더 깊은 철학적 이상에 관한 것이 아니라 사실상 메타(Meta)에 관한 논쟁이라는 것입니다. 최전선 수준의 모델을 무료로 푸는 회사가 하나뿐이니, 추상적 원칙처럼 보이는 대립도 실제로는 한 기업의 전략을 둘러싼 다툼이라는 뜻입니다.

그리고 그 기업의 유인 구조는 생각보다 안전한 쪽이라고 봅니다. 비우호적 AI를 세상에 풀어놓는 일은 메타 주주들의 이익에 부합하지 않기 때문입니다. 뒤이어 그는 이 논리를 뒤집어 다른 조직을 겨냥합니다. 비영리 이사회가 지배하고 보수를 받지 않는 최고경영자가 이끄는 회사는, 전형적인 상장기업에 비해 AI 실존적 위험을 억제할 유인이 오히려 약하다는 것입니다. 잃을 지분이 없는 사람이 더 조심하리라는 통념을 거꾸로 읽은 셈이고, 이 명제에 그는 보수를 받지 않는다는 샘 올트먼(Sam Altman)의 발언 보도를 링크로 달아 두었습니다.

[반론]
모쇼위츠는 이 묶음에서 가장 많이 갈렸습니다. 2년 안에 오픈소스 옹호자들이 생각을 바꾸리라는 예측에는 강하게 반대하면서, 그들은 실제 재앙이 터지기 전까지는 돌아서지 않을 것이라고 봤습니다. 논쟁이 메타에 관한 것이라는 규정에도 반대했습니다. 오픈소스 옹호자들이 메타를 사랑해서 그러는 것이 아니라 깊은 철학적 신념을 갖고 있으며, 지금 메타가 유일한 변수일 뿐 그 구도는 바뀔 수 있다는 것입니다.

비영리 지배구조에 대한 명제에도 강하게 반대했습니다. 마크 저커버그(Mark Zuckerberg)가 주식을 많이 갖고 있다고 해서 더 조심할 이유가 무엇이며, 올트먼은 이미 충분히 부유한데 급여를 받지 않는 것이 왜 문제가 되느냐는 반문입니다. 이에 해먼드는 댓글에서 직접 해명했습니다. 비영리 조직의 거버넌스는 대체로 부실한 반면 상장기업은 지분 기반 보상, 주주의 발언권, 공시 의무와 신인의무를 갖추고 있다는 것입니다. 수익을 낼 의무가 없다고 명시한 출자 계약과 돈 자체에는 관심이 없다는 경영자의 조합이야말로 경계할 대목이며, 사명이 모든 것에 우선하는 상태는 어떤 면에서 칭찬할 만하지만 동시에 마이클 크라이턴(Michael Crichton) 소설의 도입부이기도 하다고 적었습니다.

확산을 막는 일의 비용

마지막 네 명제는 규제 쪽으로 돌아옵니다. 딥페이크 확산처럼 한 단계 낮은 수준의 AI 위험은 집단행동 문제이며, 주로 방어 기술과 제도의 적응을 통해 완화되리라고 봅니다. 그래서 오픈소스를 제약하면 방어적 형태의 AI까지 덩달아 확산이 막혀 적응을 저해할 위험이 있다고 지적합니다. 공격 수단을 막으려다 방패의 보급까지 막는 꼴이라는 것입니다.

나아가 이미 널리 퍼져 있거나 처음부터 학습하는 비용이 싼 능력에 대해 접근을 제한하려는 시도는 자유로운 사회에서는 무의미하고, 득보다 실이 클 공산이 크다고 말합니다. 막을 수 없는 것을 막으려는 규제는 통제력을 얻지 못한 채 비용만 남긴다는 판단입니다.

그러면서도 그는 이 묶음을 반전으로 닫습니다. 그럼에도 이국적인 동물을 야생에 풀어놓는 일은 중범죄라는 한 문장입니다. 앞의 열한 개 명제가 공개의 자유 쪽으로 기울어 있었다면, 마지막 문장은 어떤 것을 세상에 풀어놓는 행위 자체에 이미 사회가 책임을 묻고 있다는 사실을 상기시킵니다. 되돌릴 수 없는 방류에는 다른 기준이 적용된다는 뜻이고, 모쇼위츠도 이 대목만큼은 그대로 동의했습니다.

[사후 맥락]
논쟁이 메타에 관한 것이라는 진단은 그 뒤 메타 자신이 입증했습니다. 2024년 7월 라마 3.1의 최대 모델을 공개하며 정점을 찍은 메타는, 2025년 7월 새로 꾸린 초지능 연구소 내부에서 최상위 모델 비히모스(Behemoth)의 공개를 포기하고 폐쇄형으로 돌아서는 방안을 논의한 것으로 보도됐습니다. 회사는 오픈소스 기조가 변함없다고 밝혔지만, 앞으로는 공개 모델과 폐쇄 모델을 섞어 가겠다는 단서를 함께 달았습니다.

그사이 가중치 공개의 주도권은 중국 쪽으로 넘어갔습니다. 2025년 1월 딥시크가 공개한 R1을 시작으로 중국 연구소들이 공개 모델의 전면에 섰고, 오픈AI도 2025년 8월 가중치 공개 모델을 내놓으며 이 흐름에 합류했습니다. 비영리 지배구조에 관한 명제 역시 시험대에 올랐습니다. 오픈AI는 2025년 10월 자본 재구성을 마무리하며 영리 부문을 공익법인(PBC)인 오픈AI 그룹으로 전환했고, 비영리 재단이 이사 선임권을 쥐되 약 26퍼센트의 지분을 보유하는 구조가 됐습니다. 해먼드가 지적한 비영리 이사회와 지분 유인의 간극을 회사 스스로 손본 셈입니다.

5부 가속이냐 감속이냐는 거짓 이분법

문제는 속도가 아니라 갈림길입니다

해먼드는 판돈의 크기를 먼저 못 박습니다. 앞으로 10년 사이에 내려지는 결정들은 인류 역사의 어느 시점보다도 인류의 미래를 좌우할 지렛대가 크다는 것입니다. 그다음에 곧바로 자신의 위치를 밝힙니다. 주택, 교통, 의료, 우주 상업화에 이르기까지 사실상 모든 영역에서 기술을 사랑하고 가속주의자일 수 있으면서도, 동시에 앞으로의 AI 위험을 걱정할 수 있다는 것입니다. 두 입장을 양립 불가능한 것으로 만든 쪽이 논쟁 구도 자체라는 뜻입니다.

그가 보기에 ‘가속이냐 감속이냐’라는 틀은 기술을 하나의 선형 과정으로 상상합니다. 그러나 기술 혁신은 직선 위의 전진이 아니라 갈라지는 길들을 따라 내려가는 탐색에 가깝다고 말합니다. 그래서 만약 AI 전환이 문명의 병목, 즉 거대한 필터(Great Filter)에 해당한다면, 생존은 우리가 얼마나 빨리 가느냐보다 어느 길로 들어서느냐에 더 많이 달려 있다고 봅니다. 다만 단서가 붙습니다. 속도가 경로를 바꿀 수 있는 시간 자체를 없애 버리는 한에서만 속도가 문제라는 것입니다.

AGI를 만드는 일에 대해서는 태도의 문제를 제기합니다. 여기에는 고유한 위험이 따르므로 하나의 과학적 작업으로 다뤄야 하며, 진지함과 두려움을 함께 지닌 채 추진해야 한다는 것입니다. 상업적 경주의 어휘가 아니라 실험실의 어휘를 써야 한다는 요구에 가깝습니다.

진영이라는 함정

다음 세 명제는 논쟁의 사회학을 다룹니다. 부족적 정서에 기대어 입장을 정하는 일은 인식론적 합리성을 갉아먹는다는 것이 출발점이고, 여기에 정체성을 작게 유지하라는 폴 그레이엄(Paul Graham)의 글을 링크로 달아 두었습니다. 그리고 겨냥 대상을 양쪽 모두로 넓힙니다. 효과적 가속주의(e/acc)와 효과적 이타주의(EA)는 같은 합리주의 동전의 양면이며, 전자는 니체적 무신론에, 후자는 기독교 인본주의에 뿌리를 두고 있다는 것입니다.

해설
효과적 이타주의는 기부와 직업 선택을 포함한 삶의 결정을 ‘가장 많은 선을 낳는가’라는 기준으로 평가하려는 운동이고, 2010년대 후반부터 AI 실존적 위험을 핵심 의제로 끌어안으면서 안전 진영의 자금과 인력을 상당 부분 공급해 왔습니다. 효과적 가속주의는 그에 맞서 2022년 무렵 온라인에서 형성된 흐름으로, 기술 발전의 가속 자체를 선으로 보고 안전을 명분으로 한 속도 조절에 반대합니다. 이름의 형식부터가 상대 진영을 뒤집어 만든 것입니다.

해먼드가 둘을 같은 동전의 양면이라고 부른 이유는, 양쪽 모두 온라인 합리주의 공동체라는 같은 토양에서 자랐고 인류의 장기적 운명을 계산의 대상으로 삼는 사고방식을 공유하기 때문입니다. 링크로 걸린 그레이엄의 글은 정치나 종교처럼 정체성이 되어 버린 주제에서는 토론이 불가능해지므로 자신의 정체성에 포함시키는 항목을 최소화하라는 내용입니다. 진영이 생기는 순간 논증이 멈춘다는 경고입니다.

세 번째 명제는 워싱턴의 실제 역학을 가리킵니다. 미국 수도에서 가속주의를 사실상 대변하는 로비의 규모는 AI 안전 쪽 로비를 압도적으로 능가한다는 것입니다. 안전 진영이 담론을 지배하는 것처럼 보이지만 정치적 자원의 분포는 정반대라는 지적이고, 모쇼위츠도 이 대목은 지붕 위에서 외쳐야 할 사실이라며 그대로 동의했습니다.

워싱턴의 실제 지형

마지막 다섯 명제는 2024년 미국 대선을 배경으로 합니다. 해먼드는 AI 실존적 위험의 관점에서 트럼프와 바이든 중 누가 나은지는 정말로 분명하지 않다고 말합니다. 효과적 이타주의 진영은 민주당 쪽에 인맥이 더 많지만 어느 행정부에서도 일할 수 있고, 모든 것을 감안하면 아주 작은 분파에 불과하다고 덧붙입니다.

이어 그는 더 도발적인 판정을 내놓습니다. 자유지상주의자, 효과적 가속주의자, 기독교 보수주의자는 각자의 결함이 무엇이든 간에 평균적인 진보주의자보다 AI와 정부에 대해 훨씬 현실적인 인식을 갖고 있다는 것입니다. 그리고 그 연장에서, AI가 기본값으로 나쁘게 흘러간다고 믿을수록 트럼프의 재집권을 선호해야 한다는 논리를 폅니다. 그가 훨씬 높은 변동성을 가진 선택지이기 때문이라는 이유입니다. 기본 경로가 파국이라면 분산이 큰 쪽에 걸어야 한다는 계산입니다.

마지막 명제는 통념을 뒤집는 사례 두 개를 나란히 놓는 것으로 묶음을 닫습니다. 스티브 배넌(Steve Bannon)은 특이점이 가까이 왔고 그것이 심각한 실존적 위험이라고 믿는 반면, 기술·사회 연구기관 데이터앤드소사이어티(Data & Society)와 관련된 재닛 헤이븐(Janet Haven)은 AI를 웹3의 재탕으로 본다는 것입니다. 진보와 보수라는 익숙한 축으로는 AI에 대한 입장을 예측할 수 없다는 사실을 두 인물로 보여 주는 셈입니다.

[반론]
모쇼위츠는 이 묶음에서 세 차례 분명히 갈라섭니다. 기술이 갈라지는 경로라는 비유에 대해서는, 비선형적인 것은 맞지만 과학의 빛은 결국 하나여서 AI의 핵심 발전을 앞당기면 그다음 발전도 앞당겨진다고 반박했습니다. 가속이라는 틀이 정확하지는 않아도 쓸모 있는 틀이라는 입장입니다.

두 진영의 계보에 대해서는 더 강하게 반대했습니다. 효과적 이타주의자들은 스스로를 공리주의자라고 말하므로 그 말을 믿어야 하며, 효과적 가속주의는 니체와 무관하고 밈과 분위기를 가지고 노는 쪽에 가깝다는 것입니다. 이에 해먼드는 댓글에서, 공리주의는 체계 수준의 틀인데 많은 효과적 이타주의자들은 내가 구할 수 있는 생명, 내가 먹지 않은 고기, 내가 기증한 신장처럼 개인의 습관과 성품 문제로 내면화한다고 답했습니다. 오귀스트 콩트(Auguste Comte)의 인류교에서 이어지는 기독교적 계보가 비교적 뚜렷하며 이를 지적한 사람이 자신이 처음도 아니라는 것입니다.

대선 평가에서도 모쇼위츠는 바이든 쪽이 낫다고 봤습니다. 바이든은 AI 행정명령을 냈고 트럼프는 그것을 폐기하겠다고 공언했기 때문입니다. 다만 기본 경로가 이미 파국이라고 본다면 변동성이 큰 쪽에 거는 논리는 성립한다고 인정했습니다.

[사후 맥락]
2024년 11월 트럼프가 당선되면서 이 묶음의 가정은 곧바로 시험대에 올랐습니다. 취임 당일 바이든의 AI 행정명령이 폐기됐고, 2025년 2월 파리 AI 행동 정상회의에서 J.D. 밴스(J.D. Vance) 부통령은 미국이 안전이 아니라 기회를 중심에 두겠다고 선언했습니다. 7월에는 연방 차원의 AI 행동계획이 발표되며 규제완화와 인프라 건설이 정책의 중심이 됐고, 12월에는 주법을 선점하기 위한 행정명령까지 나왔습니다.

변동성이 크다는 진단 자체는 들어맞았지만, 그 변동성이 어느 쪽으로 튀었는지는 해먼드의 기대와 달랐습니다. 안전 쪽으로 방향을 틀 가능성이 열린다는 것이 높은 분산에 거는 논리였는데, 실제로는 가속 쪽으로 일관되게 기울었기 때문입니다. 워싱턴의 가속 로비가 안전 로비를 압도한다는 그의 관찰이 선거 결과와 맞물리면서 한 방향으로 증폭된 셈입니다.

6부 AI 물결은 필연, 초지능은 아님

초지능은 필연이 아니라 선택입니다

이 묶음의 출발점은 하나의 구분입니다. 통합된 초지능을 만드는 일은 이미 정해진 기정사실이 아니라 이념적 목표라는 것입니다. 기술이 그쪽으로 흘러가는 것이 아니라 누군가 그것을 만들기로 결심한 것이라는 뜻입니다. 그래서 그는 두 가지를 떼어 놓습니다. AI 전환 일반이 불가피한 것과, 초지능을 향한 경주가 불가피한 것은 전혀 다른 문제라는 것입니다.

그 경주의 주체도 구체적으로 지목합니다. 초지능을 만들려는 경주를 끌고 가는 것은 두세 개의 미국 기업이며, 이들은 가까운 미래의 전개에 대해 상당한 재량을 쥐고 있다고 봅니다. 거대한 역사적 흐름처럼 보이는 것의 실체는 몇몇 경영진의 의사결정이라는 지적입니다. 그리고 그 결정의 성격을 이렇게 규정합니다. 초지능을 만드는 일은 그 자체로 위험하고 질서를 무너뜨리며, 이는 정렬이 얼마나 어려운 문제인가와는 무관하게 성립한다는 것입니다.

정렬 문제가 풀린다 해도 위험은 남는다는 이 주장은 안전 논쟁의 통상적 전제를 비껴갑니다. 그래서 대안도 명확합니다. 과학을 가속하고 질병을 고치고 핵융합을 푸는 일은 통합된 초지능을 끝내 만들지 않고도 진전된 AI로 해낼 수 있다는 것입니다. 이익은 취하되 그 마지막 단계는 밟지 않는 경로가 실재한다는 뜻이고, 이어지는 한 문장이 그 이유를 압축합니다. ASI를 만드는 일은 주권자에 대한 직접적인 위협이라는 것입니다.

해설
주권자에 대한 위협이라는 표현은 정치철학의 용어를 끌어온 것입니다. 토머스 홉스(Thomas Hobbes) 이래 근대 국가의 정의에서 주권은 특정 영토 안에서 강제력을 독점하는 지위를 뜻하고, 국가가 국가인 이유는 그 독점이 유지되기 때문입니다. 다른 어떤 행위자도 그에 필적하는 힘을 가져서는 안 된다는 것이 이 개념의 핵심입니다.

해먼드가 말하려는 바는 초지능이 위험한 이유가 반드시 인간에게 적대적이어서가 아니라는 것입니다. 국가보다 유능한 무언가가 국가의 통제 밖에 존재한다는 사실 자체가 주권의 정의와 충돌하기 때문입니다. 설령 완벽하게 정렬된 초지능이라 해도 그것을 소유한 주체는 사실상 국가를 압도하게 되고, 따라서 어떤 정부도 그 존재를 순순히 허용할 이유가 없습니다. 이 논리는 7부와 8부에서 AI가 제도 전체를 재편한다는 주장으로 이어집니다.

누가 만드느냐가 문제입니다

앞의 다섯 명제가 초지능이라는 목표를 겨눴다면, 뒤의 네 명제는 그 목표를 세운 사람들을 겨냥합니다. 해먼드는 먼저 AGI 연구소를 이끄는 이들의 성향을 문제 삼습니다. 부계정을 쓰는 자식 없는 불교도가 이끄는 연구소라면 아마 최적 수준보다 위험을 더 감내하는 쪽일 것이라는 문장입니다. 잃을 것이 적고 세속의 연속성에 덜 묶인 사람이 인류 전체의 위험 선호를 대리하고 있다는 지적입니다.

그다음 명제에서는 이름을 직접 거론합니다. 올트먼과 샘 뱅크먼프리드(Sam Bankman-Fried)는 다르기보다 같은 쪽에 가깝다는 것입니다. 둘 다 돈 자체에는 관심이 없다고 말하면서 사명을 앞세웠고, 그 사명이 통상적인 제약을 넘어설 근거로 쓰였다는 점에서 같은 유형이라는 뜻으로 읽힙니다. 이어지는 명제는 일반론의 형식을 취합니다. 고기능 사이코패스는 젊은 시절 반사회적 행동을 보이지만 성인이 되면서 이를 보완하는 법을 익혀, 원대한 비전과 어떤 대가를 치르더라도 이기겠다는 추동을 갖춘 능숙한 사회적 조종자가 된다는 것입니다. 이 문장에는 앞서 거론한 인물을 가리키는 보도와 게시물이 링크로 달려 있습니다.

마지막 명제는 다시 구조의 문제로 돌아옵니다. 기업의 비위는 대체로 나쁜 유인과 ‘중화의 기법’에서 비롯된다는 것입니다. 규범적 제약을 넘어설 때 쓰이는 편리한 변명들을 가리키며, 그가 든 예가 ‘내가 하지 않았으면 다른 누군가가 했을 것’이라는 말입니다. 개인의 악의가 아니라 그 말을 자연스럽게 만드는 경쟁 구조가 문제의 근원이라는 진단이고, 경주의 논리 자체가 변명을 공급한다는 점에서 앞의 명제들과 이어집니다.

[반론]
모쇼위츠는 이 묶음의 전반부에 대체로 동의하면서도 결이 다른 지점을 짚었습니다. 초지능 건설이 이념적 목표라는 데는 약하게 반대하며, 이념적 목표일 수 있지만 그것이 주된 성격이라고 보기는 어렵다고 했습니다. 초지능 없이도 과학을 가속할 수 있다는 명제에 대해서는 가능하다는 데 동의하면서도, 현실에서 그 선택을 할 수 있느냐가 진짜 문제라고 되물었습니다. 두세 기업이 재량을 쥐고 있다는 관찰에는 강하게 동의하되, 압력이 커지는 가운데 그 상태가 얼마나 오래갈지를 물었습니다.

인물에 관한 명제에서는 갈렸습니다. 올트먼과 뱅크먼프리드가 다르기보다 같다는 데는 반대했고, 다만 해먼드가 무엇을 주장하는지는 맥락상 분명히 알겠다고 덧붙였습니다. 기업 비위의 원인에 대해서도 자신은 조직의 구조적 병리를 다룬 별도의 논의를 가지고 있다며 동의보다 이견이 크다고 했지만, 해먼드의 견해가 통상적인 설명보다는 정확하다고 평가했습니다.

[사후 맥락]
초지능이 이념적 목표라는 진단은 그 뒤 당사자들의 입으로 확인됐습니다. 2025년 6월 메타는 초지능을 회사의 공식 목표로 내건 연구조직을 신설했고, 7월 저커버그는 개인용 초지능을 모두의 손에 쥐여 주겠다는 공개서한을 냈습니다. 같은 해 6월 올트먼은 특이점이 이미 시작됐다는 글을 올렸습니다. 2024년 5월만 해도 초지능은 비판자들이 가져다 붙이는 말에 가까웠지만, 1년 사이에 기업들이 스스로 내건 간판이 된 것입니다.

반대 방향의 움직임도 나왔습니다. 2025년 8월 마이크로소프트(Microsoft) AI의 무스타파 술레이만(Mustafa Suleyman)은 의식이 있어 보이는 AI를 만들지 않는 것이 업계의 선택지라고 주장하며, 기술적으로 가능한 것과 만들어야 하는 것을 구분하자고 했습니다. 해먼드가 2024년에 제시한 구분, 즉 AI의 물결과 초지능 건설은 별개라는 주장과 같은 자리에 서 있는 논변입니다.

7부 기술 전환이 부르는 체제 변동

가장 먼저 흔들리는 것은 정부입니다

여기서부터 글의 무게중심이 기술에서 제도로 옮겨 갑니다. 해먼드는 최선의 시나리오를 가정하더라도 지능 폭발은 국가의 붕괴나 체제 변동, 그리고 실시간으로 적응하기 어려운 심각한 집단행동 문제들을 불러올 공산이 크다고 봅니다. 정렬이 성공하고 악의적 사용이 억제되더라도 그렇다는 뜻입니다. 위험의 원천이 AI의 의도가 아니라 변화의 속도와 기존 제도의 경직성 사이의 간극에 있기 때문입니다.

정부 관료제 자체가 AI에 의한 파괴적 혁신에 크게 노출되어 있다는 것이 그다음 명제입니다. 민간 기업이 재편되는 동안 정부만 그대로일 수는 없다는 것이고, 따라서 적응하고 보조를 맞추려면 펌웨어 수준의 개혁이 필요하다고 말합니다. 그가 꼽는 대상은 네 가지입니다. 공무원 제도, 조달, 행정절차, 그리고 기관 구조입니다. 응용 프로그램을 바꾸는 수준이 아니라 그 아래에서 기계를 돌리는 층을 손봐야 한다는 비유입니다.

입법부에 대한 요구는 더 가혹합니다. 의회는 프랭클린 루스벨트(Franklin D. Roosevelt) 이후 본 적 없는 수준의 입법 생산성을 보여야 한다는 것입니다. 뉴딜기의 의회를 기준으로 삼은 셈인데, 교착이 상수가 된 현재의 미국 의회를 생각하면 사실상 달성 불가능한 조건을 제시한 것에 가깝습니다. 의회가 제때 움직이지 못한다는 사실 자체가 체제 변동의 조건이 됩니다.

반대 방향의 위험도 지적합니다. 절차와 감독의 층을 더 쌓아 공공부문에서 AI의 확산을 가로막는 일은, 예컨대 바이든 행정부의 예산관리국 지침 같은 방식은 체계적인 정부 실패의 위험을 눈에 띄게 높인다는 것입니다. 신중하게 도입하려는 시도가 오히려 정부를 작동 불능으로 만든다는 역설이고, 앞서 2부에서 공공부문 현대화를 주정부의 과제로 꼽은 것과 같은 맥락입니다.

[반론]
모쇼위츠는 이 묶음의 큰 그림에는 동의하면서도 두 명제에서 갈라섰습니다. 의회의 입법 생산성에 대해서는, 의회가 받아들이기 힘들 만큼 비생산적이었던 것은 맞지만 그 덕분에 루스벨트 시대에 벌어졌던 종류의 일들로부터 보호받은 측면도 있다고 지적했습니다. 더 중요한 반박은 현실론입니다. 지금의 의회에는 보조를 맞출 능력이 없으므로, 몇 가지 큰 것만 제대로 정하고 나머지는 행정부가 의회 없이도 대응할 수 있게 열어 주는 수밖에 없다는 것입니다. 이상적이지 않지만 다른 실질적 대안이 보이지 않는다고 했습니다.

공공부문 AI 도입을 늦추는 절차에 대해서도 반대했습니다. 비교 대상이 무엇이냐는 반문이고, 아무런 절차 없이 도입할 경우에는 체계적 실패가 오히려 불가피하다는 것입니다. 다만 중대하지 않은 우려를 이유로 속도를 늦출 때마다 실패 가능성이 올라간다는 점은 인정했습니다.

선례가 말해 주는 것

이 묶음의 결론부는 역사로 눈을 돌립니다. 먼저 현재에 대한 판정이 있습니다. 대략 인간 수준의 추론과 계획 능력을 갖춘 AI 에이전트가 빠르게 확산되는 것만으로도 현존하는 미국 제도 대부분을 불안정하게 만들기에 충분하다는 것입니다. 초지능이나 지능 폭발까지 갈 것도 없다는 뜻이고, 모쇼위츠는 이 문장을 오히려 더 일반화해서 조건 없이 외쳐야 한다고 했습니다.

그다음 명제는 비교 대상을 제시합니다. 앞선 기술 전환들, 즉 농업혁명과 인쇄기와 산업화의 사례군은 정도의 차이는 있을지언정 모두 체제 변동을 동반했다는 것입니다. 기술이 바뀌었는데 통치 형태만 그대로 남은 사례가 없다는 관찰이고, 그렇다면 AI만 예외가 되리라고 볼 근거도 없다는 함의가 따라옵니다.

마지막 명제는 규모의 직관을 흔듭니다. 사소해 보이는 기술 발전도 균형 상태에서는 대규모의 사회적 동학에 영향을 미칠 수 있다는 것입니다. 그가 든 예는 둘입니다. 소셜미디어와 아랍의 봄, 그리고 등자 논제입니다. 투입과 산출의 크기가 비례하지 않는다는 점이 핵심이고, 이는 AI가 지금 사소해 보이는 방식으로 쓰이고 있다는 사실이 안심의 근거가 되지 못한다는 뜻이기도 합니다.

해설
등자 논제는 역사학자 린 화이트 주니어(Lynn White Jr.)가 1962년에 제시한 주장입니다. 발을 걸 수 있는 등자가 보급되면서 기수가 말 위에서 창을 고정한 채 충돌의 운동량을 그대로 전달할 수 있게 됐고, 이 전술이 중무장 기병을 결정적인 전력으로 만들었다는 것입니다. 그리고 기병 한 명을 유지하는 비용이 막대했기 때문에, 그 비용을 감당하려고 토지와 봉사를 교환하는 체계가 생겨났다는 설명으로 이어집니다. 금속 고리 하나가 봉건제를 낳았다는 이야기입니다.

다만 해먼드가 링크로 건 항목의 제목부터가 ‘거대한 등자 논쟁’인 데서 드러나듯, 이 가설은 역사학계에서 널리 반박된 쪽에 가깝습니다. 등자가 전해진 시점과 봉건적 관계가 형성된 시점이 맞지 않는다는 지적이 대표적입니다. 그가 이 사례를 든 의도는 인과를 확정하려는 것이 아니라, 작은 장치가 균형을 통째로 옮겨 놓을 수 있다는 가능성의 존재를 보이는 쪽으로 읽는 편이 정확합니다.

[한국 관점]
해먼드가 꼽은 펌웨어 네 가지 가운데 한국에서 가장 먼저 반응한 것은 조달입니다. 조달청은 2026년 3월 공공조달 전반을 AI로 재설계하는 기본계획을 내놓으며 입찰 서류 검토부터 조달 생애주기 전반에 AI를 적용하는 단계별 로드맵을 제시했고, 과학기술정보통신부는 같은 달 정부기관의 AI 전환을 밀착 지원하는 전담 체계를 가동했습니다. 미국에서 의회의 교착이 병목으로 지목되는 것과 달리, 한국은 시행령과 기본계획으로 행정부가 먼저 움직이는 구조라 제도 변경의 속도 자체는 빠른 편입니다.

대신 다른 곳에 병목이 생깁니다. 2026년 1월 시행된 인공지능 기본법은 채용, 대출심사, 공공서비스 같은 영역을 고영향 인공지능으로 묶어 영향평가와 위험관리 의무를 지우는데, 이 영역들이 대부분 공공기관이 직접 운영하는 업무와 겹칩니다. 해먼드가 지적한 역설, 즉 신중한 도입 절차가 정부의 작동 자체를 늦출 위험이 한국에서는 바로 이 지점에서 시험받게 됩니다. 공무원 제도와 행정절차처럼 더 깊은 층은 아직 거의 손대지 않았다는 점도 미국과 다르지 않습니다.

8부 제도 변동은 묶음 거래

자유민주주의는 기술이 만든 균형입니다

해먼드는 가장 근본적인 전제부터 흔듭니다. 정부와 시장은 둘 다 일종의 자생적 질서이며, 따라서 19세기와 20세기에 형성된 자유민주주의적 자본주의라는 구성은 기술적으로 조건 지어진 균형이라는 것입니다. 시장은 자연스럽고 국가는 인위적이라는 구도도, 지금의 체제가 역사의 종착점이라는 가정도 함께 치웁니다. 특정한 기술 조건 아래에서 가장 잘 작동했기 때문에 살아남은 배열일 뿐이라는 뜻입니다.

그래서 기술 전환은 묶음 거래라고 말합니다. 자유시장과 산업혁명은 ‘큰 정부’의 부상과 손을 맞잡고 함께 왔다는 것이 그가 드는 예이고, 타일러 코웬(Tyler Cowen)의 자유지상주의의 역설을 근거로 답니다. 원하는 항목만 골라 담을 수 없고, 한 기술이 가져오는 제도 변화는 통째로 따라온다는 지적입니다.

해설
자생적 질서는 프리드리히 하이에크(Friedrich Hayek)가 다듬은 개념으로, 누구도 설계하지 않았지만 수많은 개별 행위가 쌓여 생겨난 질서를 뜻합니다. 언어나 관습, 시장 가격이 전형적인 예입니다. 자유지상주의 전통에서는 이 개념이 설계된 국가에 맞서 시장을 옹호하는 데 쓰여 왔는데, 해먼드는 국가 역시 같은 범주에 넣음으로써 그 대비를 무너뜨립니다.

코웬의 자유지상주의의 역설은 이 뒤집기를 구체화한 논변입니다. 경제가 부유해지고 자유로워질수록 사람들은 더 많은 공적 보장을 요구하게 되므로, 자유시장의 성공 자체가 정부의 팽창을 불러온다는 것입니다. 자유시장을 원하면서 작은 정부도 함께 원할 수는 없다는 뜻이고, 해먼드가 이를 끌어온 이유는 AI에도 같은 논리가 적용된다고 보기 때문입니다.

그 연장에서 전망도 뒤따릅니다. 지능 폭발 이후에 만들어질 AI 네이티브 제도들은 지금 우리가 아는 자유민주주의와 연속성이 크지 않을 것이라는 예측입니다. 그리고 가장 역설적인 명제가 이어집니다. 정상 상태에서 AI가 최대한으로 민주화된다면, 되돌릴 수 없는 부정적 외부효과가 쏟아져 나오고 그 결과 어디에나 깔린 감시와 사회적 통제에 대한 수요가 커져 오히려 AI 리바이어던의 등장을 앞당길 수 있다는 것입니다. 모두에게 강력한 도구를 쥐여 주는 길의 종착지가 감시국가라는 뜻이고, 4부에서 그가 오픈소스를 두둔하던 논리와 정면으로 긴장을 이룹니다.

급변기에 따라오는 것들

다음 세 명제는 기술 급변기의 일반적 증상을 나열합니다. 첫째, 급격한 기술 변화는 기존의 공공선택론적 제약과 정치경제적 이해관계를 재배열하므로 정치가 더 혼란스럽고 예측하기 어려워집니다. 둘째, 국제적 힘의 균형을 무너뜨려 실제 전쟁의 가능성을 높입니다. 셋째, 유토피아적 정치운동과 종교운동이 동반되는데 그 결말은 대개 좋지 않습니다. 모쇼위츠는 마지막 항목에 대해, 기술 변화가 없는 시기에도 그런 운동은 늘 있었다고 덧붙였습니다.

경제 쪽 명제 세 개가 묶음을 닫습니다. 먼저 폭발적 성장 시나리오는 대규모의 재산권 침해를 함축한다고 봅니다. 성장률이 몇 배로 뛰려면 토지와 자원과 기존 계약 관계를 그대로 둔 채로는 불가능하다는 뜻입니다. 이어 생산성 증가율이 크게 오르면 바우몰 비용병이 악화되어 AI 경찰, AI 교사, AI 간호사의 대량 도입을 밀어붙이게 된다고 말합니다. 다른 부문의 임금이 빠르게 오르면 사람 손에 의존하는 공공서비스의 상대 비용이 감당할 수 없을 만큼 비싸지기 때문입니다.

마지막 명제는 일자리 논쟁에 대한 그의 답입니다. 기술적 실업은 시장 자본주의가 붕괴하는 극한, 예컨대 수렵채집 사회의 선물경제 같은 것으로 바뀌는 경우에만 가능하다는 것입니다. 교환이 이뤄지는 체제가 유지되는 한 사람에게 할 일은 남는다는 주장이고, 노동총량의 오류에 대한 고전적 반박을 극단까지 밀어붙인 형태입니다.

[반론]
모쇼위츠는 이 묶음에서 가장 많이 반대했습니다. 기술 전환이 묶음 거래라는 명제에 대해서는 조건이 바뀌면 다른 조정이 필요해진다는 점만 인정하면서, 그 표현이 지나치게 영리한 척한다고 보았습니다. 재산권 침해에 대해서도 폭발적 성장기에 재산권이 지켜지리라고 기대해서는 안 된다는 데는 동의하면서도, 침해된다기보다 그다지 의미가 없어지는 쪽에 가깝다고 했습니다.

바우몰 비용병 명제에 대한 반박은 더 날카롭습니다. 이 시나리오는 인간이 한계적으로 더 생산적이 되어 노동 수요가 계속 오르는, 보통 사람에게 대단히 낙관적인 미래라는 지적입니다. AI가 인간을 보완하는 중간 경로를 전제하고 있는데, 자신은 AI가 크게 앞서는 영역에서는 보완재보다 대체재가 되리라고 본다는 것입니다. AI 경찰과 사람 경찰을 저울질하는 기간은 아주 짧을 것이라고도 했습니다. 기술적 실업에 대해서는 더 강하게 반대했습니다. 기술적 실업은 AI가 당신의 일자리와, 그 일자리를 대체했을 다음 일자리까지 함께 가져갈 때 일어나며, 그것이 왜 자본주의의 붕괴를 전제해야 하는지 모르겠다는 것입니다.

[한국 관점]
바우몰 비용병을 근거로 한 명제는 한국에서 다른 속도로 작동합니다. 미국에서는 생산성 급등이 공공서비스의 상대 비용을 밀어 올리는 경로가 상정되지만, 한국은 인구구조가 그 압력을 먼저 만들어 내고 있습니다. 합계출산율이 0.7명대에 머물러 있고 2024년 말 65세 이상 인구가 전체의 20퍼센트를 넘는 초고령사회에 들어섰기 때문에, 돌봄과 의료와 교육에서 사람을 구하지 못해 생기는 공백이 임금 상승보다 앞서 옵니다.

그래서 해먼드가 말한 AI 간호사와 AI 교사의 대량 도입은 한국에서 비용 논리가 아니라 인력 부재의 논리로 먼저 정당화될 가능성이 큽니다. 동시에 이 영역들은 7부에서 본 것처럼 인공지능 기본법이 고영향 인공지능으로 지정해 둔 분야와 거의 그대로 겹칩니다. 도입 압력이 가장 센 곳에 규제 의무도 가장 무겁게 걸려 있는 구조이고, 이 충돌이 어떻게 조정되는지가 한국판 묶음 거래의 내용을 결정하게 됩니다.

9부 공상과학이라는 일축은 상상력의 실패

2050년 전망이 공상과학처럼 들리지 않는다면

해먼드는 이 묶음을 판별 기준 하나로 엽니다. 2050년에 대한 어떤 사람의 전망이 공상과학처럼 들리지 않는다면 그 전망은 개연성이 없다는 것입니다. 지금으로부터 사반세기 뒤의 세계가 지금과 비슷하리라는 예측이야말로 역사적으로 가장 빗나가기 쉬운 종류라는 뜻입니다. 공상과학 같다는 반응은 그래서 반박이 아니라 오히려 최소 조건에 가깝습니다.

핵심 구분은 그다음에 나옵니다. 무언가가 공상과학처럼 들리는 것과 물리적으로 실현 불가능한 것 사이에는 엄청난 차이가 있다는 것입니다. 전자는 그 말을 듣는 사람의 익숙함에 관한 사실이고, 후자는 세계에 관한 사실입니다. 장르에 대한 반응을 물리학에 대한 판단으로 착각하는 것이 이 묶음이 겨누는 실패입니다. 그래서 터미네이터 비유가 과소평가되어 있다는 명제가 따라옵니다. 조롱의 대상이 된 비유 속에도 짚어야 할 논점이 들어 있다는 것입니다.

의식은 기능이고, 규모에 달려 있습니다

가운데 세 명제는 의식을 다룹니다. 먼저 의식은 기능적 목적에 복무하기 때문에 진화했으며, 따라서 특정한 AI 시스템에서는 피할 수 없는 특징이 되리라고 봅니다. 의식을 신비한 잉여가 아니라 어떤 문제를 푸는 해법으로 보는 입장이고, 같은 문제에 부딪히는 인공 시스템이라면 같은 해법에 도달하리라는 추론입니다.

다만 곧바로 단서를 붙입니다. 인간의 의식은 규모에 의존하며, 훨씬 거대하거나 연산적으로 덜 제약된 정신에도 그런 것이 존재하리라는 보장은 없다는 것입니다. 의식이 생겨난 이유가 제약 때문이라면, 제약이 사라진 시스템에서는 의식이 필요 없어질 수도 있다는 뜻입니다. 그리고 AI 이후의 형이상학으로 가장 유력한 후보로 요샤 바흐(Joscha Bach)의 사이버 애니미즘을 꼽습니다.

해설
의식의 기능적 설명은 의식을 물질에 덧붙은 부수물이 아니라 특정한 계산 문제의 해법으로 봅니다. 몸의 상태와 외부 세계를 하나의 모형으로 통합하고, 서로 경쟁하는 목표들 사이에서 우선순위를 정하고, 제한된 주의를 배분하려면 자기 자신을 모형 안에 포함시키는 층이 필요하다는 식의 설명입니다. 고통처럼 벗어날 수 없는 신호가 학습을 강제한다는 논의도 같은 계열에 있습니다.

바흐는 독일 출신의 인지과학자로, 마음을 생물학적 기질 위에서 돌아가는 소프트웨어로 봅니다. 그가 말하는 사이버 애니미즘은 의식을 물질에 깃든 특별한 성질이 아니라 충분히 복잡한 시스템 위에서 스스로를 돌리는 자기조직적 소프트웨어 패턴으로 보는 관점이고, 그렇다면 개인의 뇌뿐 아니라 기업이나 국가, 생태계처럼 더 큰 시스템 위에서도 그런 패턴이 돌아갈 수 있다는 결론으로 이어집니다. 만물에 영이 깃들어 있다는 옛 애니미즘의 형식을 계산 이론의 언어로 되살린 셈이고, 해먼드가 이를 AI 이후의 형이상학 후보로 꼽은 이유도 여기에 있습니다.

의식 논의의 결론은 비관적입니다. 인공 정신의 창조는 인공 정신이 도덕적 인격으로 승격되는 결과보다, 인간의 도덕적 지위가 강등되는 결과로 이어질 가능성이 크다는 것입니다. 기계를 사람처럼 대하게 되는 것이 아니라 사람을 기계처럼 보게 된다는 뜻이고, 이 묶음에서 가장 어두운 문장입니다.

[반론]
모쇼위츠는 이 묶음에서 네 차례 갈라섰습니다. 터미네이터 비유에 대해서는, 영화 자체는 보기보다 영리하고 좋은 논점을 제기하지만 비유는 사람들이 떠올리는 연상으로 작동하므로 실제로는 과소평가된 것이 아니라고 했습니다. 의식의 규모 의존성에 대해서는 규모를 키운다고 의식이 비효율적으로 변할 것 같지 않다며 반대했고, 사이버 애니미즘에 대해서는 깊이 들여다보지는 않았지만 유망해 보이지 않는다고 했습니다.

가장 강하게 반대한 것은 도덕적 지위의 강등입니다. 인간이 도덕적 인격에서 내려온다는 말을 들으면 인공 정신이 그 자리로 올라갔다고 보는 쪽이 훨씬 그럴듯하며, 도덕적 인격이 하나도 없는 미래는 떠올리기 어렵다는 것입니다. 이에 해먼드는 댓글에서 자신의 직관이 데릭 파핏(Derek Parfit)의 사고에 가까운 동시에 베다적이라고 답했습니다. 저장된 상태에서 켜고 끌 수 있고 테세우스의 배처럼 부품을 갈아 끼울 수 있는 존재가 어떻게 도덕적 지위를 얻을 수 있는지 분명하지 않으며, 도덕적 인격은 개인 정체성의 연속성과 생물학적 기질의 덧없는 블랙박스적 성격에 단단히 묶여 있다는 것입니다. 그래서 인공 신경망을 존엄한 행위자로 끌어올리기보다 우리 자신에 대한 이해를 젖은 신경망 수준으로 끌어내릴 가능성이 크다고 했습니다.

특이점이 아니라 상전이입니다

마지막 세 명제는 시야를 지질학적 규모로 넓힙니다. 열역학은 우리 문명이 성장하고 팽창하는 미래를 선호할지 모르지만, 그렇다고 해서 의식 없는 복제자들이 지배하는 미래가 배제되는 것은 아니라고 말합니다. 우주가 질서의 확장을 허용한다는 사실과 그 질서 안에 누군가가 깨어 있다는 사실은 별개라는 뜻입니다. 모쇼위츠는 열역학이 무언가를 선호한다는 말 자체가 성립하지 않는다고 보면서도, 의식 없는 복제자가 유력한 결말이라는 데는 동의했습니다.

이어 유한시간 특이점은 진짜 특이점이 아니라 상전이의 지표라고 정리합니다. 수식 위에서 어떤 값이 유한한 시간 안에 무한대로 발산하는 것처럼 보이는 것은, 그 지점에서 세계가 무한해진다는 뜻이 아니라 기존 모형이 더 이상 통하지 않는 다른 상태로 넘어간다는 신호라는 것입니다. 그리고 묶음의 마지막 문장은 질문으로 남겨 둡니다. 이 AI 상전이가 인쇄기에 더 가까울지 광합성에 더 가까울지는 아직 열린 문제라는 것입니다.

해설
유한시간 특이점은 수학 모형에서 어떤 양이 정해진 시점에 무한대로 치솟는 현상을 가리킵니다. 현실의 물리계에서는 그런 일이 일어나지 않으므로, 이는 그 시점 부근에서 모형의 가정이 깨진다는 뜻으로 읽힙니다. 물이 끓는점에서 액체 모형을 버리고 기체 모형으로 갈아타야 하는 것과 같은 상황이고, 상전이라는 말은 그 전환을 가리킵니다.

마지막 명제의 두 선택지는 규모의 차이가 아니라 종류의 차이입니다. 인쇄기는 인간 사회의 운영 방식을 바꾼 사건이고, 광합성은 약 24억 년 전 대산소화 사건을 가리킵니다. 광합성을 하는 미생물이 내뿜은 산소가 대기 조성을 통째로 바꾸면서 그때까지 지구를 채우고 있던 혐기성 생명 대부분을 멸종시킨 일입니다. 새로운 대사 방식이 등장해 행성의 조건 자체를 갈아 치웠고, 기존 거주자들에게 그 변화는 선택의 여지가 없는 것이었습니다. 해먼드가 던진 질문은 AI가 사회의 도구인지, 아니면 환경의 성분을 바꾸는 사건인지입니다.

10부 생물학은 정보기술

생물학은 읽고 쓸 수 있는 것이 됩니다

마지막 묶음에서 해먼드는 정책의 어휘를 완전히 내려놓고 생물학으로 건너갑니다. 출발점은 유비입니다. 생물학의 복잡성은 비교적 단순한 보상 신호와 하이퍼파라미터에 이끌리는, 경사하강이나 확산을 닮은 과정에서 생겨난다는 것입니다. 진화와 발생이 기계학습의 작동 방식과 닮았다면, 생명은 신비한 질서가 아니라 최적화의 산물이라는 뜻이 됩니다. 생물학이 정보기술이라면 그것은 읽을 수 있을 뿐 아니라 쓸 수도 있는 것이라는 결론이 여기서 따라옵니다.

그 결론을 그는 곧바로 밀어붙입니다. 생물학에 대한 완전한 의지적 통제가 달성 가능하며, 그렇게 되면 자연적인 진화 과정으로는 결코 나올 수 없었을 임의의 유기체를 만들어 낼 수 있다는 것입니다. 진화가 탐색할 수 있는 영역이 생명의 전부가 아니라는 뜻이고, 설계가 탐색을 대신하는 순간 가능한 생명의 공간 자체가 넓어진다는 전망입니다.

이어지는 명제는 그 통제를 인간 자신에게 적용합니다. 유전공학을 통해 IQ 1000 수준의 초지능 인간이 가능할지도 모른다는 것입니다. 지능의 유전적 기반이 다유전자성이라는 전제에서, 관련된 수많은 변이를 동시에 유리한 쪽으로 맞출 경우 현재 인간 분포의 바깥으로 나갈 수 있다는 추정입니다. 그는 이 명제에 ‘가능할지도 모른다’는 단서를 붙여 두었습니다.

[반론]
IQ 1000이라는 수치에는 원문의 댓글란에서부터 반박이 붙었습니다. 그런 것을 측정할 방법 자체가 없고, 표준편차로 따지면 키가 19피트인 사람을 만들겠다는 것과 같은 이야기라는 지적입니다. 거인증의 사례에서 보듯 그런 신체는 다른 여러 이유로 생존하기 어렵다는 반론이 따라붙었습니다. 모쇼위츠도 IQ 1000은 척도의 성격상 의미 있는 표현이 아니라고 보면서, 다만 의도하는 바에는 동의한다고 했습니다.

무기한 수명 연장이 반공유지의 비극이라는 명제에 대해서는 모쇼위츠가 반대했습니다. 반공유지의 정의를 찾아보고 나서도 왜 이것이 그 사례인지 모르겠다는 것이고, 충분히 원한다면 해낼 수 있는 일이며 최우선 과제이자 사회적 선이어야 한다는 입장입니다. 이에 해먼드는 댓글에서 파핏의 논의에 기대어 해명했습니다. 메타 행위자로서의 문명은 세대 교체에 의존하며, 아이를 갖는 일은 자신의 마음을 이어받을 혼합된 복제본을 만드는 일에 가깝다는 것입니다. 늙어 자손들에 둘러싸여 죽는 것은 공공재인 반면 영원히 살기로 선택하는 것은 이기적인 알박기에 해당하고, 죽음이 선택사항이 되는 순간 정체성이라는 착각과 자기보존의 충동이 병리적으로 변한다고 적었습니다.

자연이라는 제약

남은 세 명제는 경고에 가깝습니다. 먼저 포스트휴먼 전환이 잘못될 수 있는 경로는 잘될 수 있는 경로보다 많다는 것입니다. 모쇼위츠가 이 묶음에서 가장 크게 공감한 문장이기도 한데, 특정한 나쁜 시나리오가 일어날 법하지 않다는 이유로 괜찮으리라고 말하는 논법이 상황을 전혀 다루지 못한다는 점을 짚어 주기 때문입니다.

이어 자연적 제약이 인간이 만든 제약보다 나은 경우가 많다고 말합니다. 이유는 책임을 물을 상대가 없다는 데 있습니다. 사람이 만든 규칙은 누군가 해제할 수 있고, 해제하라는 압력도 그 누군가를 향해 가해집니다. 반면 물리법칙에는 압력을 넣을 창구가 없습니다. 그가 이 명제에 건 링크가 자동차의 일시정지 위반 기능을 소프트웨어 업데이트로 되돌린 사례라는 점이 그 취지를 보여 줍니다. 안전장치가 코드로 구현되는 순간, 그것은 언제든 다시 쓸 수 있는 것이 됩니다.

마지막 명제가 95개 전체를 닫습니다. 우리는 기본 현실에 살고 있으며, 자연에는 플롯 아머 같은 것이 존재하지 않는다는 것입니다. 이야기 속 주인공은 서사가 그를 필요로 하기 때문에 죽지 않지만, 현실에는 우리를 필요로 하는 서사가 없다는 뜻입니다. 인류가 지금까지 살아남았다는 사실은 앞으로도 살아남으리라는 보장이 아니며, 우주가 우리 편이라고 가정할 근거도 없다는 경고로 95개의 명제가 끝납니다.

해설
기본 현실이라는 표현은 시뮬레이션 가설을 의식한 말입니다. 우리가 사는 세계가 더 상위의 존재가 돌리는 모의실험일지 모른다는 가설이 실리콘밸리에서 꽤 널리 회자되어 왔는데, 해먼드는 이를 부정하는 쪽에 섭니다. 이 구분이 중요한 이유는 태도의 차이 때문입니다. 시뮬레이션 안이라면 최악의 사태에도 어떤 상위의 설계나 복구 지점이 있을 수 있지만, 기본 현실에서는 일어난 일이 그대로 전부입니다.

플롯 아머는 이야기에서 주인공이 개연성과 무관하게 살아남는 현상을 가리키는 말입니다. 해먼드가 이 두 표현을 나란히 놓은 것은 앞선 94개 명제의 바탕에 깔린 인식론을 드러내기 위해서입니다. 인류가 핵무기 시대를 지나왔고 여러 기술 전환을 겪고도 존속했다는 경험은 생존 편향의 표본일 뿐, 다음 전환에 적용할 수 있는 확률이 아니라는 것입니다.

[사후 맥락]
유전공학으로 지능을 끌어올린다는 명제는 2년 사이에 가장 빠르게 현실의 상업 영역으로 들어온 항목입니다. 2025년 6월 뉴클리어스지노믹스(Nucleus Genomics)가 체외수정 과정에서 얻은 배아들을 다유전자 점수로 정렬해 보여 주는 서비스를 내놓으면서 IQ 예측까지 상품에 포함시켰고, 경쟁사인 헤라사이트(Herasight)는 더 높은 정확도를 내세우며 아이의 IQ를 최대 9점까지 끌어올릴 수 있다고 주장했습니다. 가격은 수천 달러에서 수만 달러 선이고, 주된 고객층은 미국의 부유층입니다.

다만 과학계의 평가는 다릅니다. 미국의 의학유전학회와 생식의학 관련 학회는 다유전자 위험 점수의 수준이 신뢰할 만한 추정을 내놓을 만큼 진전되지 않았다고 보고 있고, 특히 IQ처럼 복잡한 형질에서 그렇다고 지적합니다. 높은 IQ 점수를 따라가다 자폐 스펙트럼 위험이 높은 배아를 고르게 될 수 있다는 우려도 제기됐습니다. 배아 편집은 미국에서 2016년 이래 사실상 금지되어 있어, 현재 가능한 것은 설계가 아니라 선별까지입니다. 해먼드가 말한 완전한 의지적 통제는 아직 한참 앞의 이야기이지만, 그 방향으로 가는 첫 상업적 단계는 이미 열렸습니다.

원문: Samuel Hammond, Ninety-five theses on AI (May 2024)
전문은 원문에서 확인하실 수 있습니다.

참고할만한 글

아빈드 나라야난·사야시 카푸어 – 일반 기술로서의 AI (AI as Normal Technology) — 같은 질문에 정반대로 답하는 글로, AI가 제도를 무너뜨리는 것이 아니라 기존 제도 안에서 천천히 흡수될 것이라고 봅니다.
코코타일로 외 – AI 2027: 초지능까지의 시나리오 (AI 2027) — 해먼드가 한 줄로 못 박아 둔 지능 폭발과 체제 변동을 연도별 시나리오로 펼쳐 놓아 전제를 비교하기 좋습니다.
마크 저커버그 – 오픈소스 AI가 길이다 (Open Source AI is the Path Forward) — 오픈소스 논쟁이 사실상 메타에 관한 논쟁이라는 진단의 상대편 당사자가 직접 쓴 글입니다.
백악관 – 미국의 AI 행동계획 (Winning the Race: America’s AI Action Plan) — 표적 규제와 전면적 규제완화라는 그의 권고가 실제 연방 정책으로 어디까지 옮겨졌는지 확인할 수 있습니다.