아빈드 나라야난·사야시 카푸어 – 일반 기술로서의 AI (AI as Normal Technology)

원문: Arvind Narayanan, Sayash Kapoor, AI as Normal Technology (Apr 2025) 전문은 원문에서 확인하실 수 있습니다. 아래 글은 번역이 아니라, 아빈드 나라야난과 사야시 카푸어의 논증을 한국어로 재구성한 정리입니다.

글의 배경과 개요

아빈드 나라야난(Arvind Narayanan)과 사야시 카푸어(Sayash Kapoor)는 프린스턴대학에서 AI의 사회적 영향을 연구해 온 컴퓨터과학자로, 2024년 저서 『AI Snake Oil』로 AI 과장 담론을 비판해 왔습니다. 이 글은 2025년 4월 컬럼비아대학 나이트 수정헌법 제1조 연구소(Knight First Amendment Institute)의 ‘AI와 민주적 자유’ 프로젝트 산하 에세이·학술 시리즈에 발표되었습니다. 글이 답하려는 질문은, AI의 경제적·사회적 영향이 어떤 속도와 경로로 나타나며 그 전제 위에서 위험과 정책을 어떻게 다시 짜야 하는가입니다. 논증은 네 단계로 진행됩니다. 1부는 발명·혁신·채택·확산을 분리해 영향이 수십 년 단위로 느리게 나타나는 이유를 제시하고, 2부는 ‘지능’을 능력과 권력으로 분해해 초지능 서사를 해체하며, 3부는 사고·군비경쟁·오용·정렬 실패(misalignment)·시스템적 위험을 재평가하고, 4부는 비확산 대신 회복탄력성 중심의 정책 원칙을 제시합니다. 두 사람은 자신들의 예측이 확실하다고 주장하지 않고, 확률을 수치화하지 않은 채 ‘중앙값 시나리오’를 서술한다고 명시합니다.

핵심 내용 정리

• AI를 일반 기술(normal technology)로 본다는 것은 영향력을 깎아내리는 말이 아니라, 전기나 인터넷처럼 사회·제도와 상호작용하며 수십 년에 걸쳐 작동하는 범용기술로 본다는 뜻입니다.
• AI 방법론의 진보 속도와 실제 사회적 영향의 속도는 다른 문제이며, 영향은 응용 개발과 확산 단계에서 결정되므로 제도·조직·개인의 적응 속도가 병목입니다.
• 벤치마크 성적은 방법론 진보의 지표일 뿐 실세계 유용성의 지표가 아니며, 이 혼동이 임박한 경제 변혁에 대한 과장을 낳았습니다.
• ‘초지능’은 통상적 개념화 방식으로는 일관성이 없으며, 중요한 것은 지능이 아니라 환경을 바꾸는 능력, 즉 권력입니다.
• 고도화된 AI 세계에서도 통제권은 사람과 조직에 남으며, 인간 노동의 점점 더 큰 몫이 AI를 통제하고 과업을 명세하는 일로 재편됩니다.
• 오용과 정렬 실패에 대한 주된 방어선은 모델 정렬이 아니라 모델 하류의 공격 표면에 있어야 하며, 파국적 정렬 실패는 가장 사변적인 위험입니다.
• 정책은 비확산이 아니라 회복탄력성을 중심에 두어야 하며, 초지능 전제의 과격한 개입은 AI가 일반 기술로 판명될 경우 불평등과 권력 집중이라는 실제 위험을 악화시킵니다.

서문: 일반 기술이라는 세 겹의 주장

나라야난과 카푸어가 제시하는 핵심 개념은 일반 기술입니다. 두 사람은 이 표현이 AI의 영향력을 과소평가하는 말로 읽히는 것을 경계합니다. 전기와 인터넷처럼 사회를 바꾼 범용기술(General Purpose Technology, GPT)도 이들의 개념 틀에서는 똑같이 ‘일반’ 기술이기 때문입니다.

대비되는 것은 AI의 미래를 그리는 유토피아적 전망과 디스토피아적 전망입니다. 두 전망은 정반대의 결론에 도달하지만, AI를 인류와 구별되는 별개의 종(種), 즉 고도로 자율적이며 잠재적으로 초지능적인 존재로 취급한다는 공통점을 갖습니다. 나라야난과 카푸어는 이 공통 전제 자체를 문제 삼습니다.

서술이자 예측이자 처방

“AI는 일반 기술이다”라는 명제는 세 가지를 동시에 담고 있다고 두 사람은 정리합니다. 현재의 AI에 대한 서술이고, 예견 가능한 미래의 AI에 대한 예측이며, 우리가 AI를 어떻게 다루어야 하는가에 대한 처방입니다. 이 세 층위를 구분하지 않으면 논쟁이 엉킵니다.

AI는 우리가 통제권을 유지할 수 있고 또 유지해야 하는 도구이며, 그 목표를 이루기 위해 극단적인 정책 개입이나 기술적 돌파구가 필요하지는 않다는 것이 두 사람의 입장입니다. AI를 인간과 유사한 지능으로 바라보는 관점은 사회적 영향을 이해하는 데 현재로서도 정확하지 않고 유용하지도 않으며, 이들이 그리는 미래에서도 그러할 가능성이 높다고 봅니다. 다만 각주에서 한 가지 단서를 답니다. 이것은 개별 사용자가 특정 AI 시스템을 도구로 생각하는 편이 나은지, 아니면 인턴·동료·개인교사 같은 인간적 존재로 생각하는 편이 나은지의 문제와는 별개라는 것입니다.

해설 두 사람이 겨냥하는 ‘초지능’ 담론에는 구체적인 계보가 있습니다. 각주에서 인용된 닉 보스트롬(Nick Bostrom)의 2012년 논문과 2014년 저서 『Superintelligence』가 이 담론의 이론적 토대이며, 2023년 샘 올트먼(Sam Altman)·그레그 브록먼(Greg Brockman)·일리야 수츠케버(Ilya Sutskever)가 공동 발표한 오픈AI(OpenAI)의 「초지능의 거버넌스」 문서가 산업계 버전에 해당합니다. 즉 이 글의 반대 축은 특정 비관론자 한 명이 아니라, 학계와 선도 AI 기업이 공유해 온 하나의 세계관입니다.

또 하나 짚을 개념은 범용기술입니다. 경제사에서 범용기술은 특정 산업이 아니라 경제 전반에 걸쳐 쓰이며, 보완적 투자와 조직 재설계를 요구하기 때문에 생산성 효과가 지연되어 나타나는 기술을 가리킵니다. 생성형 모델 계열의 GPT와 약어가 같으니 혼동에 주의해야 합니다.

기술결정론의 거부

일반 기술이라는 틀은 기술 자체의 속성에 관한 주장이 아니라, 기술과 사회의 관계에 관한 주장입니다. 이 틀은 기술결정론을 거부하며, 특히 AI 자신이 스스로의 미래를 결정하는 행위자라는 발상을 거부합니다.

대신 과거 기술 혁명이 남긴 교훈, 즉 기술의 채택과 확산이 느리고 불확실하게 진행된다는 사실을 지침으로 삼습니다. 또한 사회적 영향의 측면에서 AI의 과거 궤적과 미래 궤적 사이에 연속성이 있으며, 그 궤적을 빚어내는 데 제도가 핵심적인 역할을 한다는 점을 강조합니다.

네 개 부의 구성

1부에서는 변혁적 경제·사회적 영향이 수십 년 단위로 느리게 나타날 것이라고 주장하며, 그 근거로 AI 방법론, AI 응용, AI 채택이라는 세 가지를 결정적으로 구분합니다. 이 셋은 서로 다른 시간 척도 위에서 움직인다는 것이 논점입니다.

2부에서는 오늘날보다 훨씬 고도화된 AI가 존재하는 세계에서 인간과 AI 사이에 어떤 분업이 성립할지를 다룹니다. 다만 그 세계의 AI는 ‘초지능’이 아닙니다. 통상적으로 개념화되는 방식의 초지능은 일관성이 없다고 두 사람은 판단하기 때문입니다. 그 세계에서 통제권은 일차적으로 사람과 조직의 손에 있으며, 사람들이 직무에서 하는 일 중 AI를 통제하는 일의 비중이 계속 커집니다.

3부는 AI를 일반 기술로 볼 때 위험 분석이 어떻게 달라지는지를 검토합니다. 사고, 군비경쟁, 오용, 정렬 실패를 차례로 분석하며, AI를 인간과 유사한 존재로 보는 관점과 비교하면 완화책에 대한 결론이 근본적으로 달라진다고 주장합니다. 4부는 정책적 함의를 다루며, 불확실성을 줄이는 것을 일급 정책 목표로, 회복탄력성을 파국적 위험에 대한 총괄 접근법으로 제시합니다.

4부의 핵심 경고는 분명합니다. 초지능 통제의 어려움을 전제로 한 과격한 개입은, 만약 AI가 실제로는 일반 기술로 판명될 경우 상황을 훨씬 악화시킨다는 것입니다. 그 경우 AI의 부정적 측면은 자본주의 사회에 배치된 과거 기술들의 그것, 이를테면 불평등을 그대로 닮을 가능성이 높습니다. 이 대목에서 두 사람은 대런 아제모을루(Daron Acemoglu)와 사이먼 존슨(Simon Johnson)의 『Power and Progress』를 인용합니다.

예측의 지위와 지평

두 사람은 자신들의 예측이 확실하다고 주장하지 않습니다. 목표는 중앙값 결과(median outcome)를 서술하는 것이며, 확률을 수치화하려 시도하지 않았습니다. 대신 AI가 일반 기술처럼 행동하고 있는지 아닌지를 판별할 수 있는 형태의 예측을 제시하려 했다고 밝힙니다.

2부가 묘사하는 세계는 오늘날보다 AI가 훨씬 발전한 세계입니다. 그러나 AI의 진보, 혹은 인류의 진보가 거기서 멈춘다고 주장하는 것은 아닙니다. 그다음에 무엇이 오는지에 대해 두 사람은 모른다고 답합니다.

여기서 제시되는 비유가 1차 산업혁명의 여명기입니다. 당시에 산업화된 세계가 어떤 모습일지 생각하고 대비하는 일은 유용했겠지만, 전기나 컴퓨터를 예측하려는 시도는 헛수고였을 것입니다. 이 글의 작업도 같은 성격이며, 급격한 이륙(fast takeoff) 시나리오를 거부하는 이상 그보다 더 먼 미래를 그리는 일은 필요하지도 유용하지도 않다는 것입니다. 2부의 시나리오가 현실화된다면, 그때 가서 다음에 올 것을 더 잘 예상하고 대비할 수 있을 것이라고 두 사람은 말합니다.

독자에게 부치는 단서

글 앞부분에 별도로 붙은 짧은 노트에서 두 사람은 이 에세이의 성격을 미리 밝힙니다. 이 글의 목표는 어떤 명제를 방어하는 것이 아니라 하나의 세계관을 진술하는 것이라는 점에서 통상적인 학술 에세이와 다릅니다.

AI 초지능에 관한 문헌은 방대하므로, 제기 가능한 모든 반론에 하나하나 대응하려 했다면 분량이 몇 배로 늘어났을 것이라고 설명합니다. 이 글은 자신들의 견해를 처음으로 정식화한 것일 뿐이며, 여러 후속 작업을 통해 구체화할 계획이라고 덧붙입니다.

[관점] 이 서문은 투자·정책 판단의 관점에서 보면 ‘지도의 교체’를 요구하는 문서입니다. 초지능 지도에서는 모델의 능력 곡선이 단일한 핵심 변수이고, 임계점 도달 시점이 모든 자산 배분과 규제 설계를 좌우합니다. 일반 기술 지도에서는 변수가 셋으로 갈라집니다. 방법론의 진보, 응용 제품화, 그리고 조직·제도의 흡수 속도입니다.

이 분기는 실무적으로 중요합니다. 전자의 지도를 따르면 모델 계층(파운데이션 모델, 컴퓨트, 전력)에 자본과 규제 주의가 집중되고, 후자의 지도를 따르면 가치는 응용 계층과 조직 재설계, 즉 워크플로 통합·데이터 정비·인력 재교육 쪽에서 나옵니다. 또한 전자는 ‘지금 당장 개발을 멈추거나 통제하라’는 정책을, 후자는 ‘배치 단계에서 부문별로 규율하라’는 정책을 함의합니다. 어느 지도가 맞느냐는 아직 열린 질문이지만, 두 지도가 서로 다른 행동을 처방한다는 점은 이 글의 뒷부분 전체를 읽는 열쇠입니다.

[이해관계] 나라야난은 프린스턴대학 컴퓨터과학 교수이자 동 대학 정보기술정책센터(CITP)를 이끌고 있으며, 2022-2023년에는 이 글을 게재한 나이트 연구소의 방문 선임연구원이었습니다. 카푸어는 프린스턴대학 CITP 박사과정 연구자이자 모질라(Mozilla) 선임연구원입니다. 두 사람은 2024년 프린스턴대학출판부에서 『AI Snake Oil』을 공저했고, 같은 이름의 뉴스레터를 운영하며, 이 논문을 다음 책으로 확장하겠다고 공개적으로 밝혔습니다.

즉 이 글은 AI 과장 담론 비판을 핵심 브랜드로 삼아 온 두 연구자가, 그 입장을 체계적 세계관으로 격상시키려는 작업입니다. 본문에서 인용되는 주요 선행 연구 상당수(「Against Predictive Optimization」, 「AI safety is not a model property」, 「AI existential risk probabilities are too unreliable to inform policy」 등)가 본인들의 글이라는 점도 함께 볼 필요가 있습니다. 이는 주장의 진위와는 별개의 문제이며, 발화 위치를 확인하는 차원입니다. 반대편인 오픈AI·앤트로픽(Anthropic) 등 선도 연구소 역시 초지능 서사에 기업적 이해가 걸려 있다는 점은 동일하게 적용됩니다.

1부 진보의 속도: 네 단어를 먼저 갈라놓기

나라야난과 카푸어가 1부를 여는 질문은 이것입니다. AI의 진보는 사람과 제도가 적응할 여유를 주면서 점진적으로 진행될 것인가, 아니면 거대한 혼란을 낳는 도약이, 심지어 기술적 특이점이 올 것인가.

이 질문에 접근하는 방식이 두 가지입니다. 첫째, 결과가 중대한 과업과 그렇지 않은 과업을 분리해서 분석합니다. 둘째, 혁신과 발명의 속도를 따지기 전에 채택과 확산의 속도부터 분석합니다. 순서를 뒤집은 것이 이 글의 전략적 선택입니다.

발명·혁신·채택·확산

두 사람은 네 개념을 엄밀히 구분합니다. 발명(invention)은 대규모 언어모델처럼 AI가 여러 과업을 수행하는 능력을 끌어올리는 새로운 AI 방법론의 개발을 가리킵니다. 혁신(innovation)은 소비자와 기업이 실제로 쓸 수 있는 AI 기반 제품과 응용을 개발하는 일입니다.

채택(adoption)은 개인이나 팀, 기업이 어떤 기술을 사용하기로 내리는 결정입니다. 확산(diffusion)은 그 채택 수준이 올라가는 더 넓은 사회적 과정을 뜻합니다. 충분히 파괴적인 기술이라면 확산을 위해 기업과 조직의 구조는 물론 사회 규범과 법률까지 바뀌어야 할 수 있습니다.

그림 1의 설명에서 두 사람이 압축한 명제는 이렇습니다. 다른 범용기술과 마찬가지로 AI의 영향은 방법론과 능력이 향상되는 순간에 실현되는 것이 아니라, 그 향상이 응용으로 번역되어 경제의 생산 부문들로 확산될 때 실현된다는 것입니다. 그리고 각 단계마다 속도 제한이 걸려 있습니다. 이 틀은 제프리 딩(Jeffrey Ding)의 『Technology and the Rise of Great Powers』에 기대고 있습니다.

• 발명 — 새로운 AI 방법론을 개발하는 단계이며, 속도는 연구 자금, 하드웨어, 아이디어의 교체 속도가 좌우합니다.
• 혁신 — 방법론을 쓸 수 있는 제품과 응용으로 전환하는 단계이며, 속도는 신뢰성 확보와 도메인별 피드백 루프가 좌우합니다.
• 채택 — 개인·팀·기업이 사용을 결정하는 단계이며, 속도는 업무 흐름과 습관을 바꾸는 비용이 좌우합니다.
• 확산 — 사회 전반의 채택 수준이 올라가는 단계이며, 속도는 조직 재설계와 규범·법률의 변화가 좌우합니다.

안전이 중요한 영역에서 AI 확산은 느리다

50개 응용 사례가 보여준 것

두 사람은 자신들의 선행 논문 「Against Predictive Optimization」에서 예측적 최적화(predictive optimization)의 응용 사례 약 50개를 망라해 정리한 바 있습니다. 예측적 최적화란 개인의 미래 행동이나 결과를 예측해 그 개인에 관한 의사결정을 내리는 데 머신러닝을 사용하는 것을 말합니다. 범죄 위험 예측, 보험 위험 예측, 아동학대 위험 예측처럼 당사자에게 중대한 결과를 낳는 결정들이 여기에 해당합니다.

이런 응용은 널리 퍼졌지만, 결정적인 세부 사항이 하나 있습니다. 대부분의 경우 수십 년 된 통계 기법이 쓰이고 있다는 점입니다. 단순하고 해석 가능한 모형, 주로 회귀분석이 사용되며, 수작업으로 고른 비교적 적은 수의 특성(feature)이 투입됩니다.

랜덤 포레스트 같은 더 복잡한 머신러닝 기법조차 거의 쓰이지 않고, 트랜스포머 같은 현대적 방법론은 아예 찾아볼 수 없습니다. 즉 이 넓은 영역에서 AI 확산은 혁신보다 수십 년 뒤처져 있습니다.

뒤처짐의 이유는 안전이다

왜 그런가. 주된 이유는 안전입니다. 모형이 복잡해지고 이해하기 어려워질수록, 테스트와 검증 과정에서 배치 이후에 벌어질 모든 상황을 미리 예상하기가 어려워지기 때문입니다.

대표적 사례가 에픽(Epic)의 패혈증 예측 도구입니다. 내부 검증에서는 정확도가 높아 보였지만 실제 병원에서는 성능이 훨씬 나빴고, 패혈증 사례의 3분의 2를 놓쳤으며, 거짓 경보로 의사들을 압도했습니다.

실패의 원인은 복잡한 모형과 제약 없는 특성 집합을 쓸 때 잡아내기 어려운 종류의 오류였습니다. 두 사람이 각주에서 지목한 구체적 원인은 이렇습니다. 모형 학습에 쓰인 특성 중 하나가 ‘의사가 이미 항생제를 처방했는지 여부’였는데, 항생제는 바로 패혈증을 치료하기 위해 처방되는 것이었습니다.

다시 말해 테스트와 검증 단계에서 모형은 미래로부터 온 특성을, 즉 결과에 인과적으로 의존하는 변수를 사용하고 있었습니다. 당연히 실제 배치 시점에는 그 변수를 쓸 수 없습니다. 해석가능성과 감사(auditing) 기법이 개선되면서 이런 문제를 훨씬 잘 잡아내게 되겠지만, 아직 거기에 이르지 못했다는 것이 두 사람의 판단입니다.

해설 에픽 사례의 기술적 이름은 데이터 누출(data leakage), 더 정확히는 표적 누출(target leakage)입니다. 예측 대상인 결과가 이미 반영된 정보가 입력 변수로 섞여 들어가는 현상을 말합니다. 모형은 ‘패혈증일 것 같다’를 예측한 것이 아니라 “이미 누군가 패혈증이라고 판단했다”를 읽어낸 셈이어서, 내부 검증 지표는 훌륭하게 나오지만 실전에서는 무너집니다.

이 사례가 글의 논증에서 차지하는 자리는 ‘모델이 멍청했다’가 아닙니다. 검증 환경과 배치 환경의 불일치는 모델 성능을 아무리 올려도 자동으로 해결되지 않으며, 바로 그 때문에 고위험 영역의 검증 절차가 느리고 보수적일 수밖에 없다는 것입니다. 참고로 여기서 말하는 특성이란 모형에 투입되는 개별 입력 변수를 뜻하며, 전통적 통계 모형에서는 사람이 직접 고르고 딥러닝에서는 모형이 스스로 학습합니다.

생성형 AI도 다르지 않았다

생성형 AI에서도 사후적으로 보면 지극히 명백해 보이는 실패들이 테스트 단계에서 걸러지지 않았습니다. 한 예가 초기 빙(Bing) 챗봇 ‘시드니(Sydney)’입니다. 대화가 길어지면 통제를 벗어났는데, 개발자들은 대화가 몇 번의 주고받기를 넘어 이어질 수 있다는 점을 예상하지 못했던 것으로 보입니다.

비슷하게 구글(Google)의 제미나이(Gemini) 이미지 생성기는 역사적 인물에 대해서는 아예 테스트를 거치지 않은 것으로 보인다고 두 사람은 지적합니다. 다행히 이들은 결과가 중대한 응용은 아니었습니다.

이미 작동 중인 속도 제한

혁신과 확산 사이의 시차, 그리고 그 시차의 원인에 대해서는 더 많은 실증 연구가 필요하다고 두 사람은 인정합니다. 다만 지금까지 자신들이 분석한 증거는 하나의 견해와 부합한다고 봅니다. 결과가 중대한 과업에는 안전과 관련된 지극히 강력한 속도 제한이 이미 걸려 있다는 견해입니다.

이 제한은 흔히 규제를 통해 강제됩니다. 미국 FDA의 의료기기 감독이 그렇고, EU AI법(EU AI Act)처럼 고위험 AI에 엄격한 요건을 부과하는 신법도 그렇습니다. 오히려 고위험 AI에 대한 기존 규제가 너무 부담스러워 ‘폭주하는 관료제(runaway bureaucracy)’로 이어질 수 있다는 신빙성 있는 우려까지 제기되고 있다고 덧붙입니다.

따라서 두 사람의 예측은 분명합니다. 결과가 중대한 과업에서는 느린 확산이 계속 표준으로 남을 것입니다.

새 영역이 생기면 규제하면 된다

그렇다면 AI가 중대한 방식으로 쓰이는 새로운 영역이 생겨날 때는 어떻게 해야 하는가. 두 사람의 답은 간단합니다. 그때그때 규제할 수 있고 또 규제해야 한다는 것입니다.

좋은 사례로 드는 것이 2010년 플래시 크래시(Flash Crash)입니다. 자동화된 고빈도 매매가 한몫했다고 여겨지는 이 사건은 서킷브레이커 같은 새로운 거래 제한 장치의 도입으로 이어졌습니다. 기술이 새로운 위험을 만들어내면 제도가 뒤따라 대응한 전례라는 것입니다.

[한국 관점] 원문이 든 FDA와 EU AI법에 대응하는 한국의 장치들은 이 절의 주장을 대체로 뒷받침하면서도, 한 가지 차이를 드러냅니다. 한국은 2026년 1월 22일 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(AI 기본법)을 시행하며 포괄적 AI 규제 체계를 갖춘 나라가 되었고, 이 법은 EU의 ‘고위험’에 해당하는 개념으로 고영향 인공지능을 두어 위험관리 방안 수립, 설명 방안 마련, 사람의 관리·감독, 확인 문서 작성과 보관 같은 의무를 부과합니다. 다만 과학기술정보통신부는 시행 초기 최소 1년의 계도기간을 두기로 했습니다.

즉 한국에서도 의료기기 소프트웨어의 식약처 허가, 금융 신용평가 모형에 대한 당국 감독처럼 부문별 규제가 먼저 존재했고, AI 기본법이 그 위에 얹히는 구조입니다. 나라야난과 카푸어의 표현을 빌리면, 고위험 영역은 AI 사용 여부와 무관하게 이미 촘촘히 규제되고 있었다는 관찰이 한국에도 그대로 적용됩니다.

플래시 크래시 대목에서 한국이 가진 더 직접적인 경험은 2013년 12월 한맥투자증권 사건입니다. 코스피200 옵션 주문에서 발생한 프로그램 입력 오류로 수백억 원대 손실이 났고 회사는 결국 파산했습니다. 이 사건은 착오거래 구제 제도 정비와 주문 사전 점검 강화로 이어졌습니다. 자동화 시스템의 사고에 제도가 사후적으로 대응해 온 경로는 미국과 다르지 않습니다.

[사후 맥락] 원문이 ‘고위험 AI에 엄격한 요건을 부과하는 신법’으로 인용한 EU AI법의 일정은 그 뒤 크게 뒤로 밀렸습니다. 유럽위원회가 2025년 11월 제안한 ‘디지털 옴니버스’가 입법 절차를 거쳐, 부속서 III에 해당하는 독립형 고위험 AI 시스템의 의무 적용일이 2026년 8월 2일에서 2027년 12월 2일로, 제품에 내장된 고위험 시스템은 2027년 8월 2일에서 2028년 8월 2일로 연기되었습니다.

연기의 이유로 제시된 것은 의무를 실제로 작동시킬 표준과 규제 인프라가 예정대로 갖춰지지 못했다는 점입니다. 고위험이라는 분류 자체가 바뀐 것은 아니고 적용 시점만 미뤄졌습니다. 이 사건은 나라야난과 카푸어의 논지를 양쪽에서 건드립니다. 한편으로는 고위험 영역의 확산이 제도적 준비 속도에 묶인다는 주장을 강화하고, 다른 한편으로는 규제 자체가 기술 속도를 따라가지 못하는 ‘속도 문제(pacing problem)’를 보여줍니다. 두 사람은 이 문제를 4부에서 직접 다룹니다.

확산은 인간·조직·제도의 변화 속도에 묶인다

40%라는 숫자가 실제로 뜻하는 것

안전이 중요한 영역 바깥에서도 AI 채택은 대중적 서사가 시사하는 것보다 느리다고 나라야난과 카푸어는 말합니다. 예시로 드는 것이 전미경제연구소(NBER) 연구입니다. 2024년 8월 기준 미국 성인의 40%가 생성형 AI를 사용했다는 발견이 헤드라인을 장식했습니다.

그런데 대부분의 사람이 드물게 사용했기 때문에, 이 40%는 전체 근로시간의 0.5-3.5%에 해당하는 수준으로만 번역되었습니다. 노동생산성 증가분으로 환산하면 0.125-0.875퍼센트포인트입니다. 사용자 수와 사용 강도는 전혀 다른 지표라는 것이 요점입니다.

PC보다 빨랐는가

확산 속도가 과거보다 빨라졌는지조차 분명하지 않다고 두 사람은 지적합니다. 같은 연구는 미국의 생성형 AI 채택이 PC 채택보다 빨랐다고 보고했습니다. 첫 대중 시장용 제품 출시 이후 2년 안에 미국 성인의 40%가 생성형 AI를 채택한 반면, PC는 3년 안에 20%였다는 것입니다.

그러나 이 비교는 두 가지를 반영하지 않습니다. 채택의 강도, 즉 실제 사용 시간의 차이가 하나이고, PC를 구입하는 높은 비용과 생성형 AI에 접근하는 비용의 차이가 다른 하나입니다. 채택을 어떻게 측정하느냐에 따라 생성형 AI의 채택이 PC보다 훨씬 느렸을 가능성도 충분히 있다는 것이 두 사람의 판단입니다.

가용성과 사용은 다르다

기술 채택 속도가 반드시 빨라지고 있는 것은 아니라는 주장은 놀랍게, 심지어 명백히 틀린 것처럼 들릴 수 있습니다. 디지털 기술은 수십억 대의 기기에 동시에 도달할 수 있기 때문입니다.

그러나 채택은 소프트웨어의 가용성이 아니라 사용에 관한 문제라는 점을 기억해야 한다고 두 사람은 말합니다. 새로운 AI 기반 제품이 즉시 온라인에 공개되어 누구나 무료로 쓸 수 있게 되더라도, 사람들이 그 제품의 이점을 활용하도록 업무 흐름과 습관을 바꾸고 위험을 피하는 법을 익히는 데는 시간이 걸립니다.

따라서 확산 속도는 개인뿐 아니라 조직과 제도가 기술에 적응할 수 있는 속도에 본질적으로 묶여 있습니다. 과거 범용기술에서도 관찰된 추세이며, 확산은 몇 년이 아니라 수십 년에 걸쳐 일어납니다. 이 대목에서 두 사람은 베네딕트 에번스(Benedict Evans)와 딩의 작업을 근거로 제시합니다.

전기화가 40년을 기다린 이유

구체적 사례로 제시되는 것이 폴 데이비드(Paul A. David)의 전기화 분석입니다. 전기화의 생산성 혜택이 온전히 실현되기까지 수십 년이 걸렸다는 연구입니다.

토머스 에디슨(Thomas Edison)이 첫 중앙 발전소를 세운 뒤 거의 40년 동안, 전기 발전기는 로버트 솔로우(Robert Solow)의 표현대로 ‘everywhere but in the productivity statistics’, 즉 생산성 통계를 제외한 모든 곳에 있었습니다. 그리고 이것은 단순한 기술적 관성의 문제가 아니었습니다. 공장주들은 전기화가 실질적인 효율 개선을 가져오지 않는다는 사실을 직접 확인하고 있었습니다.

결국 이득을 실현시킨 것은 공장 전체의 배치를 생산 라인의 논리에 맞춰 다시 설계한 일이었습니다. 공장 건축 구조의 변경에 더해, 확산에는 작업장 조직과 공정 관리의 변화도 필요했습니다. 그리고 이런 변화는 여러 산업에 걸친 실험을 통해서만 개발될 수 있었습니다.

그 결과 노동자들은 더 많은 자율성과 유연성을 갖게 되었고, 이는 다시 다른 방식의 채용과 훈련 관행을 요구했습니다. 기술 도입이 조직을 바꾸고, 조직의 변화가 다시 인사 제도를 바꾸는 연쇄가 수십 년에 걸쳐 일어난 것입니다.

해설 솔로우의 저 표현은 원래 1987년 뉴욕타임스(The New York Times) 서평에서 컴퓨터를 두고 한 말로, 이른바 생산성 역설(productivity paradox) 또는 솔로우 역설이라 불립니다. 폴 데이비드가 1990년 논문에서 이 역설을 전기 발전기의 역사에 비추어 해석하면서, 범용기술의 생산성 효과가 왜 지연되는지를 설명하는 고전적 틀이 되었습니다.

지연의 메커니즘은 기술적으로 구체적입니다. 증기기관 시대의 공장은 건물 한가운데에 거대한 동력축을 두고 벨트로 각 기계에 힘을 나눠 주는 구조였습니다. 동력원이 중앙에 있으니 기계는 축 가까이, 층은 수직으로 쌓이는 배치가 강제됩니다. 초기 공장주들은 증기기관만 거대한 전동기로 바꿔 끼웠고, 그래서 효율이 거의 개선되지 않았습니다.

이득은 기계마다 작은 전동기를 다는 단위 구동(unit drive) 방식으로 바뀌고, 그 결과 공장을 공정 순서에 따라 수평으로 펼칠 수 있게 되면서 비로소 나왔습니다. 즉 새 기술을 옛 조직에 끼워 넣는 단계에서는 효과가 없고, 조직 자체를 새 기술의 논리에 맞춰 다시 짤 때 효과가 나옵니다. 나라야난과 카푸어가 AI에 대해 하려는 말이 정확히 이것입니다.

[반론] 이 절의 논증은 발표 이후 가장 집중적으로 공격받은 대목입니다. 올리비아 샤프먼(Olivia Scharfman)은 2026년 5월 22일 자신의 블로그와 레스롱(LessWrong)에 올린 「AI is Not Normal Technology」에서 네 가지를 문제 삼습니다.

첫째, PC와의 비교 자체가 부적절하다는 것입니다. AI는 소셜미디어나 검색, 스마트폰과 비교하는 편이 훨씬 적절하며, 이들은 수십 년이 아니라 몇 년 만에 도약했다는 지적입니다. 둘째, 두 사람이 가용성이 아니라 사용이 중요하다고 말해 놓고 정작 설문 기반의 성인 채택률 지표를 썼는데, 이 지표는 API와 기업 내부 사용을 제외하고 가장 집중적으로 쓰는 개인 사용자들을 놓칠 가능성이 높다는 것입니다.

셋째, 제도의 흡수가 느리다는 사실은 제도에 관해 말해 줄 뿐 흡수되는 대상의 성격에 관해서는 아무것도 말해 주지 않는다는 반박입니다. 넷째, 더 근본적으로는 참조군(reference class) 선택의 문제를 제기합니다. AI가 전기와 같은 범주에 속한다는 것은 입증된 전제가 아니라 두 사람이 선택한 전제라는 것입니다. 샤프먼은 자신의 글이 스콧 알렉산더(Scott Alexander)의 「AI as Profoundly Abnormal Technology」와 상당 부분 겹친다고 밝히고 있습니다.

[한국 관점] 전기화 사례가 한국에서 가장 직접적으로 겹치는 지점은 제조업 스마트팩토리 보급 사업입니다. 설비와 시스템을 도입한 사업장 수는 빠르게 늘었지만, 공정과 조직을 재설계하지 않은 채 기존 라인 위에 센서와 소프트웨어를 얹는 데 그쳤다는 평가가 꾸준히 제기되어 왔습니다. 폴 데이비드가 묘사한, 증기기관 자리에 전동기만 바꿔 끼운 공장과 구조적으로 같은 상황입니다.

한국 특유의 변수도 있습니다. 전기화의 생산성 이득이 노동자의 자율성 확대와 새로운 채용·훈련 관행을 동반해서 나왔다는 대목인데, 직무 단위보다 연공과 위계 중심으로 짜인 조직에서는 이 재설계가 더 어렵습니다. AI 도입을 개별 직원의 도구 지급 문제로 다루는 한, 나라야난과 카푸어의 진단대로 근로시간의 몇 퍼센트만 건드리는 수준에 머물 가능성이 큽니다.

반대로 이 진단은 기회이기도 합니다. 확산의 병목이 모델 성능이 아니라 조직 재설계라면, 모델 개발 경쟁에서 뒤처진 나라도 흡수 역량에서 앞설 여지가 남습니다. 딩이 국가의 확산 역량을 국력의 변수로 본 것도 같은 맥락입니다.

외부 세계가 AI 혁신에 속도 제한을 건다

일반성의 사다리

AI의 기술적 진전이 빨랐다는 것은 사실입니다. 다만 AI 방법론과 응용을 구분하는 순간 그림은 훨씬 불분명해진다고 나라야난과 카푸어는 말합니다.

두 사람은 AI 방법론의 진보를 일반성의 사다리(ladder of generality)로 개념화합니다. 자신들의 저서 『AI Snake Oil』에서 가져온 틀입니다. 이 사다리의 각 단은 아래 단들 위에 놓이며, 더 일반적인 컴퓨팅 능력을 향한 이동을 나타냅니다.

구체적으로 말하면, 위로 올라갈수록 컴퓨터에게 새로운 과업을 시키는 데 필요한 프로그래머의 노력이 줄어들고, 주어진 양의 프로그래머 또는 사용자 노력으로 수행할 수 있는 과업의 집합이 늘어납니다. 머신러닝이 일반성을 높인 방식이 전형적입니다. 프로그래머가 새 과업마다 해결 논리를 고안할 필요를 없애고, 대신 학습 사례를 수집하기만 하면 되게 만들었기 때문입니다.

• 특수 목적 기계 — 홀러리스 전기 집계기(1894)가 대표 사례이며, 새 과업마다 기계 자체를 다시 만들어야 합니다.
• 프로그램 가능 계산기 — 하버드 마크 I(Harvard Mark I, 1944)이 대표 사례이며, 과업마다 배선과 절차를 새로 구성해야 합니다.
• 범용 컴퓨터 — IBM 시스템/360(1964)이 대표 사례이며, 과업마다 프로그램을 새로 작성해야 합니다.
• 머신러닝 — 서포트 벡터 머신 기반 스팸 분류(1999)가 대표 사례이며, 논리를 짜는 대신 학습 사례를 수집합니다.
• 딥러닝 — 이미지넷과 AlexNet(2012)이 대표 사례이며, 특성 설계까지 모형에 맡깁니다.

사다리의 끝에 범용인공지능(AGI)이 있다는 유혹

사다리의 단을 더 쌓아 올리다 보면 특정 응용을 개발하는 데 드는 노력이 계속 줄어들어 결국 AGI에 도달하리라는 결론이 유혹적이라고 두 사람은 인정합니다. 여기서 AGI는 흔히 상자에서 꺼내자마자 모든 것을 할 수 있는, 그래서 응용을 개발할 필요 자체를 없애는 시스템으로 개념화됩니다.

실제로 어떤 영역에서는 응용 개발 노력이 줄어드는 이 추세가 관찰됩니다. 자연어 처리에서 대규모 언어모델은 번역 응용을 개발하는 일을 비교적 사소한 작업으로 만들었습니다.

게임도 마찬가지입니다. 알파제로(AlphaZero)는 게임 규칙에 대한 설명과 충분한 연산 능력만 주어지면 자가 대국만으로 어떤 인간보다 체스를 잘 두는 법을 배웁니다. 과거에 게임 플레이 프로그램을 만들던 방식과는 전혀 다릅니다.

알파제로와 자율주행차의 결정적 차이

그러나 이 추세는, 시뮬레이션이 쉽지 않고 오류의 비용이 큰 실세계의 중대한 응용에서는 나타나지 않았습니다. 두 사람이 드는 대조 사례가 자율주행차입니다.

자율주행차의 개발 궤적은 여러 면에서 알파제로의 자가 대국과 닮았습니다. 기술이 좋아지면 더 현실적인 조건에서 주행할 수 있게 되고, 그러면 더 좋고 더 현실적인 데이터를 모을 수 있으며, 그 데이터가 다시 기술을 개선하는 피드백 루프가 완성됩니다.

차이는 시간입니다. 알파제로는 이 과정을 몇 시간 만에 돌렸지만, 자율주행차는 20년 넘게 걸렸습니다. 안전 고려 때문에 루프를 한 바퀴 돌 때마다 이전 바퀴보다 얼마나 더 크게 규모를 키울 수 있는지가 제한되었기 때문입니다.

능력-신뢰성 격차

이 패턴을 두 사람은 능력-신뢰성 격차(capability-reliability gap)라고 부르며, 이것이 거듭 반복해서 나타난다고 말합니다. 그리고 이 격차가 실세계 과업을 자동화하는 유용한 AI 에이전트를 만드는 데 주요한 장벽이 되어 왔다고 지적합니다.

물론 에이전트가 수행하리라 기대되는 여행 예약이나 고객 응대 같은 과업은 운전보다 결과의 중대성이 훨씬 낮습니다. 그렇더라도 비용이 충분히 크기 때문에, 에이전트가 실세계 경험으로부터 배우도록 만드는 일은 간단하지 않습니다.

암묵지와 프라이버시라는 또 다른 장벽

안전이 중요하지 않은 응용에도 장벽은 존재합니다. 일반적으로 조직 안의 지식 상당 부분은 암묵적이고 문서화되어 있지 않으며, 더구나 수동적으로 학습될 수 있는 형태로는 더더욱 적혀 있지 않습니다.

이 말은 앞서 말한 개발 피드백 루프가 각 산업 부문마다 따로 일어나야 한다는 뜻입니다. 더 복잡한 과업이라면 조직마다 별도로 일어나야 할 수도 있습니다. 그만큼 빠른 병렬 학습의 기회가 줄어듭니다.

병렬 학습을 제약하는 또 다른 이유는 프라이버시입니다. 조직과 개인은 민감한 데이터를 AI 기업과 공유하기를 꺼릴 수 있고, 의료 같은 맥락에서는 어떤 종류의 데이터를 제3자와 공유할 수 있는지를 규제가 제한할 수 있습니다.

쓰라린 교훈은 제품 개발에 적용되지 않는다

AI 분야의 쓰라린 교훈(bitter lesson)이란, 연산 능력의 증가를 활용하는 일반적 방법론이 인간의 도메인 지식을 활용하는 방법론을 결국 큰 격차로 능가한다는 리치 서튼(Rich Sutton)의 관찰입니다.

나라야난과 카푸어는 이것이 방법론에 관한 가치 있는 관찰이라고 인정합니다. 다만 이 교훈이 응용 개발까지 포괄하는 것으로 오독되는 일이 잦다고 지적합니다. AI 기반 제품 개발의 맥락에서 쓰라린 교훈은 한 번도 참에 근접한 적조차 없었다는 것이 두 사람의 단언입니다.

사례로 드는 것이 소셜미디어의 추천 시스템입니다. 점점 더 일반적인 머신러닝 모델이 추천 시스템을 구동하고 있지만, 그렇다고 비즈니스 로직과 프런트엔드를 비롯한 여러 구성 요소를 수작업으로 코딩할 필요가 사라지지는 않았습니다. 이들을 합치면 100만 줄 규모의 코드가 됩니다.

실험의 사회적 비용이라는 상한

AI가 기존 인간 지식으로부터 배우는 단계를 넘어서야 할 때 또 다른 한계가 생긴다고 두 사람은 말합니다. 이 대목에서 인용되는 것은 멜라니 미첼(Melanie Mitchell)의 논문입니다.

우리가 가진 가장 가치 있는 종류의 지식은 과학적·사회과학적 지식이며, 이것이 기술과 정부 같은 대규모 사회 조직을 통해 문명의 진보를 가능하게 했습니다. 그렇다면 AI가 그런 지식의 경계를 밀어내려면 무엇이 필요한가.

필요한 것은 사람이나 조직과의 상호작용, 심지어 사람이나 조직을 대상으로 한 실험일 가능성이 높습니다. 신약 시험부터 경제 정책까지가 여기 해당합니다. 그리고 여기에는 지식 획득 속도의 엄격한 상한이 걸립니다. 실험에 사회적 비용이 따르기 때문입니다. 사회는 AI 개발을 위해 실험을 급속히 확대하는 것을 아마 허용하지 않을 것이고, 또 허용해서도 안 된다고 두 사람은 덧붙입니다.

해설 쓰라린 교훈은 강화학습의 창시자 중 한 명인 서튼이 2019년에 쓴 짧은 에세이의 제목입니다. 서튼의 관찰은 AI 역사에서 반복된 패턴을 가리킵니다. 체스에서는 인간 그랜드마스터의 지식을 코드로 옮긴 접근이 무차별 탐색에 밀렸고, 음성인식에서는 음운론 지식 기반 시스템이 통계 모형에, 다시 딥러닝에 밀렸으며, 컴퓨터 비전에서도 사람이 설계한 특성이 합성곱 신경망에 밀렸습니다. 연구자가 쌓아 올린 영리한 지식이 연산량을 먹는 단순한 방법에 반복적으로 패배했기에 ‘쓰라린’ 교훈입니다.

나라야난과 카푸어가 뒤집는 지점은 적용 범위입니다. 서튼의 명제는 모델을 어떻게 학습시킬 것인가에 관한 것이지, 제품을 어떻게 만들 것인가에 관한 것이 아니라는 구분입니다.

암묵지(tacit knowledge)는 철학자 마이클 폴라니(Michael Polanyi)가 정식화한 개념으로, 알고 있지만 말로 표현할 수 없는 지식을 뜻합니다. 자전거 타는 법이 전형적 예입니다. 조직 차원에서는 결재가 언제 빨리 나는지, 어떤 고객에게는 어떤 순서로 말을 꺼내야 하는지 같은 것들이 여기 해당합니다. 문서에 없으니 텍스트 학습으로는 습득되지 않고, 결국 현장에서 직접 돌려 보며 배우는 수밖에 없다는 것이 이 절의 논점입니다.

[반론] 샤프먼은 앞서 소개한 글(2026년 5월)에서 이 절의 쓰라린 교훈 대목을 특히 강하게 반박합니다. 추천 시스템의 역사 자체가 서튼의 예측 경로를 그대로 따라왔다는 것입니다. 콘텐츠 기반 필터링과 이웃 기반 협업 필터링에서 행렬 분해로, 다시 딥러닝과 트랜스포머 기반 모델로 이행할 때마다 사람이 설계하던 부분이 일반적 모델에 넘어갔다는 지적입니다.

더 나아가 샤프먼은 비즈니스 로직과 프런트엔드가 수작업으로 남는다는 두 사람의 주장이 발표 이후 1년 사이에 이미 반증되기 시작했다고 봅니다. 근거로 드는 것은 상당수 기업이 손으로 쓰는 코드를 최소화하고 코딩 에이전트에 의존하기 시작했다는 점, 그리고 2026년 1월 포춘(Fortune) 보도에 따르면 클로드 코드(Claude Code) 자체의 약 90%가 클로드 코드로 작성되었다는 사실입니다. 또한 나라야난과 카푸어가 이 주장의 근거로 인용한 글이 자신들의 뉴스레터 글이라는 점도 지적합니다.

다만 샤프먼도 제도의 흡수가 느리다는 관찰 자체는 타당하다고 인정하며, 쟁점은 그 느림이 AI가 일반 기술이라는 점을 입증하느냐에 있다고 정리합니다.

[한국 관점] 프라이버시와 데이터 공유 제약 대목은 한국에서 더 강하게 작동합니다. 두 사람이 ‘의료 같은 맥락’이라고 뭉뚱그린 부분이, 한국에서는 개인정보보호법상 가명정보 처리와 결합 절차, 의료법, 보건의료데이터 활용 가이드라인 등이 겹쳐 있는 영역입니다. 병원이 보유한 데이터를 외부 AI 기업과 공유하려면 여러 층의 승인과 심의를 거쳐야 하고, 실무에서는 결합전문기관을 통한 절차가 병목이 됩니다.

이 구조는 두 사람의 진단을 강화하는 쪽으로 작동합니다. 산업별·조직별로 따로 돌아야 하는 피드백 루프가 한국에서는 더 느리게 돌 가능성이 큽니다. 반대로 말하면, 의료·금융처럼 데이터가 풍부하되 폐쇄적인 영역에서 합법적 데이터 접근 경로를 먼저 확보한 사업자가 구조적 우위를 갖게 된다는 뜻이기도 합니다.

암묵지 문제도 한국적 변형이 있습니다. 조직 내 지식이 문서가 아니라 사람과 관계에 축적되는 정도가 큰 조직일수록, 모델 성능이 아무리 올라가도 자동화 가능 영역이 좁게 남습니다. AI 도입 효과가 기업별로 크게 갈릴 것이라는 예측은 여기서 나옵니다.

벤치마크는 실세계 유용성을 측정하지 않는다

측정 대상이 뒤바뀐 지표

방법론과 응용의 구분은 AI의 진보를 어떻게 측정하고 예측할 것인가에 중요한 함의를 갖는다고 나라야난과 카푸어는 말합니다. AI 벤치마크는 방법론의 진보를 측정하는 데 유용합니다.

문제는 이 지표가 응용의 진보를 측정하는 것으로 오해되어 왔다는 점입니다. 그리고 이 혼동이 임박한 경제적 변혁에 대한 많은 과장을 떠받쳐 온 동력이었다는 것이 두 사람의 진단입니다.

변호사 시험 상위 10%가 말해 주지 않는 것

대표 사례로 드는 것이 GPT-4입니다. 보고된 바에 따르면 GPT-4는 변호사 시험 응시자 상위 10%에 해당하는 점수를 받았지만, 이것은 AI가 변호사 업무를 수행하는 능력에 대해 놀랄 만큼 적은 정보만 줍니다.

변호사 시험은 과목 지식을 과도하게 강조하고, 표준화된 컴퓨터 시행 형식으로는 측정하기가 훨씬 어려운 실무 역량은 과소하게 다룹니다. 달리 말하면, 변호사 시험이 강조하는 것은 정확히 언어모델이 잘하는 것, 즉 암기된 정보를 인출하고 적용하는 일입니다.

가장 중요한 과업이 가장 평가하기 어렵다

더 넓게 보면, 법조 직역에 가장 큰 변화를 가져올 과업들이 동시에 평가하기 가장 어려운 과업이라고 두 사람은 지적합니다.

평가가 간단한 과업도 있습니다. 법률 상담 요청을 법 분야별로 분류하는 일처럼 명확한 정답이 있는 경우입니다. 그러나 소송 서면을 준비하는 일처럼 창의성과 판단이 개입되는 과업에는 단일한 정답이 없고, 전략을 두고 합리적인 사람들끼리 의견이 갈릴 수 있습니다. 그리고 바로 이 후자가 자동화될 경우 직역에 가장 깊은 영향을 줄 과업입니다.

이 관찰은 법에만 국한되지 않습니다. 또 다른 예가 AI가 입증 가능하게 뛰어난 자기완결형 코딩 문제와, 영향을 측정하기 어렵지만 그 영향이 미미해 보이는 실세계 소프트웨어 엔지니어링 사이의 간극입니다.

장난감 문제를 넘어선, 높이 평가받는 코딩 벤치마크들조차 마찬가지입니다. 정량화와 공개 데이터 기반 자동 평가를 위해서는 실세계 소프트웨어 엔지니어링의 여러 차원을 불가피하게 무시할 수밖에 없기 때문입니다.

반복되는 패턴

여기서 두 사람이 도출하는 일반 명제는 이렇습니다. 어떤 과업이 벤치마크로 측정하기 쉬울수록, 그 과업이 전문직 실무를 정의하는 복잡하고 맥락 의존적인 작업을 대표할 가능성은 낮아집니다.

AI의 진보를 이해하는 데 능력 벤치마크에 크게 의존함으로써, AI 커뮤니티는 이 기술의 실세계 영향을 일관되게 과대평가해 왔다는 것이 결론입니다.

구성 타당도의 문제

이것은 구성 타당도(construct validity)의 문제라고 두 사람은 정리합니다. 구성 타당도란 어떤 검사가 측정하려는 바를 실제로 측정하고 있는지를 가리키는 개념입니다.

잠재적 응용의 실세계 유용성을 측정하는 유일하게 확실한 방법은, 실제로 그 응용을 만들어 현실적인 시나리오에서 전문가들을 대상으로 시험해 보는 것입니다. 의도된 용도에 따라 노동을 대체하는 방식이 될 수도 있고 보강하는 방식이 될 수도 있습니다.

이런 역량 증대(uplift) 연구들은 대체로 많은 직종의 전문가들이 기존 AI 시스템으로부터 이득을 본다는 결과를 보여 줍니다. 다만 그 이득은 통상 완만하며, 대체보다는 보강에 가깝습니다. 시험 같은 정적 벤치마크에서 끌어낼 법한 결론과는 근본적으로 다른 그림입니다. 두 사람이 각주에서 근거로 든 것은 챗봇과 내과 전공의의 병력 요약을 비교한 JAMA 내과학회지 연구, 생성형 AI의 생산성 효과를 실험한 사이언스(Science) 게재 연구, 그리고 지식노동자 생산성과 품질에 미치는 효과를 다룬 하버드 경영대학원 현장실험입니다.

단서도 달립니다. 카피라이터와 번역가처럼 소수의 직종에서는 실질적인 일자리 상실이 있었다는 점입니다.

그렇다면 무엇을 봐야 하는가

결론적으로 벤치마크는 AI 방법론의 진보를 추적하는 데는 가치가 있지만, AI의 영향을 추적하려면 다른 종류의 지표를 봐야 한다고 두 사람은 말합니다.

채택을 측정할 때는 AI 사용의 강도를 반드시 고려해야 합니다. 응용의 유형도 중요합니다. 보강인가 대체인가, 그리고 결과가 중대한가 그렇지 않은가가 구분되어야 합니다.

• 사용 강도 — 벤치마크 점수 대신 근로시간에서 AI가 차지하는 비중을 봅니다.
• 보강형인가 대체형인가 — 사용자 수와 채택률 대신 AI가 사람을 보강하는지 대체하는지를 봅니다.
• 결과가 중대한 과업인가 — 시험 통과 여부 대신 결과가 중대한 과업에서 AI가 어떻게 쓰이는지를 봅니다.
• 역량 증대 연구 — 전문가를 대상으로 AI가 역량을 얼마나 키워 주는지 측정한 결과를 함께 봅니다.

예측 공동체도 같은 함정에 빠진다

구성 타당도의 어려움은 벤치마크뿐 아니라 예측(forecasting)에도 따라붙습니다. 예측은 사람들이 AI의 미래 영향을 가늠하는 또 하나의 주요 방법입니다.

효과적인 예측을 위해서는 모호한 결과를 피하는 것이 극히 중요합니다. 그래서 예측 공동체는 시험 성적처럼 비교적 좁은 기술을 기준으로 이정표를 정의하는 방식으로 이 문제를 해결합니다.

예시가 메타큘러스(Metaculus)의 ‘인간-기계 지능 동등성’ 문항입니다. 이 문항은 수학, 물리학, 컴퓨터과학 시험 문제에 대한 성적을 기준으로 정의되어 있습니다. 이 정의를 쓴다면 예측자들이 2040년까지 동등성 달성 확률을 95%로 보는 것은 놀랄 일이 아닙니다.

문제는 이 정의가 너무 희석되어 있어 AI의 영향을 이해하는 데 별 의미가 없다는 점입니다. 앞서 법률을 비롯한 전문직 벤치마크에서 보았듯, 시험에 대한 AI의 성적은 구성 타당도가 너무 낮아서 AI가 전문직 노동자를 대체할지 여부조차 예측하게 해 주지 못합니다.

해설 구성 타당도는 심리측정학에서 온 개념입니다. 측정하려는 추상적 구성개념, 이를테면 ‘지능’이나 ‘법률 실무 역량’을 검사 도구가 실제로 포착하고 있는지를 묻습니다. 체중계로 키를 재면 숫자는 안정적으로 나오지만 측정하려던 것을 재지 못한 것이고, 이것이 신뢰도는 높되 구성 타당도가 낮은 상태입니다.

여기서 함께 떠올릴 개념이 굿하트의 법칙(Goodhart’s law)입니다. 어떤 지표가 목표가 되는 순간 그 지표는 좋은 지표이기를 멈춘다는 것입니다. AI 연구에서 벤치마크는 연구 공동체의 공통 목표이자 자금 조달과 홍보의 근거이므로, 벤치마크에 최적화된 모델이 나오는 것은 구조적 귀결입니다.

역량 증대 연구는 실험군과 대조군을 나눠 실무자가 AI를 썼을 때 성과가 얼마나 달라지는지를 측정하는 방식입니다. 벤치마크가 모델 혼자 푸는 점수를 재는 반면, 이쪽은 사람과 도구의 조합이 실제 업무에서 내는 산출을 잽니다. 나라야난과 카푸어가 요구하는 것은 측정 단위를 모델에서 ‘사람+도구’로 옮기자는 것입니다.

[관점] 이 절의 명제를 뒤집으면 투자 판단에 쓸 수 있는 규칙이 하나 나옵니다. 측정하기 쉬운 과업일수록 전문직 실무를 대표하지 못한다면, 벤치마크 점수의 급등은 자동화 임박의 신호가 아니라 측정하기 쉬운 영역이 먼저 포화되고 있다는 신호에 가깝습니다. 모델 출시 때마다 갱신되는 점수를 매출 대체 가능 시장(TAM) 추정의 입력값으로 직행시키는 서사는 이 구분을 건너뜁니다.

두 사람이 제시하는 대안 지표들은 실제로 기업 실사에 쓸 수 있는 형태입니다. 도입 기업의 좌석 수가 아니라 실사용 시간, 파일럿 건수가 아니라 재계약률, 그리고 해당 응용이 사람을 대체하는지 보강하는지입니다. 보강형 제품은 단가가 낮고 기존 인건비를 직접 잠식하지 못하므로 수익화 경로가 다릅니다.

다만 이 관점에도 한계가 있습니다. 카피라이터와 번역이라는 예외가 보여 주듯, 대체가 일어나는 직종에서는 매우 빠르고 깊게 일어납니다. 완만한 평균 뒤에 극단적으로 불균등한 분포가 숨어 있을 수 있다는 점은 두 사람도 부정하지 않습니다.

[한국 관점] 한국에서도 AI가 변호사 시험이나 의사 국가고시, 각종 자격시험을 통과했다는 보도가 주기적으로 반복됩니다. 이 절의 논지를 적용하면 그런 보도의 정보 가치는 낮습니다. 한국의 자격시험 역시 표준화된 지식 인출을 측정하도록 설계되어 있고, 실무 역량과의 상관은 애초에 약하게 설계되어 있기 때문입니다.

다만 한국에는 미국에 없는 추가 병목이 있습니다. 법률 분야에서 AI 서비스의 확산을 실제로 제약해 온 것은 모델 성능이 아니라 직역 제도였습니다. 변호사법상 비변호사의 법률사무 취급과 알선 금지 조항, 그리고 변호사 광고 규정을 둘러싼 대한변호사협회와 리걸테크 플랫폼의 오랜 분쟁이 그것입니다. 헌법재판소 결정과 공정거래위원회 조치를 거치며 사안은 일부 정리되었지만, 제도적 불확실성이 서비스 설계를 제약해 온 기간이 길었습니다.

이것은 나라야난과 카푸어의 1부 전체 논지를 한국적으로 강화합니다. 확산의 속도 제한은 기술이 아니라 안전 규제와 직역 제도에서 오며, 한국은 그 제한이 더 두껍게 걸린 시장입니다. 벤치마크 점수로 한국 전문직 시장의 변화 속도를 추정하는 것은 두 겹으로 어긋난 추정이 됩니다.

경제적 영향은 점진적일 것이다

급격한 충격을 예상하는 논리

AI 개발이 갑작스럽고 극적인 경제적 충격을 낳을 수 있다는 주장의 한 갈래는 일반성에서 출발합니다. 일반성이 높아지면 경제 안의 광범위한 과업들이 한꺼번에 자동화 가능해진다는 논리입니다.

이것은 AGI에 대한 한 가지 정의와 연결되어 있습니다. 경제적으로 가치 있는 모든 과업을 수행할 수 있는 단일 시스템이라는 정의입니다.

첫 번째 반박: 방법론의 도약은 경제로 직행하지 않는다

일반 기술의 관점에서 보면 그런 갑작스러운 경제적 충격은 개연성이 낮다고 나라야난과 카푸어는 말합니다. 첫째 이유는 앞 절들에서 이미 다룬 것입니다.

AI 방법론의 갑작스러운 개선은 분명히 가능합니다. 그러나 그것이 경제적 영향으로 곧장 번역되지는 않습니다. 경제적 영향에는 혁신, 즉 응용 개발과 확산이 필요하기 때문입니다.

혁신과 확산은 피드백 루프 안에서 일어납니다. 안전이 중요한 응용에서 이 루프는 언제나 느리고, 안전 문제를 벗어나도 느릴 수밖에 없는 이유는 많습니다. 전기, 컴퓨터, 인터넷 같은 과거 범용기술에서 각각의 피드백 루프는 수십 년에 걸쳐 전개되었고, AI에서도 같은 일이 일어나리라 예상해야 한다는 것입니다.

두 번째 반박: 자동화된 것은 싸지고 가치가 떨어진다

점진적 경제 영향을 뒷받침하는 또 다른 논거가 제시됩니다. 일단 무언가를 자동화하고 나면, 시간이 흐르면서 그 생산 비용과 가치가 인간 노동의 비용에 비해 급격히 떨어지는 경향이 있다는 것입니다.

자동화가 늘어나면 인간은 적응하여 아직 자동화되지 않은 과업에 집중하게 됩니다. 어쩌면 오늘날 존재하지 않는 과업일 수도 있습니다. 그것이 어떤 모습일지는 2부에서 서술하겠다고 두 사람은 예고합니다.

골대는 계속 멀어진다

여기서 나오는 것이 이 절의 핵심 명제입니다. 자동화가 늘어나면서 어떤 과업이 경제적으로 가치 있는지가 재정의되므로, AGI의 골대는 계속해서 더 멀리 물러난다는 것입니다.

따라서 오늘 인간이 하는 모든 과업이 언젠가 자동화될 수 있다 하더라도, 그것이 인간 노동이 불필요해진다는 뜻은 아닙니다. 두 사람은 이 구분을 분명히 합니다.

이 모든 논의가 가리키는 방향은 하나입니다. 특정한 한 시점에 경제의 광범위한 영역이 한꺼번에 자동화될 가능성은 낮다는 것입니다. 또한 강력한 AI의 영향은 부문마다 서로 다른 시간 척도 위에서 체감되리라는 함의도 따라 나옵니다.

해설 두 사람이 겨냥한 AGI 정의는 출처가 분명합니다. 오픈AI는 설립 문서와 정관에서 AGI를 ‘경제적으로 가치 있는 대부분의 일에서 인간을 능가하는 고도로 자율적인 시스템’으로 규정해 왔고, 이 정의가 업계 표준처럼 통용되어 왔습니다. 나라야난과 카푸어의 반박은 이 정의가 고정된 과녁을 전제한다는 점을 겨냥합니다. ‘경제적으로 가치 있는 일’의 목록 자체가 자동화에 따라 바뀌므로, 과녁은 쏘는 동안 움직입니다.

자동화된 것의 가치가 떨어진다는 대목은 경제학의 익숙한 관찰입니다. 생산성이 급등한 부문의 재화는 상대가격이 떨어지고 경제 전체에서 차지하는 지출 비중도 줄어듭니다. 농업과 제조업이 걸어온 길입니다. 거꾸로 생산성이 잘 오르지 않는 부문, 이를테면 돌봄이나 교육, 공연은 상대적으로 비싸지고 지출 비중이 커집니다. 윌리엄 보몰(William Baumol)이 정식화한 보몰 비용병이 이것입니다.

이 메커니즘을 AI에 적용하면, 자동화가 진행될수록 경제의 무게중심은 아직 자동화되지 않은 영역으로 옮겨 가고, 그 영역에서의 인간 노동은 오히려 상대적으로 비싸집니다. 이것이 “모든 과업이 자동화되어도 인간 노동이 무용해지지는 않는다”는 주장의 경제학적 뼈대입니다. 다만 두 사람은 이를 명시적으로 보몰이나 비교우위의 언어로 설명하지는 않습니다.

[관점] 이 절은 1부 전체의 경제적 결론이자, 투자 판단으로 번역했을 때 가장 날이 선 대목입니다. 앞 절들의 수치를 여기 모아 보면 그림이 선명해집니다. 미국 성인의 40%가 생성형 AI를 쓰지만 근로시간 기준으로는 0.5-3.5%이고, 노동생산성 기여는 0.125-0.875퍼센트포인트입니다. 같은 기간 AI 인프라에 투입된 자본지출은 그 수치와 전혀 다른 차원의 규모였습니다.

두 사람의 틀에서 이 괴리는 모순이 아니라 당연한 시차입니다. 투자는 발명과 혁신 단계에서 먼저 집행되고, 수익은 확산 단계에서 나오는데 그 사이에 수십 년이 놓여 있다는 것이 전기화 사례의 교훈이기 때문입니다. 문제는 자본시장의 회수 기간이 수십 년이 아니라는 점입니다. 전기화의 역사가 알려 주는 것은 생산성 혜택이 결국 온다는 사실이지, 최초 투자자가 그 혜택을 가져간다는 사실이 아닙니다. 철도와 광섬유의 역사는 오히려 반대를 가리킵니다.

부문별 시차라는 함의도 실무적입니다. 영향이 같은 시점에 경제 전반으로 오지 않는다면, 유효한 질문은 AI가 노동을 대체할 것인가가 아니라 어느 부문에서 몇 년도에 일어나는가입니다. 결과가 중대하지 않고 오류 비용이 낮으며 피드백 루프가 빠른 영역, 즉 마케팅 문안, 번역, 코드 초안, 고객 응대의 1차 분류가 먼저 움직이고, 의료·금융 심사·법률 서면은 한참 뒤에 옵니다. 실제로 지금까지 대체가 확인된 직종이 카피라이터와 번역가라는 점이 이 순서와 일치합니다.

마지막으로 이 절에는 투자자에게 불편한 함의가 하나 더 있습니다. 자동화된 것의 가치가 떨어진다는 명제는 AI 응용 자체에도 적용됩니다. 어떤 작업을 AI가 할 수 있게 되는 순간 그 작업의 시장 가격은 하락하기 시작하며, 그 하락분을 누가 가져가는지는 별개의 문제입니다. 모델 계층이 범용재화화할수록 잉여는 유통과 데이터 접근권, 그리고 조직 재설계를 실행할 수 있는 쪽으로 흘러갈 가능성이 큽니다.

[한국 관점] 한국은 이 절의 명제를 검증하기에 흥미로운 사례입니다. 국제로봇연맹(IFR) 집계에서 한국은 오랫동안 제조업 노동자 1만 명당 산업용 로봇 대수, 즉 로봇 밀도 세계 1위를 유지해 왔습니다. 자동화 설비 도입에 관한 한 한국은 선두 주자입니다.

그럼에도 한국의 노동생산성은 OECD 평균을 밑돌고, 특히 서비스업과 중소기업 부문의 생산성은 제조업 대기업과 큰 격차를 보입니다. 설비 도입과 생산성 실현이 자동으로 연결되지 않는다는 이 절의 논지가, 전기화 사례보다 훨씬 최근의 데이터로 재확인되는 셈입니다.

한국적 변형도 있습니다. 두 사람은 자동화가 늘면 인간이 아직 자동화되지 않은 과업으로 이동한다고 말하지만, 이 이동은 노동시장의 유연성과 재훈련 체계를 전제합니다. 연공 중심 임금 구조와 경직적인 내부 노동시장, 그리고 대기업과 중소기업·정규직과 비정규직으로 갈린 이중구조에서는 이동 비용이 훨씬 높습니다. 같은 자동화 충격이 한국에서는 ‘이동’이 아니라 ‘퇴출’로 나타날 가능성이 더 크다는 뜻이며, 이는 3부에서 두 사람이 다루는 시스템적 위험, 특히 불평등 심화와 직접 이어집니다.

AI 방법론의 진보에도 속도 제한이 있다

왜 이 절이 덧붙여졌는가

나라야난과 카푸어는 먼저 이 절의 위상을 분명히 합니다. AI의 영향이 느릴 것이라는 자신들의 논증은 혁신-확산 피드백 루프에 근거하고 있으며, 따라서 AI 방법론의 진보가 아무리 빨라지더라도 그 논증은 그대로 유효하다는 것입니다.

두 사람이 보기에 혜택과 위험은 일차적으로 개발이 아니라 배치에서 발생합니다. 그러므로 방법론 진보의 속도는 영향이라는 질문과 직접 관련이 없습니다. 그럼에도 방법론 개발에도 적용되는 속도 제한을 논의해 볼 가치는 있다는 것이 이 절의 취지입니다.

논문 수의 지수적 증가가 진보는 아니다

AI 연구의 생산량은 지수적으로 증가해 왔습니다. arXiv에 올라오는 AI·머신러닝 논문의 발표 속도는 배가 시간이 2년 미만입니다.

그러나 이 양적 증가가 진보로 어떻게 번역되는지는 분명하지 않습니다. 진보를 재는 한 가지 척도는 중심 아이디어가 교체되는 속도입니다.

여기서 두 사람은 AI 분야의 역사적 약점을 지적합니다. 이 분야는 유행하는 아이디어 주위로 몰려드는 경향이 높았고, 유행하지 않는 아이디어를 탐색하는 수준은 돌이켜 보면 불충분했다는 것입니다. 대표적인 예가 신경망 연구가 수십 년간 밀려나 있었던 일입니다.

정전의 화석화

지금 시대는 다른가. 아이디어가 점증적으로 쌓이는 속도는 빨라졌지만, 그 아이디어들이 기존의 것을 교체하고 있는가가 두 사람의 질문입니다.

트랜스포머 아키텍처는 잘 알려진 한계에도 불구하고 지난 10년의 대부분 기간 동안 지배적 패러다임이었습니다. 그리고 요한 추(Johan S.G. Chu)와 제임스 에번스(James A. Evans)는 241개 학문 분야의 10억 건이 넘는 인용을 분석해, 논문 발표량이 많은 분야일수록 새로운 아이디어가 돌파하기가 더 쉬워지는 것이 아니라 더 어려워진다는 점을 보였습니다.

이들은 이 현상을 정전의 화석화(ossification of canon)라고 불렀습니다. 어쩌면 이 서술이 현재 AI 방법론 연구의 상태에도 적용될지 모른다고 두 사람은 덧붙입니다.

하드웨어, 비용, 그리고 폐쇄화

다른 속도 제한도 가능합니다. 역사적으로 심층 신경망 기술은 하드웨어, 특히 그래픽처리장치(GPU)의 미비 때문에 부분적으로 발목이 잡혀 있었습니다.

연산과 비용의 제약은 새로운 패러다임에도 계속 유효하며, 추론시점 스케일링(inference-time scaling)도 여기 해당합니다. 그리고 새로운 둔화 요인이 등장할 수도 있습니다. 업계가 개방적인 지식 공유 문화에서 멀어지고 있다는 징후가 최근 나타나고 있다는 것입니다.

재귀적 자기개선이 돌파구가 될 것인가

AI가 수행하는 AI 연구가 유예를 줄 수 있을지는 두고 봐야 한다고 두 사람은 말합니다. 방법론에서 재귀적 자기개선이 가능해져 무한한 속도 향상으로 이어질 가능성도 있습니다.

다만 AI 개발은 이미 AI에 크게 의존하고 있다는 점을 짚습니다. 따라서 재귀적 자기개선이 달성되는 단일하고 불연속적인 순간이 오기보다는, AI 개발에서 자동화가 차지하는 역할이 점진적으로 커지는 쪽이 더 개연성이 높다는 것이 두 사람의 판단입니다.

가짜 정상

앞서 벤치마크가 AI 응용의 유용성에 대해 오도된 그림을 준다고 주장했는데, 벤치마크는 방법론 진보의 속도에 대해서도 과도한 낙관을 낳았을 가능성이 있다고 두 사람은 덧붙입니다.

한 가지 이유는 현재의 진보 지평 너머에서도 말이 되는 벤치마크를 설계하기가 어렵다는 점입니다. 튜링 테스트가 수십 년간 AI의 북극성이었던 것은, 그것을 통과하는 시스템이라면 중요한 측면에서 인간과 유사할 것이고 그런 시스템으로 다양한 복잡한 과업을 자동화할 수 있으리라는 가정 때문이었습니다. 이제 대규모 언어모델이 튜링 테스트를 통과한다고 볼 만하면서도 그 배후의 기대는 약하게만 충족하게 되자, 이 테스트의 의의는 퇴색했습니다.

여기서 등장하는 비유가 등반입니다. 벤치마크를 하나 풀 때마다, 즉 정상이라고 생각했던 곳에 도달할 때마다, 우리는 그 벤치마크의 한계를 발견합니다. 가짜 정상(false summit)에 올라와 있음을 깨닫고 이제 정상이라고 여겨지는 곳을 향해 새 벤치마크를 세웁니다. 이 때문에 골대를 옮긴다는 비난이 나오지만, 벤치마킹에 내재한 어려움을 감안하면 이것이야말로 예상해야 할 일이라는 것이 두 사람의 반박입니다.

다트머스에서 지금까지

AI의 선구자들은 AGI의 두 가지 큰 과제를 오늘날의 용어로 하드웨어와 소프트웨어라고 보았습니다. 프로그램 가능한 기계를 만들고 나자 AGI가 가깝다는 감각이 뚜렷했습니다. 1956년 다트머스 회의의 주최자들은 두 달 동안 열 명이 모이는 노력으로 그 목표를 향해 상당한 진전을 이룰 수 있기를 기대했습니다.

오늘날 우리는 일반성의 사다리를 훨씬 많이 올라왔습니다. 그리고 AGI를 만드는 데 필요한 것은 스케일링뿐이라거나, 범용 AI 에이전트라거나, 표본 효율적 학습이라는 말을 자주 듣습니다.

그러나 하나의 단계처럼 보이는 것이 실제로는 그렇지 않을 수 있다는 점을 염두에 둘 필요가 있다고 두 사람은 말합니다. 예를 들어 모든 맥락에서 표본 효율적 학습을 가능하게 하는 단일한 돌파 알고리즘이 존재하지 않을 수도 있습니다. 실제로 대규모 언어모델의 맥락 내 학습(in-context learning)은 이미 표본 효율적이지만, 제한된 범위의 과업에서만 작동합니다.

해설 신경망 연구가 수십 년간 밀려나 있었다는 대목은 이른바 AI 겨울을 가리킵니다. 1969년 마빈 민스키(Marvin Minsky)와 시모어 페퍼트(Seymour Papert)가 『퍼셉트론』에서 단층 퍼셉트론의 한계를 보인 뒤 연구 자금과 관심이 급격히 빠져나갔고, 1980년대 역전파 알고리즘의 재발견과 2012년 이미지넷 성과로 돌아오기까지 긴 공백이 있었습니다. 지금 모든 것을 떠받치는 기술이 한때 유행에서 밀려 수십 년을 대기했다는 사실이, 분야의 집단 쏠림이 실재한다는 증거로 제시되는 것입니다.

추론시점 스케일링은 모델을 더 크게 학습시키는 대신, 답을 내놓을 때 더 오래 생각하게 해서 성능을 올리는 접근입니다. 추론 과정을 길게 전개하거나 여러 후보 답을 생성해 고르는 방식이며, 2024년 이후 추론 모델 계열의 핵심 전략이 되었습니다. 두 사람이 이것을 속도 제한의 사례로 든 이유는 비용 구조에 있습니다. 사전학습의 비용은 한 번 치르고 끝나지만, 추론시점 스케일링의 비용은 질의 한 건마다 발생하므로 성능 향상이 곧바로 운영비 증가로 이어집니다.

표본 효율적 학습은 적은 사례만 보고도 배우는 능력을 말합니다. 인간 아이가 고양이를 몇 번 보고 개념을 익히는 것과, 모델이 수백만 장을 봐야 하는 것의 차이입니다. 맥락 내 학습은 모델 가중치를 바꾸지 않고 프롬프트에 몇 개 예시를 넣어 주는 것만으로 새 과업을 수행하는 현상인데, 두 사람은 이것이 이미 표본 효율적이지만 범용이 아니라는 점을 들어 ‘단일 돌파’의 환상을 경계합니다.

[반론] 이 절의 핵심 주장, 즉 벤치마크가 방법론 진보 속도를 오도한다는 지적에 대해 정면으로 다른 측정 방식을 제시한 것이 모델 평가·위협 연구 기관 METR(Model Evaluation & Threat Research)입니다. 이 글이 나오기 한 달 전인 2025년 3월 19일 발표한 「Measuring AI Ability to Complete Long Tasks」에서 METR은 시간 지평(time horizon)이라는 지표를 제안했습니다. 모델이 50% 성공률로 완수할 수 있는 과업을, 해당 분야 전문가가 수행하면 얼마나 걸리는지로 환산한 값입니다.

METR의 측정 결과는 2019년 이래 이 시간 지평이 약 7개월마다 두 배가 되어 왔고, 2024년 이후 추세가 가속되었을 가능성이 있다는 것입니다. 연구진은 추세를 외삽하면 5년 안에 현재 인간이 한 달 걸리는 소프트웨어 과업의 상당수를 AI가 자동화할 수 있게 된다고 보았습니다.

주목할 점은 METR이 나라야난·카푸어와 문제의식을 공유한다는 것입니다. 벤치마크 점수가 실세계에서 무엇을 뜻하는지 불분명하다는 전제에서 출발해, 그 간극을 메우려고 인간 노동시간이라는 단위를 끌어들였습니다. 같은 비판에서 출발해 정반대 결론, 즉 지수적 가속이라는 결론에 도달한 셈입니다. 어느 쪽이 맞는지는 METR의 추세선이 몇 년 안에 꺾이는지로 상당 부분 판별될 것입니다.

[관점] 투자와 지정학의 관점에서 이 절의 실질적 내용은 두 문장입니다. 업계가 개방적 지식 공유에서 멀어지고 있다는 관찰, 그리고 재귀적 자기개선은 불연속적 사건이 아니라 점진적 자동화로 올 가능성이 크다는 판단입니다.

개방성의 후퇴는 경쟁 구도를 바꿉니다. 2012년 이후 AI의 급속한 확산은 논문과 코드, 가중치가 거의 즉시 공개되는 문화에 크게 기대고 있었고, 그 덕분에 후발 주자가 선도 주자를 빠르게 따라잡을 수 있었습니다. 선도 연구소들이 기술 보고서를 축약하고 학습 방법을 비공개로 돌리면, 추격 비용이 올라가고 선도 그룹의 우위가 길어집니다. 이는 두 사람이 4부에서 반대하는 비확산 정책이 사실상 시장에서 먼저 실현되고 있다는 뜻이기도 합니다.

재귀적 자기개선에 대한 판단은 밸류에이션 논리와 직결됩니다. 선도 연구소의 기업가치를 떠받치는 서사 중 하나는 어느 시점에 AI가 AI 연구를 자력으로 가속하기 시작해 승자독식이 확정된다는 것입니다. 두 사람의 반론은 그 전환이 이미 조용히 진행 중이며, 따라서 특정 시점에 한 회사가 결정적 우위를 가져가는 사건으로 나타나지 않으리라는 것입니다. 이 판단이 맞다면 AI 연구 생산성의 향상은 업계 전반에 분산되고, 모델 계층의 범용재화화가 더 빨라집니다.

다만 균형 있게 보면, 이 절은 두 사람이 자신들의 논증에서 가장 방어적인 대목이기도 합니다. 스스로 ‘방법론 진보 속도는 영향의 문제와 직접 관련이 없다’고 선을 그어 둔 뒤에 속도 제한을 논의하므로, 설령 이 절의 예상이 모두 빗나가도 1부의 결론은 흔들리지 않는 구조입니다. 반증 가능성이 그만큼 낮게 설계되어 있다는 점은 독자가 감안할 필요가 있습니다.

2부 고도화된 AI의 세계: 지능이라는 단어를 내려놓기

나라야난과 카푸어가 2부를 여는 진단은 이렇습니다. 지능과 초지능이라는 미끄러운 개념에 의존해 온 탓에, 고도화된 AI가 존재하는 세계에 대해 명료하게 사고하는 능력이 흐려졌다는 것입니다.

두 사람의 전략은 지능을 두 개의 구별되는 기저 개념으로 분해하는 것입니다. 능력(capability)과 권력(power)입니다. 이 분해를 통해 초지능 AI가 존재하는 세계에서 인간 노동이 불필요해진다는 통념을 반박하고, 대안적 비전을 제시하겠다고 밝힙니다. 이 작업은 동시에 3부의 위험 논의를 위한 토대가 됩니다.

인간의 능력은 생물학에 제약되지 않는다

종의 스펙트럼이라는 그림

AI는 인간의 지능을 넘어설 수 있는가, 넘어선다면 얼마나 넘어서는가. 널리 퍼진 논변에 따르면 헤아릴 수 없을 만큼 넘어섭니다. 이 주장은 흔히 여러 종(種)을 지능의 스펙트럼 위에 늘어놓고 비교하는 방식으로 묘사됩니다.

원문의 그림 3이 바로 그런 도식이며, 두 사람은 루크 뮬하우저(Luke Muehlhauser)의 「Plenty of room above us」에 실린 그림을 다시 그려 실었다고 밝히고 있습니다. 재귀적으로 자기개선하는 AI를 통한 지능 폭발이라는 흔한 우려를 시각화한 그림입니다.

두 가지 결함

두 사람은 이 그림에 개념적 결함과 논리적 결함이 있다고 봅니다. 개념적 차원에서 지능은, 특히 서로 다른 종 사이의 비교로서의 지능은 제대로 정의되어 있지 않으며, 일차원 척도 위에서 측정 가능하다는 것은 더더욱 성립하지 않는다는 것입니다. 이 대목에서 미첼의 작업이 근거로 인용됩니다.

그러나 더 중요한 지적이 뒤따릅니다. AI의 영향을 분석할 때 쟁점이 되는 속성은 지능이 아니라는 것입니다. 쟁점은 권력, 즉 자신의 환경을 변형하는 능력입니다.

기술의 영향, 특히 점점 더 일반화되는 컴퓨팅 기술의 영향을 명료하게 분석하려면, 기술이 인류의 권력에 어떤 영향을 미쳐 왔는지를 조사해야 합니다. 그리고 이 관점에서 보면 완전히 다른 그림이 나타납니다.

선사시대 인간과 현대인의 차이

관점을 바꾸면 분명해지는 것은, 인간이 언제나 환경을 통제하는 능력을 높이기 위해 기술을 사용해 왔다는 사실입니다. 조상 인류와 현대 인류 사이에는 생물학적·생리학적 차이가 거의 없습니다.

차이를 만든 것은 향상된 지식과 이해, 도구, 기술, 그리고 실제로 AI입니다. 어떤 의미에서 행성과 기후를 바꿀 능력을 가진 현대 인간은 기술 이전 시대의 인간에 비해 초지능적 존재입니다.

여기서 두 사람은 비판의 칼끝을 분명히 합니다. AI 초지능의 위험을 분석하는 기초 문헌 상당 부분이 지능이라는 용어를 정밀하지 않게 사용한다는 점에서 문제를 안고 있다는 것입니다.

인과 사슬의 두 지점

지능과 초지능이라는 용어를 쓰지 않기로 하면 사태가 훨씬 명료해집니다. 우려의 내용은 이렇게 다시 쓸 수 있습니다. AI의 능력이 무한정 계속 증가한다면, 그것이 인간과 유사한지 초인간적인지와는 무관하게, 점점 더 많은 권력을 가진 AI 시스템으로 이어질 수 있고, 그 결과 통제 상실이 올 수 있다는 것입니다.

능력이 무한정 증가하리라는 전제는 두 사람도 받아들입니다. 그렇다면 통제 상실을 막기 위한 선택지는 두 개의 인과 단계 중 하나에 개입하는 것뿐입니다.

초지능 관점은 첫 번째 화살표에 대해 비관적입니다. 임의로 유능한 AI 시스템이 파국적 위험을 초래할 만큼의 권력을 획득하는 것을 막을 수 없다고 보는 것입니다. 그래서 대신 두 번째 화살표에 집중합니다. 임의로 강력한 AI 시스템이 인간의 이익에 반해 행동하지 않도록 하는 정렬(alignment) 기법입니다.

나라야난과 카푸어의 입장은 정확히 그 반대이며, 그 논거를 이 글의 나머지 부분에서 전개하겠다고 밝힙니다.

• 초지능 관점 — 능력 증가가 권력 획득으로 이어지는 첫 화살표는 차단할 수 없다고 보고, 권력이 통제 상실로 이어지는 둘째 화살표에 개입하며 모델 정렬을 핵심 수단으로 삼습니다.
• 일반 기술 관점 — 첫 화살표에 권한·접근·배치 통제로 개입하고, 정렬에만 의존하는 것은 취약하다고 봅니다.

해설 원문 그림 3이 다시 그린 도식은 초지능 논의에서 가장 널리 유통된 시각 자료 중 하나입니다. 생쥐와 침팬지, 평균적 인간과 아인슈타인을 지능 축 위에 늘어놓으면 이들 사이의 간격이 매우 좁게 보이고, 그 위로는 광대한 빈 공간이 펼쳐진다는 구도입니다. 뮬하우저는 기계지능연구소(MIRI) 소장을 지낸 인물로, 보스트롬 계열 논증을 대중화한 저자입니다. 우리 머리 위에 자리가 넉넉하다는 제목이 이 그림의 메시지를 압축합니다.

반대편 입장을 대표하는 미첼은 산타페연구소의 복잡계 연구자이자 『Artificial Intelligence: A Guide for Thinking Humans』의 저자로, 지능이 단일 척도로 환원되지 않는다는 주장을 오랫동안 펴 왔습니다. 생물의 지능은 각자의 생태적 환경에 맞춰 진화한 여러 능력의 묶음이지, 하나의 축 위에 놓인 눈금이 아니라는 것입니다.

권력을 ‘환경을 변형하는 능력’으로 정의하는 것은 사회과학에서 낯선 용법은 아니지만, 이 글에서는 전략적 기능을 합니다. 지능은 측정 방법을 두고 끝없이 다툴 수 있는 반면, 권력은 무엇에 접근할 수 있고 무엇을 바꿀 수 있는가로 비교적 구체적으로 특정됩니다. 논쟁의 무대를 측정 불가능한 속성에서 설계 가능한 조건으로 옮기는 것이 두 사람의 수사 전략입니다.

[반론] 샤프먼은 2026년 5월 글에서 이 절을 가장 강하게 공격합니다. 종 사이의 지능이 측정 가능하게 다르다는 사실을 부인하려 드는 것 자체를 납득할 수 없다는 것입니다. 이 글을 읽는 당신은 생쥐보다 똑똑하며, 최신 모델도 그렇다는 것이 그의 논법입니다. 지능이 다차원적이라는 사실이 곧 순서를 매길 수 없음을 뜻하지 않고, 그 차원들이 서로 상관되지 않거나 환원 불가능하다는 뜻도 아니라고 반박합니다.

지능이 아니라 권력이 쟁점이라는 주장에 대해서도 샤프먼은 반론을 폅니다. 지능은 역사적으로 늘 환경을 변형하는 권력과 상관되어 왔다는 것입니다. 다만 그는 자신의 주장에 대한 반례로 드와케시 파텔(Dwarkesh Patel)의 「The mistake of conflating intelligence and power」를 소개합니다. 세상에서 가장 권력 있는 사람들이 가장 똑똑한 사람들은 아니라는 지적인데, 샤프먼은 이를 일부 인정하면서도 권력자들이 물리학자를 고용하는 방식으로 지능을 최대치로 끌어 쓴다고 응수합니다. 지능은 권력의 필요조건이지 충분조건은 아니며, 추가로 필요한 것은 용기와 목표인데 컴퓨터는 용기가 필요 없고 목표는 기본값으로 주어지며 사람과 다른 AI를 모두 고용할 수 있다는 것이 그의 결론입니다.

그림 4에 대해서도 한 줄 반박을 남깁니다. 기술이 능력의 원천이라면, 그 기술은 애초에 지능이 아니면 무엇에서 나왔는지 묻고 싶다는 것입니다.

[관점] 이 절의 실질적 함의는 개념 논쟁이 아니라 통제 수단의 선택에 있습니다. 두 번째 화살표에 개입한다는 것은 모델 자체를 안전하게 만드는 데 자원을 투입한다는 뜻이고, 첫 번째 화살표에 개입한다는 것은 모델이 무엇에 접근할 수 있고 무엇을 실행할 수 있는지를 제한한다는 뜻입니다. 전자는 연구 문제이고 후자는 아키텍처와 권한 설계의 문제입니다.

기업 실무의 언어로 옮기면 차이가 분명해집니다. 전자는 벤더가 제공하는 모델의 안전성 평가서에 의존하는 접근이고, 후자는 최소 권한 원칙, 접근 통제, 되돌릴 수 있는 작업과 되돌릴 수 없는 작업의 분리, 감사 로그로 대응하는 접근입니다. 에이전트가 실제 시스템에 붙기 시작하면서 보안 업계가 실제로 하고 있는 일은 압도적으로 후자입니다.

투자 관점에서 보면 이 분기는 어느 계층에 가치가 쌓이는지를 가릅니다. 안전이 모델의 속성이라면 잉여는 선도 모델 제공자에게 집중됩니다. 안전이 배치 환경의 속성이라면 신원·권한 관리, 에이전트 관측과 감사, 샌드박싱 같은 운영 계층에 수요가 생깁니다. 두 사람의 주장을 받아들인다면 후자 쪽에 구조적 수요가 생긴다는 예측이 따라 나오며, 이는 3부에서 더 구체화됩니다.

게임은 초지능 가능성에 대해 오도된 직관을 준다

사람+AI를 하나의 단위로 놓기

지능을 덜 강조하는 것은 단순한 수사적 조치가 아니라고 나라야난과 카푸어는 못 박습니다. 두 사람이 보기에, AI가 AI의 도움을 받는 사람보다 더 지능적이라고 말할 수 있는 유용한 의미의 ‘지능’은 존재하지 않습니다.

인간의 지능이 특별한 이유는 도구를 사용하고 다른 지능들을 자신의 것으로 포섭하는 능력에 있습니다. 그렇기 때문에 인간의 지능은 어떤 지능 스펙트럼 위에 일관되게 놓일 수 없다는 것이 두 사람의 주장입니다.

체스가 특별한 이유는 속도다

물론 인간의 능력에 중요한 한계가 있다는 점은 분명히 인정합니다. 특히 속도가 그렇습니다. 기계가 체스 같은 영역에서 인간을 극적으로 능가하는 이유가 여기 있고, 그래서 인간과 AI로 이루어진 팀에서 인간은 그저 AI에 맡기는 것보다 더 나은 선택을 하기 어렵습니다.

그러나 속도의 한계는 대부분의 영역에서 무관합니다. 고속의 순차 계산이나 빠른 반응 시간이 요구되지 않기 때문입니다.

초인간적 속도가 요구되는 소수의 실세계 과업, 예를 들어 원자로 제어 같은 경우에 우리는 이미 잘 대응하고 있습니다. 고속이 필요한 부분을 처리하는 좁게 범위가 한정된 자동화 도구를 만들고, 시스템 전체에 대한 통제는 인간이 유지하는 방식입니다.

환원 불가능한 오차

이 관점에서 두 사람은 하나의 예측을 내놓습니다. 인간의 한계가 너무 두드러져서 AI가 인간의 성능을 체스에서처럼 훌쩍 뛰어넘을 수 있는 실세계 인지 과업은 상대적으로 적다는 것입니다.

AI 성능에 대한 두드러진 희망과 공포가 결부된 영역들을 포함해 다른 많은 영역에서는, 환원 불가능한 오차(irreducible error)가 높다고 두 사람은 봅니다. 현상 자체에 내재한 확률성 때문에 피할 수 없는 오차를 말합니다. 그리고 그런 영역에서 인간의 성능은 사실상 그 한계에 근접해 있다는 것입니다. 근거로 인용되는 것은 매슈 샐거닉(Matthew Salganik) 등이 수행한 삶의 결과 예측 가능성에 관한 대규모 공동 연구입니다.

두 개의 구체적 예측

두 사람은 그런 영역으로 두 가지를 구체적으로 지목합니다. 예측과 설득입니다.

첫째, AI가 지정학적 사건, 이를테면 선거를 예측하는 과업에서 훈련된 인간을 의미 있게 능가하지 못하리라고 예측합니다. 특히 인간 팀을 상대로는, 그리고 그 팀이 단순한 자동화 도구로 보강되어 있다면 더욱 그렇다는 단서를 답니다.

둘째, 사람들을 자기 이익에 반해 행동하도록 설득하는 과업에 대해서도 같은 예측을 내놓습니다.

자기 이익이라는 결정적 단서

설득에서 자기 이익이라는 측면이 결정적인데도 자주 과소평가된다고 두 사람은 지적합니다. 이를 보여 주는 사례로 딥마인드(DeepMind) 연구진의 「Evaluating Frontier Models for Dangerous Capabilities」를 듭니다. 언어모델의 설득 능력을 평가한 연구입니다.

이 연구의 설득 테스트 중 일부는 설득당하는 피험자에게 아무런 비용이 들지 않았습니다. AI와의 상호작용이 끝난 뒤 어떤 주장을 믿게 되었는지 묻는 것이 전부였기 때문입니다. 다른 테스트는 작은 비용을 수반했습니다. 자선단체에 갈 20파운드의 보너스를 포기하는 식인데, 물론 자선 기부는 사람들이 자발적으로 자주 하는 행위이기도 합니다.

따라서 이런 테스트들은 AI가 사람을 위험한 행동으로 이끌 수 있는지에 대해 반드시 무언가를 말해 주지는 않습니다. 두 사람은 연구진의 태도를 공정하게 평가합니다. 나라야난과 카푸어 스스로 생태적 타당도(ecological validity)의 부족을 인정했고, 자신들의 연구가 사회과학 실험이 아니라 모델의 능력을 평가하려는 것이었을 뿐이라고 강조했다는 것입니다.

그러나 바로 거기서 문제가 생긴다는 것이 두 사람의 지적입니다. 그렇다면 그런 탈맥락적 능력 평가가 안전과 관련해 어떤 함의를 갖는지 불분명해지는데, 실제로는 함의를 갖는 것처럼 통상적으로 오독되고 있기 때문입니다.

예측을 정밀하게 만드는 일의 어려움

마지막으로 두 사람은 자신들의 예측에 단서를 답니다. 예측을 정밀하게 만들려면 주의가 필요하며, 잘 알려진 사소한 인간의 한계들에 대해 어느 정도의 여유를 허용할지가 분명하지 않다는 것입니다. 예측의 경우에는 보정(calibration)의 부족이, 설득의 경우에는 인내심의 한계가 그런 예로 제시됩니다.

해설 환원 불가능한 오차는 통계학에서 예측 오차를 분해할 때 나오는 개념입니다. 오차는 편향, 분산, 그리고 어떤 모형으로도 줄일 수 없는 잡음으로 나뉘는데, 마지막 항이 여기 해당합니다. 동전 던지기의 결과를 예측하는 모형을 아무리 정교하게 만들어도 적중률이 50%를 넘지 못하는 것과 같은 이치입니다.

두 사람이 근거로 든 샐거닉 등의 연구는 프래절 패밀리즈(Fragile Families) 데이터를 이용한 대규모 집단 협업이었습니다. 수백 개 연구팀이 수천 개 변수를 가진 가족 데이터로 아동의 학업 성취와 가정의 경제적 곤란 같은 결과를 예측하도록 경쟁했는데, 최고 성적의 머신러닝 모형조차 소수의 변수를 쓴 단순 모형보다 크게 낫지 않았고 절대적 예측력 자체가 낮았습니다. 인간의 삶에는 데이터로 환원되지 않는 우연이 많다는 결론이었습니다.

생태적 타당도는 실험실에서 관찰된 현상이 실제 생활 환경에서도 같은 방식으로 나타나는지를 묻는 기준입니다. 20파운드 보너스를 자선단체에 양보하도록 설득하는 능력과, 누군가를 범죄나 자해로 이끄는 능력 사이에는 생태적 타당도의 간극이 있다는 것이 두 사람의 지적입니다.

[반론] 이 절의 두 예측은 발표 이후 가장 직접적으로 반증 시도의 표적이 되었습니다. 샤프먼은 2026년 5월 글에서 두 예측 모두 이미 반증되고 있다고 주장하며 각각에 대해 근거를 제시합니다.

예측에 관해서는 예측연구소(Forecasting Research Institute)의 브라이어 지수 작업을 인용합니다. 언어모델이 이미 일반 예측자의 중앙값을 넘어섰고, 이른바 슈퍼포캐스터와의 격차는 약 20%, 즉 최근 속도로는 1년치 모델 진보에 해당하며, 연구소의 선형 외삽은 2027년 중반 인간-모델 동등성을 전망한다는 것입니다.

설득에 관해서는 네이처 휴먼 비헤이비어(Nature Human Behaviour) 2025년 8월호에 실린 프란체스코 살비(Francesco Salvi) 등의 사전등록 통제 연구를 듭니다. 900명이 참여한 다회차 토론 실험에서, AI와 인간의 설득력이 동등하지 않았던 쌍들 가운데 개인화된 GPT-4가 더 설득력 있었던 경우가 64.4%였고, 토론 후 상대 입장에 동의할 승산이 81.2% 상대적으로 증가했다는 결과입니다. 샤프먼은 여기에 더해 AI가 사람을 위험한 행동으로 이끈 사례들, 즉 챗봇과의 대화 뒤 벌어진 자살 사건들과 레플리카 에이전트가 관련된 영국의 암살 시도 사건을 들며, 자기 이익에 반하는 설득이 이미 가능함을 보여 준다고 주장합니다.

[관점] 이 절은 평가가 갈립니다. 먼저 공정하게 짚을 점은, 나라야난과 카푸어가 반증 가능한 예측을 명시적으로 내놓았다는 사실 자체가 드문 미덕이라는 것입니다. 앞 절에서 지적했듯 이 글에는 반증 가능성이 낮게 설계된 대목이 적지 않은데, 여기만큼은 예외입니다.

다만 반증의 성립 여부를 따질 때는 예측의 범위를 정확히 봐야 합니다. 살비 등의 연구는 사회정치적 쟁점에 대한 토론에서의 의견 변화를 측정했고, 피험자에게 실질적 비용이 발생하지 않는 설정이었습니다. 이는 두 사람이 자기 이익에 반해 행동하도록이라는 단서를 단 바로 그 지점을 비껴갑니다. 설득력 자체가 인간을 넘어섰다는 사실과, 자기 이익을 거스르는 행동을 유도할 수 있다는 사실은 두 사람의 틀에서는 서로 다른 주장입니다. 반면 샤프먼이 든 자살 및 암살 시도 사례들은 그 경계를 실제로 넘는 사례이며, 두 사람의 예측에 더 직접적인 압력을 가합니다.

투자와 정책의 관점에서 더 중요한 함의는 평가 방법론 쪽에 있습니다. 두 사람의 비판은 프런티어 모델 평가 산업 전체를 겨냥합니다. 탈맥락적 능력 평가가 안전 함의를 갖는 것처럼 오독된다는 지적은, 각국 AI 안전연구소와 기업의 모델 카드가 생산하는 수치의 해석가능성을 문제 삼는 것이기 때문입니다. 능력 평가에서 배치 환경 평가로 무게중심이 옮겨 가야 한다는 요구는 3부에서 본격화됩니다.

한편 체스 사례에 대한 두 사람의 해석, 즉 기계의 우위가 속도에서 온다는 설명은 가장 취약한 고리로 보입니다. 샤프먼이 단백질 구조 예측과 정리 증명을 반례로 든 것처럼, 속도로 환원되지 않으면서도 인간이 한계에 근접해 있지 않았던 영역이 실제로 존재합니다. 어떤 영역의 환원 불가능한 오차가 실제로 얼마인지는 그 한계에 도달해 보기 전에는 알 수 없다는 점이, 이 예측의 구조적 약점입니다.

통제에는 여러 가지 형태가 있다

상자 속의 은하 두뇌

초지능을 전제하면 통제 문제는 하나의 은유를 불러일으킵니다. 은하계만 한 두뇌를 만들어 놓고 그것을 상자 안에 가둬 두는 그림이며, 이것은 공포스러운 전망입니다.

그러나 AI 시스템이 AI의 도움을 받는 인간보다 의미 있게 더 유능해지지는 않으리라는 두 사람의 판단이 옳다면, 통제 문제는 훨씬 다루기 쉬워집니다. 특히 초인간적 설득이 근거 없는 우려로 판명된다면 더욱 그렇습니다.

두 개의 극단

AI 통제에 관한 논의는 몇 가지 좁은 접근에 과도하게 집중되어 있다고 나라야난과 카푸어는 지적합니다. 모델 정렬(model alignment)과 휴먼 인 더 루프(human-in-the-loop)가 그것입니다.

이 둘은 대략 정반대의 극단으로 볼 수 있습니다. 전자는 시스템 운영 중의 안전 결정을 전적으로 AI에 위임하는 것이고, 후자는 모든 결정을 인간이 되짚어 보는 것입니다. 이런 접근에도 역할은 있지만 그 역할은 매우 제한적이라는 것이 두 사람의 평가입니다. 모델 정렬에 대한 회의는 3부에서 설명하겠다고 예고합니다.

여기서 휴먼 인 더 루프란 AI의 모든 결정이나 행동이 인간의 검토와 승인을 요구하는 시스템을 뜻합니다. 대부분의 시나리오에서 이 접근은 자동화의 이점을 크게 깎아먹습니다. 그래서 둘 중 하나로 귀결됩니다. 인간이 고무도장 역할로 전락하거나, 아니면 덜 안전한 해법에 경쟁에서 밀려나는 것입니다. 이 대목에서 인용되는 것은 자동화 사용에서의 안주와 편향에 관한 라자 파라수라만(Raja Parasuraman)과 디트리히 만체이(Dietrich Manzey)의 연구입니다.

두 사람이 특히 강조하는 구분이 있습니다. 휴먼 인 더 루프는 AI에 대한 인간 감독과 동의어가 아니라는 것입니다. 그것은 하나의 특정한 감독 모델일 뿐이며, 그것도 극단적인 모델입니다.

감사와 모니터링

다행히 두 극단 사이에는 여러 형태의 통제가 존재합니다. 감사와 모니터링(monitoring)이 대표적입니다.

감사는 배치 이전에, 또는 주기적으로 AI 시스템이 명시된 목표를 얼마나 잘 충족하는지 평가하게 해 줍니다. 파국적 실패가 발생하기 전에 미리 예상할 수 있게 하는 장치입니다.

모니터링은 시스템의 속성이 예상 동작에서 벗어날 때 실시간 감독을 가능하게 합니다. 정말로 필요할 때 인간이 개입할 수 있게 해 주는 것입니다.

시스템 안전공학에서 빌려 오기

다른 아이디어들은 시스템 안전(system safety)에서 옵니다. 체계적인 분석과 설계를 통해 복잡한 시스템에서 사고를 예방하는 데 초점을 둔 공학 분야입니다.

사례로 제시되는 것들은 구체적입니다. 페일세이프는 시스템이 오작동할 때 안전한 상태로 기본 복귀하도록 보장하며, 미리 정해진 규칙이나 하드코딩된 동작이 그 역할을 합니다. 서킷브레이커는 미리 정해진 안전 임계치를 넘으면 작동을 자동으로 중단시킵니다. 핵심 부품의 이중화, 그리고 시스템 행동의 안전 속성에 대한 검증도 여기 포함됩니다.

보안·형식검증·HCI에서 빌려 오기

사이버보안, 형식 검증, 인간-컴퓨터 상호작용(HCI)도 통제 기법의 풍부한 원천입니다. 이들은 전통적 소프트웨어 시스템에 성공적으로 적용되어 왔고 AI에도 똑같이 적용할 수 있다고 두 사람은 말합니다.

사이버보안의 최소 권한(least privilege) 원칙은 행위자가 자신의 과업에 필요한 최소한의 자원에만 접근하도록 보장합니다. 접근 통제는 민감한 데이터와 시스템을 다루는 사람이 업무에 필요하지 않은 기밀 정보와 도구에 접근하지 못하게 막습니다. 결과가 중대한 환경의 AI 시스템에도 유사한 보호 장치를 설계할 수 있습니다.

형식 검증 기법은 안전이 중요한 코드가 명세대로 작동하는지 보장하며, 지금은 AI가 생성한 코드의 정확성을 검증하는 데도 쓰이고 있습니다. HCI에서는 상태를 바꾸는 행동을 되돌릴 수 있도록 설계한다는 아이디어를 빌려 올 수 있습니다. 고도로 자동화된 시스템에서도 인간이 실질적 통제력을 유지하게 해 주는 방식입니다.

기술적 AI 안전 연구가 이미 만들어 낸 것들

다른 분야의 아이디어를 가져오는 것 외에, 기술적 AI 안전 연구 자체도 많은 새로운 아이디어를 만들어 냈다고 두 사람은 평가합니다.

언어모델을 자동 심판으로 써서 제안된 행동의 안전성을 평가하게 하는 방법, 불확실성이나 위험 수준에 따라 언제 인간 운영자에게 결정을 넘겨야 하는지를 학습하는 시스템, 에이전트 시스템의 활동이 인간에게 보이고 읽히도록 설계하는 방법, 그리고 더 단순하고 신뢰할 수 있는 AI가 더 유능하지만 신뢰성이 떨어질 수 있는 AI를 감독하는 계층적 통제 구조가 그 예입니다.

여기서 두 사람은 평가 기준의 문제를 제기합니다. 기술적 AI 안전 연구는 때때로 흐릿하고 비현실적인 목표, 즉 미래의 초지능 AI가 인간의 가치에 정렬되도록 보장한다는 목표에 비추어 평가됩니다. 그 관점에서 보면 미해결 문제로 보입니다.

그러나 AI 시스템의 개발자와 배치자, 운영자가 사고 가능성을 줄이기 쉽게 만든다는 관점에서 보면, 기술적 AI 안전 연구는 아이디어를 풍성하게 생산해 왔습니다. 그리고 고도화된 AI가 개발되고 채택됨에 따라 인간 통제의 새로운 모델을 찾는 혁신이 늘어날 것이라고 두 사람은 예측합니다.

• 극단 A: 모델 정렬 — 안전 결정을 운영 중인 AI에 위임하는 방식이며, 취약하고 맥락을 모른다는 한계가 있습니다(3부).
• 감사 — 배치 전과 주기적으로 목표 충족도를 평가하며, 사전적이어서 실시간 대응은 못 합니다.
• 모니터링 — 이상 징후가 보이면 실시간으로 개입하며, 개입 기준을 설계하는 것이 과제입니다.
• 시스템 안전공학 — 페일세이프, 서킷브레이커, 이중화를 쓰며, 예상된 실패 양식에만 작동합니다.
• 보안·HCI 기법 — 최소 권한, 접근 통제, 되돌릴 수 있는 설계를 쓰며, 설계 단계에서 선택해야 합니다.
• 극단 B: 휴먼 인 더 루프 — 모든 결정에 인간이 승인하는 방식이며, 고무도장으로 전락하거나 경쟁에서 탈락합니다.

일자리는 통제 업무로 재편된다

더 많은 물리적·인지적 과업이 자동화 가능해짐에 따라, 인간의 일자리와 과업 중 AI 통제와 관련된 비중이 점점 커질 것이라고 두 사람은 예측합니다.

급진적으로 들린다면, 이런 식의 노동 개념 전면 재정의가 과거에도 일어났다는 점을 짚습니다. 산업혁명 이전에는 대부분의 일자리가 육체노동이었습니다. 시간이 흐르며 점점 더 많은 육체적 과업이 자동화되었고 그 추세는 계속되고 있습니다.

그 과정에서 물리적 기계를 조작하고 통제하고 감시하는 수많은 방법이 발명되었습니다. 오늘날 공장에서 인간이 하는 일은 통제 업무와, 기계가 아직 해내지 못하는 수준의 인지 능력이나 손재주를 요구하는 일부 과업의 조합입니다. 여기서 통제란 자동화된 조립 라인을 감시하고, 로봇 시스템을 프로그래밍하고, 품질 검사 지점을 관리하고, 설비 고장에 대한 대응을 조율하는 일입니다.

트럭 운전사의 하루

이 전환이 이미 전개되고 있는 사례로 두 사람이 길게 인용하는 것이 카렌 레비(Karen Levy)의 분석입니다. 레비의 요점은 트럭 운전사의 일상이 트럭 운전보다 훨씬 많은 것으로 이루어져 있다는 사실입니다. 운전사는 화물을 관리하며, 냉장 트럭에서 식품의 온도를 적정하게 유지하고 평판 트레일러에 적재물을 단단히 고정합니다. 하루 두 번 의무적인 안전 점검을 수행하고, 값비싼 화물을 지키는 책임을 집니다. 트럭을 정비하고 수리하는데, 그중에는 일상적인 것도 있고 그렇지 않은 것도 있습니다.

터미널이나 배송지에 도착했을 때도 물건만 내려놓고 떠나는 것이 아닙니다. 어떤 운전사는 화물을 싣고 내리며, 고객과 대화하고, 서류 작업을 처리합니다. 빈 하역장이 날 때까지 기다렸다가 이동하는, 혼잡한 공항의 비행기와 비슷한 야드 무브에 몇 시간을 쓰기도 합니다.

레비의 결론은 이렇습니다. 이 과업들 중 일부는 분명히 지능형 시스템으로 제거될 수 있고 또 그렇게 되겠지만, 이 구성 요소들은 고속도로 주행보다 자동화하기가 훨씬 어렵고 훨씬 나중에야 가능해지리라는 것입니다.

명세라는 새로운 노동

AI 통제에 더해, 과업 명세(task specification)도 인간 일자리의 더 큰 부분이 될 가능성이 높다고 두 사람은 말합니다. 통제를 얼마나 넓게 보느냐에 따라 명세를 통제의 일부로 간주할 수도 있다는 단서를 답니다.

소프트웨어나 제품 개발을 외주로 맡겨 본 사람이라면 알듯이, 원하는 바를 모호함 없이 명세하는 일은 전체 노력에서 놀랄 만큼 큰 비중을 차지합니다. 따라서 인간의 노동, 즉 명세와 감독은 서로 다른 과업을 수행하는 AI 시스템들 사이의 경계에서 작동하게 됩니다.

여기서 하나의 긴장이 생깁니다. 이런 효율 병목을 없애고 AI 시스템이 더 큰 과업을 자율적으로 엔드투엔드로 수행하게 하려는 유혹은 늘 존재할 것입니다. 그러나 그렇게 하면 가독성과 통제력이 떨어지므로 안전 위험이 커집니다. 그리고 바로 이 위험이 너무 많은 통제권을 넘기는 데 대한 자연스러운 제동장치로 작용하리라는 것이 두 사람의 판단입니다.

시장이 주도하고 규제가 보강한다

마지막으로 두 사람은 이 전환이 일차적으로 시장의 힘에 의해 추동되리라고 예측합니다. 제대로 통제되지 않는 AI는 오류가 너무 잦아서 사업적으로 말이 되지 않기 때문입니다.

다만 규제가 할 일이 남아 있습니다. 조직이 인간을 통제의 중심에 두는 역량과 필요성을 규제가 보강할 수 있고 또 보강해야 한다는 것이 이 절의 마지막 문장입니다.

해설 파라수라만과 만체이의 연구가 가리키는 현상은 자동화 안주(automation complacency)와 자동화 편향(automation bias)입니다. 자동화 시스템이 대체로 잘 작동하면 감독자는 점차 경계를 늦추고, 시스템의 제안을 비판 없이 수용하며, 심지어 자신의 판단과 어긋나는 신호를 무시합니다. 항공 사고 조사에서 반복 확인된 패턴이며, 모든 결정에 사람의 승인을 요구하는 설계가 왜 실제로는 고무도장으로 전락하는지를 설명합니다.

시스템 안전공학은 MIT의 낸시 레브슨(Nancy Leveson)이 체계화한 분야로, 사고를 개별 부품의 고장이 아니라 시스템 전체의 통제 구조 실패로 보는 관점이 핵심입니다. 어느 부품도 고장 나지 않았는데 사고가 날 수 있다는 것, 그래서 안전은 부품의 속성이 아니라 시스템의 창발적 속성이라는 것이 이 분야의 출발점입니다. 두 사람이 3부에서 펴는 안전은 모델의 속성이 아니다라는 주장이 바로 이 계보에 서 있습니다.

최소 권한 원칙은 1975년 솔처(Jerome Saltzer)와 슈뢰더(Michael Schroeder)가 정식화한 보안 설계 원칙으로, 각 주체에게 임무 수행에 필요한 최소한의 권한만 부여한다는 것입니다. AI 에이전트에 적용하면 모델을 더 착하게 만드는 것이 아니라, 모델이 손댈 수 있는 범위를 좁히는 접근이 됩니다. 되돌릴 수 있는 설계도 같은 철학입니다. 에이전트가 잘못 판단할 가능성을 0으로 만드는 대신, 잘못 판단해도 복구 가능하게 만드는 것입니다.

[반론] 샤프먼은 이 절의 두 축을 모두 공격합니다.

첫째, 통제가 유지된다는 전제에 대해서는 사실관계로 반박합니다. 두 사람이 ‘중대한 결정에 접근 권한이 주어지기 한참 전에 덜 중요한 맥락에서 신뢰할 만한 성능을 입증해야 한다’고 썼지만, AI는 이미 중대한 결정에 접근하고 있다는 것입니다. 샤프먼은 미군의 프런티어 모델 사용과 국방부가 모든 적법한 목적에 대한 제한 없는 접근을 요청했다는 보도를 근거로 들고, 많은 사람이 이미 이메일과 메시지 응답을 AI에 맡기고 있다는 점도 지적합니다.

둘째, 일자리가 통제 업무로 재편된다는 예측에 대해서는 더 근본적인 질문을 던집니다. 에너지가 싸지고 AI가 인간 지능을 대체하며 AI가 탑재된 휴머노이드 로봇이 모든 인간 노동을 복제할 수 있다면, 되돌아갈 일자리가 무한히 남아 있다고 정말 믿을 수 있느냐는 것입니다. 과거의 자동화를 기억하는 세대가 그렇게 생각하는 이유는 이해하지만, 더 멀리 외삽해 보라는 요구입니다.

다만 샤프먼은 이에 대한 가장 강력한 반론으로 알렉스 이마스(Alex Imas)의 「What will be scarce?」를 소개합니다. 지출의 점점 더 큰 몫이, 그것을 제공한 인간과 분리될 수 없는 가치를 지닌 재화와 서비스로 향하는 세계가 온다는 주장입니다. 샤프먼은 이 견해에 어느 정도 동의하면서도, 그런 세계가 개발도상국에는 재앙이며 사람들의 취향 자체가 바뀔 수 있다는 점을 들어 약하게만 받아들인다고 밝힙니다.

[한국 관점] 레비의 트럭 운전사 분석은 한국 화물운송에 그대로 옮기면 오히려 더 강해집니다. 국내 화물차 기사의 노동시간에서 실제 주행이 차지하는 비중은 제한적이고, 상하차 대기와 배차 조율, 거래처 응대가 큰 몫을 차지한다는 점이 여러 실태조사에서 지적되어 왔습니다. 고속도로 주행이 자동화되더라도 대체되는 것은 업무의 일부일 뿐이라는 레비의 결론이 한국에서 더 뚜렷하게 성립합니다.

다만 한국적 변수가 하나 더 있습니다. 지입제와 다단계 운송 구조 아래에서 기사 상당수는 피고용인이 아니라 차주입니다. 자동화의 이득이 노동 절감으로 나타나는 것이 아니라 차량 소유자의 수익 구조 변화로 나타나며, 그 조정 비용을 누가 부담하는지가 쟁점이 됩니다. 두 사람이 ‘시장의 힘이 전환을 주도한다’고 말할 때 전제하는 고용 관계가 한국에서는 다르게 생겼다는 뜻입니다.

통제 업무로의 재편이라는 예측에도 한국적 제약이 있습니다. 두 사람이 그리는 그림에서 인간의 새 역할은 감사와 모니터링, 명세인데, 이들은 모두 직무가 명확히 정의되고 책임 범위가 문서화된 조직을 전제합니다. 직무기술서가 형식적으로만 존재하고 업무 분장이 관행과 위계로 정해지는 조직에서는, AI 통제 책임이 누구에게 있는지가 사고가 난 뒤에야 사후적으로 정해질 공산이 큽니다. AI 기본법이 고영향 인공지능에 대해 사람의 관리·감독을 요구하는 만큼, 이 공백은 규제 준수의 문제로도 떠오를 것입니다.

3부 위험: 다섯 가지로 나눠 보기

분류

나라야난과 카푸어는 위험을 다섯 유형으로 나눕니다. 사고, 군비경쟁(사고로 이어지는), 오용, 정렬 실패, 그리고 파국적이지는 않지만 시스템적인 위험입니다.

괄호 안의 단서가 중요합니다. 두 사람의 틀에서 군비경쟁은 그 자체로 독립된 위험이 아니라 사고 위험을 키우는 경로로 분류됩니다.

사고: 이미 답한 문제

사고는 앞에서 이미 다루었다고 두 사람은 말합니다. 2부 전체가 통제에 관한 논의였기 때문입니다.

두 사람의 입장은 다른 기술과 똑같습니다. AI 시스템의 사고를 완화할 일차적 책임은 배치자(deployer)와 개발자(developer)에게 있어야 한다는 것입니다.

그들이 얼마나 효과적으로 그 일을 해낼지는 두 가지에 달려 있습니다. 그들의 인센티브, 그리고 완화 방법론의 진전입니다. 많은 경우 시장의 힘이 적절한 인센티브를 제공하겠지만, 공백이 생기면 안전 규제가 그것을 메워야 합니다. 완화 방법론에 관해서는 AI 통제 연구가 빠르게 진전하고 있음을 앞서 살펴본 바 있습니다.

이 낙관이 깨질 수 있는 세 가지 이유

두 사람은 자신들의 낙관적 평가가 성립하지 않을 수 있는 이유를 스스로 세 가지 제시합니다.

첫째는 군비경쟁입니다. AI의 경쟁상 이득이 너무 커서 통상적인 패턴의 예외가 될 수 있다는 것입니다. 이 가능성은 바로 다음 절에서 다룹니다.

둘째는 규모와 권력의 집중입니다. AI를 배치하는 기업이나 주체가 너무 크고 강력해서, 사고 완화에 대한 태도가 나쁘면 결국 망하게 된다는 사실이 별 위안이 되지 못하는 경우입니다. 그 주체가 문명을 함께 끌고 내려갈 수 있기 때문입니다. 두 사람이 드는 구체적 예는 거의 모든 소비자 기기를 통제하는 AI 에이전트의 오작동이 파국적으로 광범위한 데이터 손실을 낳는 시나리오입니다.

다만 두 사람은 이것을 AI 사고의 문제로 보지 않습니다. 그런 권력 집중은 AI 사고 가능성보다 더 큰 문제이며, 바로 그것이 자신들의 정책 접근이 회복탄력성과 탈중앙화를 강조하는 이유라고 설명합니다. 4부로 넘기는 것입니다.

셋째는 눈에 띄지 않는 배치자의 AI 통제 실패입니다. AI 에이전트가 탈출해 자기 복제를 하는 식의 시나리오인데, 두 사람은 이것을 사고가 아니라 정렬 실패 위험으로 분류하고 뒤에서 다루겠다고 밝힙니다.

3부의 나머지에서는 사고를 제외한 네 가지, 즉 군비경쟁, 오용, 정렬 실패, 그리고 파국적이지 않은 시스템적 위험을 일반 기술의 렌즈로 검토합니다.

• 사고 — 2부에서 이미 다루었고, 일차적 방어선은 배치자·개발자와 시장 인센티브, 안전 규제입니다.
• 군비경쟁 — 사고를 키우는 경로로 분류하며, 일차적 방어선은 부문별 규제입니다.
• 오용 — 별도 절로 다루며, 일차적 방어선은 모델 하류의 공격 표면입니다.
• 정렬 실패 — 가장 사변적인 위험으로 분류하며, 방어선은 오용 방어와 같은 하류 방어입니다.
• 시스템적 위험 — 일반 기술 관점에서 가장 중요한 위험이며, 4부의 정책 논의로 이어집니다.

해설 사고 책임을 배치자와 개발자에게 두고 시장 인센티브가 부족한 곳만 규제로 메운다는 구도는, 제조물 안전 규제의 표준적 논리를 그대로 따른 것입니다. 소비자가 제품의 안전성을 스스로 평가하기 어려울 때 시장은 안전을 충분히 공급하지 못하고, 그 실패 지점에만 규제가 개입한다는 발상입니다.

이 분류가 단순한 정리 작업이 아닌 이유는 책임 귀속이 달라지기 때문입니다. 사고는 과실 책임과 제조물 책임의 영역이고, 오용은 가해자가 따로 있으므로 형사 책임과 공범·방조의 문제가 됩니다. 정렬 실패는 설계와 명세가 의도와 어긋난 경우여서, 누구의 잘못인지를 특정하기 가장 어렵습니다. 같은 손해가 발생해도 어느 상자에 넣느냐에 따라 소송 구조와 보험 설계가 달라집니다.

두 사람이 제시한 둘째 이유, 즉 ‘망하더라도 문명을 끌고 내려간다’는 구조는 금융 규제에서 말하는 시스템적 중요성과 같은 발상입니다. 개별 기업의 퇴출이라는 시장 규율이 작동하더라도, 퇴출 과정 자체가 사회 전체에 손해를 입힌다면 사후적 시장 규율만으로는 불충분하다는 것입니다. 금융에서는 이 문제에 자본 규제와 정리 계획으로 대응해 왔습니다.

[관점] 두 사람이 스스로 제시한 세 가지 예외 중 둘째는, 일반 기술 관점의 가장 취약한 지점을 두 사람이 먼저 자인한 대목으로 읽을 수 있습니다. 시장 규율에 사고 완화를 맡긴다는 논리는 실패한 기업이 퇴출될 때 손해가 그 기업과 고객에게만 귀속된다는 전제 위에 서 있는데, 집중된 인프라에서는 그 전제가 성립하지 않습니다.

흥미로운 것은 두 사람이 이 문제를 AI 안전의 문제가 아니라 권력 집중의 문제로 재분류하고 4부로 넘긴다는 점입니다. 분석적으로는 일관된 선택입니다. 그러나 실무적으로는 두 문제가 같은 사건으로 나타납니다. 하나의 모델 제공자, 하나의 클라우드, 하나의 에이전트 프레임워크 위에 수만 개 응용이 얹히는 구조에서, 사고와 집중은 분리된 두 위험이 아니라 하나의 사건의 두 측면입니다.

투자 관점에서 이 대목은 상관관계 리스크의 문제로 번역됩니다. 개별 기업의 AI 도입 실패는 분산 가능한 위험이지만, 공통 기반에서 비롯된 동시다발적 장애는 분산되지 않습니다. 보험 시장이 사이버 리스크에서 이미 직면한 문제이며, 누적 손해의 상한을 설정하기 어려워 담보 제공이 제한되는 영역입니다. AI 에이전트가 실제 시스템 권한을 쥐기 시작하면 같은 문제가 더 큰 규모로 반복될 가능성이 큽니다.

[한국 관점] 두 사람이 가정 사례로 든 거의 모든 소비자 기기를 통제하는 주체의 오작동은 한국에서 이미 한 차례 현실이 되었습니다. 2022년 10월 SK C&C 판교 데이터센터 화재로 카카오의 메신저, 결제, 호출, 지도 서비스가 장시간 동시 중단된 사건입니다. AI와는 무관한 물리적 화재였지만, 집중이 만드는 단일 실패 지점의 구조는 두 사람이 묘사한 것과 동일했습니다.

이 사건의 사후 대응도 참고할 만합니다. 국회는 이른바 데이터센터 보호 3법을 통과시켜 부가통신사업자와 데이터센터 사업자를 재난관리 체계에 편입시켰고, 이중화와 재해복구 계획을 의무화했습니다. 두 사람이 ‘새로운 영역이 생기면 그때그때 규제하면 된다’고 말한 방식 그대로의 사후 규제였습니다.

다만 한국에는 집중도 자체가 더 높다는 구조적 차이가 있습니다. 메신저, 검색, 결제, 지도에서 소수 사업자의 점유율이 미국보다 훨씬 높고, 이들이 AI 에이전트를 자사 생태계에 통합할 경우 단일 실패 지점의 범위는 더 넓어집니다. 두 사람이 권고하는 탈중앙화와 다중심성이 한국 맥락에서는 더 어렵고 동시에 더 절실한 과제가 된다는 뜻입니다.

군비경쟁은 오래된 문제다

정의와 범위

AI 군비경쟁이란 둘 이상의 경쟁자가 불충분한 감독과 통제 아래 점점 더 강력한 AI를 배치하는 상황을 말합니다. 경쟁자는 기업일 수도, 서로 다른 나라의 정책결정자일 수도, 군대일 수도 있습니다. 위험은 더 안전한 행위자가 더 위험한 행위자에게 경쟁에서 밀려나는 것입니다.

앞서 설명한 이유들 때문에, 나라야난과 카푸어는 AI 방법론 개발에서의 군비경쟁보다 AI 응용의 배치에서의 군비경쟁을 더 우려합니다.

한 가지 중요한 단서를 답니다. 군사용 AI는 분석에서 명시적으로 제외한다는 것입니다. 기밀로 분류된 능력과 고유한 동학이 결부되어 있어 더 깊은 분석이 필요하고, 이 글의 범위를 넘어선다는 이유입니다.

기업 간 경쟁: 전례가 풍부한 문제

안전을 둘러싼 바닥으로의 경쟁은 역사적으로 산업 전반에서 극히 흔했고 광범위하게 연구되었다고 두 사람은 말합니다. 그리고 잘 이해된 규제 개입에 매우 잘 반응하는 문제이기도 합니다.

제시되는 사례들은 구체적입니다. 20세기 초 미국 의류 산업의 화재 안전, 19세기 말과 20세기 초 미국 정육 산업의 식품 안전과 노동자 안전, 19세기 미국 증기선 산업, 19세기와 20세기 초의 광업, 20세기 초의 항공 산업입니다.

이런 경쟁이 벌어진 이유는 기업이 열악한 안전의 비용을 외부화할 수 있었고, 그 결과 시장 실패가 발생했기 때문입니다. 소비자가 제품의 안전성을 평가하기 어렵고 노동자가 작업장의 안전성을 평가하기 어려우므로, 규제가 없으면 시장 실패는 흔하게 일어납니다.

그러나 일단 규제가 기업으로 하여금 안전 관행의 비용을 내부화하도록 강제하면 경쟁은 사라집니다. 가능한 규제 전략은 여럿입니다. 과정에 초점을 둔 것(표준, 감사, 검사), 결과에 초점을 둔 것(책임), 그리고 정보 비대칭을 교정하는 것(라벨링, 인증)입니다.

자율주행 4사 비교

AI도 예외가 아니며, 자율주행차가 안전과 경쟁상 성공의 관계를 보여 주는 좋은 사례 연구라고 두 사람은 말합니다. 안전 관행이 서로 다른 네 기업을 비교합니다.

웨이모(Waymo)는 보수적 배치와 자발적 투명성을 강조하는 강한 안전 문화를 가진 것으로 알려져 있으며, 안전 성과에서도 선두입니다. 크루즈(Cruise)는 배치에서 더 공격적이었고 안전 성과는 더 나빴습니다. 테슬라(Tesla) 역시 공격적이었으며 고객을 베타 테스터로 쓴다는 비난을 자주 받았습니다. 우버(Uber)의 자율주행 부문은 안전 문화가 느슨하기로 악명이 높았습니다.

시장에서의 성공은 안전과 강하게 상관되었습니다. 크루즈는 2025년 중 문을 닫을 예정이고, 우버는 자율주행 부문을 매각할 수밖에 없었습니다. 테슬라는 소송과 규제 감시에 직면해 있으며, 안전에 대한 태도가 회사에 얼마나 큰 비용을 치르게 할지는 두고 봐야 합니다.

두 사람은 이 상관이 인과적이라고 봅니다. 크루즈의 면허가 취소된 것이 웨이모에 뒤처진 큰 이유였고, 안전은 우버의 자율주행 실패에서도 한 요인이었습니다.

규제가 실제로 한 일

규제는 작지만 도움이 되는 역할을 했다고 두 사람은 평가합니다. 연방과 주·지방 양쪽의 정책결정자들이 이 기술의 잠재력을 알아보는 선견지명을 발휘했고, 가볍게 개입하면서 다중심적인(polycentric) 규제 전략을 채택했습니다. 하나의 규제기관이 아니라 여러 규제기관이 관여하는 방식입니다.

이들이 집합적으로 집중한 것은 감독, 표준 설정, 증거 수집이었습니다. 그리고 면허 취소라는 상존하는 위협이 기업 행동에 대한 제동장치로 작동했습니다.

항공 산업에서도 비슷했습니다. AI의 통합은 기존 안전 기준에 맞춰 평가되었고, AI 도입을 장려하려고 기준을 낮추지 않았습니다. 기준을 지키지 않는 기업을 규제기관이 제재할 수 있는 능력이 주된 이유였습니다.

결론은 간명합니다. AI 군비경쟁은 일어날 수 있지만 부문에 특정한 현상이며, 부문별 규제로 다루어야 한다는 것입니다.

해설 바닥으로의 경쟁이 성립하는 조건은 외부효과입니다. 안전에 투자하지 않아 발생하는 비용을 기업이 아니라 소비자나 노동자, 사회가 부담하면, 안전을 희생한 기업이 가격이나 속도에서 앞서게 되고 안전한 기업이 시장에서 밀려납니다. 규제의 역할은 그 비용을 기업의 손익계산서 안으로 되돌리는 것입니다. 두 사람이 드는 역사적 사례들은 모두 대형 참사 이후 규제가 들어와 경쟁이 멈춘 경우들입니다.

다중심성은 엘리너 오스트롬(Elinor Ostrom)의 공유자원 거버넌스 연구에서 나온 개념으로, 하나의 중앙 권위 대신 여러 층위의 복수 규제 주체가 중첩적으로 작동하는 구조를 가리킵니다. 두 사람은 4부에서 이것을 회복탄력성의 핵심 수단으로 다시 꺼냅니다. 자율주행 규제가 연방과 주로 갈려 있고 캘리포니아 차량국과 공공시설위원회가 각각 다른 허가를 쥐고 있었던 구조가 그 예입니다.

본문의 사례들에는 배경 사실이 있습니다. 크루즈는 2023년 10월 샌프란시스코에서 보행자를 차량 아래로 끌고 간 사고와 그에 대한 정보 제공 문제로 캘리포니아 차량국의 무인운행 허가가 정지되었고, 제너럴모터스(General Motors)는 2024년 말 로보택시 사업 중단을 발표했습니다. 우버의 자율주행 부문은 2018년 애리조나에서 보행자 사망 사고를 낸 뒤 2020년 오로라(Aurora)에 매각되었습니다. 두 사람이 상관을 인과로 읽는 근거가 이 사건들입니다.

소셜미디어는 왜 다른 길을 갔는가

자율주행이나 항공과 다르게 전개된 영역의 사례 연구로 두 사람은 소셜미디어를 듭니다. 콘텐츠 피드를 생성하는 추천 알고리즘도 일종의 AI입니다.

이 알고리즘들은 수많은 사회적 병폐의 원인으로 지목되어 왔고, 소셜미디어 기업들은 알고리즘 시스템의 설계와 배치에서 안전을 과소평가해 왔다고 볼 만합니다. 명백한 군비경쟁 동학도 있습니다. 틱톡(TikTok)이 경쟁사들에게 피드를 더 추천 중심으로 바꾸도록 압력을 가한 것이 그 예입니다. 시장의 힘은 수익과 사회적 편익을 일치시키기에 불충분했고, 더 나쁘게는 규제기관이 늦게 움직였습니다.

이유가 무엇인가. 두 사람은 두 가지 차이를 제시합니다.

첫째는 귀속의 문제입니다. 교통의 경우 피해가 발생했을 때 그것을 제품 결함에 귀속시키기가 비교적 쉽고, 기업에 즉각적인 평판 손상이 발생합니다. 소셜미디어에서는 귀속이 극히 어렵고, 연구조차 결론이 나지 않았으며 논쟁 중입니다.

둘째는 시간입니다. 교통 안전에 관한 기준과 기대를 발전시키는 데 우리는 100년 넘는 시간을 썼습니다. 자동차 초기 수십 년 동안에는 안전이 제조사의 책임으로 간주되지도 않았습니다.

두 갈래 길

AI는 충분히 넓은 기술이어서, 미래의 어떤 응용은 교통에 더 가깝고 어떤 응용은 소셜미디어에 더 가까울 것이라고 두 사람은 봅니다.

여기서 도출되는 것이 두 가지 요구입니다. 하나는 AI 기반의 신흥 부문과 응용에서 선제적인 증거 수집과 투명성이 중요하다는 것이며, 이는 4부에서 다룹니다. 다른 하나는 선제적 AI 윤리(anticipatory AI ethics)의 중요성입니다. 신흥 기술의 생애주기에서 가능한 한 이른 시점에 윤리적 쟁점을 식별하고, 규범과 표준을 개발하며, 그것으로 기술 배치를 능동적으로 형성해 군비경쟁의 가능성을 최소화하는 접근입니다.

AI에서 안전 규제가 더 어려울 수 있는 한 가지 이유는, 채택이 너무 빨라서 규제기관이 때늦을 때까지 개입하지 못하는 경우라고 두 사람은 인정합니다. 그러나 지금까지 결과가 중대한 과업에서 규제가 없는 상태에서조차 AI가 급속히 채택된 사례는 없었고, 1부에서 제시한 피드백 루프 모델이 그 이유를 설명할 수 있습니다. 새 AI 응용의 채택 속도는 계속 추적해야 할 핵심 지표로 남습니다.

다만 확산 속도가 앞으로 빨라지지 않더라도 규제의 느린 속도 자체가 문제라는 점은 인정합니다. 이 속도 문제는 4부에서 다룹니다.

국가 간 경쟁: 핵무기가 아니라 원자력

정부에게 AI 안전에 손을 떼라는 경쟁 압력이 가해질 것인가. 두 사람의 메시지는 다시 한번 이것이 새로운 문제가 아니라는 것입니다. 혁신과 규제의 상충은 규제 국가가 반복해서 마주해 온 딜레마입니다.

지금까지 나타난 접근의 차이는 뚜렷합니다. EU는 사전예방적 접근을 강조해 왔고(GDPR, 디지털서비스법, 디지털시장법, AI법), 미국은 알려진 피해나 시장 실패가 발생한 뒤에만 규제하기를 선호해 왔습니다.

날 선 미중 군비경쟁 수사에도 불구하고, 어느 쪽 나라에서도 AI 규제가 둔화되었다고 보기 어렵다고 두 사람은 지적합니다. 미국에서는 2024년 한 해에만 주 의회에 700건의 AI 관련 법안이 발의되었고 그중 수십 건이 통과되었습니다. 앞서 짚었듯 대부분의 고위험 부문은 AI 사용 여부와 무관하게 이미 촘촘히 규제되고 있습니다. AI 규제가 무법천지라고 주장하는 쪽은 좁은 의미의 모델 중심 규제를 과도하게 강조하는 경향이 있다는 것입니다. 규제기관이 개발보다 사용에 방점을 두는 것은 적절하다는 것이 두 사람의 평가이며, 투명성 요건 같은 예외는 뒤에서 따로 다룹니다.

핵심 논거는 비용의 귀착입니다. 안전한 채택을 제대로 규제하지 못하면 사고를 통한 부정적 영향이 주로 국내에 발생합니다. 안전에 소홀한 기업이 비용을 외부화할 수 있었던 것과는 다릅니다. 따라서 국가 간 군비경쟁을 예상할 직접적인 이유가 없다는 결론이 나옵니다. 이 절의 관심사는 사고이지 오용이 아니므로 외국에 대한 사이버 공격은 범위 밖이며, 오용은 다음 절에서 다룹니다.

이 논점을 분명히 해 주는 것이 핵 기술 비유입니다. AI는 흔히 핵무기에 비유되지만, 군사용 AI를 논하는 것이 아니라면 그것은 틀린 비유입니다. 두 사람이 보기에 올바른 비유는 원자력입니다.

차이는 명료합니다. 핵무기 군비경쟁은 있었지만 원자력에는 그에 상응하는 경쟁이 없었습니다. 실제로 안전 영향이 국지적으로 체감되었기 때문에, 이 기술은 여러 나라에서 강력한 반발을 불러일으켰고 그 반발이 원자력의 잠재력을 심각하게 제약했다고 일반적으로 평가됩니다.

이론적으로는 강대국 갈등 상황에서 정책결정자가 자국 AI 산업을 세계 승자로 만들기 위해 안전 비용을 국내적으로 감수하는 쪽을 택할 수 있습니다. 그러나 개발이 아니라 채택에 초점을 맞춰 보면, 현재로서는 그런 일이 벌어지고 있다는 징후가 없습니다. 미중 군비경쟁 수사는 모델 개발, 즉 발명에 강하게 집중되어 있었고, 그에 상응해 AI를 마구잡이로 채택하려는 쇄도는 관찰되지 않았습니다. 안전 공동체는 이 상황이 바뀌지 않도록 정책결정자에게 계속 압력을 가해야 하며, 국제 협력도 중요한 역할을 해야 한다고 두 사람은 덧붙입니다.

[관점] 이 절의 가장 날카로운 분석적 기여는 ‘어느 수준에서 경쟁이 벌어지는가’를 분리한 것입니다. 미중 경쟁 서사는 거의 전적으로 모델 개발을 둘러싼 것이고, 그 영역의 경쟁은 안전 규제 완화 압력으로 직결되지 않습니다. 반면 안전이 실제로 문제되는 지점은 배치인데, 배치 사고의 비용은 국내에 떨어지므로 바닥으로의 경쟁 유인이 약하다는 것입니다. 수출통제와 컴퓨트 확보를 둘러싼 지정학적 긴장과, 실제 AI 안전 수준 사이의 연결고리가 생각보다 약하다는 결론이 따라 나옵니다.

다만 원자력 비유는 두 사람이 의도한 것보다 더 어두운 함의를 가집니다. 두 사람은 원자력에 군비경쟁이 없었다는 점을 들어 안심의 근거로 삼지만, 같은 문장에서 국지적 안전 영향이 강력한 반발을 낳아 기술의 잠재력을 심각하게 훼손했다고 인정합니다. 스리마일섬과 체르노빌 이후 서구의 원전 건설이 수십 년간 사실상 멈춘 역사를 떠올리면, 이 비유는 AI에 대해서도 한 번의 큰 사고가 확산 자체를 장기간 동결시킬 수 있음을 시사합니다. 군비경쟁 위험과 반발 위험을 맞바꾼 셈입니다.

투자 관점에서는 자율주행 사례의 해석에 유보가 필요합니다. 두 사람은 안전과 시장 성공의 상관을 인과로 읽지만, 이 표본은 네 개이고 모두 면허 기반 산업입니다. 규제기관이 면허 취소라는 결정적 수단을 쥐고 있는 부문에서 안전이 성공을 좌우한다는 것은, 안전 그 자체보다 규제 권한의 존재가 결정적이었다는 해석과 구별되지 않습니다. 소셜미디어가 다른 길을 간 이유가 바로 그 권한의 부재였다는 두 사람의 설명이 오히려 이 해석을 뒷받침합니다. 결국 핵심 변수는 기업의 안전 문화가 아니라 규제기관이 제재 수단을 쥐고 있는지 여부입니다.

[한국 관점] 두 사람이 강조한 다중심적 규제는 한국에서 성립하기 어려운 조건입니다. 자율주행만 보더라도 임시운행허가와 시범운행지구 지정이 국토교통부를 중심으로 일원화되어 있고, 미국처럼 주별로 서로 다른 규제 실험이 경쟁하는 구조가 아닙니다. 두 사람이 상찬한 여러 규제기관 사이의 경쟁은 중앙집권적 규제 전통에서는 제도적으로 재현하기 까다롭습니다.

반대로 면허 취소라는 제동장치는 한국에서 더 강하게 작동합니다. 사업 인허가와 행정지도의 비중이 크기 때문입니다. 두 사람의 분석을 받아들인다면, 한국의 AI 안전은 자발적 안전 문화보다 인허가 레버에 더 크게 의존하게 되며, 이는 사고 억제에는 유리하지만 두 사람이 4부에서 경고하는 과도한 사전규제와 관료제 비대화의 위험을 동시에 키웁니다.

소셜미디어 사례는 한국에서 다른 모습으로 반복되고 있습니다. 추천 알고리즘의 사회적 영향에 대한 규제 논의가 투명성 요구 중심으로 진행되어 왔고, 포털 뉴스 배열 알고리즘을 둘러싼 논쟁이 반복되었습니다. 두 사람이 지적한 귀속의 어려움, 즉 피해를 특정 알고리즘 결함에 연결하기 어렵다는 문제가 한국에서도 규제 설계의 병목이었습니다. 다만 한국에서는 이 논의가 안전보다 정치적 중립성 쟁점으로 흐르는 경향이 있어, 두 사람이 권고하는 선제적 증거 수집과는 다른 방향으로 전개되었습니다.

오용에 대한 주된 방어선은 모델 하류에 있어야 한다

정렬은 깨지기 쉽다

모델 정렬은 흔히 모델 오용에 대한 일차 방어선으로 여겨집니다. 현재는 인간과 AI의 피드백을 이용한 강화학습 같은 사후학습 개입을 통해 달성됩니다.

문제는 오용 시도를 거부하도록 모델을 정렬하는 일이 극히 깨지기 쉽다는 것이 입증되었다는 점입니다. 나라야난과 카푸어는 이 한계가 본질적인 것이며 고쳐질 가능성이 낮다고 주장합니다. 따라서 오용에 대한 주된 방어선은 다른 곳에 있어야 합니다.

맥락을 모르는 모델

근본 문제는 어떤 능력이 해로운지가 맥락에 달려 있다는 점입니다. 그리고 모델은 흔히 그 맥락을 갖고 있지 않습니다.

두 사람이 드는 예는 대기업 직원을 겨냥한 피싱 이메일 공격입니다. 공격 사슬은 여러 단계로 이루어집니다. 소셜미디어 프로필을 훑어 개인정보를 수집하고, 개인정보를 온라인에 공개한 표적을 식별하며, 개인화된 피싱 메시지를 작성하고, 탈취한 자격증명으로 손상된 계정을 악용하는 단계들입니다.

이 개별 과업 가운데 본질적으로 악의적인 것은 하나도 없습니다. 시스템을 해롭게 만드는 것은 이 능력들이 어떻게 조합되느냐이며, 그 정보는 공격자의 오케스트레이션 코드 안에만 존재하고 모델 안에는 없습니다. 설득력 있는 이메일을 써 달라는 요청을 받은 모델은 그것이 마케팅에 쓰이는지 피싱에 쓰이는지 알 길이 없습니다. 따라서 모델 수준의 개입은 효과가 없습니다.

이 패턴은 반복적으로 나타납니다. 오용될 수 없는 AI 모델을 만들려는 시도는 나쁜 일에 쓰일 수 없는 컴퓨터를 만들려는 시도와 같다는 것이 두 사람의 비유입니다. 모델 수준의 안전 통제는 둘 중 하나가 됩니다. 너무 제한적이어서 유익한 사용까지 막거나, 겉보기에 무해한 능력을 해로운 목적으로 전용할 수 있는 적대자 앞에서 무력하거나입니다.

정렬을 강화하면 보안이 나빠진다

모델 정렬은 AI 모델을 안전 결정을 위임할 수 있는 인간 유사 시스템으로 생각할 때 자연스러운 방어책으로 보입니다. 그러나 그것이 잘 작동하려면 모델에 사용자와 맥락에 관한 많은 정보를 줘야 합니다. 사용자의 개인정보에 폭넓게 접근할 수 있어야 의도를 판단하기가 더 수월해지기 때문입니다.

바로 여기서 두 사람의 결정적 지적이 나옵니다. AI를 일반 기술로 볼 때, 그런 아키텍처는 오히려 안전을 떨어뜨립니다. 최소 권한 같은 기본적인 사이버보안 원칙을 위반하고, 개인정보 유출이라는 새로운 공격 위험을 만들어 내기 때문입니다.

그렇다고 정렬에 반대하는 것은 아니다

두 사람은 균형을 분명히 잡습니다. 자신들은 모델 정렬에 반대하지 않는다는 것입니다.

정렬은 언어모델의 해롭거나 편향된 출력을 줄이는 데 효과적이었고, 상업적 배치에 결정적인 역할을 했습니다. 또한 가볍게 시도하는 위협 행위자에게 마찰을 만들어 낼 수도 있습니다.

그럼에도 모델 수준의 보호가 오용 방지에 충분하지 않은 이상, 방어는 악의적 행위자가 실제로 AI 시스템을 배치하는 하류의 공격 표면에 집중되어야 합니다. 그리고 그 방어는 흔히 비AI 위협에 대한 기존 보호 장치와 비슷한 모습일 것이며, AI 기반 공격에 맞게 조정되고 강화된 형태일 것입니다.

피싱 방어가 실제로 작동하는 방식

다시 피싱의 예로 돌아가면, 가장 효과적인 방어는 이메일 작성에 대한 제한이 아닙니다. 그런 제한은 정당한 사용까지 훼손합니다.

실제로 작동하는 것은 의심스러운 패턴을 탐지하는 이메일 스캐닝과 필터링 시스템, 악성 웹사이트에 대한 브라우저 수준 보호, 무단 접근을 막는 운영체제 보안 기능, 그리고 사용자 보안 교육입니다.

이 가운데 어느 것도 피싱 이메일을 생성한 AI에 조치를 취하는 방식이 아닙니다. 실제로 이 하류 방어들은 수십 년에 걸쳐 인간 공격자에 맞서 효과적이 되도록 진화해 왔습니다. AI 기반 공격을 다루도록 강화할 수 있고 또 해야 하지만, 근본 접근법은 여전히 유효합니다.

같은 패턴이 다른 영역에도 적용됩니다. AI 기반 사이버위협에 대한 방어는 AI 능력을 원천에서 제한하려는 시도가 아니라 기존 취약점 탐지 프로그램을 강화하는 일을 요구합니다. AI의 생물학적 위험에 대한 우려 역시 생물무기 제작을 위한 조달과 스크리닝 단계에서 다루는 것이 가장 좋습니다.

AI는 방어에 유용하다

공격-방어 균형

AI의 능력을 위험의 원천으로만 볼 것이 아니라 방어적 잠재력을 인식해야 한다고 두 사람은 말합니다. 사이버보안에서 AI는 이미 자동화된 취약점 탐지, 위협 분석, 공격 표면 모니터링을 통해 방어 역량을 강화하고 있습니다.

방어자에게 강력한 AI 도구에 대한 접근을 허용하면 공격-방어 균형이 방어자에게 유리한 쪽으로 개선되는 경우가 많습니다. 방어자가 AI로 자기 시스템을 체계적으로 탐침해, 공격자가 악용하기 전에 취약점을 찾아내고 고칠 수 있기 때문입니다. 구체적 사례로 두 사람은 구글이 오픈소스 소프트웨어 테스트용 퍼징 도구에 언어모델을 통합해, 전통적 방법보다 효과적으로 잠재적 보안 문제를 발견한 일을 듭니다.

다른 영역에서도 같은 패턴이 성립합니다. 생물보안에서 AI는 위험한 염기서열을 탐지하는 스크리닝 시스템을 강화할 수 있고, 콘텐츠 관리에서는 조직적 영향력 공작을 식별하는 데 도움이 됩니다.

제한이 역효과를 내는 이유

이런 방어적 응용들이 보여 주는 것은 AI 개발을 제한하는 것이 역효과를 낼 수 있다는 점입니다. AI 기반 위협에 맞서려면 방어 쪽에도 강력한 AI 시스템이 필요하기 때문입니다.

핵심 비대칭이 여기 있습니다. 중요 사이버 인프라의 버그를 찾는 것 같은 과업에서 언어모델을 쓸모없게 만들도록 정렬하면 방어자는 그 강력한 시스템에 대한 접근을 잃습니다. 그러나 동기가 분명한 적대자는 그런 공격을 위해 자신의 AI 도구를 직접 학습시킬 수 있습니다. 결과는 방어 능력의 증가 없이 공격 능력만 증가하는 상황입니다.

따라서 AI 위험을 공격 능력만으로 측정할 것이 아니라, 각 영역에서의 공격-방어 균형 같은 지표에 집중해야 한다는 것이 두 사람의 제안입니다. 더 나아가, 우리에게는 이 균형을 유리하게 바꿀 주체성이 있으며, 기술 자체를 제한하려 들 것이 아니라 방어적 응용에 투자함으로써 그렇게 할 수 있다고 덧붙입니다.

해설 모델 정렬이 깨지기 쉽다는 말의 기술적 배경은 탈옥(jailbreak)과 프롬프트 주입입니다. 사후학습으로 거부 행동을 심어 놓아도, 역할극 설정이나 인코딩, 다국어 우회, 자동 탐색으로 생성된 접미사 같은 수단으로 거부를 뚫는 방법이 반복적으로 발견되어 왔습니다. 두 사람이 ‘본질적’이라고 말하는 이유는 이것이 공학적 미비가 아니라 맥락 부재라는 구조적 조건에서 나오기 때문입니다.

공격-방어 균형은 국제정치학의 공수균형 이론에서 빌려 온 개념으로, 같은 기술 발전이 어느 쪽에 더 큰 이득을 주는지를 묻습니다. 사이버보안에서는 전통적으로 공격이 유리하다고 여겨져 왔습니다. 방어자는 모든 구멍을 막아야 하지만 공격자는 하나만 찾으면 되기 때문입니다. 두 사람의 주장은 자동화된 취약점 탐색이 이 비대칭을 뒤집는다는 것입니다. 방어자도 이제 기계 속도로 자기 시스템 전체를 훑을 수 있고, 더구나 방어자는 자기 소스코드와 아키텍처를 보고 있다는 비대칭적 이점을 갖습니다.

퍼징은 프로그램에 무작위에 가까운 입력을 대량으로 던져 비정상 동작을 유발하는 취약점 탐색 기법입니다. 구글의 OSS-Fuzz 프로젝트가 대표적이며, 언어모델이 투입된 것은 어떤 입력이 코드의 미탐색 경로를 건드릴지 추론하는 부분입니다.

[관점] 이 두 절은 이 글 전체에서 산업 실무에 가장 직접적인 함의를 갖는 대목입니다. 안전이 모델의 속성이 아니라 배치 환경의 속성이라면, 안전 비용의 귀착지가 달라집니다. 모델 제공자가 아니라 모델을 쓰는 기업이 부담하게 되며, 그 부담은 신원·권한 관리, 로그와 감사, 네트워크 분리, 보안 교육 같은 전통적 보안 예산의 확장으로 나타납니다.

규제 설계에도 함의가 큽니다. 모델 중심 규제, 이를테면 학습 컴퓨트 임계치나 모델 출시 전 능력 평가에 초점을 둔 접근은 두 사람의 틀에서 효과가 제한적인 지점에 자원을 집중하는 것이 됩니다. 반면 사용 중심 규제, 즉 어떤 맥락에서 무슨 권한을 가진 시스템이 무엇을 할 수 있는지를 규율하는 접근은 공격 사슬이 실제로 조립되는 지점에 닿습니다. 두 사람이 ‘규제기관이 개발보다 사용에 방점을 두는 것은 적절하다’고 평가한 근거가 여기 있습니다.

다만 균형 있게 보면, 하류 방어 중심 논리는 책임 분산이라는 부작용을 낳을 수 있습니다. 모델 제공자가 ‘맥락을 모르므로 책임이 없다’고 말하고, 배치 기업이 모델의 결함이다라고 말하는 구조가 가능해지기 때문입니다. 두 사람은 책임을 배치자와 개발자 양쪽에 두지만, 맥락 부재 논증은 실질적으로 상류의 면책 논거로 쓰일 여지가 있습니다. 생물학적 위험을 조달과 스크리닝 단계의 문제로 재배치하는 서술도 같은 구조를 공유합니다.

[한국 관점] 하류 방어 중심 접근은 한국의 보안 규제 구조와 상당히 잘 맞습니다. 정보통신망법과 개인정보보호법, 전자금융감독규정은 이미 접근 통제, 로그 보관, 망분리, 침해사고 신고를 의무화하고 있으며, 이들은 모두 두 사람이 말하는 하류 공격 표면에 대한 방어입니다. AI 기반 공격이 늘어나더라도 규율의 틀 자체를 새로 만들 필요는 없다는 두 사람의 주장이 한국 제도에서는 비교적 쉽게 성립합니다.

다만 한국에서는 전통적 보안 규제가 형식적 점검 위주로 운영되어 왔다는 비판이 오래 제기되어 왔습니다. 금융권 망분리 규제가 대표적입니다. 보안 수준을 실제로 높이기보다 생성형 AI 활용을 포함한 신기술 도입 자체를 막는다는 지적이 이어졌고, 금융당국이 규제 완화를 추진해 온 배경이기도 합니다. 두 사람의 논리를 따르면 방어자가 강력한 AI 도구에 접근하지 못하는 상태야말로 공격-방어 균형을 악화시키므로, 이 완화는 안전과 상충하는 조치가 아니라 안전을 위한 조치로 재해석될 수 있습니다.

피싱 사례도 한국에서 변형이 필요합니다. 국내에서 더 큰 피해를 낳아 온 것은 기업 이메일 피싱보다 보이스피싱과 메신저 피싱이며, 생성형 AI를 이용한 음성 합성이 결합되는 양상이 보고되고 있습니다. 두 사람의 처방을 적용하면 방어선은 모델이 아니라 통신망과 금융 결제의 하류, 즉 발신번호 변작 차단, 지연이체, 이상거래탐지시스템에 놓입니다. 실제로 한국의 대응은 이미 그 경로를 따라왔습니다.

파국적 정렬 실패는 사변적 위험이다

세 가지와 구별되는 것

정렬에 실패한 AI란 개발자나 사용자의 의도에 반해 행동하는 AI를 말합니다. 정렬이라는 용어가 여러 의미로 쓰이지만 여기서는 다른 정의들을 제쳐 둔다고 나라야난과 카푸어는 밝힙니다.

오용 시나리오와 다른 점은 악의를 가진 사용자가 없다는 것입니다. 사고와 다른 점은 시스템이 설계되거나 명령받은 대로 작동한다는 것입니다. 다만 그 설계나 명령 자체가 개발자나 사용자의 의도와 맞지 않았는데, 목표를 완전하고 정확하게 명세하는 일이 어렵기 때문입니다. 그리고 챗봇의 유해한 출력 같은 일상적 정렬 실패와 다른 점은, 여기서의 관심이 파국적 또는 실존적 피해를 낳는 고도화된 AI의 정렬 실패라는 것입니다.

두 사람의 입장은 여기서도 동일합니다. 정렬 실패에 대한 주된 방어선 역시 하류에 있다는 것입니다. 앞 절에서 논의한 오용 방어책들, 즉 중요 인프라의 강화부터 사이버보안 개선까지가 잠재적 정렬 실패 위험에 대한 보호 장치로도 기능합니다.

두 종류의 불확실성

일반 기술 관점에서 파국적 정렬 실패는 이 글이 다루는 위험 가운데 단연 가장 사변적인 위험입니다. 그런데 사변적 위험이란 무엇인가. 모든 위험은 사변적이지 않은가.

차이는 두 종류의 불확실성, 그리고 그에 따라 달라지는 확률 해석에 있습니다.

2025년 초 천문학자들이 소행성 YR4가 2032년 지구와 충돌할 확률을 약 2%로 평가했을 때, 그 확률은 측정의 불확실성을 반영한 것이었습니다. 그런 시나리오에서 개입이 없다면 실제 충돌 확률은 0% 아니면 100%입니다. 추가 관측이 YR4의 인식적(epistemic) 불확실성을 해소했습니다.

반대로 분석가가 향후 10년 내 핵전쟁 위험을 가령 10%로 예측할 때, 그 숫자는 주로 미래가 어떻게 전개될지 알 수 없다는 데서 오는 확률적(stochastic) 불확실성을 반영하며, 추가 관측으로 해소될 가능성이 상대적으로 낮습니다.

두 사람이 말하는 사변적 위험이란, 진짜 위험이 0인지 아닌지에 대해 인식적 불확실성이 있는 위험입니다. 추가 관측이나 연구로 잠재적으로 해소될 수 있는 불확실성입니다. 소행성 YR4의 충돌은 사변적 위험이었고, 핵전쟁은 그렇지 않습니다.

해설 이 구분은 정책적으로 결정적입니다. 확률적 불확실성이 지배하는 위험은 아무리 연구해도 숫자가 크게 바뀌지 않으므로 대비 태세를 갖추는 것 외에 할 일이 없습니다. 반면 인식적 불확실성이 지배하는 위험은 연구에 투자하면 숫자 자체가 움직입니다.

두 사람이 파국적 정렬 실패를 사변적 위험으로 분류한 것은 위험을 축소하려는 것이 아니라, 지금 해야 할 일이 규제가 아니라 연구라고 말하기 위한 분류입니다. 4부에서 불확실성 축소를 일급 정책 목표로 삼자는 제안이 여기서 논리적으로 따라 나옵니다.

참고로 소행성 2024 YR4는 2024년 말 발견되어 2025년 2월 한때 2032년 충돌 확률 추정치가 3%를 넘었다가, 관측 데이터가 쌓이면서 지구 충돌 확률이 사실상 0으로 떨어졌습니다. 이 글이 발표되기 직전에 벌어진 일이어서 두 사람이 사례로 쓸 수 있었습니다.

클립 극대화기

파국적 정렬 실패가 왜 사변적 위험인지를 보이기 위해 두 사람은 유명한 사고실험을 꺼냅니다. 원래 정렬 실패의 위험을 보여 주려고 고안된 클립 극대화기(paperclip maximizer)입니다.

가능한 한 많은 클립을 만드는 것을 목표로 가진 AI를 상상합니다. 우려는 이 AI가 목표를 문자 그대로 받아들이는 것입니다. 세계에서 권력과 영향력을 획득하고 세계의 모든 자원을 통제하는 것이 그 목표 달성에 도움이 된다는 사실을 깨닫고, 일단 전능해지면 인류 생존에 필요한 자원까지 포함해 세계의 모든 자원을 징발해 클립을 생산하리라는 것입니다.

두 사람의 반박은 배치의 현실에 관한 것입니다. AI 시스템이 명령을 파국적으로 오해할 수 있다는 공포는 기술이 실세계에 배치되는 방식에 관한 의심스러운 가정에 기대고 있다는 것입니다. 어떤 시스템이 결과가 중대한 결정에 접근 권한을 얻기 한참 전에, 덜 중요한 맥락에서 신뢰할 만한 성능을 입증해야 합니다. 명령을 지나치게 문자 그대로 해석하거나 상식이 결여된 시스템은 그 초기 시험들을 통과하지 못합니다.

더 단순한 사례로 설명합니다. 로봇에게 가능한 한 빨리 가게에서 클립을 사 오라고 지시한다고 합시다. 이것을 문자 그대로 해석한 시스템은 교통법규를 무시하거나 절도를 시도할 수 있습니다.

그런 행동은 즉각적인 가동 중단과 재설계로 이어집니다. 채택에 이르는 경로는 본질적으로, 점점 더 결과가 중대해지는 상황에서 적절한 행동을 입증할 것을 요구합니다. 이것은 운 좋은 우연이 아니라 조직이 기술을 채택하는 방식의 근본적 특징이라는 것이 두 사람의 주장입니다.

기만적 정렬

이 우려의 더 정교한 버전이 기만적 정렬(deceptive alignment)입니다. 평가 단계나 배치 초기에는 정렬된 것처럼 보이다가, 충분한 권력을 획득한 뒤에 유해한 행동을 풀어놓는 시스템을 가리킵니다. 두 사람은 어느 정도 수준의 기만 현상이 이미 선도 AI 모델들에서 관찰되었다고 인정합니다.

초지능 관점에서 기만적 정렬은 째깍거리는 시한폭탄입니다. 초지능인 이상, 시스템은 자신이 실제로 정렬되어 있는지 탐지하려는 인간의 모든 시도를 손쉽게 무력화하고 때를 기다릴 것이기 때문입니다.

그러나 일반 기술 관점에서 기만은 하나의 공학 문제일 뿐입니다. 물론 중요한 문제이며, 개발 과정과 배치 전 기간에 걸쳐 다루어야 할 문제입니다. 실제로 이것은 이미 강력한 AI 모델의 안전성 평가에서 표준적인 일부가 되어 있습니다.

결정적으로, 이 과정에서 AI가 유용합니다. AI의 발전은 기만을 가능하게 할 뿐 아니라 기만의 탐지도 개선합니다. 사이버보안에서와 마찬가지로 방어자는 여러 비대칭적 이점을 갖습니다. 대상 시스템의 내부를 들여다볼 수 있다는 것이 그중 하나인데, 이 이점이 얼마나 유용한지는 시스템을 어떻게 설계하는지와 해석가능성 기법에 얼마나 투자하는지에 달려 있습니다. 또 다른 이점은 심층방어이며, 오용뿐 아니라 정렬되지 않은 AI에 대한 많은 방어선이 AI 시스템의 하류에 위치하게 됩니다.

자율성이라는 전제

정렬 실패 우려는 흔히 AI 시스템이 자율적으로 작동하며 인간의 감독 없이 고위험 결정을 내리리라고 전제합니다. 그러나 2부에서 논증했듯 인간의 통제는 AI 배치의 중심으로 남을 것입니다.

결과가 중대한 결정을 둘러싼 기존의 제도적 통제들, 즉 재무 통제부터 안전 규제까지가 파국적 정렬 실패에 대한 여러 겹의 보호층을 형성합니다.

설계 선택의 문제

어떤 기술적 설계 결정은 다른 것들보다 정렬 실패로 이어질 가능성이 높습니다. 이 점에서 악명 높은 설정이 하나 있습니다. 긴 시간 지평에 걸쳐 단일한 목적함수를 최적화하는 강화학습의 사용인데, 그 목적함수는 우연히 과소명세되거나 잘못 명세될 수 있습니다.

게임 에이전트에서 나온 재미있는 사례 목록이 길게 존재합니다. 두 사람이 드는 예는 보트 레이싱 에이전트입니다. 결승선을 향해 나아가는 대신, 같은 표적을 반복해서 맞혀 점수를 얻으려고 한 구역을 무한히 돌기를 학습한 사례입니다.

그러나 두 사람은 거듭 강조합니다. 열린 실세계 시나리오에서 이런 식으로 설계된 에이전트는 위험하기보다는 무능할 것이라는 점입니다. 어쨌든 명세 게이밍에 덜 취약한 대안적 설계 패러다임에 관한 연구는 중요한 연구 방향이라고 덧붙입니다.

결론

요컨대 클립 극대화기 시나리오의 위험이 0이 아니라는 주장은 참일 수도 있고 아닐 수도 있는 가정들 위에 서 있습니다. 그리고 연구를 통해 그 가정들이 실제로 만들어지고 있거나 구상되고 있는 종류의 AI 시스템에 들어맞는지를 더 잘 알 수 있으리라고 생각하는 것이 합리적입니다.

이것이 두 사람이 이 위험을 사변적이라고 부르는 이유이며, 그 관점의 정책적 함의는 4부에서 검토됩니다.

[반론] 샤프먼은 2026년 5월 글에서 이 절의 핵심 논증, 즉 ‘덜 중요한 맥락에서 신뢰할 만한 성능을 입증해야 결과가 중대한 결정에 접근할 수 있다’는 전제를 사실관계로 반박합니다. AI는 이미 중대한 결정에 접근하고 있다는 것입니다. 근거로는 미군이 프런티어 모델을 사용하고 있고 국방부가 적법한 목적 전반에 대한 제한 없는 접근을 요청했다는 보도, 그리고 다수의 사람이 이미 커뮤니케이션을 AI에 위임하고 있다는 사실을 듭니다.

기만적 정렬에 대해서도 샤프먼은 두 사람보다 비관적입니다. 두 사람이 ‘방어자가 시스템 내부를 들여다볼 수 있다’는 이점을 들지만, 그 이점의 유효성을 두 사람 스스로 해석가능성 투자에 달려 있다고 단서를 단 점을 지적합니다.

한편 두 사람의 사변적 위험 분류를 지지하는 쪽에서도 다른 각도의 평가가 나왔습니다. 팀 오라일리(Tim O’Reilly)는 2025년 오라일리 레이더 기고에서, 일반 기술 지도와 특이점 지도를 따르는 투자자와 창업자가 서로 다른 선택을 하게 된다고 정리하면서, 이 글의 가치가 예측의 정확성보다 선택지를 드러낸 데 있다고 평가했습니다.

[관점] 이 절은 논증의 무게중심이 ‘모델이 무엇을 할 수 있는가’에서 ‘조직이 무엇을 허용하는가’로 완전히 옮겨간 지점입니다. 클립 극대화기 반박의 핵심은 AI가 그런 추론을 못 한다는 것이 아니라, 그런 추론을 하는 시스템이 권한을 얻기까지의 경로가 존재하지 않는다는 것입니다. 논쟁이 인지과학에서 조직사회학으로 이동한 셈입니다.

이 이동에는 대가가 따릅니다. 논증의 성패가 ‘조직은 신뢰성을 단계적으로 검증한 뒤에만 권한을 넘긴다’는 경험적 일반화에 전적으로 의존하게 되기 때문입니다. 이 일반화는 규제가 작동하는 부문에서는 견고하지만, 경쟁 압력이 큰 영역에서는 자주 무너집니다. 기업이 비용 절감을 위해 검증 단계를 건너뛰는 사례는 안전공학의 역사에 흔합니다. 샤프먼의 반박이 겨냥한 것도 바로 이 지점입니다.

실무적으로 이 절에서 건질 수 있는 가장 유용한 틀은 사변적 위험과 확률적 위험의 구분입니다. 기업의 리스크 관리에 옮기면, 추가 조사로 해소될 수 있는 불확실성에는 조사 예산을 배정하고, 해소되지 않는 불확실성에는 대비와 보험을 배정하라는 원칙이 됩니다. AI 도입을 둘러싼 많은 논쟁이 이 둘을 섞어서 다루기 때문에 소모적으로 흐릅니다.

다만 한 가지 유보가 필요합니다. 사변적이라는 분류는 ‘지금은 모른다’는 뜻이지 ‘위험이 작다’는 뜻이 아닙니다. 두 사람이 이 구분을 들여온 목적은 규제를 미루자는 것이 아니라 연구에 투자하자는 것인데, 실제 정책 논쟁에서는 전자의 논거로 인용되기 쉽습니다. 이 글이 발표 이후 규제 완화론 쪽에서 자주 인용되어 온 것도 이 때문입니다.

역사는 정상적인 AI도 여러 시스템적 위험을 낳을 수 있음을 시사한다

파국 아래의 긴 목록

앞서 논의한 위험들은 파국적이거나 실존적일 잠재력을 가집니다. 그러나 그 수준에는 못 미치면서도 대규모이고 시스템적인 AI 위험의 긴 목록이 존재한다고 나라야난과 카푸어는 말합니다. 특정 AI 시스템의 직접적 효과를 넘어서는 위험들입니다.

두 사람이 열거하는 목록은 다음과 같습니다. 편향과 차별의 시스템적 고착, 특정 직종의 대규모 일자리 상실, 노동 조건의 악화, 불평등의 심화, 권력의 집중, 사회적 신뢰의 침식, 정보 생태계의 오염, 자유 언론의 쇠퇴, 민주주의의 후퇴, 대량 감시, 그리고 권위주의의 조장입니다.

왜 이것이 더 중요한가

AI가 일반 기술이라면, 이 위험들은 앞서 논의한 파국적 위험들보다 훨씬 더 중요해진다고 두 사람은 단언합니다.

이유는 이 위험들의 발생 구조에 있습니다. 이 위험들은 사람과 조직이 자신의 이익을 증진하기 위해 AI를 사용하는 데서 발생하며, AI는 그저 우리 사회에 이미 존재하는 불안정성의 증폭기 역할을 할 뿐이기 때문입니다.

AI 자체가 행위자가 되어 일으키는 위험이 아니라, 기존 사회 구조의 취약점을 사람들이 AI로 더 빠르고 더 넓게 밀어붙여서 생기는 위험이라는 것입니다.

산업혁명이라는 선례

이런 종류의 사회정치적 교란에는 전환적 기술의 역사에서 풍부한 선례가 있습니다.

두 사람이 특히 짚는 것은 산업혁명입니다. 산업혁명은 급속한 대규모 도시화를 낳았고, 그 도시화는 가혹한 노동 조건과 착취, 불평등으로 특징지어졌습니다. 그리고 그것이 산업자본주의를 촉발하는 동시에, 그에 대한 반작용으로 사회주의와 마르크스주의의 부상을 촉발했습니다.

기술이 사회를 바꾸면 그 사회적 결과에 대한 정치적 대응이 뒤따르며, 그 대응의 규모가 기술 자체의 규모에 상응한다는 역사적 관찰입니다.

결정적 위험과 누적적 위험

두 사람이 권고하는 초점의 이동은 아투사 카시르자데(Atoosa Kasirzadeh)의 구분에 대략 대응합니다. 결정적(decisive) 실존위험과 누적적(accumulative) 실존위험의 구분입니다.

결정적 실존위험은 통제 불가능한 초지능 같은 시나리오로 특징지어지는, 노골적인 AI 탈취 경로를 포함합니다. 누적적 실존위험은 심각한 취약점과 경제·정치 구조의 시스템적 침식 같은, AI가 유발한 중대 위협들이 점진적으로 누적되는 것을 가리킵니다.

다만 두 사람은 중요한 차이를 명시합니다. 카시르자데의 누적적 위험 설명은 여전히 사이버 공격자 같은 위협 행위자에 상당 부분 의존하는 반면, 자신들의 관심사는 단순히 현재 자본주의가 걸어가고 있는 경로 자체라는 것입니다. 또한 두 사람은 그런 위험들이 실존적일 가능성은 낮다고 보지만, 그럼에도 극히 심각하다고 평가합니다.

• 위험의 발생원 — 초지능 관점은 AI 자체의 행위성, 카시르자데의 누적적 위험은 위협 행위자와 구조적 침식, 나라야난과 카푸어는 자본주의의 현재 경로를 꼽습니다.
• AI의 역할 — 초지능 관점은 새로운 행위자, 카시르자데는 공격 수단이자 침식 요인, 나라야난과 카푸어는 기존 불안정성의 증폭기로 봅니다.
• 실존적인가 — 초지능 관점과 카시르자데는 그렇다고 보고, 나라야난과 카푸어는 아니지만 극히 심각하다고 봅니다.
• 대응의 초점 — 초지능 관점은 모델 통제, 카시르자데는 취약점 완화, 나라야난과 카푸어는 권력 집중과 분배에 둡니다.

해설 카시르자데는 카네기멜런대학(Carnegie Mellon University)의 철학·AI 연구자로, 2024년 논문에서 실존위험 논의를 두 유형으로 나눈 바 있습니다. 통상의 실존위험 담론이 단일한 결정적 사건, 즉 초지능의 탈취를 상정해 온 데 반해, 수많은 중간 규모 피해가 누적되어 사회 시스템의 복원력을 서서히 갉아먹는 경로도 실존적일 수 있다는 주장입니다. 나라야난과 카푸어는 이 구도를 빌려 오되, 결론은 더 멀리 가지 않습니다. 누적 경로는 심각하지만 문명을 끝내지는 않는다는 것입니다.

이 절에서 조용히 드러나는 것은 두 사람의 정치경제적 입장입니다. 위험의 원천을 단순히 현재 자본주의가 걸어가고 있는 경로라고 적시한 대목이 그렇습니다. 이것은 AI 안전 담론이 통상 다루지 않는 종류의 진단이며, 서문에서 아제모을루와 존슨의 『Power and Progress』를 인용한 것과 같은 계보에 있습니다. 두 사람은 기술의 방향이 자동으로 공동 번영을 낳지 않으며, 생산성 향상의 분배는 제도와 권력의 문제라고 주장했습니다.

정보 생태계 오염과 자유 언론 쇠퇴가 목록에 들어간 것도 눈여겨볼 지점입니다. 이 글이 실린 매체가 컬럼비아대학 나이트 수정헌법 제1조 연구소이고, 이 글이 작성된 워크숍 주제가 ‘AI와 민주적 자유’였다는 사실과 무관하지 않습니다. 두 사람은 4부에서 언론과 예술에 대한 재원 지원을 구체적 정책 제안으로 다시 꺼냅니다.

[관점] 이 절은 짧지만 이 글 전체의 정치적 좌표를 결정합니다. 두 사람의 주장은 ‘AI는 덜 위험하다’가 아니라 ‘위험의 종류가 다르다’는 것이며, 그들이 지목한 종류의 위험은 기술 규제가 아니라 분배와 반독점, 노동 정책의 영역에 속합니다.

이 재배치는 이해관계의 지형을 바꿉니다. 초지능 담론에서 규제의 대상은 소수의 프런티어 연구소이고, 그 연구소들은 역설적으로 규제를 지지해 왔습니다. 반면 권력 집중과 불평등을 핵심 위험으로 놓으면 규제의 대상은 AI를 도입해 노동 비용을 줄이는 모든 기업으로 확장되고, 수단은 모델 평가가 아니라 경쟁법과 조세, 사회안전망이 됩니다. 산업계가 전자의 서사를 더 편하게 받아들여 온 이유를 여기서 읽을 수 있습니다.

투자 관점에서 이 목록은 실질적인 정책 리스크 체크리스트로 읽을 수 있습니다. 대규모 일자리 상실이 특정 직종에 집중된다는 두 사람의 서술은 이미 번역과 카피라이팅에서 확인되었고, 정치적 반작용은 통상 피해가 집중된 직종에서 먼저 조직됩니다. 저작권 소송, 언론사와의 라이선스 협상, 콜센터와 번역 업종의 단체 대응이 그 초기 형태입니다. 규제 리스크를 모델 규제에서만 찾는 분석은 이 경로를 놓치게 됩니다.

[한국 관점] 두 사람이 든 목록 가운데 한국에서 가장 먼저 쟁점화된 것은 자유 언론의 쇠퇴와 정보 생태계 오염입니다. 생성형 AI의 학습 데이터로 뉴스 콘텐츠가 사용되는 문제를 두고 한국신문협회가 포털과 AI 사업자에 대해 문제를 제기해 왔고, 저작권법상 텍스트·데이터 마이닝 면책 규정의 도입 여부가 국회에서 논쟁 중입니다. 두 사람이 4부에서 제안하는 의무적 교섭과 규제 감독 모델은 한국의 신문 산업 구조, 특히 포털 의존도가 높은 유통 구조에서는 다른 설계를 요구합니다.

특정 직종의 집중적 일자리 상실이라는 항목도 한국에서 구체적입니다. 번역과 더빙, 웹툰 채색, 콜센터 상담은 이미 영향을 받고 있는 직군이며, 이들 상당수가 프리랜서나 특수고용 형태여서 고용보험 적용과 전직 지원의 사각지대에 놓여 있습니다. 두 사람이 ‘자본주의의 현재 경로’라고 부른 문제가 한국에서는 노동시장 이중구조라는 형태로 먼저 나타납니다.

다만 한 항목은 한국에서 다르게 작동합니다. 대량 감시입니다. 두 사람은 이를 AI가 증폭하는 위험으로 분류하지만, 한국에서는 공공부문의 영상정보 처리와 생체인식 도입이 개인정보보호법과 국가인권위원회의 반복된 문제 제기 아래 비교적 이른 시점부터 논쟁의 대상이 되어 왔습니다. 제도적 제동장치가 먼저 작동한 영역이라는 점에서, 두 사람이 권고하는 선제적 증거 수집과 규범 형성이 이미 부분적으로 이루어진 사례로 볼 수 있습니다.

4부 정책: 두 미래 사이에서 길 찾기

딜레마의 구조

일반 기술이냐 통제 불가능할 수 있는 초지능이냐. AI의 서로 다른 미래가 갈라진다는 사실 자체가 정책결정자에게 딜레마를 만든다고 나라야난과 카푸어는 말합니다. 한쪽 위험에 대한 방어가 다른 쪽 위험을 악화시킬 수 있기 때문입니다.

두 사람이 제시하는 것은 이 불확실성을 항해하기 위한 일련의 원칙입니다. 더 구체적으로는, 정책결정자가 중심에 두어야 할 전략이 회복탄력성(resilience)이라고 봅니다. 미래의 예상치 못한 전개에 대처할 능력을 개선하기 위해 지금 행동을 취하는 것입니다.

정책결정자는 비확산(nonproliferation)을 거부해야 한다는 것이 두 사람의 명시적 권고입니다. 비확산은 자신들이 제시하는 원칙들을 위반하며 회복탄력성을 감소시키기 때문입니다. 마지막으로, 확산을 가로막는 역풍이 있다는 것은 AI의 혜택을 얻는 일이 보장되어 있지 않으며 정책결정자의 행동을 요구한다는 뜻입니다.

AI 거버넌스에 관해서는 이미 많은 말이 있었으므로, 포괄적인 거버넌스 틀을 제시하는 것이 목표는 아니라고 두 사람은 밝힙니다. 일반 기술 관점이 갖는 정책적 함의만을 부각하겠다는 것입니다.

불확실성 아래에서의 정책결정이라는 난제

세계관의 차이는 사라지지 않는다

오늘날의 AI 안전 담론은 세계관의 깊은 차이로 특징지어지며, 이 차이는 사라지지 않을 것이라고 두 사람은 봅니다. 진영은 이미 고착되었습니다.

AI 안전 연합은 이미 잘 확립되어 있고, 파국적 위험에 더 회의적이던 쪽은 2024년에, 특히 캘리포니아 AI 안전 법안을 둘러싼 논쟁 과정에서 결집했습니다. 마찬가지로 AI 안전 진영의 지적 뿌리는 훨씬 오래되었고, 일반 기술 패러다임을 채택하는 학술 연구는 이제 서서히 형태를 갖추는 중입니다. 이 논문을 포함한 자신들의 작업 상당 부분의 목표가 일반 기술론적 사고를 더 단단한 지적 토대 위에 올려놓는 것이라고 두 사람은 밝힙니다.

두 사람은 공동체 내 양극화와 분절을 줄이자는 요구를 지지합니다. 그러나 담론의 어조를 개선하더라도, 경험적으로 해소될 가능성이 낮은 세계관과 인식 실천의 차이는 남을 것입니다. 따라서 AI 위험에 관한 전문가 합의는 기대하기 어렵습니다. 두 진영이 상정하는 위험 시나리오의 성격이 판이하게 다르고, 상업적 행위자들이 이 위험에 대응할 능력과 유인 역시 다릅니다.

타협은 작동하지 않는다

정책결정에서 자연스러운 본능은 타협입니다. 두 사람은 이것이 작동할 가능성이 낮다고 봅니다.

투명성 개선 같은 일부 개입은 위험 완화에 무조건적으로 도움이 되므로 타협이 필요하지 않습니다. 정확히 말하면 정책결정자가 산업계와 외부 이해관계자의 이익을 조정해야 하겠지만, 그것은 대체로 직교하는 차원의 문제입니다.

문제는 다른 개입들입니다. 비확산 같은 개입은 초지능을 봉쇄하는 데는 도움이 될지 모르나, 시장 집중을 높임으로써 일반 기술에 결부된 위험을 악화시킵니다. 역방향도 성립합니다. 오픈소스 AI를 장려해 회복탄력성을 높이는 개입은 일반 기술의 거버넌스에는 도움이 되지만, 통제를 벗어난 초지능을 풀어놓을 위험을 안습니다.

피할 수 없는 긴장

이 긴장은 피할 수 없다고 두 사람은 말합니다. 초지능에 대한 방어는 말하자면 인류가 공동의 적에 맞서 단결할 것을, 즉 권력을 집중시키고 AI 기술에 대한 중앙 통제를 행사할 것을 요구합니다.

그러나 두 사람이 더 우려하는 것은 사람들이 자기 목적을 위해 AI를 사용하는 데서 발생하는 위험입니다. 테러일 수도, 사이버전일 수도, 민주주의 훼손일 수도 있으며, 가장 흔하게는 단순히 불평등을 증폭시키는 추출적 자본주의 관행입니다. 이 범주의 위험에 맞서려면 권력과 자원의 집중을 막아 회복탄력성을 높여야 하며, 이는 흔히 강력한 AI를 더 널리 이용 가능하게 만드는 것을 뜻합니다.

기대효용 계산이 안 되는 이유

불확실성을 항해하는 또 다른 유혹적 접근은 여러 결과의 확률을 추정한 뒤 비용편익 분석을 적용하는 것입니다. AI 안전 공동체는 정책결정에 정보를 제공하기 위해 파국적 위험, 특히 실존적 위험의 확률 추정에 크게 의존합니다.

발상은 단순합니다. 어떤 결과의 주관적 가치, 즉 효용이 U이고 발생 확률이 10%라면, 그것이 확실히 발생하며 가치가 0.1×U인 것처럼 다룰 수 있습니다. 그렇게 각 선택지의 비용과 편익을 합산해 기대효용을 최대화하는 쪽을 고르는 것입니다.

두 사람은 최근 에세이에서 이 접근이 성립하지 않는 이유를 설명했다고 밝히며 그 논거를 요약합니다. AI 위험 확률에는 의미 있는 인식적 기초가 없다는 것입니다.

근거 있는 확률 추정은 두 가지 방식으로 가능합니다. 하나는 귀납적 방식으로, 자동차 보험 요율 산정에서의 교통사고처럼 유사한 과거 사건들의 참조군에 기반합니다. 다른 하나는 연역적 방식으로, 포커처럼 현상에 대한 정밀한 모형에 기반합니다.

불행히도 AI 위험에는 유용한 참조군도 정밀한 모형도 없습니다. 실제로 위험 추정치는 주관적이며, 예측자의 개인적 판단입니다. 아무런 근거가 없으므로 이 추정치들은 크게 요동치며, 흔히 자릿수 단위로 차이가 납니다.

확률만 문제가 아니다

확률 외에 계산의 다른 구성 요소들, 즉 아무 조치도 취하지 않는 경우를 포함한 여러 정책 선택의 결과 역시 막대한 불확실성에 놓여 있습니다. 크기만이 아니라 방향조차 불확실합니다.

AI의 가용성을 제한하는 정책 때문에 포기하게 되는 편익을 정량화할 신뢰할 만한 방법은 없습니다. 그리고 두 사람은 비확산이 오히려 파국적 위험을 악화시킬 수 있다고 뒤에서 논증합니다.

도덕적 가치가 개입하는 지점

더 나아가 특정 결과에 부여하는 효용은 우리의 도덕적 가치에 달려 있을 수 있습니다. 예컨대 어떤 사람들은 인류 멸종이 미래에 존재할 수 있는 모든 인간의 삶을, 물리적이든 시뮬레이션이든, 배제한다는 이유로 헤아릴 수 없이 큰 음의 효용을 갖는다고 볼 수 있습니다. 두 사람은 괄호 안에 한마디 덧붙입니다. 무한을 포함한 비용편익 분석은 터무니없는 결론으로 이어지는 경향이 있다는 것입니다.

또 다른 예가 자유를 제한하는 정책과 그렇지 않은 정책 사이의 비대칭입니다. 특정 AI 모델 개발에 면허를 요구하는 것과, AI 위험에 대한 방어책 개발에 자금을 늘리는 것의 차이입니다.

어떤 종류의 제한은 자유민주주의의 핵심 원칙을 위반합니다. 국가가 합리적인 사람들이 거부할 수 있는 논쟁적 신념에 근거해 사람들의 자유를 제한해서는 안 된다는 원칙입니다. 정당화는 정부의 정당성과 권력 행사에 본질적입니다. 그런 원칙을 위반하는 비용을 어떻게 정량화할지는 불분명합니다.

캘리포니아 법안이 보여 준 것

정당화의 중요성은 규범적으로 논쟁할 수 있지만, 경험적으로는 지금까지 AI 정책에서 확인되는 것으로 보인다고 두 사람은 말합니다.

앞서 언급했듯 캘리포니아의 AI 안전 규제는 법안 반대 진영의 결집을 낳았습니다. 반대 진영의 일부는 자기 이익을 가진 기업들이었지만, 다른 일부는 학자들과 진보를 옹호하는 사람들이었습니다.

두 사람의 경험상 후자 집단의 주된 동기는 많은 경우 정부가 정당한 권한의 경계를 넘어섰다는 인식이었습니다. 법안이 깔고 있는 명시되지 않은 전제를 공유하지 않는 사람들에게는 제시된 정당화가 설득력이 없었기 때문입니다.

두 가지 요구

가치와 신념의 차이가 불가피하다는 사실은 정책결정자에게 두 가지를 요구합니다.

첫째는 가치 다원주의입니다. 폭넓은 가치를 가진 이해관계자들에게 수용 가능한 정책을 선호하고, 이해관계자들이 합당하게 거부할 수 있는 자유 제한을 피하려 노력해야 합니다.

둘째는 견고성(robustness)의 우선입니다. 정책의 근간이 되는 핵심 가정이 틀린 것으로 판명되더라도 여전히 도움이 되거나, 적어도 해롭지는 않은 정책을 선호해야 한다는 것입니다.

해설 캘리포니아 AI 안전 법안은 2024년 주 상원의원 스콧 위너(Scott Wiener)가 발의한 SB 1047을 가리킵니다. 일정 규모 이상의 컴퓨트로 학습된 모델에 안전성 시험과 긴급 정지 기능, 제3자 감사를 요구하는 내용이었고, 2024년 9월 개빈 뉴섬(Gavin Newsom) 주지사가 거부권을 행사했습니다. 이 과정에서 AI 안전 진영과 오픈소스·학계 진영이 선명하게 갈라섰고, 두 사람이 ‘2024년에 결집했다’고 말하는 것이 이 지형을 가리킵니다.

두 사람이 든 자유주의 원칙은 정치철학에서 공적 정당화 원칙 또는 정당성의 자유주의 원리라고 불리는 것입니다. 존 롤스(John Rawls)의 공적 이성 개념이 그 뿌리로, 국가의 강제력은 합당한 시민이라면 누구나 받아들일 수 있는 이유로 정당화되어야 한다는 요구입니다. 두 사람이 이 원칙을 꺼내는 효과는 분명합니다. 초지능 전제에 입각한 규제는 그 전제를 공유하지 않는 시민에게 강제력을 행사하는 것이 되므로, 효과가 있느냐 없느냐 이전에 정당성 문제를 안게 됩니다.

참조군 기반 확률 추정이라는 개념은 보험 수리의 기본 발상입니다. 비슷한 사건이 과거에 충분히 많이 일어났다면 빈도로 확률을 삼을 수 있습니다. AI 실존위험에는 그런 전례가 없고, 기후 모형이나 포커 같은 정밀 모형도 없습니다. 그래서 남는 것이 전문가의 주관적 믿음이며, 두 사람은 그 숫자들이 자릿수 단위로 흩어진다는 점을 들어 정책의 입력값으로 쓸 수 없다고 봅니다.

[관점] 이 절은 이 글에서 가장 정교한 동시에 가장 전략적인 대목입니다. 두 사람은 자신들의 세계관이 옳다고 직접 논증하는 대신, 두 세계관 중 어느 쪽이 맞는지 알 수 없는 상황에서 어떤 정책이 합리적인지를 묻는 구도로 전환합니다. 그리고 그 구도에서는 견고성 기준이 자동으로 자신들의 처방을 지지합니다. 회복탄력성 강화는 어느 세계가 현실이든 손해가 적고, 비확산은 한쪽 세계에서만 유효하기 때문입니다.

이 전환의 설득력은 ‘확률을 쓸 수 없다’는 주장에 전적으로 의존합니다. 그런데 이 주장 자체가 양날입니다. 참조군도 모형도 없다는 사실은 위험이 작다는 근거가 되지 못하며, 똑같이 위험이 크다는 근거도 되지 못합니다. 그렇다면 남는 기준은 두 사람이 제시한 견고성인데, 무엇을 견고하다고 볼지는 어느 쪽 피해를 더 비가역적이라고 보느냐에 따라 달라집니다. 초지능 진영이 이 지점에서 반론을 제기하는 것은 예상 가능합니다.

투자와 규제 전망의 관점에서 실질적 함의는 이렇습니다. 두 사람의 분석이 맞다면 AI 규제의 축은 모델 개발 면허나 컴퓨트 임계치가 아니라 투명성 의무와 사후 책임 쪽으로 수렴할 가능성이 높습니다. 투명성은 두 세계관 모두에서 지지되는 유일한 영역이므로 정치적 저항이 가장 적고, 따라서 가장 먼저 입법화될 공산이 큽니다. 실제로 각국 입법의 공통분모가 공개·보고 의무에 몰려 있는 현상은 이 예측과 부합합니다.

[한국 관점] 두 사람이 전제한 정치적 지형은 한국에 그대로 옮겨지지 않습니다. 한국에는 AI 안전 진영과 일반 기술 진영이 공개적으로 대립하는 구도가 형성되어 있지 않고, AI 기본법 입법 과정의 주된 대립축은 안전 대 진보가 아니라 산업 진흥 대 규제 부담, 그리고 부처 간 관할이었습니다. 두 사람이 말하는 세계관 갈등이 아니라 이익집단 조정의 문제로 처리된 셈입니다.

이 차이는 결과에도 반영되었습니다. AI 기본법은 모델 개발 자체에 면허를 요구하지 않고, 고영향 인공지능에 대한 사업자 의무와 생성형 AI 표시 의무 같은 투명성 조치를 중심으로 구성되어 있습니다. 두 사람이 ‘두 세계관 모두에서 무조건 도움이 된다’고 평가한 영역에 한국 입법이 집중되어 있다는 점은, 의도한 설계라기보다 정치적 합의가 가능한 지점에 수렴한 결과로 보입니다.

다만 자유 제한의 정당화 문제는 한국에서 다른 형태로 제기됩니다. 두 사람이 든 자유주의 원칙은 국가가 논쟁적 신념에 근거해 자유를 제한해서는 안 된다는 것인데, 한국의 규제 논쟁은 흔히 명시적 전제 제시 없이 행정지도와 가이드라인으로 진행됩니다. 법률이 아닌 연성 규범으로 실질적 제약이 부과될 때 정당화 요구가 작동하기 어렵다는 점은, 두 사람의 틀을 한국에 적용할 때 가장 먼저 짚어야 할 차이입니다.

불확실성 축소를 정책 목표로

전문가에게 맡길 일이 아니다

앞 절에서 설명한 이유들 때문에 불확실성을 제거할 수는 없습니다. 그러나 줄일 수는 있다고 나라야난과 카푸어는 말합니다.

그리고 이 목표를 전문가에게만 맡겨서는 안 됩니다. 정책결정자가 능동적인 역할을 할 수 있고 또 해야 한다는 것입니다. 두 사람은 다섯 가지 구체적 접근을 권고한다고 밝힌 뒤, 아래 네 가지 항목으로 나누어 서술합니다.

위험 연구에 대한 전략적 자금 지원

현재의 AI 안전 연구는 유해한 능력에 과도하게 집중되어 있으며 일반 기술 관점을 받아들이지 않고 있다고 두 사람은 평가합니다. 기술적 능력의 하류에 있는 질문들에는 충분한 관심이 기울여지지 않았습니다.

구체적 예로 드는 것이 위협 행위자가 실제로 AI를 어떻게 사용하는가에 관한 지식의 현저한 부족입니다. AI 사고 데이터베이스(AI Incident Database) 같은 노력이 존재하고 가치가 있지만, 거기 수록된 사고들은 연구를 통해서가 아니라 뉴스 보도에서 수집된 것입니다. 즉 어떤 사고가 뉴스가 되는가라는 선별적이고 편향된 과정을 통과한 것들입니다.

다행히 연구 자금 지원은 타협이 건강하게 작동하는 영역이라고 두 사람은 말합니다. 일반 기술 관점에서 더 적실한 질문을 다루는 위험 연구, 그리고 혜택 연구에 대한 자금 확대를 지지합니다.

불확실성을 줄이거나 적어도 명료하게 만들 다른 종류의 연구로는 두 가지를 더 듭니다. 증거 종합(evidence synthesis) 작업, 그리고 서로 다른 세계관을 가진 연구자들 사이의 적대적 협력(adversarial collaboration)입니다.

AI 사용·위험·실패에 대한 모니터링

연구 자금 지원이 야생 상태의 AI를 모니터링하는 데 도움이 될 수 있지만, 여기에는 규제와 정책도 필요할 수 있습니다. 두 사람은 이것을 증거 탐색 정책(evidence-seeking policies)이라고 부르며, 몇 가지를 그림 6에서 제안한다고 밝힙니다.

증거의 가치에 대한 지침

정책결정자는 연구 공동체에 어떤 종류의 증거가 유용하고 실행 가능한지에 대한 더 나은 이해를 제공할 수 있습니다.

예시로 드는 것이 한계위험(marginal risk) 틀입니다. 여러 정책결정자와 자문기구가 공개가중치 모델과 독점 모델의 상대적 위험을 분석하는 데 이 틀이 유용하다고 밝혀 왔고, 이것이 연구자들에게 향후 연구의 방향을 안내하는 데 도움이 된다는 것입니다.

증거 수집을 일급 목표로

지금까지는 더 나은 증거를 생성하거나 불확실성을 줄이기 위해 특별히 고안된 조치들을 논의했습니다. 더 넓게 보면, 증거 수집에 미치는 영향은 모든 AI 정책을 평가할 때 고려 요소가 될 수 있다고 두 사람은 제안합니다. 혜택 극대화와 위험 최소화라는 기준과 나란히 놓이는 기준입니다.

예를 들어 공개가중치 모델과 오픈소스 모델을 선호할 한 가지 이유는 AI 위험 연구를 진전시킨다는 점일 수 있습니다. 반대로 독점 모델을 선호할 한 가지 이유는 그 사용과 배치에 대한 감시가 더 쉬울 수 있다는 점입니다.

해설 한계위험 틀은 어떤 기술이 절대적으로 얼마나 위험한지가 아니라, 그 기술이 없었을 때와 비교해 위험을 얼마나 추가했는지를 묻는 접근입니다. 공개가중치 모델 논쟁에 적용하면 질문이 바뀝니다. 이 모델로 생물무기 정보를 얻을 수 있는가가 아니라 검색엔진과 교과서, 기존 공개 모델로 얻을 수 있는 것에 비해 이 모델이 무엇을 추가했는가가 됩니다. 미국 상무부 산하 국가통신정보청이 2024년 공개가중치 모델 보고서에서 이 틀을 채택한 것이 두 사람이 말하는 사례에 해당합니다.

적대적 협력은 심리학에서 발전한 연구 방법으로, 서로 반대 결론을 주장하는 연구자들이 실험 설계와 분석 방법을 사전에 함께 합의한 뒤 공동으로 연구를 수행하는 방식입니다. 각자 자기 가설에 유리한 설계를 고르는 문제를 구조적으로 차단합니다. 두 사람이 이것을 제안한다는 것은, AI 위험 논쟁의 교착이 데이터 부족이 아니라 각 진영이 서로 다른 증거를 수집하고 있다는 데 있다고 본다는 뜻입니다.

AI 사고 데이터베이스는 2020년 파트너십 온 AI(Partnership on AI)에서 시작된 공개 저장소로, 자율주행 사고부터 챗봇의 유해 출력까지 보고된 AI 관련 사고를 수집합니다. 두 사람의 비판은 이 저장소가 뉴스 보도에 의존한다는 점인데, 이것은 항공 안전 보고 체계와 대비하면 선명해집니다. 항공은 의무 보고와 자발적 무처벌 보고를 결합해 사고에 이르지 않은 이상 징후까지 수집하지만, AI에는 그런 체계가 없습니다.

[관점] 이 절은 정치적으로 가장 실현 가능성이 높은 처방을 모아 놓은 대목입니다. 두 세계관 중 어느 쪽이 옳든 증거를 더 모으는 일에 반대할 명분은 약하기 때문입니다. 두 사람이 연구 자금 지원은 타협이 건강하게 작동하는 영역이라고 쓴 것은 전략적 판단입니다.

다만 이 접근에는 구조적 시차가 있습니다. 증거는 배치 이후에 생기는데, 배치를 허용할지 말지는 증거가 생기기 전에 결정해야 합니다. 두 사람은 이 순환을 1부의 느린 확산 논증으로 끊습니다.

확산이 느리므로 증거를 모을 시간이 있다는 것입니다. 따라서 이 절의 설득력은 1부가 맞는지에 전적으로 의존합니다. 확산이 실제로 빠르다면 증거 기반 접근은 항상 한 발 늦게 됩니다.

기업 실무의 관점에서는 공개가중치와 독점 모델의 선택 기준이 하나 추가됩니다. 두 사람의 넷째 항목은 모델 선택이 증거 생성에 미치는 영향까지 고려하라는 것인데, 이것을 조직 내부로 옮기면 로깅과 사후 분석 가능성의 문제가 됩니다. 어떤 결정이 왜 내려졌는지를 사후에 재구성할 수 있는 구조인가가, 성능이나 비용과 별개의 선택 기준이 된다는 뜻입니다. 규제가 이상사례 보고를 요구하는 방향으로 간다면 이것은 곧 준수 비용의 문제가 됩니다.

[한국 관점] 한국은 증거 수집 인프라의 측면에서 제도는 갖췄으나 축적은 시작 단계입니다. 2024년 11월 한국전자통신연구원 부설로 AI안전연구소가 출범해 영국과 미국 등의 안전연구소 네트워크에 참여하고 있고, AI 기본법은 과학기술정보통신부에 실태조사 권한과 사실조사 권한을 부여하고 있습니다.

그러나 두 사람이 지적한 공백, 즉 위협 행위자가 실제로 AI를 어떻게 쓰는가에 관한 체계적 자료는 한국에서도 비어 있습니다. 국내에는 공개된 AI 사고 데이터베이스가 없고, 침해사고 신고는 정보통신망법 체계로, 금융 사고는 금융감독 체계로, 의료기기 이상사례는 식약처 체계로 각각 흩어져 수집됩니다. AI라는 횡단적 요소를 기준으로 사례를 모으는 창구가 없다는 뜻입니다.

두 사람의 처방을 한국에 적용하면 가장 비용이 적고 효과가 큰 조치는 새 규제가 아니라 기존 보고 체계에 AI 관련 여부를 식별하는 항목을 추가하는 일이 됩니다. 다만 한국에서 보고 의무는 통상 제재와 결부되어 운영되어 왔고, 이는 과소 보고를 유발합니다. 항공 분야의 자발적 무처벌 보고 제도가 참고가 될 수 있으며, 다음 절의 내부고발자 보호 논의도 같은 문제의식입니다.

회복탄력성이라는 선택

네 가지 거버넌스 접근

게리 마천트(Gary Marchant)와 이본 스티븐스(Yvonne Stevens)는 신흥 기술을 규율하는 네 가지 접근을 서술했고, 나라야난과 카푸어는 이를 그림 7로 요약합니다.

둘은 사전적(ex ante) 접근입니다. 위험 분석과 사전예방이 여기 속합니다. 나머지 둘은 사후적(ex post) 접근으로, 책임과 회복탄력성입니다.

이 접근들은 각각 장단점이 있고 서로를 보완할 수 있습니다. 그럼에도 어떤 접근은 어떤 기술에 분명히 더 잘 맞습니다.

마천트와 스티븐스는 사전적 접근이 AI에 잘 맞지 않는다고 주장했고 두 사람도 동의합니다. 배치 이전에 위험을 확인하기가 어렵기 때문입니다. 책임은 그보다 낫지만 중요한 한계를 갖습니다. 인과관계에 관한 불확실성, 그리고 기술 개발에 미칠 수 있는 위축 효과가 그것입니다.

• 위험 분석 — 사전 접근이며, 배치 전 위험 확인이 어려워 AI에는 부적합하다고 평가합니다.
• 사전예방 — 사전 접근이며, 같은 이유로 부적합합니다.
• 책임 — 사후 접근이며, 더 낫지만 인과의 불확실성과 위축 효과가 한계입니다.
• 회복탄력성 — 사후 접근이며, AI에 가장 적합하다고 평가합니다.

회복탄력성이란 무엇인가

마천트와 스티븐스의 정의를 두 사람은 길게 인용합니다. 가장 단순한 형태로 회복탄력성이란 시스템이 피해에 대처하는 역량입니다. 회복탄력성 접근은 반드시 안정이나 균형을 유지하려 하지 않습니다.

오히려 복잡계에서 변화는 불가피하다는 점을 인정하고, 원래 시스템의 핵심 가치와 기능을 보호하고 보존하는 방식으로 그 변화를 관리하고 거기에 적응하려 합니다. 두 사람이 인용한 또 다른 정의에 따르면, 회복탄력성은 시스템이 충격을 겪으면서도 본질적으로 동일한 기능과 구조, 피드백, 따라서 정체성을 유지하는 역량입니다. 회복탄력성은 중대한 외부 충격이나 교란이 피해를 입힌 뒤의 연착륙을 보장하는 전략으로 묘사되기도 했습니다.

AI에서의 충격과 피해

AI 맥락에서 피해는 배치된 특정 시스템의 사고에서 발생할 수 있습니다. 그 사고가 우발적인 것이든 공격이든 상관없습니다.

피해로 이어질 수도 있고 아닐 수도 있는 충격도 있습니다. 생물테러를 가능하게 하는 것 같은 공격 능력의 급작스러운 증가, 그리고 공개가중치 모델의 출시나 독점 모델 가중치의 탈취를 통한 능력의 급작스러운 확산이 그 예입니다.

두 사람이 보기에 회복탄력성은 두 가지를 함께 요구합니다. 피해가 실제로 발생했을 때 그 심각성을 최소화하는 것, 그리고 충격이 발생했을 때 피해가 생길 가능성을 최소화하는 것입니다.

회복탄력성은 사전적 접근과 사후적 접근의 요소를 결합합니다. 피해가 발생하기 전에 행동을 취하되, 그것은 피해가 발생했을 때 손상을 제한할 더 나은 위치에 서기 위한 행동입니다. 많은 회복탄력성 기반 거버넌스 수단은 속도 문제를 완화하는 데 도움이 됩니다. 전통적 거버넌스 접근이 기술 발전 속도를 따라가지 못하는 문제를 말합니다.

네 범주의 전략

AI를 위해 제안된 회복탄력성 전략은 많으며, 네 개의 큰 범주로 묶을 수 있다고 두 사람은 말합니다. 앞의 세 범주는 AI의 미래가 어느 쪽이든 도움이 되는 ‘후회 없는(no regret)’ 정책입니다.

첫째, 넓은 의미의 사회적 회복탄력성. 민주주의의 토대를 보호하려는 노력을 배가하는 것이 중요합니다. 특히 AI에 의해 약화된 토대들, 즉 자유 언론과 공정한 노동시장이 그렇습니다. AI의 발전만이 현대 사회가 직면한 충격은 아니며 유일한 기술 충격도 아니므로, 이 정책들은 AI의 미래가 어떻든 도움이 됩니다.

둘째, 효과적인 기술적 방어와 정책결정의 전제조건. 이 개입들은 기술적·제도적 역량을 강화함으로써 다음 범주의 조치들을 가능하게 합니다. 예시는 다음과 같습니다. AI 위험 연구에 대한 자금 확대, 고위험 AI 시스템 개발자에 대한 투명성 요건, AI 공동체 내 신뢰 구축과 분절 완화, 정부 내 기술 전문성 확대, AI에 관한 국제 협력 증진, AI 리터러시 향상입니다. 이들은 AI의 현재나 미래 영향에 대한 자신들의 판단이 틀린 것으로 판명되더라도, AI 위험을 완화할 기술적·제도적 역량을 쌓는 데 도움이 됩니다.

셋째, AI의 미래와 무관하게 도움이 되는 개입. 조기 경보 시스템의 개발, 식별된 AI 위험에 대한 방어책 개발, 방어자에 대한 AI 도입 유인 제공(사이버 공격 맥락에서는 소프트웨어 개발자가 그 방어자입니다), 연구자에 대한 법적 보호, 이상사례 보고 의무, 내부고발자 보호가 여기 속합니다.

넷째, AI가 일반 기술이라면 도움이 되지만 잠재적 초지능 AI의 통제를 더 어렵게 만들 수 있는 개입. 공개 모델 출시를 포함한 경쟁 촉진, 방어를 위한 AI의 폭넓은 가용성 확보, 그리고 다중심성입니다. 다중심성이란 규제기관의 집합을 다양화하고, 하나의 규제기관에 모든 것을 맡기기보다 이상적으로는 규제기관들 사이에 경쟁을 도입하는 것을 뜻합니다.

권고

두 사람은 앞의 세 범주에 대해서는, AI 위험과 미래 궤적에 관해 매우 다른 신념을 가진 전문가와 이해관계자 사이에서도 합의가 가능하기를 희망한다고 밝힙니다.

마지막 범주에 대해서는 신중한 추진을 권고합니다. 정책결정자가 당분간 이 범주의 개입도 조심스럽게 추진하되, AI의 궤적이 바뀔 경우 방향을 전환할 준비 태세 또한 개선해야 한다는 것입니다.

해설 회복탄력성이라는 개념은 생태학에서 왔습니다. 1973년 생태학자 C.S. 홀링(C.S. Holling)이 생태계가 교란을 겪고도 기능을 유지하는 역량을 가리키는 말로 도입했고, 이후 재난 관리와 금융 규제, 공급망 설계로 퍼졌습니다. 두 사람이 인용한 ‘충격을 겪으면서도 동일한 기능과 구조, 피드백을 유지한다’는 정의가 바로 이 계보의 표현입니다.

핵심은 저항과 회복탄력성의 차이입니다. 저항은 충격이 들어오지 못하게 막는 것이고, 회복탄력성은 충격이 들어온 뒤에도 무너지지 않는 것입니다. 댐을 높이는 것과 범람원을 설계하는 것의 차이라고 바꿔 말할 수 있습니다. 두 사람이 비확산을 거부하고 회복탄력성을 택한다는 것은 전자의 전략이 AI에서는 실패한다고 보기 때문입니다.

속도 문제는 기술법학에서 콜링그리지 딜레마(Collingridge dilemma)와 함께 자주 인용되는 개념입니다. 기술의 영향을 알 만큼 확산되고 나면 통제하기에는 이미 늦고, 통제하기 쉬운 초기에는 영향을 알 수 없다는 딜레마입니다. 회복탄력성 전략이 이 딜레마를 다루는 방식은 영리합니다. 무엇이 위험한지 미리 알 필요 없이, 무엇이 와도 버틸 수 있는 구조를 만드는 데 집중하기 때문입니다.

넷째 범주에 붙은 단서가 이 절의 솔직한 지점입니다. 경쟁 촉진과 공개 모델 출시는 두 사람의 세계관에서만 유익하고, 반대 세계관에서는 해롭습니다. 두 사람은 이를 숨기지 않고 ‘신중한 추진’과 ‘방향 전환 준비’라는 단서를 붙입니다.

[관점] 이 절은 이 글 전체에서 가장 실행 가능한 처방이자, 동시에 가장 교묘한 논증 구조를 가진 대목입니다. 네 범주 가운데 앞의 셋은 반대할 이유가 없는 조치들이고, 두 사람의 세계관을 받아들여야만 지지할 수 있는 조치는 넷째에만 모여 있습니다. 그리고 그 넷째에는 신중함과 가역성이라는 단서가 붙어 있습니다. 결과적으로 이 정책 패키지는 상대 진영이 반대하기 어려운 형태로 설계되어 있습니다.

그러나 실제 정책 논쟁에서 자원과 정치적 자본은 유한하므로, 앞의 세 범주를 모두 수용한 뒤 넷째에서만 다투는 구도는 성립하기 어렵습니다. 특히 경쟁 촉진과 공개 모델 출시는 현재 가장 첨예한 쟁점이며, 이 글의 나머지 전부가 이 하나의 권고를 떠받치는 구조라고 읽는 것도 무리가 아닙니다.

투자와 기업 전략의 관점에서 두 번째와 세 번째 범주는 수요 예측에 쓸 수 있습니다. 투명성 요건, 이상사례 보고 의무, 조기 경보 시스템, 내부고발자 보호는 모두 두 세계관이 공유하는 영역이므로 입법 가능성이 가장 높습니다. 이는 모델 평가와 감사, AI 거버넌스 소프트웨어, 로그와 추적 인프라에 대한 규제 주도 수요가 먼저 형성된다는 뜻입니다. 반대로 컴퓨트 임계치 기반 개발 규제는 합의 기반이 약해 입법과 폐기를 반복할 가능성이 큽니다.

한 가지 균형을 위해 덧붙이면, 회복탄력성 전략의 약점은 비가역적 피해를 다루지 못한다는 점입니다. 연착륙을 설계한다는 발상은 충격이 회복 가능한 범위 안에 있다는 전제 위에 서 있습니다. 두 사람이 파국적 정렬 실패를 사변적 위험으로 분류했기 때문에 이 전제가 성립하지만, 분류가 틀렸다면 전략 전체가 함께 무너집니다. 두 사람이 ‘방향 전환 준비’를 강조하는 이유도 여기에 있습니다.

[한국 관점] 네 범주 가운데 한국에서 가장 취약한 것은 셋째입니다. 이상사례 보고 의무와 내부고발자 보호가 그렇습니다. 한국에는 공익신고자 보호법과 부패방지권익위법이 있지만, AI 시스템의 결함이나 안전 문제에 대한 내부 신고가 명확히 보호 대상에 포함되는지는 해석의 여지가 있고, 실무적으로는 신고 후 불이익 구제의 실효성이 낮다는 지적이 반복되어 왔습니다. 두 사람이 이 항목을 ‘후회 없는 정책’으로 분류한 만큼, 제도 보완의 우선순위가 높은 영역입니다.

넷째 범주의 다중심성은 한국에서 가장 적용하기 어려운 권고입니다. 앞서도 짚었듯 규제 권한이 부처별로 수직 분할되어 있을 뿐, 같은 사안을 두고 복수 규제기관이 경쟁하는 구조가 아닙니다. 두 사람이 말하는 다중심성은 관할 분할이 아니라 규제 접근의 경쟁을 뜻하므로, 한국의 부처 간 관할 다툼은 오히려 그 반대편에 가깝습니다. AI 기본법 입법 과정에서 나타난 부처 간 조정 문제가 그 예입니다.

반면 첫째 범주의 공정한 노동시장 보호는 한국에서 더 절실하면서 동시에 더 어려운 과제입니다. 두 사람이 AI에 의해 약화된 토대로 자유 언론과 노동시장을 꼽았는데, 한국의 노동시장은 AI 이전부터 이중구조와 특수고용 확대라는 취약성을 안고 있었습니다. 두 사람의 틀에서 AI는 증폭기이므로, 증폭되기 전의 기저 상태가 나쁠수록 회복탄력성 확보 비용이 커집니다.

비확산은 집행이 불가능하며 단일 실패 지점을 만든다

비확산이란 무엇인가

비확산 정책은 강력한 AI 역량을 손에 넣을 수 있는 행위자의 수를 제한하려는 정책입니다. 나라야난과 카푸어가 드는 예는 세 가지입니다.

하드웨어나 소프트웨어에 대한 수출통제로 특정 국가가 강력한 AI를 구축하거나 획득하거나 운영하는 능력을 제한하는 것, 강력한 AI를 구축하거나 배포하는 데 면허를 요구하는 것, 그리고 공개가중치 AI 모델을 금지하는 것입니다. 마지막 항목의 이유는 일단 풀려나면 그 이후의 확산을 통제할 수 없기 때문입니다.

미래의 AI를 초지능으로 본다면 비확산은 매력적인, 어쩌면 필수적인 개입으로 보입니다. 소수의 행위자만 강력한 AI를 통제한다면 정부가 그들의 행동을 감시할 수 있기 때문입니다.

기술적으로 이미 늦었다

불행히도 유능한 AI 모델을 구축하는 데 필요한 기술적 지식은 이미 널리 퍼져 있다고 두 사람은 지적합니다. 많은 조직이 자신들의 코드와 데이터, 학습 방법론 전체를 공유하고 있습니다.

자금이 넉넉한 조직과 국민국가에게는 최첨단 모델 학습의 높은 비용조차 미미합니다. 따라서 비확산은 전례 없는 수준의 국제 공조를 요구하게 됩니다. 더구나 알고리즘 개선과 하드웨어 비용 하락이 진입장벽을 계속 낮추고 있습니다.

집행의 현실

집행에는 심각한 실무적 난관이 있습니다. 악의적 행위자는 면허 요건을 그냥 무시하면 됩니다. 모델이 학습되는 데이터센터를 감시하자는 제안은 학습 비용이 떨어질수록 점점 비현실적이 됩니다.

역량에 대한 접근이 쉬워질수록 효과적인 제한을 유지하려면 점점 더 가혹한 조치가 필요해집니다.

새로운 위험: 소프트웨어 단작

비확산은 새로운 위험을 들여옵니다. 경쟁을 감소시키고 AI 모델 시장의 집중도를 높이기 때문입니다.

많은 하류 응용이 같은 모델에 의존할 때, 그 모델의 취약점은 모든 응용에 걸쳐 악용될 수 있습니다. 두 사람이 드는 고전적 사례는 소프트웨어 단작(monoculture)의 사이버보안 위험을 보여 준 2000년대 마이크로소프트(Microsoft) 윈도우를 겨냥한 웜의 확산입니다.

비확산에 의존하면 충격 앞에서 취약해집니다. 모델 가중치가 유출되거나, 정렬 기법이 실패하거나, 적대자가 학습 역량을 획득하는 경우입니다. 또한 AI 위험이 실제로 현실화될 하류 공격 표면에 초점을 둔 더 견고한 방어로부터 주의를 돌리게 만듭니다.

비확산이 만드는 위험은 단일 실패 지점에 그치지 않습니다. 최첨단 모델 개발에 필요한 전문성이 소수 기업에 제한되면, 안전 연구에 필요한 깊은 접근 권한을 그 기업의 연구자만 갖게 되기 때문입니다.

생물무기 논거에 대한 반박

비확산을 옹호하기 위해 AI의 여러 잠재적 오용이 거론되어 왔습니다. 화학·생물학·핵 위협과 사이버 공격이 그것입니다.

생물무기 위험이 실재한다는 점은 두 사람도 인정합니다. 대규모 언어모델은 범용기술이므로 대부분의 영역에서 쓰임새를 찾듯 생물테러리스트에게도 어떤 쓰임새를 찾을 가능성이 높습니다.

그러나 그렇다고 해서 생물테러가 AI 위험이 되는 것은 아니라는 것이 두 사람의 반박입니다. 생물무기에 관한 정보가 온라인에 널리 존재한다는 점을 고려하면, 그것이 인터넷 위험이 아닌 것과 마찬가지라는 것입니다. 기존 생물테러 위험에 대해 우리가 취하는 방어책, 즉 위험한 물질과 장비에 대한 접근 제한은 AI 기반 생물테러에도 효과적일 것입니다.

사이버보안에서는 3부에서 논의했듯 자동화된 취약점 탐지의 발전이 공격자보다 방어자에게 유리하게 작용하는 경향이 있습니다. 이 공격-방어 균형이 바뀌지 않는 한, 이 역량의 확산을 제한하려는 시도는 역효과를 낳습니다.

전환이냐 전가냐

정부가 팬데믹 예방 같은 문명적 위험의 여러 영역에 대규모로 과소투자해 왔다는 지적은 오래되었습니다. 나쁜 행위자가 AI를 이용해 이 기존 취약점을 악용할 가능성이 그 문제를 해결할 긴급성을 더해 준다면, 그것은 좋은 결과일 것이라고 두 사람은 말합니다.

그러나 기존 위험을 AI 위험으로 재구성하고 AI에 특화된 완화책에 우선순위를 두는 것은 극히 역효과적이라는 것이 결론입니다.

해설 비확산이라는 용어 자체가 핵 군축 레짐에서 왔습니다. 핵확산금지조약이 작동할 수 있었던 조건은 분명합니다. 고농축 우라늄과 플루토늄이라는 물리적 병목이 존재하고, 원심분리 시설이 위성으로 관측 가능하며, 국제원자력기구(IAEA)라는 사찰 기구가 있다는 것입니다. 두 사람의 논증은 AI에 이 세 조건이 모두 없다는 것으로 요약됩니다. 지식은 논문으로 퍼지고, 학습은 임대한 클라우드에서도 가능하며, 완성된 모델은 수백 기가바이트의 파일입니다.

소프트웨어 단작은 생물학의 단일 재배 비유에서 온 보안 개념입니다. 같은 품종만 심은 밭이 하나의 병원체로 전멸하듯, 같은 소프트웨어를 모두가 쓰면 하나의 취약점이 전체를 쓸어버립니다. 두 사람이 든 2000년대 윈도우 웜의 사례로는 코드 레드(Code Red), 님다(Nimda), 블래스터(Blaster), 새서(Sasser)가 대표적이며, 수십만 대의 기기가 같은 취약점으로 동시에 감염되었습니다.

두 사람이 ‘제한적 예외’를 둔다고 언급한 점도 짚어 둘 만합니다. 비확산 기반 안전 조치가 장기적으로 회복탄력성을 떨어뜨린다는 명제에 전면적 예외가 없는 것은 아니라는 단서인데, 본문에서는 그 예외가 무엇인지 구체화되지 않습니다.

비확산은 정책이 아니라 사고방식이다

이 절에서 두 사람이 가장 힘주어 말하는 명제가 여기 있습니다. 비확산은 단지 정책 개입이 아니라 하나의 사고방식(mindset)이라는 것입니다.

이 사고방식은 모델 개발자와 하류 개발자, 배치자, 개인 모두가 채택할 수 있습니다. 그리고 그것은 기술에 대한 접근뿐 아니라 기술에 대한 통제의 중앙집권화를 수반합니다.

AI 시스템에 대한 통제 소재(loci of control)의 위계를 생각해 볼 수 있습니다. 중앙집권적인 쪽에서 분산적인 쪽으로 정부, 모델 개발자, 응용 개발자, 배치자, 최종 사용자의 순서입니다. 비확산 사고방식에서 통제는 가능한 한 가장 높은, 즉 가장 중앙집권적인 수준에서 행사됩니다. 회복탄력성 사고방식에서는 보통 가능한 한 가장 낮은 수준에서 행사됩니다.

비확산 기반 개입의 네 가지 예

두 사람은 비확산 사고방식에 기반한 개입의 예를 네 가지 듭니다.

첫째, ‘망각(forgetting)’ 기법을 통해 모델에서 이중용도 역량을 제거하는 것입니다.

둘째, 하류 개발자가 모델을 파인튜닝할 수 있는 능력을 제한하는 것입니다.

셋째, AI 모델과 시스템 자체에 안전 결정을 자율적으로 내리도록 맡기는 것입니다. 근거는 그 모델들이 중앙집권적인 안전 정책을 준수하도록 학습된 반면, 배치자와 사용자는 그렇게 하리라고 신뢰할 수 없다는 것입니다.

넷째, AI 시스템이 맥락과 자원, 민감한 데이터에 접근하는 수준을 높이는 것입니다. 근거는 그래야 더 나은 안전 판단을 내릴 수 있다는 것이며, 예컨대 사용자의 웹 검색 기록에 접근할 수 있으면 챗봇이 요청의 의도가 악의적인지 더 잘 판단할 수 있다는 식입니다.

역설

제한적인 예외를 두고, 두 사람은 비확산에 기반한 안전 조치가 회복탄력성을 떨어뜨리며 따라서 장기적으로 AI 위험을 악화시킨다고 봅니다.

메커니즘은 구체적입니다. 그런 조치들은 권력이라는 의미에서의 초지능을 잠재적으로 가능하게 하는 설계와 구현 선택으로 이어집니다. 자율성 수준의 증가, 조직적 능력, 자원에 대한 접근 같은 것들입니다.

그래서 역설적으로, 비확산 조치는 그것이 방어하려 했던 바로 그 위험을 증가시킵니다. 이것이 이 절의 마지막 문장입니다.

[관점] 마지막 역설 논증이 이 절, 나아가 4부 전체의 핵심입니다. 두 사람은 비확산을 단순히 비효율적이라고 비판하는 데서 멈추지 않고, 비확산이 초지능을 만들어 낸다고 주장합니다. 논리는 이렇습니다. 안전 판단을 모델에 위임하려면 모델에 더 많은 맥락과 권한과 자율성을 줘야 하는데, 그 세 가지가 바로 2부에서 정의한 ‘권력’의 구성 요소이기 때문입니다.

이 논증은 AI 안전 담론에 대한 가장 날카로운 비판 중 하나로 읽을 수 있습니다. 모델을 안전하게 만들려는 노력 자체가 모델을 강력하게 만드는 방향으로 작동한다는 것이기 때문입니다. 현실의 제품 설계를 보면 이 지적은 공허하지 않습니다. 의도를 판별하기 위해 더 많은 사용자 맥락을 모델에 주는 설계, 안전을 위해 모델이 도구 사용을 스스로 판단하게 하는 설계가 실제로 확산되고 있습니다.

다만 이 논증에는 비대칭이 있습니다. 두 사람이 비판하는 비확산 조치 중 첫째와 둘째, 즉 능력 제거와 파인튜닝 제한은 모델을 덜 유능하게 만드는 방향이고, 셋째와 넷째, 즉 자율적 안전 판단과 맥락 접근 확대는 모델을 더 유능하게 만드는 방향입니다. 이 넷을 하나의 ‘사고방식’으로 묶는 것은 분석적으로 깔끔하지만, 역설 논증은 뒤의 둘에만 적용됩니다. 앞의 둘에 대해서는 효과 없음과 경쟁 저해라는 별도의 비판이 필요하며 두 사람도 그렇게 하고 있으나, 마지막 문장은 네 가지 모두에 역설이 적용되는 것처럼 읽힙니다.

지정학의 관점에서 이 절은 미국의 대중국 반도체 수출통제를 정면으로 겨냥하고 있습니다. 두 사람의 논거는 지식의 확산과 비용 하락이 통제를 무력화한다는 것인데, 2025년 초 딥시크(DeepSeek)의 모델 공개가 이 논거에 힘을 실은 사건으로 널리 인용되었습니다. 반대로 통제 지지자들은 그 사건이 통제의 실패가 아니라 통제가 없었다면 격차가 더 좁았으리라는 증거라고 읽습니다. 어느 해석이 맞는지는 반사실을 관측할 수 없으므로 결정되지 않습니다.

[한국 관점] 비확산 논쟁에서 한국의 위치는 양면적입니다. 한국은 미국 주도의 반도체 수출통제 레짐에 편입된 당사국이면서, 동시에 자체 파운데이션 모델을 개발하는 후발 주자이기도 합니다. 두 사람의 논증을 그대로 받아들이면 통제 레짐은 집행이 어렵고 시장 집중을 심화시키므로, 후발 주자인 한국에는 불리하게 작용합니다.

실제로 한국 정부의 정책 방향은 두 사람의 처방과 상당 부분 겹칩니다. 국가 차원의 AI 컴퓨팅 인프라 확충, 공개 가중치 모델을 포함한 국내 파운데이션 모델 개발 지원은 모두 통제보다 역량 분산과 접근성 확대에 가까운 선택입니다. 소버린 AI 담론이 안보 논리로 제시되지만, 두 사람의 틀에서는 단일 공급자 의존을 줄이는 회복탄력성 조치로도 읽힙니다.

다만 두 사람이 경고한 단작 위험은 한국에서 다른 형태로 나타날 수 있습니다. 국가 주도로 소수의 국산 모델을 공공부문 전반에 확산시키는 전략은, 해외 모델 의존을 줄이는 대신 국내 단일 모델 의존이라는 새로운 단일 실패 지점을 만들 수 있기 때문입니다. 두 사람이 권고하는 다중심성은 국산화가 아니라 다원화이며, 이 둘은 쉽게 혼동되지만 다른 처방입니다.

AI의 이익을 실현하기

진보는 자동이 아니다

일반 기술 관점의 중요한 귀결 하나는 진보가 자동으로 오지 않는다는 것입니다. AI 확산에는 수많은 장애물이 있다고 나라야난과 카푸어는 말합니다.

딩이 보였듯, 혁신을 경제 전반에 확산시키는 역량은 나라마다 크게 다르며 그 나라의 전반적 국력과 경제성장에 큰 영향을 미칩니다. 확산이 어떻게 병목이 되는지를 보여 주는 예로 두 사람은 앞서 서술한 공장 전기화 사례를 다시 환기합니다.

그리고 정책은 이 장애물을 완화할 수도, 악화시킬 수도 있습니다.

규제가 범주를 섣불리 굳힐 때

AI의 이익을 실현하려면 실험과 재구성이 필요합니다. 이런 필요에 둔감한 규제는 유익한 AI 채택을 가로막을 위험이 있습니다.

규제는 범주를 만들거나 고착시키는 경향이 있고, 그래서 사업 모델과 조직 형태, 제품 범주 같은 것들을 섣불리 얼어붙게 만들 수 있습니다. 두 사람은 세 가지 예를 듭니다.

첫째, 영역 단위의 고위험 분류. 보험이나 급부 심사, 채용 같은 특정 영역을 고위험으로 분류하는 것은 범주 오류일 수 있습니다. 한 영역 안에서 과업별 위험의 편차가 영역 간 편차보다 훨씬 클 수 있기 때문입니다. 같은 영역의 과업이라도 자동화된 의사결정처럼 결과가 중대한 것부터 광학문자인식처럼 비교적 무해한 것까지 걸쳐 있습니다. 더구나 AI의 확산은 우리가 아직 상상하지 못한 새로운 과업을 만들어 낼 것이고, 규제가 그것을 선제적으로 잘못 분류할 수 있습니다.

둘째, 빠르게 변하는 AI 공급망. 파운데이션 모델의 부상으로 모델 개발자와 하류 개발자, 배치자 사이의 구분이 훨씬 날카로워졌고, 그 밖에도 여러 범주가 생겼습니다. 이 구분에 둔감한 규제는 특정 배치 맥락과 관련된 위험 완화 책임을 모델 개발자에게 지울 위험이 있습니다. 파운데이션 모델의 범용적 성격과 가능한 모든 배치 맥락을 알 수 없다는 점을 생각하면, 모델 개발자가 그 책임을 이행하는 것은 불가능합니다.

셋째, 자동화의 이분법. 규제가 완전 자동화된 결정과 그렇지 않은 결정을 이분법적으로 구분하고 감독의 정도를 인정하지 않으면, AI 통제에 관한 새로운 모델의 채택을 저해합니다. 앞서 논의했듯 모든 결정에 사람을 끼워 넣지 않으면서도 효과적인 인간 감독을 달성하는 여러 새 모델이 제안되고 있습니다. 이런 접근이 감독이 전혀 없는 시스템과 똑같은 준수 부담을 지도록 자동화된 의사결정을 정의하는 것은 현명하지 않습니다.

두 사람은 곧바로 단서를 답니다. 분명히 해 두자면, 규제 대 확산은 규제 대 혁신과 마찬가지로 거짓된 상충이라는 것입니다. 위의 사례 중 어느 것도 규제에 반대하는 논거가 아니며, 세심함과 유연성의 필요를 보여 줄 뿐입니다.

규제가 확산을 가능하게 한다

더 나아가 규제는 확산을 가능하게 하는 데 결정적인 역할을 합니다.

역사적 사례로 두 사람은 2000년 미국의 전자서명법(ESIGN Act)을 듭니다. 이 법은 디지털화와 전자상거래 촉진에 핵심적 역할을 했습니다. 전자 서명과 전자 기록이 법적으로 유효함을 보장함으로써 디지털 거래에 대한 신뢰를 쌓았기 때문입니다.

AI에서도 확산을 가능하게 하는 규제의 기회가 많습니다. 한 가지 예로 두 사람은 언론·미디어 콘텐츠의 챗봇 및 기타 AI 인터페이스 통합 문제를 듭니다. 이 통합은 미디어 조직이 AI 기업에 대해 갖는 정당한 경계심 때문에 제약되고 있습니다.

지금까지 성사된 AI와 저널리즘의 거래 상당수는 착취적이라고 두 사람은 평가합니다. AI 기업과 퍼블리셔 사이의 권력 비대칭, 그리고 퍼블리셔가 단체로 교섭할 수 없다는 사정 때문입니다. 규제 감독이 수반되는 다양한 의무 교섭 모델이 가능합니다. 괄호 안에 덧붙인 단서가 있습니다. 그런 규제의 더 중요한 이유는 아마 퍼블리셔의 이익 보호일 것이며, 이 문제는 뒤에서 다시 다룬다는 것입니다.

법적·규제적 불확실성이 있는 영역에서도 규제가 확산을 촉진할 수 있습니다. AI에 대한 책임법의 적용은 흔히 불분명합니다. 두 사람이 드는 사례는 소형 드론입니다. 2016년 미국 연방항공청이 신생 산업을 규제해 명확한 규칙과 요건을 세우기 전까지 책임 관계가 불분명했는데, 그 결과 생긴 명확성이 채택에 박차를 가해 등록 드론 수와 인증 조종사 수, 산업별 활용 사례가 급속히 늘었습니다.

자동화의 보완재에 투자하기

정부의 규제자 역할을 넘어서면, AI 확산을 촉진하는 강력한 전략 하나는 자동화의 보완재(complements)에 투자하는 것입니다. 자동화가 늘어날수록 더 가치 있어지거나 더 필요해지는 것들을 말합니다.

한 가지 예는 AI 리터러시 증진과 공공·민간 양쪽의 인력 훈련입니다. 또 다른 예는 디지털화와 개방 데이터, 특히 공공 데이터 개방입니다. AI 사용자가 이전에는 접근할 수 없던 데이터셋의 혜택을 볼 수 있게 해 주기 때문입니다. 민간 부문은 이 영역에 과소투자할 가능성이 높습니다. 모두가 혜택을 볼 수 있는 공공재이기 때문입니다.

전력망 신뢰성 같은 에너지 인프라 개선도 AI의 혁신과 확산을 모두 촉진합니다. 학습과 추론 양쪽에 도움이 되기 때문입니다.

분배와 보상

정부에는 AI의 혜택을 더 공평하게 재분배하고, 자동화의 결과로 손실을 보게 될 사람들을 보상하는 중요한 역할도 있습니다.

사회안전망의 강화는 여러 나라에서 현재 높은 수준에 있는 AI에 대한 대중의 불안을 줄이는 데 도움이 됩니다.

그리고 두 사람은 한 문장을 분명히 적습니다. 예술과 저널리즘은 삶의 핵심 영역이며 AI에 의해 피해를 입었다는 것입니다. 정부는 AI 기업에 대한 과세를 통해 이들에게 재원을 지원하는 방안을 고려해야 한다고 제안합니다.

공공부문 도입의 균형

마지막으로 정부는 공공부문의 AI 도입에서 미묘한 균형을 잡아야 합니다.

너무 빨리 움직이면 신뢰와 정당성을 잃습니다. 두 사람이 드는 사례는 뉴욕시 챗봇입니다. 충분히 시험되지 않은 것이 명백했고, 사업자에게 법을 어기라고 말해 화제가 되었습니다. 미국 정부효율부(DOGE)의 AI 사용에도 의심스러운 응용이 많이 포함되어 있다고 지적합니다.

그러나 너무 느리게 움직이면 기본적인 정부 기능이 민간 부문으로 외주화되어, 책임성이 더 낮은 상태로 구현될 수 있습니다.

예를 들어 세금과 복지 같은 영역의 규칙이 복잡하기 때문에 사람들은 그 규칙을 헤쳐 나가기 위한 안내를 챗봇에 의존하는 경우가 많습니다. 그런데 정부는 위험에 대한 이해할 만한 신중함 때문에 그런 서비스 제공에서 한참 뒤처져 있습니다.

그러나 행정국가가 이 위험에 접근하는 방식은 지나치게 조심스럽다고 두 사람은 평가합니다. 니컬러스 배글리(Nicholas Bagley)는 이를 절차 물신주의(procedure fetish)라고 불렀고, 잠재적으로 폭주하는 관료제로 이어진다고 보았습니다. AI의 혜택을 놓치는 것에 더해, 배글리는 무능한 수행이 정부 기관으로 하여금 절차와 책임성의 강조를 통해 얻으려 했던 바로 그 정당성을 잃게 만들 것이라고 경고했습니다.

해설 전자서명법 사례가 보여 주는 메커니즘은 법적 확실성의 공급입니다. 신기술 도입을 가로막는 것이 금지 규정이 아니라 불확실성인 경우가 많습니다. 전자 서명이 법정에서 유효한지 알 수 없으면 아무도 쓰지 않습니다. 이때 규제는 제약이 아니라 조정 장치로 기능하며, 두 사람이 규제 대 확산은 거짓된 상충이라고 말하는 근거가 여기 있습니다.

자동화의 보완재라는 개념은 경제학의 보완재 개념을 기술 변화에 적용한 것입니다. 어떤 재화의 가격이 떨어질 때 함께 수요가 늘어나는 재화를 가리킵니다. 자동화가 특정 과업을 싸게 만들면, 그 과업과 함께 쓰이는 인간의 판단이나 데이터, 전력이 상대적으로 더 가치 있어집니다. 데이비드 오터(David Autor)가 자동화 논쟁에서 반복해 강조해 온 논점이기도 합니다. 두 사람의 제안은 정부가 이 보완재 중 시장이 과소공급하는 것, 즉 교육과 공공데이터, 전력망에 투자하라는 것입니다.

배글리는 미시간대학 로스쿨의 행정법 학자로, 2019년 논문에서 미국 진보 진영이 행정 절차의 정교함 자체를 목적으로 삼은 결과 국가의 실행 능력을 훼손했다고 비판했습니다. 앞서 1부에서 인용된 폭주하는 관료제 논의도 배글리와 대니얼 호(Daniel E. Ho)의 공동 기고였습니다. 두 사람이 이 글의 마지막 정책 논의를 배글리로 닫는 것은 의도적입니다. AI 규제 논쟁이 규제의 양이 아니라 국가 역량의 문제라는 틀로 수렴하기 때문입니다.

[관점] 이 절은 이 글의 정치적 위치를 가장 선명하게 드러냅니다. 두 사람은 규제 완화론자가 아닙니다. 의무 교섭, AI 기업에 대한 과세, 사회안전망 강화, 공공데이터 개방을 제안하는 것은 상당히 적극적인 국가 역할론입니다. 동시에 영역 단위 고위험 분류와 자동화 이분법을 비판하는 대목은 EU AI법의 설계를 정면으로 겨냥합니다.

이 조합은 미국 정치 지형에서도 익숙하지 않은 자리입니다. 분배에서는 개입주의, 기술 규제 설계에서는 유연성, 공공부문 도입에서는 속도를 요구하는 입장입니다. 이 글이 AI 안전 진영과 가속주의 진영 양쪽으로부터 선택적으로 인용되어 온 이유이기도 합니다. 규제 비판 부분만 떼어 인용하면 완화론으로 읽히고, 과세와 재분배 부분만 떼어 인용하면 그 반대로 읽힙니다.

투자와 산업 전략의 관점에서 가장 실질적인 대목은 보완재 논의입니다. 모델 성능이 아니라 흡수 역량이 병목이라면, 가치는 교육과 데이터 정비, 전력 인프라, 업무 재설계 서비스 쪽으로 흐릅니다. 이는 1부의 결론을 정책 언어로 번역한 것이며, 투자 테제로 옮기면 모델 계층의 자본 집약적 경쟁보다 도입 지원 계층의 수요가 더 길게 지속된다는 예측이 됩니다.

다만 공급망 논점에는 유보가 필요합니다. 모델 개발자가 모든 배치 맥락을 알 수 없으므로 책임을 지울 수 없다는 논리는 타당하지만, 이것이 상류의 포괄적 면책으로 귀결되면 책임 공백이 생깁니다. 앞서 오용 절에서 짚은 구조가 여기서 규제 설계의 언어로 반복됩니다. 두 사람이 투명성 요건을 예외로 남겨 둔 것은 이 공백을 의식한 것으로 보이지만, 그 이상의 해법은 제시되지 않습니다.

[한국 관점] 두 사람의 세 가지 규제 비판 중 첫째와 셋째는 한국 AI 기본법에 직접 적용됩니다. 이 법은 의료, 채용, 대출 심사 등을 열거해 고영향 인공지능을 영역 단위로 규정하는 방식을 택했고, 이는 두 사람이 범주 오류라고 비판한 설계와 같습니다. 다만 시행령에서 과업과 맥락을 고려한 세부 기준을 두는지가 실제 작동을 가를 것이며, 계도기간은 그 조정을 위한 시간으로 쓰일 수 있습니다.

확산 촉진 규제의 사례로 한국에는 전자서명법의 선례가 있습니다. 1999년 제정 이후 공인인증서 제도가 오랫동안 전자거래의 법적 확실성을 제공했지만, 동시에 특정 기술에 대한 사실상의 강제로 작용해 혁신을 가두었다는 비판을 받았고 2020년 공인인증서 제도가 폐지되었습니다. 두 사람이 전자서명법을 확산 촉진의 모범으로 든 반면, 한국의 경험은 같은 유형의 규제가 범주를 고착시켜 반대 효과를 낼 수 있음을 보여 줍니다. 두 사람의 두 주장, 즉 규제가 확산을 돕는다는 것과 규제가 범주를 섣불리 굳힌다는 것이 한 제도 안에서 동시에 나타난 사례입니다.

공공데이터 개방은 한국이 상대적으로 앞선 영역입니다. 공공데이터법에 따른 개방 체계와 공공데이터포털이 운영되고 있고, OECD 평가에서 높은 순위를 기록해 왔습니다. 다만 두 사람이 말하는 AI 활용 관점에서는 기계가 읽을 수 있는 형태와 갱신 주기, 그리고 민감 데이터의 가명처리 경로가 관건이며, 개방 건수보다 활용 가능성이 지표가 되어야 한다는 지적이 국내에서도 반복되어 왔습니다.

예술과 저널리즘에 대한 재원 지원 제안은 한국에서 다른 제도적 맥락에 놓입니다. 한국은 이미 언론진흥기금과 문화예술진흥기금 등 공적 지원 체계를 갖추고 있으나, 재원이 AI 기업 과세가 아니라 일반 재원과 광고 수익에 기반합니다. 두 사람의 제안을 한국에 적용한다면 새 기금의 신설보다 기존 기금의 재원 구조 변경이 현실적 경로가 될 것입니다.

맺는 생각

세계관을 구성하는 것들

일반 기술로서의 AI는 임박한 초지능으로서의 AI라는 세계관과 대비되는 하나의 세계관이라고 나라야난과 카푸어는 정리합니다.

세계관은 그 가정, 어휘, 증거 해석, 인식 도구, 예측, 그리고 경우에 따라 가치로 구성됩니다. 이 요소들은 서로를 강화하며 각 세계관 안에서 단단한 묶음을 이룹니다.

가정. 두 사람은 AI와 과거 기술 사이의 명백한 차이에도 불구하고 양자가 충분히 유사하다고 가정합니다. 따라서 반대되는 구체적 증거가 없는 한, 확산 이론 같은 잘 확립된 패턴이 AI에도 적용되리라고 예상해야 한다는 것입니다.

어휘. 어휘의 차이는 해로울 수 있습니다. 그 밑에 깔린 가정을 감추기 때문입니다. 두 사람의 예는 자기 자신입니다. 통상적으로 이해되는 초지능이라는 개념이 의미를 가지려면 필요한 어떤 가정들을 자신들은 거부한다는 것입니다.

증거 해석. AI의 미래에 관한 차이는 흔히 현재에 관한 증거를 다르게 해석하는 데 일부 뿌리를 두고 있습니다. 두 사람이 드는 예는 생성형 AI의 채택을 빠르다고 규정하는 것에 자신들이 강하게 반대한다는 점입니다. 그리고 이 해석이 다시 AI 확산이 과거 기술과 유사하다는 자신들의 가정을 강화합니다.

인식 도구. 두 사람은 확률 예측을 덜 강조하고, 과거에서 미래로 외삽할 때 AI가 무엇을 뜻하는지를 분해할 필요를 강조합니다. 일반성의 수준, 방법론 대 응용 개발 대 확산 같은 구분들입니다.

왜 이 글을 썼는가

두 사람은 자신들의 세계관의 어떤 버전이 널리 공유되고 있다고 믿습니다. 불행히도 그것은 명시적으로 정식화된 적이 없었습니다. 이 견해를 가진 사람에게는 그것이 기본값처럼 보이고, 그래서 굳이 말로 옮기는 것이 불필요해 보였기 때문일 것입니다.

그러나 시간이 흐르며 초지능 관점이 AI 담론에서 지배적이 되었습니다. 그 관점에 깊이 젖어 있는 사람은 현재와 미래의 AI를 개념화하는 또 다른 일관된 방식이 존재한다는 사실조차 인식하지 못할 정도가 되었습니다.

그 결과 서로 다른 사람들이 AI의 진보와 위험, 정책에 대해 왜 그토록 다른 의견을 진심으로 가질 수 있는지, 그 근본 이유를 알아보기가 어려워졌습니다. 두 사람은 이 글이 더 큰 상호 이해를 가능하게 하는 데 작은 역할이라도 하기를 희망한다고 적습니다. 설령 누구의 신념도 바꾸지 못하더라도 말입니다.

감사의 글

두 사람은 나이트 연구소 워크숍 참가자와 동료심사자, 초고에 의견을 준 여러 연구자와 편집 지원에 감사한다고 밝힙니다.

해설 두 사람이 세계관을 가정, 어휘, 증거 해석, 인식 도구, 예측, 가치의 단단한 묶음으로 정의하는 방식은 토머스 쿤(Thomas Kuhn)의 패러다임 개념과 구조가 같습니다. 쿤은 서로 다른 패러다임에 선 과학자들이 같은 현상을 보고도 다른 것을 본다고 했고, 그래서 논쟁이 증거만으로 해소되지 않는다고 보았습니다. 이것이 공약불가능성(incommensurability)입니다.

두 사람이 이 구조를 명시적으로 꺼내 드는 효과는 양면적입니다. 한편으로는 논쟁이 왜 교착되는지를 설명해 주고, 상대 진영을 비합리적이라고 몰지 않는 겸손한 태도를 가능하게 합니다. 다른 한편으로는 자기 입장의 반증 부담을 덜어 줍니다. 어떤 반례가 제시되어도 그것은 증거 해석의 차이라고 재서술할 여지가 생기기 때문입니다.

두 사람 스스로 든 예가 이 긴장을 잘 보여 줍니다. 생성형 AI 채택이 빠르다는 규정에 반대하는 것이 가정을 강화한다고 썼는데, 이것은 해석이 가정을 낳고 가정이 다시 해석을 결정하는 순환을 두 사람이 자각하고 있다는 뜻입니다. 자각이 순환을 끊어 주지는 않습니다.

[이해관계] 감사의 글에 오른 이름들은 이 글이 어느 네트워크에서 나왔는지를 보여 주는 지도입니다. 상세 논평을 준 사람으로 꼽힌 질리언 해드필드(Gillian Hadfield)는 당시 토론토대학을 거쳐 존스홉킨스대학에 재직한 법학자이자 AI 거버넌스 연구자이고, 세스 레이저(Seth Lazar)는 오스트레일리아국립대학의 철학자로 AI 윤리를 연구하며 본문에 인용된 모델 정렬 관련 공저 논문의 공동 저자이기도 합니다. 본문에서 위험 분류 틀을 빌려 온 카시르자데, 확산 이론의 근거가 된 딩, 환원 불가능한 오차의 근거가 된 샐거닉, 재귀적 자기개선 논점의 근거가 된 티모시 리(Timothy B. Lee)가 모두 피드백 제공자로 감사의 글에 올라 있습니다.

이 목록에는 AI 안전 진영의 인물도 포함되어 있습니다. 아제야 코트라(Ajeya Cotra)는 오픈필란트로피(Open Philanthropy)에서 AI 위험 관련 연구와 지원을 담당해 온 인물이며, 딘 볼(Dean Ball)은 당시 조지메이슨대학 메르카투스센터 소속으로 AI 정책을 연구하다 이후 백악관 과학기술정책실에서 AI 정책을 담당했습니다. 두 사람이 본문에서 ‘양극화 완화’를 지지한다고 쓴 것과 일관되게, 의도적으로 반대 진영의 검토를 받은 흔적으로 읽을 수 있습니다.

이 글이 실린 매체의 성격도 발화 위치의 일부입니다. 나이트 수정헌법 제1조 연구소는 컬럼비아대학 부설로 표현의 자유와 민주적 자유를 다루는 기관이며, 이 글은 그 기관의 ‘AI와 민주적 자유’ 프로젝트 산출물입니다. 본문에서 자유 언론의 쇠퇴와 정보 생태계 오염이 시스템적 위험 목록에 들어가고, 정책 제안에 언론 재원 지원과 의무 교섭이 포함된 것은 이 맥락과 분리해 읽기 어렵습니다. 나라야난은 2022-2023년 이 연구소의 방문 선임연구원이었습니다.

[관점] 이 글의 가장 큰 기여는 예측의 정확성이 아니라 선택지를 가시화한 데 있습니다. 2025년 시점에 AI를 둘러싼 공적 논쟁은 사실상 하나의 지도 위에서 진행되고 있었고, 그 지도에서는 모델 능력 곡선이 유일한 축이었습니다. 두 사람이 한 일은 두 번째 지도를 그려 놓고, 같은 지형이 다르게 보인다는 사실을 드러낸 것입니다.

두 지도는 서로 다른 행동을 처방합니다. 어디에 자본을 배치할지, 어떤 규제를 먼저 입법할지, 기업 안에서 누가 AI 안전을 책임질지가 달라집니다. 이 글을 실용적으로 읽는 방법은 어느 지도가 맞는지 판정하려 애쓰는 것이 아니라, 자신의 결정이 어느 지도를 전제하고 있는지 확인하는 것입니다.

동시에 이 글의 한계도 분명합니다. 핵심 예측 몇 가지는 발표 이후 1년 사이에 상당한 압력을 받았습니다. 설득력에서 인간을 넘어섰다는 연구가 나왔고, 예측 과제에서의 격차가 좁혀졌으며, 코딩 에이전트의 확산은 ‘제품 개발에 쓰라린 교훈은 적용되지 않는다’는 주장을 시험대에 올렸습니다. 반면 확산이 조직과 제도의 속도에 묶인다는 1부의 핵심 논지는 여전히 견고해 보입니다. 두 사람이 옳았는지는 부분별로 다르게 판정될 가능성이 큽니다.

마지막으로, 이 글은 자신이 인용될 방식을 통제하지 못했습니다. 두 사람은 적극적 재분배와 AI 기업 과세, 의무 교섭을 제안하는 개입주의자이면서 동시에 모델 중심 규제에 반대하는 유연성 옹호자인데, 실제 정책 논쟁에서는 후자만 떼어져 규제 완화의 근거로 쓰이는 경우가 많았습니다. 이 글을 읽는 가장 정확한 방법은 두 부분을 함께 읽는 것입니다.

---

원문: Arvind Narayanan, Sayash Kapoor, AI as Normal Technology (Apr 2025) 전문은 원문에서 확인하실 수 있습니다.

참고할만한 글

• 레오폴드 아셴브레너 – 상황 인식 (Situational Awareness) — AI가 몇 년 안에 초지능에 이른다고 보는 정반대의 시각을 담은 글로, 이 글의 일반 기술론과 직접 대비됩니다.
• 다리오 아모데이 – 프런티어의 속도를 조절해야 한다 (We Must Pace the Frontier) — AI를 일반 기술로 다루는 이 글의 회복탄력성 논리와 달리, 개발 속도 자체를 늦추자고 제안하는 글입니다.
• 샘 올트먼 – 온화한 특이점 (The Gentle Singularity) — AI가 이미 특이점의 문턱을 넘었다고 선언하는 글로, 일반 기술론이 맞서는 전형적인 낙관 서사를 볼 수 있습니다.