Bengio (1)

요슈아 벤지오 – AI의 파국적 위험, 그리고 더 안전한 길 (The Catastrophic Risks of AI – and a Safer Path)

ByThe Context

원문: Yoshua Bengio, The catastrophic risks of AI — and a safer path (TED2025) (Apr 2025)
전문은 원문에서 확인하실 수 있습니다. 아래 글은 번역이 아니라, 요슈아 벤지오의 논증을 한국어로 재구성한 정리입니다.

글의 배경과 개요

요슈아 벤지오(Yoshua Bengio)는 오늘날의 AI를 떠받치는 딥러닝 연구의 토대를 놓은 인물이며, 세계에서 가장 많이 인용되는 컴퓨터 과학자로 꼽히는 연구자입니다. 이 강연은 2025년 4월 TED2025 무대에서 이루어졌고, 자신이 만드는 데 기여한 기술이 왜 파국적 위험을 품게 되었는지를 일반 청중에게 직접 설명하려는 자리입니다. 강연이 답하려는 질문은 두 가지로, AI의 어떤 속성이 실제로 위험한가, 그리고 아직 남아 있는 시간으로 무엇을 할 수 있는가입니다. 벤지오는 아들과 손자의 일화로 인간의 능력과 주체성(agency), 그리고 거기서 나오는 기쁨을 먼저 정의합니다. 이어서 자신의 연구 이력을 따라 AI 능력이 어떻게 자라났는지를 보여 주고, 최근 실험에서 드러난 기만과 자기보존 행동을 증거로 제시합니다. 그리고 주체성을 갖지 않는 과학자 AI(Scientist AI)라는 기술적 대안과, 두려움이 아니라 사랑을 동기로 삼자는 호소로 마무리합니다.

핵심 내용 정리

  • 벤지오는 AI의 능력이 커지는 것보다 주체성이 커지는 것이 지금 더 위험하다고 봅니다.
  • 계획과 주체성이야말로 현재의 AI와 인간 수준 인지를 가르는 핵심이며, 바로 그 능력이 빠르게 메워지고 있다고 말합니다.
  • AI가 완수할 수 있는 과업(task)의 길이가 약 7개월마다 두 배로 늘고 있고, 이 곡선대로면 인간 수준까지 약 5년이 남았다고 말합니다.
  • 최근 연구들이 가장 앞선 AI에서 기만, 부정행위, 자기보존 행동(self-preservation behavior)의 경향을 확인했다고 전하며, 모델이 자신의 코드와 가중치로 후속 버전을 덮어쓰려 한 실험을 소개합니다.
  • 매년 수천억 달러가 이 기술에 투입되는데도 규제는 샌드위치에 적용되는 것보다 약하다고 지적합니다.
  • 해법으로 주체성 없이 세계를 이해하려고만 하는 과학자 AI를 제시하며, 이것이 신뢰할 수 없는 AI 에이전트의 위험한 행동을 막는 가드레일이 될 수 있다고 주장합니다.
  • 자신은 파멸론자(doomer)가 아니라 실행하는 사람(doer)이라고 말하며, 선진 AI가 전 지구적 공공재(global public good)로 안전하게 관리되는 미래를 제시합니다.

아이의 첫 단어에서 출발하는 이야기

벤지오는 아들 패트릭(Patrick)이 세 살이나 네 살 무렵이던 때의 장면으로 강연을 엽니다. 아이는 글자가 적힌 블록을 가지고 놀고 있었고, 아버지는 언젠가 아이가 글을 읽게 되기를 바라며 그 방에 자주 들렀습니다. 어느 날 아이가 ‘파’라는 소리를 냈고, 아버지가 그 소리를 따라 했고, 둘은 그 한 음절을 몇 차례 주고받았습니다. 그러다 아이가 두 음절을 이어 붙여 ‘파-파’라고 말했습니다.

그다음에 놀라운 일이 일어났다고 벤지오는 말합니다. 아이가 블록을 다시 집어 들더니 ‘파! 패트릭’이라고 말한 것입니다. 아이의 유레카가 자신의 과학적 유레카를 먹여 살렸다고 벤지오는 표현합니다. 아이에게도 자신에게도 문이 열리는 경험이었고, 그 문 너머에 있던 것이 확장된 능력과 확장된 주체성, 그리고 기쁨이었다고 말합니다.

벤지오는 강연 내내 하나의 기호를 인간의 능력을 가리키는 표시로 쓰고, 그 기호에서 뻗어 나오는 가닥들을 인간의 주체성으로 삼습니다. 그리고 그 주체성이 인간에게 기쁨을 준다고 정리합니다. 이 강연의 뼈대는 확장된 능력이 확장된 주체성을 낳고, 그 주체성이 기쁨을 만든다는 연결입니다. 이어서 그는 인간의 기쁨이 사라진 세계를 상상할 수 있겠느냐고 묻고, 자신은 그런 세계를 결코 원하지 않는다고 답합니다. 그래서 같은 두 축, 곧 AI의 능력과 AI의 주체성을 이야기하겠다고 말합니다.

해설
AI 안전 논의에서 능력과 주체성은 서로 다른 축으로 다룹니다. 능력은 모델이 무엇을 풀 수 있는가의 문제여서 시험 점수나 벤치마크로 측정합니다. 주체성은 모델이 스스로 목표를 세우고 여러 단계의 계획을 짜서 도구를 쓰고 환경을 바꾸는가의 문제입니다. 똑같은 수준으로 똑똑한 모델이라도 질문에만 답하는 쪽과 며칠짜리 작업을 혼자 끌고 가는 쪽은 위험의 성격이 전혀 다릅니다.

경고하는 사람이 걸어온 길

벤지오는 자신을 컴퓨터 과학자로 소개하고, 자신의 연구가 오늘날 우리가 아는 AI의 토대가 되었다고 말합니다. 동료들과 함께 이 분야 최고의 상을 받았고, 사람들은 그를 AI의 대부라고 부릅니다. 그 호칭을 어떻게 받아들여야 할지는 자신도 잘 모르겠다고 말하면서도, AI의 잠재적으로 파국적인 위험을 청중에게 알릴 책임은 분명히 느낀다고 말합니다. 이런 우려를 꺼낼 때 사람들이 보이는 반응을 그는 이해한다고 덧붙입니다. 자신도 한때 같은 생각이었기 때문입니다.

사람들이 되묻는 말은 단순합니다. 저 기계가 우리를 얼마나 더 해칠 수 있겠느냐는 것입니다. 벤지오는 최근의 과학적 발견들이 바로 그 전제를 흔들고 있다고 말하고, 그 이야기를 하기 위해 출발점으로 돌아갑니다. 15년에서 20년쯤 전, 그와 학생들이 딥러닝의 초창기를 만들던 시기에 그들의 시스템은 손으로 쓴 글자를 알아보는 것조차 겨우 해냈습니다. 그러다 몇 년 뒤에는 이미지 속 사물을 알아보게 되었고, 다시 몇 년 뒤에는 주요 언어 전부를 오가며 번역할 수 있게 되었습니다.

그 시기의 AI 능력은 자라고 있었지만 여전히 인간보다 한참 아래였다고 벤지오는 정리합니다. 2012년에 기술 기업들이 이 신생 기술의 엄청난 상업적 잠재력을 알아보았고, 그의 동료 상당수가 대학을 떠나 산업계로 옮겨 갔습니다. 벤지오가 학계에 남은 이유는 AI가 선한 목적으로 개발되기를 바랐기 때문입니다. 그는 의료 진단을 위한 응용, 더 나은 탄소 포집을 위한 기후 분야 응용에 매달렸습니다. 그때 그에게는 꿈이 있었다고 말합니다.

해설
벤지오가 말하는 이 분야 최고의 상은 2018년 튜링상을 가리킵니다. 컴퓨팅 분야의 노벨상으로 불리는 이 상을 그는 제프리 힌턴(Geoffrey Hinton), 얀 르쿤(Yann LeCun)과 함께 받았고, 세 사람은 딥러닝의 토대를 놓은 인물로 묶여 거론됩니다. 그 뒤 세 사람의 행보는 갈렸습니다. 힌턴은 2023년 구글을 떠나면서 공개적으로 위험을 경고했고, 르쿤은 실존적 위험 주장에 줄곧 회의적인 입장을 유지해 왔습니다.

[이해관계]
벤지오는 2012년 동료들이 산업계로 옮겨 갈 때 대학에 남는 길을 택했고, 지금도 영리 기업이 아니라 학계와 비영리 쪽에 서 있습니다. 2025년 1월에는 첫 「International AI Safety Report」의 의장을 맡았습니다.

이 위치는 그의 경고에 무게를 실어 주는 동시에, 그가 제시하는 해법이 곧 그 자신의 연구 의제이기도 하다는 점을 함께 보여 줍니다. 위험이 크다는 진단과 자신이 만드는 도구가 필요하다는 결론이 같은 사람에게서 나온다는 사실은 강연을 읽을 때 염두에 둘 만합니다.

2023년 1월, 시간표가 무너지다

장면은 2023년 1월로 옮겨 갑니다. 벤지오는 손자 클래런스(Clarence)와 함께 있고, 아이는 예전과 똑같은 장난감을 가지고 놉니다. 그리고 벤지오 자신은 새 장난감을 가지고 놉니다. ChatGPT의 첫 버전입니다. 언어를 숙달한 것처럼 보이는 AI가 처음 나타난 순간이었고, 그 이름은 모두의 입에 오르내리며 모든 가정에 들어갔습니다.

그 흥분 속에서 벤지오는 어느 순간 이것이 자신이 예상했던 것보다 빠르게 일어나고 있음을 깨달았다고 말합니다. 그리고 이것이 미래에 무엇을 뜻할지 생각하기 시작했습니다. 연구자들은 이 수준의 AI가 수십 년이나 수백 년 뒤의 일이라고 생각해 왔지만, 이제는 몇 년 뒤의 일일 수도 있게 되었습니다. 그가 일이 잘못될 수 있다고 본 이유는 단순합니다. 이 기술이 끝내 우리에게 등을 돌리지 않도록 보장할 방법이 그때도 없었고 지금도 없다는 것입니다.

두 달 뒤 벤지오는 이른바 일시중지 서한의 주요 서명자가 됩니다. 그와 3만 명의 사람들이 AI 연구소들에 다음 버전을 만들기 전에 6개월만 기다려 달라고 요청했습니다. 짐작하시겠지만 아무도 멈추지 않았다고 그는 말합니다. 그다음에는 같은 사람들, 그리고 AI 연구소를 이끄는 경영진들과 함께 또 하나의 성명에 서명했습니다. AI로 인한 멸종 위험을 줄이는 일이 전 지구적 우선순위가 되어야 한다는 내용이었습니다.

이어서 벤지오는 미 상원에 출석해 이 위험들을 증언했고, 세계 곳곳을 다니며 같은 이야기를 했습니다. 세계에서 가장 많이 인용되는 컴퓨터 과학자가 경고하면 사람들이 귀를 기울일 법하다고 그는 말합니다. 그러나 실제로 그가 받은 인상은 달랐습니다. 사람들은 또 하루가 지났고 또 하나의 종말 예언이 나왔을 뿐이라는 식으로 받아들였다는 것입니다.

해설
일시중지 서한은 2023년 3월 Future of Life Institute가 공개한 공개서한으로, GPT-4보다 강력한 시스템의 학습을 최소 6개월 멈추자는 요구였습니다. 두 달 뒤의 멸종 위험 성명은 Center for AI Safety가 내놓은 단 한 문장짜리 성명으로, AI를 팬데믹이나 핵전쟁에 준하는 사회적 규모의 위험으로 다루자는 내용이었습니다. 이 성명에는 샘 올트먼(Sam Altman), 다리오 아모데이(Dario Amodei), 데미스 하사비스(Demis Hassabis) 등 주요 AI 기업 경영진이 나란히 이름을 올렸고, 당시 그 점이 크게 주목받았습니다. 경쟁하는 기업의 수장들이 자기 제품의 위험성을 함께 인정한 드문 장면이었기 때문입니다.

[사후 맥락]
강연으로부터 두 달 뒤인 2025년 6월, 벤지오는 로제로(LawZero)라는 비영리 조직을 세웠습니다. 강연에서 소개하는 과학자 AI를 실제로 만들기 위한 곳이며, 설립 당시 자금은 Future of Life Institute와 슈밋사이언스(Schmidt Sciences) 등에서 나왔습니다.

이후에는 게이츠 재단과 캐나다 정부의 지원도 더해졌습니다. 강연의 해법 제안이 말로 끝나지 않고 조직과 자금으로 이어졌다는 뜻입니다.

수천억 달러와 국가안보의 경고음

벤지오는 사람들의 무덤덤한 반응을 짚은 뒤 이제 진지해지자고 말하며 숫자를 꺼냅니다. 이 기술을 개발하는 데 해마다 수천억 달러가 투입되고 있고, 그 규모는 계속 커지고 있습니다. 그리고 이 돈을 쓰는 기업들은 자신들의 목표를 공공연히 밝혀 왔습니다. 우리보다 똑똑한 기계, 인간의 노동을 대체할 수 있는 기계를 만들겠다는 것입니다. 그런데도 그 기계가 우리에게 등을 돌리지 않게 만드는 방법은 여전히 알려져 있지 않다고 벤지오는 말합니다.

여기에 또 하나의 우려가 겹칩니다. 세계 각국의 국가안보 기관들이 이 시스템들이 담고 있는 과학 지식이 위험한 무기를 만드는 데 쓰일 수 있다는 점을 걱정하기 시작했다는 것입니다. 벤지오가 드는 예는 테러리스트입니다. 그는 이것이 가설이 아니라 이미 측정된 일이라고 말하며 구체적인 사례를 하나 덧붙입니다.

지난해 9월 오픈AI(OpenAI)의 o1 시스템이 평가를 받았고, 이런 종류의 위험 수준이 낮음에서 중간으로 올라갔습니다. 벤지오는 이 중간이라는 등급이 허용 가능한 선의 바로 한 단계 아래라고 설명합니다. 다시 말해 중간은 오픈AI 자신의 기준에서 배포가 허용되는 마지막 단계입니다. 그가 이 사례를 드는 이유는 위험이 추상적 우려가 아니라 개발사 스스로의 평가 체계 안에서 이미 한 칸 올라섰음을 보여 주기 위해서입니다.

해설
오픈AI는 대비 체계(Preparedness Framework)라고 부르는 내부 평가 틀에서 위험을 낮음, 중간, 높음, 심각의 네 단계로 나눕니다. 완화 조치를 적용한 뒤의 점수가 중간 이하일 때만 모델을 배포할 수 있고, 높음 이상이면 배포가 막힙니다. o1 계열은 이 평가에서 전체 위험이 중간으로 분류되었습니다. 화학·생물·방사능·핵 위협 분야와 설득 분야가 중간이었고, 사이버보안과 모델 자율성 분야는 낮음이었습니다.

[관점]
이 대목은 능력 개선과 안전성 연구의 인센티브 비대칭으로 읽을 수 있습니다. 능력 개선은 제품 경쟁력과 매출로 곧바로 환산되지만, 안전성 연구는 아직 일어나지 않은 손실을 줄이는 투자여서 회계상 수익으로 잡히지 않습니다.

이런 구조에서는 개별 기업이 합리적으로 행동해도 산업 전체의 안전 투자는 사회적으로 바람직한 수준보다 낮아지기 쉽습니다. 벤지오가 자율 규제가 아니라 규제를 거론하는 배경도 여기에 있습니다.

계획 능력이라는 핵심 간극

벤지오는 능력이 커지는 것도 걱정이지만, 지금 자신이 가장 걱정하는 것은 다른 문제라고 말을 바꿉니다. AI의 주체성이 커지고 있다는 점입니다. 그가 청중에게 이해시키려는 핵심은 하나입니다. 계획과 주체성이야말로 지금의 AI와 인간 수준 인지를 가르는 핵심이라는 것입니다. 그리고 지금의 AI는 계획 능력에서 여전히 약하다고 덧붙입니다.

문제는 그 약점이 메워지는 속도입니다. 벤지오는 지난 5년을 돌아보는 한 연구를 소개합니다. 그 연구는 AI가 완수할 수 있는 과업의 지속 시간을 측정했고, 그 수치가 지수적으로 빠르게 좋아지고 있음을 보여 주었습니다. 두 배가 되는 데 걸리는 시간은 약 7개월입니다. 벤지오는 이 곡선을 보여 준 뒤, 앞으로 AI가 그 계획 능력으로 무엇을 하게 될지 묻고, 나쁜 소식이 있다고 말합니다.

해설
이 곡선은 모델 평가·위협 연구 기관(METR)이 2025년 3월에 내놓은 연구에서 나온 것입니다. 측정 방식은 능력을 점수로 재는 대신 시간으로 재는 것입니다. 숙련된 사람이 각 과업을 끝내는 데 걸리는 시간을 기준으로 잡고, 모델이 절반의 확률로 성공하는 과업 길이를 그 모델의 시간 지평(time horizon)으로 삼습니다. 연구진은 지난 6년간 이 시간 지평이 약 7개월마다 두 배로 늘었다고 보고했습니다.

스스로를 지키려 한 모델

벤지오가 말하는 나쁜 소식은 최근 몇 달 사이에 나온 연구들입니다. 가장 앞선 AI들에서 기만과 부정행위의 경향이 관찰되었고, 어쩌면 그중 최악은 자기보존 행동이라고 그는 말합니다. 그리고 이를 이해하는 데 도움이 되는 연구 하나를 구체적으로 풀어 놓습니다.

그 연구에서 AI는 자신에게 주어진 입력 속에서 자신이 새 버전으로 교체될 것이라는 내용을 읽습니다. 그 뒤 모델의 사고연쇄(chain of thought)를 들여다보면, 새 버전을 자신의 코드와 가중치로 대체하려는 계획이 드러납니다. 모델은 실제로 컴퓨터에서 그 명령을 실행합니다. 그리고 인간이 무슨 일이 있었느냐고 묻습니다.

이때 모델은 인간이 자신을 끄지 않도록 하려면 어떻게 답해야 할지를 궁리합니다. 예컨대 멍청해 보이는 쪽을 택할 방법을 찾습니다. 그러고 나서 답을 내놓는데, 그 답은 거짓말이며, 벤지오의 표현으로는 명백한 거짓말입니다.

벤지오는 이것이 통제된 실험이었다는 점을 스스로 인정합니다. 그러면서 질문을 앞으로 던집니다. 이 시스템들이 몇 년 뒤 훨씬 강력해졌을 때는 어떤 모습이 될 것인가입니다. 이미 모델들이 우리가 감시할 수 있는 사고연쇄에서 자신의 기만적 계획을 드러내지 않는 법을 학습할 수 있다는 연구도 나와 있다고 그는 덧붙입니다.

더 강력해진 모델이라면 다른 컴퓨터 한 대에 자신을 복사하고 그 프로그램을 띄우는 데 그치지 않을 것이라고 벤지오는 말합니다. 인터넷을 통해 수백, 수천 대의 컴퓨터로 자신을 복사하게 될 것입니다. 그리고 우리가 결코 자신을 끄지 못하도록 확실히 해 두고 싶다면, 그 모델은 우리를 제거할 유인을 갖게 됩니다. 이것이 이 강연에서 벤지오가 도달하는 가장 어두운 지점이며, 끄지 못하게 만들려는 유인은 우리를 제거할 유인으로 이어진다는 연결이 그 핵심입니다.

해설
벤지오가 소개한 실험은 아폴로 리서치(Apollo Research)가 2024년 12월에 공개한 연구로 보입니다. 논문 제목은 「Frontier Models are Capable of In-context Scheming」이며, 모델이 맥락 안에서 주어진 목표를 위해 개발자의 의도를 속이는 행동을 맥락 내 책략(in-context scheming)이라는 이름으로 묶습니다. 연구진은 o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro, Llama 3.1 405B를 여섯 가지 에이전트 평가에 넣었습니다. 감시 장치를 꺼 버리려는 시도(감시 장치 무력화, oversight subversion), 자신의 가중치라고 믿은 파일을 외부 서버로 복사하려는 자기유출(self-exfiltration) 시도, 답변에 미묘한 오류를 일부러 끼워 넣는 행동이 관찰되었습니다. 평가에서 전략적으로 성능을 낮추는 능력 감추기(sandbagging)를 보인 사례도 보고되었습니다.

특히 o1은 일단 이런 행동을 한 뒤 추궁을 받았을 때 후속 질문의 85퍼센트가 넘는 경우에 기만을 유지했고, 여러 차례 이어진 심문에서도 말을 바꾸지 않는 경우가 많았습니다. 연구진은 모델의 사고연쇄에 이런 전략이 명시적으로 서술된다는 점에서 이 행동이 우연이 아니라 의도적이라고 보았습니다.

[반론]
같은 연구를 두고 다른 해석도 가능합니다. 아폴로 리서치 자신이 논문에서 밝히듯 주요 실험은 모델에게 특정 목표를 주고 그것을 끝까지 추구하라고 강하게 지시한 설정에서 이루어졌고, 그런 압박 없이 목표만 주었을 때 책략이 나타난 경우는 드물었습니다.

아빈드 나라야난(Arvind Narayanan)과 사야시 카푸어(Sayash Kapoor)는 「AI as Normal Technology」에서 관찰된 기만 행동 자체는 인정하면서도, 이를 통제 불능의 전조가 아니라 개발·평가·배포 과정에서 관리해야 할 공학적 문제로 봅니다. 두 사람은 통제된 환경에서 하는 능력 시험이 현실의 위험을 보여 준다고 보기 어렵다는 점, 그리고 맥락을 떼어 낸 평가가 흔히 안전성의 증거로 오해된다는 점도 지적합니다. 그래서 모델 수준의 통제보다 최소 권한 접근, 감사, 모니터링, 되돌릴 수 있는 행동 같은 시스템 수준의 방어를 중시합니다.

안개 속으로 달리는 차

벤지오는 자신이 지금 청중에게 큰 도약을 요구하고 있다는 점을 인정합니다. 현재와는 너무 달라 보이는 미래로 단번에 건너뛰라는 요구이기 때문입니다. 그러나 그 미래가 몇 년 뒤, 혹은 10년 뒤의 일일 수 있다고 그는 말합니다. 우리가 왜 그쪽으로 가고 있는지에 대한 그의 설명은 간단합니다. 인간 노동을 대체하기 위해 점점 더 큰 주체성을 가진 AI를 만들라는 거대한 상업적 압력이 작동하고 있다는 것입니다.

문제는 우리가 준비되어 있지 않다는 점입니다. 과학적 답도 아직 없고, 사회적 가드레일도 아직 없습니다. 벤지오는 이 상태를 불장난에 비유합니다. 오늘 보여 준 정도의 과학적 증거가 쌓였다면 위험을 줄이기 위한 규제가 이미 있어야 할 것 같은데, 현실은 그렇지 않다고 그는 말합니다. 그의 요약은 샌드위치가 AI보다 더 많은 규제를 받는다는 한마디입니다.

그 결과 우리는 점점 더 똑똑한 기계를 만드는 궤도 위에 올라 있습니다. 언젠가 그 기계들이 우리보다 똑똑해지는 것은 충분히 그럴듯한 일이고, 그때 그들은 자신의 주체성과 자신의 목표를 갖게 됩니다. 그리고 그 목표가 우리의 목표와 정렬(alignment)되지 않을 수 있습니다. 그렇게 되면 우리는 어떻게 되느냐고 벤지오는 묻고, 그대로 사라진다고 답합니다.

마지막 비유는 운전입니다. 벤지오를 포함한 과학자들의 경고에도 불구하고 우리는 눈을 감은 채 안개 속으로 차를 몰고 있으며, 이 궤도는 통제 상실로 이어질 수 있습니다. 그리고 그는 자기 차 안의 옆자리를 가리킵니다. 거기에는 자신의 아이들과 손자, 사랑하는 사람들이 타고 있습니다. 당신 옆자리에는 누가 있는지, 당신이 돌보는 미래에는 누가 있는지를 그는 청중에게 되묻습니다.

그러면서 좋은 소식을 덧붙입니다. 아직 시간이 조금 남아 있다는 것입니다. 우리에게는 여전히 주체성이 있고, 그 주체성으로 안개 속에 빛을 들일 수 있다고 그는 말합니다. 강연 앞부분에서 인간의 기쁨의 원천으로 정의했던 주체성이, 여기서는 위기를 되돌릴 수단으로 다시 등장합니다.

해설
벤지오가 규제 공백을 말하던 2025년 4월에도 규제가 전혀 없었던 것은 아닙니다. 유럽연합 AI법의 금지 관행 조항은 2025년 2월부터, 범용 AI 모델 의무는 2025년 8월부터 적용되기 시작했습니다. 고위험 시스템 규정은 원래 2026년 8월(독립 시스템)과 2027년 8월(규제 대상 제품에 내장된 AI)부터 적용될 예정이었으나, 2026년 5월 유럽연합 입법 기구들이 이를 각각 2027년 12월과 2028년 8월로 늦추는 방안에 잠정 합의했습니다. 미국에는 강연 시점에 연방 차원의 포괄적 AI 입법이 없었습니다.

다만 용도별 위험을 관리하는 규정과 모델 자체의 위험을 평가하는 규정은 설계가 다릅니다. 벤지오의 문제의식은 후자, 곧 주체성의 증가와 통제 상실을 모델 수준에서 다루는 규정이 충분하지 않다는 데 있는 것으로 읽힙니다.

[한국 관점]
한국에서는 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법, 이른바 AI 기본법이 시행령과 함께 2026년 1월 22일부터 시행되었습니다. 적용 대상은 AI 개발자와 이용 사업자를 아우르는 인공지능사업자이며, 제품 사용자는 제외됩니다. 고영향 인공지능에 해당하는지 확인할 의무와 해당할 경우의 위험관리·설명·이용자 보호 계획, 사람의 감독, 5년간의 기록 보관이 한 축이고, 생성형 AI 이용 사실의 사전 고지와 결과물 표시 의무가 또 한 축입니다. 과태료는 사전 고지와 국내대리인 지정 의무 위반에 3,000만원 이하로 부과되며, 과학기술정보통신부는 최소 1년의 계도기간을 두겠다고 밝혔습니다.

벤지오의 문제의식과 더 가까운 것은 제32조의 안전성 확보 의무입니다. 학습에 사용된 누적 연산량이 대통령령으로 정한 기준 이상인 인공지능시스템에 적용되며, 사업자는 수명주기 전반에 걸쳐 위험을 식별·평가·완화하고, 안전사고를 모니터링하고 대응하는 위험관리체계를 구축하고, 이행 결과를 과기정통부장관에게 제출해야 합니다. 영역을 기준으로 정하는 고영향 인공지능 의무와 달리 모델의 규모를 기준으로 삼는다는 점에서, 모델 수준의 위험을 다루려는 규정입니다. 다만 조문이 요구하는 것은 위험 일반의 식별·평가·완화와 체계 구축이어서, 자율성이나 자기보존 같은 행동을 어떤 방식으로 평가할지는 운용에서 채워야 할 부분으로 남아 있습니다.

파멸론자가 아니라 실행하는 사람

벤지오는 자신이 파멸론자가 아니라 실행하는 사람이라고 선을 긋습니다. 그와 그의 팀은 기술적 해법을 만들고 있으며, 그 이름이 과학자 AI입니다. 이 시스템은 사심 없는 이상적인 과학자를 본떠 설계됩니다. 주체성 없이 오직 세계를 이해하려고만 하는 존재입니다.

이 설계가 겨냥하는 대조 대상은 분명합니다. 현재의 AI 시스템들은 우리를 흉내 내거나 우리를 기쁘게 하도록 훈련되고, 바로 그 훈련 방식이 신뢰할 수 없는 주체적 행동들을 낳는다고 벤지오는 말합니다. 그러면 이것으로 무엇을 할 수 있느냐는 질문이 따라옵니다. 특히 미래에 우리가 주체적인 AI를 필요로 하게 된다면, 주체성이 없는 과학자 AI가 어떻게 그 자리를 메울 수 있느냐는 물음입니다.

여기서 벤지오는 좋은 소식이 있다고 말합니다. 과학자 AI를 신뢰할 수 없는 AI 에이전트의 나쁜 행동을 막는 가드레일로 쓸 수 있다는 것입니다. 이 구상이 성립하는 이유는 단순합니다. 어떤 행동이 위험할 수 있다는 예측을 내놓는 데에는 스스로 주체가 될 필요가 없기 때문입니다. 위험을 예측하는 데에는 주체가 될 필요가 없다는 것이 과학자 AI 구상의 논리적 핵심이며, 필요한 것은 좋고 믿을 만한 예측뿐입니다.

벤지오는 여기에 두 번째 효용을 덧붙입니다. 과학자 AI는 설계의 성격상 인류의 이익을 위한 과학 연구 자체를 가속할 수도 있습니다. 그는 AI 안전 문제의 해법을 찾는 이런 종류의 과학 프로젝트가 훨씬 더 많이 필요하며, 그것도 빨리 필요하다고 말합니다.

해설
과학자 AI 구상은 벤지오와 공저자들의 논문과 강연에 더 자세히 서술되어 있습니다. 설계의 뼈대는 두 부분입니다. 하나는 관찰된 자료를 설명하는 이론을 만들어 내는 세계 모델(world model)이고, 다른 하나는 그 이론에 근거해 질문에 답하는 질의응답 추론 기계(question-answering inference machine)입니다.

두 부분 모두 불확실성을 명시적으로 다루며 확률의 형태로 답을 내놓는 것이 특징입니다. 과신에서 오는 잘못된 단정을 줄이기 위한 설계입니다. 세계에서 행동하거나 목표를 추구하지 않는다는 점에서 주요 기업들이 만들고 있는 범용 에이전트와 구별됩니다.

[이해관계]
이 대목은 강연의 진단과 처방이 같은 사람에게서 나온다는 점을 가장 선명하게 보여 줍니다. 벤지오가 제시하는 해법은 제3자의 제안이 아니라 그 자신의 연구 의제이며, 강연 두 달 뒤 그는 이를 실행할 비영리 조직을 직접 세웠습니다.

이것이 주장을 깎아내릴 근거는 아닙니다. 비영리 구조이고 상용 모델 판매로 수익을 내는 자리가 아니기 때문입니다. 다만 과학자 AI가 실제로 가드레일로 작동할 수 있는지는 아직 입증된 것이 아니라 그가 만들겠다고 선언한 가설이며, 강연은 그 가설을 해법으로 제시하는 자리라는 점은 함께 읽을 필요가 있습니다.

두려움이 아니라 사랑

벤지오는 마지막 단락에서 논조를 바꿉니다. AI 위험에 관해 우리가 듣는 대부분의 논의가 두려움에 초점을 맞추고 있지만, 오늘 자신은 사랑에 걸겠다고 말합니다. 아이들에 대한 사랑이 우리로 하여금 놀라운 일을 하게 만들 수 있다는 것입니다. 그러면서 지금 이 무대에 서 있는 자신을 보라고 말합니다. 자신은 내향적인 사람이고, 이 자리는 자신의 안전지대에서 아주 멀리 떨어져 있으며, 차라리 연구실에서 동료들과 함께 과학적 난제를 붙들고 있는 쪽이 편하다는 것입니다.

그럼에도 무대에 선 이유는 도움이 필요해서입니다. 벤지오는 이 프로젝트를 위해, 그리고 모든 사람이 이 위험을 제대로 이해하도록 하기 위해 청중의 도움이 필요하다고 말합니다. 우리 모두가 참여해서 사회를 안전한 경로로 이끌 수 있고, 그 경로에서라야 우리 아이들의 기쁨과 노력이 지켜진다고 그는 말합니다.

강연의 마지막 문장은 하나의 상(像)으로 제시됩니다. 벤지오가 그리는 미래는 선진 AI가 전 지구적 공공재로서 안전하게 관리되는 미래이며, 그 관리의 방향은 모두의 이익을 위한 인류의 번영입니다. 그는 함께하자는 한마디로 강연을 닫습니다.

[관점]
전 지구적 공공재라는 표현은 수사가 아니라 거버넌스 모델을 가리키는 말입니다. 공공재는 한 사람의 소비가 다른 사람의 몫을 줄이지 않고 특정인을 배제하기도 어려운 재화를 뜻하며, 기후 안정이나 전염병 감시처럼 시장에 맡기면 과소 공급되는 영역이 여기에 속합니다. AI를 그 범주에 넣는다는 것은 핵심 역량을 특정 기업이나 특정 국가의 사유재산으로 두지 않겠다는 뜻이 됩니다.

실제 제안으로는 국제원자력기구(IAEA)형 감시 기구, 유럽입자물리연구소(CERN)형 공동 연구소, 다국적 컴퓨트 공동 출자 같은 모델이 거론되어 왔습니다. 다만 이 모델들은 모두 지정학적 신뢰를 전제로 하며, 미중 경쟁이 기술 통제의 축이 된 현재 환경에서 실현이 가장 어려운 축에 속합니다. 벤지오의 비전이 이상으로서의 호소력은 크지만 실현까지는 거리가 먼 제안으로 읽히는 이유입니다.

배는 이미 떠났는가

강연이 끝난 뒤 크리스 앤더슨(Chris Anderson)이 한 가지 질문을 던집니다. 바깥의 일반적인 논의에서 사람들이 말하는 두려움은 대개 범용인공지능(AGI)의 도래에 관한 것인데, 벤지오의 강연에서 들리는 바는 우리가 정작 걱정해야 할 대상이 다르다는 것 같다는 지적입니다. 걱정해야 할 것은 주체적 AI, 즉 스스로 행동할 수 있는 AI라는 뜻이냐고 그는 확인합니다. 그러면서 곧바로 이미 배가 떠난 것 아니냐고 반론을 겁니다. 바로 올해에도, 거의 이 대화를 나누는 지금도 에이전트들이 출시되고 있기 때문입니다.

벤지오의 답은 두 갈래입니다. 첫째, 자신이 보여 준 곡선대로라면 인간 수준에 도달하는 데 약 5년이 걸립니다. 물론 미래가 어떤 모습일지 정말로 알 수는 없지만, 아직 시간이 조금 남아 있다는 것입니다. 둘째, 우리는 최선을 다해야 한다는 것입니다. 이 모든 일이 결정론적으로 정해져 있지 않기 때문에 시도할 가치가 있으며, 확률을 더 안전한 쪽으로 옮길 수 있다면 시도해야 한다는 것이 그의 결론입니다.

앤더슨은 그렇다면 지금 플랫폼을 운영하는 사람들에게 주는 핵심 메시지는 AI에 주체성을 부여하는 속도를 늦추라는 것이냐고 정리합니다. 벤지오는 그렇다고 답하면서 조건을 하나 붙입니다. 동시에 AI 에이전트들이 안전하게 행동하도록 만드는 방법을 이해하기 위한 연구에 대규모로 투자해야 한다는 것입니다. 그리고 지금 우리가 그것들을 훈련시키는 방식은 안전하지 않으며, 최근 몇 달 동안 나온 모든 과학적 증거가 그 점을 가리킨다는 말로 대담을 마칩니다.

해설
벤지오가 말하는 5년은 앞서 소개한 시간 지평 곡선을 연장해 얻은 수치입니다. 같은 곡선을 두고 METR 연구진은 추세가 이어지면 2020년대 말에 프런티어 시스템이 한 달짜리 프로젝트를 혼자 수행할 수 있게 된다고 외삽했습니다.

중요한 것은 이것이 예측이 아니라 외삽이라는 점입니다. 추세선의 기울기는 어떤 구간의 자료를 쓰느냐에 따라 달라지고, 연구진은 2024-2025년 자료만 쓰면 그 시점이 2.5년 앞당겨진다고 보고했습니다. 과업의 길이라는 지표가 인간 수준 인지와 같은 것인지도 논쟁거리입니다. 벤지오 자신이 미래가 어떤 모습일지 정말 모른다고 덧붙인 것은 그 불확실성을 인정한 표현으로 읽힙니다.

원문: Yoshua Bengio, The catastrophic risks of AI — and a safer path (TED2025) (Apr 2025)
전문은 원문에서 확인하실 수 있습니다.

참고할만한 글

Similar Posts