빌 조이 – 왜 미래는 우리를 필요로 하지 않는가 (Why the Future Doesn't Need Us)

원문: Bill Joy, Why the Future Doesn’t Need Us (Apr 2000) 전문은 원문에서 확인하실 수 있습니다. 아래 글은 번역이 아니라, 빌 조이의 논증을 한국어로 재구성한 정리입니다.

글의 배경과 개요

빌 조이(Bill Joy)는 버클리 유닉스와 vi 편집기를 만들고 썬마이크로시스템즈(Sun Microsystems)를 공동 창업한 뒤 이 회사 수석과학자로 일하던 기술자이며, 이 글은 2000년 4월 와이어드(Wired)에 실렸습니다. 글이 답하려는 질문은 21세기의 유전학·나노기술·로봇공학이 20세기의 핵·생물·화학 무기와 질적으로 다른 위험인지, 다르다면 무엇을 해야 하는지입니다. 조이는 세 기술이 자기복제 능력을 공유하고 희귀 원료나 대규모 시설 없이 지식만으로 작동한다는 점에서 다르다고 답하며, 대량파괴의 권능이 국가에서 극단적 개인에게로 옮겨간다고 봅니다. 그는 우주 이주와 방어 체계라는 두 대안을 차례로 기각한 뒤 위험한 기술의 개발을 제한하는 포기만이 남는 선택지라고 결론 내리고, 그 선례로 미국의 일방적 생물무기 포기를 듭니다. 논증 경로는 자신의 불안이 시작된 1998년의 대화에서 출발해 세 기술 각각의 약속과 위험, 원자폭탄 개발의 교훈, 포기의 검증 설계, 유토피아의 재선택으로 이어집니다. 전문 연구자가 아니라 복잡계를 설계해온 사람의 자리에서 쓴 글이라는 점을 조이 자신이 여러 차례 밝힙니다.

핵심 내용 정리

로봇공학과 유전공학과 나노기술은 자기복제가 가능하다는 점에서 이전의 어떤 기술과도 다른 위험을 안고 있습니다.
핵·생물·화학 무기는 희귀 원료와 대규모 시설을 요구했지만, 21세기의 세 기술은 지식만으로 사용할 수 있어 개인이나 소집단의 손에 닿습니다.
그래서 위협의 성격이 대량파괴무기에서 지식으로 가능해진 대량파괴로 바뀝니다.
2030년 무렵이면 오늘의 개인용 컴퓨터보다 백만 배 강력한 기계를 양산할 수 있고, 그 시점에 커즈와일과 모라벡이 그린 구상이 실현 가능해집니다.
우주로의 이주와 방어 체계 구축은 각각 바람직하지 않거나 실현 불가능하므로, 남는 현실적 선택지는 위험한 지식의 추구 자체를 제한하는 포기입니다.
미국의 일방적 생물무기 포기와 1972년 생물무기금지협약, 1993년 화학무기금지협약은 포기가 실제로 가능하다는 것을 보여주는 선례입니다.
포기의 검증은 과학자와 기술자가 히포크라테스 선서에 준하는 윤리 규범을 받아들이고 필요하면 개인적 대가를 치르면서도 내부고발에 나설 것을 요구합니다.

1998년 가을, 한 호텔 바에서 시작된 불안

조이는 새로운 기술을 만드는 일에 처음 관여한 순간부터 그 윤리적 차원을 걱정해왔지만, 21세기에 닥칠 위험이 얼마나 큰지를 불안하게 자각한 시점은 1998년 가을이라고 적습니다. 그는 자신의 불안이 시작된 날을 레이 커즈와일(Ray Kurzweil)을 만난 날로 특정합니다. 커즈와일은 맹인용 독서기를 처음 발명한 사람이고, 그 밖에도 놀라운 것들을 많이 만들어낸 인물입니다. 두 사람은 조지 길더(George Gilder)의 텔레코즘 콘퍼런스에서 각자 발표를 마친 뒤 호텔 바에서 우연히 마주쳤고, 조이는 그때 시작된 대화의 주제가 지금까지 자신을 떠나지 않는다고 씁니다.

그 자리에 조이는 의식을 연구하는 버클리의 철학자 존 설(John Searle)과 함께 앉아 있었습니다. 커즈와일이 다가오면서 대화가 시작되었는데, 두 사람은 조이가 놓친 앞선 패널에서 하던 논쟁을 그대로 이어갔습니다. 커즈와일은 기술 개선의 속도가 앞으로 가속할 것이며 인간이 로봇이 되거나 로봇과 융합하는 쪽으로 가게 된다고 말했고, 설은 로봇이 의식을 가질 수 없으므로 그런 일은 일어날 수 없다고 반박했습니다. 조이는 그런 이야기를 전에도 들은 적이 있었지만 지각 있는 로봇은 늘 공상과학의 영역이라고 느껴왔습니다.

달라진 것은 화자였습니다. 조이는 자신이 존중하는 사람에게서 지각 있는 로봇이 머지않은 가능성이라는 설득력 있는 논증을 듣고 당황했다고 적습니다. 미래를 상상하고 실제로 만들어낸 커즈와일의 이력을 감안하면 더욱 그랬습니다. 유전공학과 나노기술이 세계를 다시 만들 힘을 주고 있다는 것은 이미 알고 있었지만, 지능을 갖춘 로봇에 대한 현실적이고 임박한 시나리오는 그에게 놀라움이었습니다.

조이는 이런 돌파에 무덤덤해지기가 쉽다고 인정합니다. 기술이나 과학의 진전은 거의 매일 뉴스에 나오기 때문입니다. 그러나 이번 것은 평범한 예측이 아니었습니다. 커즈와일은 호텔 바에서 당시 출간을 앞두고 있던 자신의 책 『The Age of Spiritual Machines』의 일부 교정쇄를 조이에게 건넸고, 그 책은 인간이 로봇 기술과 하나가 되어 거의 불멸에 이르는 유토피아를 그리고 있었습니다. 조이는 그것을 읽으면서 불안이 더 짙어졌고, 커즈와일이 위험과 나쁜 결말의 확률을 과소평가하고 있다고 확신하게 되었다고 씁니다.

해설 존 설이 로봇의 의식을 부정할 때 바탕에 두는 것은 그가 1980년에 제시한 중국어 방(Chinese Room) 논변입니다. 규칙에 따라 기호를 조작해 올바른 답을 내놓는 체계가 있다 해도 그 체계가 의미를 이해하는 것은 아니라는 주장이며, 계산만으로는 의식이 생기지 않는다는 결론으로 이어집니다.

커즈와일 쪽의 근거는 수확 가속의 법칙(Law of Accelerating Returns)입니다. 정보기술의 성능이 지수적으로 개선되고 그 지수의 기울기 자체가 다시 올라간다는 경험적 주장으로, 이 글에 나오는 2030년이라는 시점 추정도 같은 계산에서 나옵니다.

유나바머의 논증을 마주하다

조이가 그 책에서 가장 괴로워한 대목은 디스토피아 시나리오를 서술한 구절이었고, 그 구절에는 새로운 러다이트(Luddite)의 도전이라는 제목이 붙어 있었습니다. 논증은 하나의 가정에서 출발합니다. 컴퓨터 과학자들이 모든 일을 인간보다 잘하는 지능적 기계를 만드는 데 성공한다고 해보자는 것입니다. 그 경우 모든 노동은 거대하고 고도로 조직된 기계 체계가 수행하게 되고 인간의 노력은 불필요해지며, 가능한 경우는 둘로 갈립니다. 기계가 인간의 감독 없이 모든 결정을 내리도록 허용되는 경우와, 기계에 대한 인간의 통제가 유지되는 경우입니다.

첫째 경우에 대해서는 결과를 추측할 수 없다는 것이 그 구절의 답입니다. 그런 기계가 어떻게 행동할지 짐작할 방법이 없으니, 인류의 운명이 기계의 처분에 맡겨진다는 사실만 지적할 수 있다는 것입니다. 인류가 모든 권력을 기계에 넘길 만큼 어리석지는 않을 것이라는 반박이 가능하지만, 이 논증이 말하는 바는 인류가 자발적으로 권력을 넘긴다거나 기계가 의도적으로 권력을 쥔다는 것이 아닙니다. 요점은 인류가 기계에 대한 의존 상태로 쉽게 흘러들어가 기계의 결정을 모두 받아들이는 것 말고는 실질적 선택지가 없는 위치에 놓일 수 있다는 것입니다.

그 경로는 다음과 같이 서술됩니다. 사회와 그 사회가 마주한 문제가 점점 복잡해지고 기계가 점점 더 지능적으로 되면, 사람들은 기계가 내린 결정이 사람이 내린 결정보다 나은 결과를 가져오기 때문에 더 많은 결정을 기계에 맡기게 됩니다. 결국 체계를 돌아가게 하는 데 필요한 결정이 너무 복잡해져서 인간이 그것을 지적으로 수행할 수 없는 단계에 이릅니다. 그 단계에서 기계는 사실상의 통제권을 갖습니다. 사람들은 기계를 그냥 끌 수도 없는데, 이미 너무 의존하고 있어서 끄는 것이 자살과 다름없기 때문입니다.

둘째 경우, 즉 인간의 통제가 유지되는 경우에 대한 서술은 더 어둡습니다. 평균적인 사람은 자기 자동차나 개인용 컴퓨터처럼 사적인 기계 몇 대를 통제할 수 있겠지만, 대규모 기계 체계에 대한 통제는 오늘날처럼 소수 엘리트의 손에 있게 됩니다. 다른 점은 두 가지입니다. 개선된 기술 덕분에 엘리트가 대중을 더 강하게 통제할 수 있게 되고, 인간의 노동이 더 이상 필요하지 않으므로 대중은 잉여가 되어 체계에 쓸모없는 짐이 된다는 것입니다.

그 다음에 세 갈래의 결말이 제시됩니다. 엘리트가 무자비하다면 대중을 그냥 말살하기로 결정할 수 있고, 인간적이라면 선전이나 심리적·생물학적 기법으로 출생률을 낮춰 대중이 소멸하게 만든 뒤 세계를 엘리트에게 남길 수 있습니다. 엘리트가 마음 약한 자유주의자들로 이루어져 있다면 나머지 인류에게 선한 목자 역할을 하기로 할 수도 있습니다. 모두의 물질적 필요가 충족되고 아이들은 심리적으로 위생적인 조건에서 양육되며 누구나 건전한 취미를 가지게 되고, 불만을 품게 된 사람은 자신의 ‘문제’를 고치는 ‘치료’를 받게 된다는 것입니다.

그 구절의 결론은 자유의 상실입니다. 그런 사회에서는 삶이 너무 무목적적이기 때문에 사람들은 권력 추구의 욕구를 제거하거나 그 욕구를 무해한 취미로 ‘승화’시키도록 생물학적으로나 심리적으로 조작되어야 합니다. 그렇게 조작된 인간들은 행복할 수는 있어도 결코 자유롭지는 않으며, 가축의 지위로 전락한 상태라는 것입니다.

조이는 커즈와일의 책에서 페이지를 넘기기 전까지 이 구절의 저자가 누구인지 알 수 없었다고 적습니다. 저자는 유나바머로 불린 시어도어 카진스키(Theodore Kaczynski)였습니다. 조이는 자신이 카진스키를 변호하는 사람이 아니라고 분명히 밝힙니다. 카진스키의 폭탄은 17년에 걸친 테러 과정에서 세 명을 죽이고 여러 사람을 다치게 했으며, 그중 하나는 조이의 친구이자 당대 가장 뛰어나고 통찰력 있는 컴퓨터 과학자 중 한 명인 데이비드 겔런터(David Gelernter)에게 중상을 입혔습니다. 조이는 많은 동료들처럼 자신도 쉽게 다음 표적이 될 수 있었다고 느꼈다고 씁니다.

그러면서도 조이는 논증 자체를 기각하지 않습니다. 카진스키의 행위는 살인이었고 조이가 보기에 범죄적으로 미친 것이었으며 그가 러다이트라는 것도 분명하지만, 그렇게 말하는 것으로 논증이 사라지지는 않는다는 것입니다. 조이는 인정하기 어려운 일이지만 이 한 구절의 추론에는 일말의 타당성이 보였고, 그래서 그것과 정면으로 맞서야 한다는 압박을 느꼈다고 적습니다.

문제의 구절이 실린 원래 문서는 유나바머 선언문(Unabomber Manifesto)입니다. 이 문서는 카진스키의 테러를 끝내기 위한 시도로 뉴욕타임스(The New York Times)와 워싱턴포스트(The Washington Post)가 압박 속에서 공동 게재한 것이었습니다.

조이는 그 결정에 대한 겔런터의 평가에 동의한다고 밝힙니다. 겔런터는 신문들에게 어려운 판단이었다고 말합니다. 게재를 승낙하는 것은 테러에 굴복하는 일이고 카진스키가 거짓말을 하고 있을 수도 있었지만, 승낙이 살인을 멈출 수도 있었다는 것입니다. 또한 누군가 그 글을 읽고 저자에 대한 직감을 얻을 가능성이 있었고 실제로 바로 그 일이 일어나, 용의자의 형이 글을 읽고 짚이는 데가 있었습니다. 겔런터는 자신이라면 게재하지 말라고 했을 것이고, 신문들이 자신에게 묻지 않아서 다행이라고 덧붙입니다.

[사후 맥락] 카진스키는 2023년 6월 10일 연방 교도소에서 81세로 사망했습니다. 체포는 1996년이었고, 선언문 게재가 형의 제보로 이어져 신원이 밝혀진 경로는 겔런터가 위에서 말한 그대로였습니다.

조이가 이 글에서 한 일, 즉 테러범의 문서에서 기술 논증만 떼어내 검토하겠다고 공개적으로 선언한 선택은 이후 이 글을 둘러싼 논쟁의 큰 부분을 차지했습니다. 이 글이 발표된 직후부터 조이의 입장을 신러다이트로 규정하는 비판이 나왔고, 조이 자신은 글의 뒷부분에서 자신이 러다이트가 아니라고 반박합니다.

의도하지 않은 결과라는 오래된 문제

조이는 카진스키의 디스토피아 전망이 결국 의도하지 않은 결과를 서술한 것이라고 정리합니다. 이것은 기술의 설계와 사용에서 잘 알려진 문제이고, 잘못될 수 있는 일은 잘못된다는 머피의 법칙과 분명히 연결됩니다. 조이는 이것이 실은 파이네이글의 법칙(Finagle’s law)이라고 덧붙이는데, 법칙의 이름이 잘못 붙어 유통된다는 사실 자체가 파이네이글이 옳았음을 보여준다는 농담입니다.

지금까지 가장 큰 사례로 조이가 꼽는 것은 항생제 남용입니다. 항생제를 과도하게 쓴 결과로 항생제에 내성이 있고 훨씬 더 위험한 세균이 등장했다는 것입니다. 말라리아 모기를 DDT로 박멸하려 한 시도에서도 비슷한 일이 일어났습니다. 모기는 DDT 내성을 획득했고, 말라리아 기생충 역시 여러 약물에 동시에 내성을 갖는 유전자를 얻었습니다. 조이는 이 사례들의 출처로 로리 개릿(Laurie Garrett)의 『The Coming Plague』를 듭니다.

조이가 보기에 이런 뜻밖의 일들이 생기는 원인은 분명합니다. 관련된 체계가 복잡해서 많은 부분들 사이의 상호작용과 피드백을 포함하고 있다는 것입니다. 그런 체계에 가한 어떤 변화든 예측하기 어려운 방식으로 연쇄하며, 인간의 행동이 관여할 때 특히 그렇습니다.

해설 두 사례는 모두 선택압이라는 같은 기제를 보여줍니다. 약제를 쓰면 그 약제에 견디는 개체만 살아남아 번식하므로, 약제를 쓰는 행위 자체가 내성 계통을 골라내는 작업이 됩니다. 효과가 좋을수록 선택압이 강해지고 내성 확산도 빨라진다는 점에서, 기술의 성공이 실패의 원인이 되는 구조입니다.

조이가 이 기제를 도입부에 놓는 이유는 뒤에 나올 자기복제 논증의 예비 단계이기 때문입니다. 내성균과 내성 모기는 인간이 설계하지 않은 방향으로 스스로 번식한 사례이고, 유전공학과 나노기술이 만들 복제자는 같은 일을 인간이 직접 설계한 물체에서 일으킬 수 있다는 것이 그의 논지입니다.

모라벡의 디스토피아와 남미 유대류

조이는 카진스키의 구절을 친구들에게 보여주기 시작했습니다. 커즈와일의 책을 건네고 구절을 읽게 한 다음, 저자가 누구인지 알게 되는 순간의 반응을 지켜보는 방식이었습니다. 그 무렵 그는 한스 모라벡(Hans Moravec)의 책 『Robot: Mere Machine to Transcendent Mind』도 발견했습니다. 모라벡은 로봇공학 연구의 선두에 있는 사람이고 카네기멜런대학교(Carnegie Mellon University)에 세워진 세계 최대 로봇공학 연구 프로그램의 창립자였습니다. 조이는 이 책이 카진스키의 논증을 놀랍도록 뒷받침하는 재료를 더 주었다고 적습니다.

모라벡이 드는 근거는 생물지리학의 사례입니다. 생물 종은 우월한 경쟁자와의 조우에서 거의 살아남지 못한다는 것이 출발점입니다. 1천만 년 전 남아메리카와 북아메리카는 가라앉은 파나마 지협으로 분리되어 있었고, 남아메리카는 오늘날의 오스트레일리아처럼 유대류 포유동물이 차지하고 있었습니다. 쥐와 사슴과 호랑이에 해당하는 주머니 달린 짝들이 있었다는 것입니다. 지협이 융기해 두 대륙이 연결되었을 때, 신진대사와 생식계와 신경계가 조금 더 효율적이었던 북쪽의 태반류가 남쪽 유대류 거의 전부를 밀어내고 제거하는 데는 수천 년밖에 걸리지 않았습니다.

여기서 모라벡은 시장으로 넘어갑니다. 완전히 자유로운 시장에서라면 우월한 로봇이 인간에게 미치는 영향은 북아메리카 태반류가 남아메리카 유대류에게 미친 영향과 같고, 인간이 수많은 종에게 미친 영향과도 같을 것이라는 주장입니다. 로봇 산업들은 물질과 에너지와 공간을 두고 서로 치열하게 경쟁하게 되며, 그 과정에서 부수적으로 그 가격을 인간이 감당할 수 없는 수준까지 끌어올립니다. 조이가 옮긴 모라벡의 결론은 생물학적 인간이 삶의 필수품을 살 수 없게 되어 존재에서 밀려난다는 것입니다.

모라벡은 숨 돌릴 여유가 조금은 있을 것이라고 덧붙입니다. 우리가 완전히 자유로운 시장에 살고 있지는 않기 때문입니다. 정부는 특히 세금을 걷는 방식으로 비시장적 행동을 강제하며, 그런 정부의 강제력을 분별 있게 적용하면 로봇 노동의 열매로 인구를 높은 수준으로 부양하는 일이 꽤 오랫동안 가능할지도 모른다는 것입니다.

조이는 이것을 교과서적인 디스토피아라고 부르면서, 모라벡이 이제 막 본격적으로 시동을 걸고 있을 뿐이라고 적습니다. 모라벡은 이어서 21세기 인류의 주된 일이 로봇 산업의 협력을 계속 확보하는 것이 될 것이라고 말합니다. 로봇 산업이 ‘착하게’ 행동하도록 법으로 정하는 방식입니다. 또한 인간이 일단 무한한 초지능 로봇으로 변형되면 얼마나 심각하게 위험해질 수 있는지도 서술합니다. 조이가 정리한 모라벡의 견해는 결국 로봇이 인간을 계승하리라는 것이고, 인간은 명백히 멸종에 직면한다는 것입니다.

로봇의 행동을 규율하는 윤리 규칙에 관해 가장 유명한 구상은 아이작 아시모프(Isaac Asimov)가 1950년 『I, Robot』에서 제시한 로봇공학 삼원칙입니다.

제1원칙 — 로봇은 인간을 해칠 수 없고, 행동하지 않음으로써 인간이 해를 입게 두어서도 안 됩니다.
제2원칙 — 로봇은 인간이 내린 명령에 복종해야 하지만, 그 명령이 제1원칙과 충돌하는 경우는 예외입니다.
제3원칙 — 로봇은 자신의 존재를 보호해야 하지만, 그 보호가 제1원칙이나 제2원칙과 충돌하지 않는 한에서입니다.

해설 모라벡이 든 생물지리학 사례는 아메리카 대교환(Great American Interchange)으로 불리는 사건입니다. 남아메리카는 수천만 년 동안 고립되어 독자적인 포유류 동물군을 발전시켰는데, 파나마 지협이 연결되면서 남북 양방향으로 종이 이동했고 그 결과는 비대칭이었습니다. 북쪽에서 내려간 계통이 남아메리카에 정착한 비율이 그 반대보다 훨씬 높았습니다.

이 사례가 논증에서 하는 역할은 ‘우월함’이 압도적일 필요가 없다는 점을 보여주는 것입니다. 모라벡의 서술에서 북쪽 태반류의 이점은 조금 더 효율적인 신진대사와 생식계와 신경계였을 뿐이며, 작은 차이가 수천 년이라는 짧은 시간에 거의 완전한 교체로 이어졌습니다.

[관점] 모라벡의 논증에서 주목할 점은 대체의 경로가 폭력이 아니라 요소가격이라는 것입니다. 로봇은 인간을 공격하지 않고, 물질과 에너지와 공간을 두고 입찰하면서 그 가격을 올립니다. 인간은 패배하는 것이 아니라 그 시장에서 밀려납니다.

이 구조는 노동 대체를 둘러싼 표준적인 낙관론과 정면으로 부딪칩니다. 노동총량의 오류라는 반론과 비교우위 논증은 기계가 어떤 일을 더 잘하게 되어도 인간에게는 상대적으로 유리한 다른 일이 남는다고 말하는데, 이 설명이 성립하려면 인간이 생산요소 시장에서 계속 값을 치를 수 있어야 합니다. 모라벡이 공격하는 지점이 바로 그 전제이며, 인간의 보유자원이 기계 산업의 지불능력에 비해 무시할 만한 수준이 되면 비교우위가 남아 있어도 구매력이 남지 않는다는 것입니다.

모라벡이 유일한 완충장치로 세금과 정부의 강제를 지목한다는 점도 중요합니다. 이것은 재분배를 선의의 정책이 아니라 생물학적 인간의 생존 조건으로 보는 관점이며, 이후 AI 논의에서 보편기본소득(UBI)이 반복해서 등장하는 이유와 같은 자리를 짚고 있습니다.

점진적 변화에 익숙해진다는 대답

조이는 다음으로 친구 대니 힐리스(Danny Hillis)와 이야기할 때가 되었다고 판단합니다. 힐리스는 매우 강력한 병렬 슈퍼컴퓨터를 만든 싱킹머신즈(Thinking Machines Corporation)의 공동창업자로 유명해진 인물입니다. 조이는 자신의 직함이 썬마이크로시스템즈 수석과학자이지만 스스로를 과학자보다는 컴퓨터 설계자에 가깝다고 보며, 정보과학과 물리과학에 대한 힐리스의 지식을 자신이 아는 어떤 한 사람의 지식보다도 더 존중한다고 적습니다. 힐리스는 장기적으로 사고하는 미래학자로도 높이 평가받았고, 4년 전 롱나우 재단(Long Now Foundation)을 설립해 1만 년을 견디도록 설계된 시계를 만들고 있었습니다. 우리 사회의 한심할 만큼 짧은 주의지속 시간에 관심을 끌어보려는 시도였습니다.

조이는 힐리스와 그의 아내 파티와 저녁을 먹으려는 목적만으로 로스앤젤레스로 날아갔습니다. 그리고 이제 익숙해진 자기 방식대로, 그가 그토록 불편하게 느낀 생각들과 구절들을 꺼내놓았습니다. 힐리스의 답은 특히 인간이 로봇과 융합한다는 커즈와일의 시나리오를 겨냥한 것이었고, 빠르게 나왔으며 조이를 상당히 놀라게 했습니다. 답은 단순했습니다. 변화는 점진적으로 올 것이고 우리는 그것에 익숙해질 것이라는 것이었습니다.

다만 조이는 자신이 완전히 놀란 것은 아니었다고 덧붙입니다. 커즈와일의 책에서 힐리스를 인용한 대목을 이미 본 적이 있었기 때문입니다. 자기 몸을 누구만큼이나 좋아하지만 실리콘 몸으로 200살을 살 수 있다면 그렇게 하겠다는 말이었습니다. 조이가 보기에 힐리스는 이 과정과 거기 딸린 위험에 대해 평화로운 상태였고, 조이 자신은 그렇지 않았습니다.

커즈와일과 카진스키와 모라벡을 두고 이야기하고 생각하던 중에, 조이는 거의 20년 전에 읽은 소설 하나를 갑자기 떠올립니다. 프랭크 허버트(Frank Herbert)의 『The White Plague』입니다. 가족이 아무 이유 없이 살해당해 미쳐버린 분자생물학자가 복수를 위해, 널리 죽이지만 선택적으로 죽이는 새롭고 전염성이 매우 높은 역병을 만들어 퍼뜨리는 이야기입니다. 조이는 카진스키가 분자생물학자가 아니라 수학자였다는 것이 우리에게 운이 좋았다고 덧붙입니다.

조이는 스타트렉(Star Trek)의 보그(Borg)도 떠올렸습니다. 부분적으로는 생물이고 부분적으로는 로봇인 존재들이 강한 파괴 성향을 지니고 군집을 이룬 종족입니다. 보그 같은 재앙은 공상과학의 단골 소재인데, 그렇다면 왜 자신은 그런 로봇 디스토피아를 더 일찍 걱정하지 않았는가 하는 질문이 남습니다. 왜 다른 사람들은 이 악몽 같은 시나리오들을 더 걱정하지 않는가 하는 질문도 함께입니다.

해설 롱나우 재단의 1만 년 시계는 단순한 기념물이 아니라 논지를 담은 장치입니다. 1만 년 단위로 작동하는 물건을 실제로 설계하고 유지하려면 그만한 시간 지평에서 사고하는 훈련이 필요하다는 발상이며, 조이가 이 글에서 요구하는 것과 같은 종류의 주의를 제도화하려는 시도입니다.

힐리스가 조이에게 준 답의 논리적 성격도 짚어둘 만합니다. 그 답은 커즈와일의 예측이 틀렸다는 반박이 아니라, 예측이 맞더라도 그 과정이 점진적이므로 견딜 수 있다는 주장입니다. 조이가 불안을 해소하지 못한 이유는 여기에 있으며, 점진적 적응은 결말의 성격에 대해서는 아무것도 보장하지 않습니다.

자기복제라는 증폭 장치

조이가 내놓는 답의 한 부분은 새로운 것에 대한 우리의 태도에 있습니다. 즉각적인 친숙화와 의문 없는 수용으로 기울어지는 편향입니다. 거의 일상이 된 과학적 돌파와 함께 사는 데 익숙해진 결과, 우리는 아직 한 가지 사실을 받아들이지 못했다는 것입니다. 21세기의 가장 설득력 있는 기술들, 즉 로봇공학과 유전공학과 나노기술이 이전에 나온 기술들과는 다른 종류의 위협을 제기한다는 사실입니다.

그 차이를 조이는 한 가지로 특정합니다. 로봇과 조작된 유기체와 나노봇은 위험한 증폭 요인을 공유하는데, 그것은 자기복제가 가능하다는 점입니다. 폭탄은 한 번 터지면 끝이지만 봇 하나는 여럿이 될 수 있고 빠르게 통제를 벗어날 수 있습니다.

조이는 자신의 경험을 끌어옵니다. 지난 25년간 그의 작업 대부분은 컴퓨터 네트워킹에 관한 것이었고, 메시지를 보내고 받는 일에는 통제를 벗어난 복제의 가능성이 따릅니다. 그러나 컴퓨터나 컴퓨터 네트워크에서의 복제는 골칫거리일 수 있어도 최악의 경우에 기계를 마비시키거나 네트워크 또는 네트워크 서비스를 중단시키는 데 그칩니다. 조이가 지적하는 차이는 분명합니다. 새로운 기술들에서의 통제되지 않은 자기복제는 훨씬 큰 위험을, 곧 물리적 세계에서 실질적 피해가 발생할 위험을 안고 있습니다.

조이는 세 기술이 각각 엄청난 약속도 담고 있다는 점을 빼놓지 않습니다. 커즈와일이 로봇의 꿈에서 본 거의 불멸이라는 전망이 우리를 앞으로 밀고 있고, 유전공학은 완전한 치료까지는 아니더라도 대부분의 질병에 대한 치료법을 머지않아 제공할지 모르며, 나노기술과 나노의학은 더 많은 병을 다룰 수 있습니다. 셋이 합쳐지면 평균 수명을 크게 늘리고 삶의 질을 높일 수 있습니다. 그러면서도 조이가 각 기술에서 동시에 보는 것은 작고 개별적으로는 합리적인 진전들이 쌓여 거대한 힘과 그만큼의 위험으로 축적된다는 것입니다.

[반론] 존 실리 브라운(John Seely Brown)과 폴 듀기드(Paul Duguid)는 조이에게 보내는 답변을 썼고, 이 글은 피터 데닝(Peter Denning)이 엮은 『The Invisible Future』(McGraw-Hill, 2001)의 한 장으로 실렸습니다. 두 사람은 조이의 우려가 심각한 것임을 인정하면서도 논증의 구조를 문제 삼습니다.

핵심 반박은 자기복제가 자율적이지 않다는 것입니다. 복제는 환경 조건과 자원과 상호의존적인 체계에 의존하며, 인공적인 자기복제 체계는 정밀하게 통제된 인공 환경에서만 작동하므로 인간의 통제를 벗어나 폭주할 가능성은 낮다는 주장입니다. 두 사람은 조이가 기술을 그것을 둘러싼 사회적·물질적·자연적 환경에서 떼어내 홀로 놓고 본다고 지적합니다.

두 사람은 기술결정론적 외삽이 과거에 반복해서 틀렸다는 점도 듭니다. 가정용 원자력이나 전자 오두막 같은 예측이 사회적·경제적 힘의 개입으로 실현되지 않았듯, 조이의 외삽도 같은 취약성을 지닌다는 것입니다. 또한 과장된 위협이 억압적 대응을 정당화할 수 있다고 경고하면서, 맬서스의 예측이 혹독한 구빈법을 뒷받침했던 전례를 듭니다. 조이가 제안하는 개인의 양심적 거부는 부적절한 대응이고 집단적이고 제도적인 대응이 필요하다는 것이 두 사람의 결론입니다.

20세기의 NBC와 21세기의 GNR

조이는 20세기와 무엇이 달랐는지를 묻습니다. 대량파괴무기(WMD)의 바탕에 있던 기술들, 곧 핵·생물·화학(NBC) 기술이 강력했고 그 무기들이 거대한 위협이었다는 점은 분명합니다. 그러나 핵무기를 만들려면 적어도 한동안은 두 가지에 접근할 수 있어야 했습니다. 희귀하고 실제로는 구할 수 없는 원료와, 고도로 보호된 정보입니다. 생물무기와 화학무기 프로그램도 대규모 활동을 요구하는 경향이 있었습니다.

21세기의 기술들, 곧 유전학·나노기술·로봇공학(GNR)에 대한 조이의 평가는 다릅니다. 이 기술들은 너무 강력해서 완전히 새로운 종류의 사고와 오용을 낳을 수 있습니다. 가장 위험한 점은 역사상 처음으로 그런 사고와 오용이 개인이나 소집단의 손에 널리 닿는다는 것입니다. 대규모 시설도 희귀 원료도 필요하지 않고, 지식만으로 그것들을 사용할 수 있게 됩니다.

여기서 조이는 자신의 용어를 하나 제시합니다. 우리가 가지게 된 것은 대량파괴무기의 가능성만이 아니라 **지식으로 가능해진 대량파괴(KMD)**의 가능성이며, 그 파괴력은 자기복제의 힘으로 엄청나게 증폭된다는 것입니다.

조이는 과장이 아니라고 적습니다. 우리는 극단적 악이 한층 더 완성되는 문턱에 서 있으며, 그 악의 가능성은 대량파괴무기가 국민국가에게 물려준 범위를 훌쩍 넘어, 극단적 개인들에게 주어지는 놀랍고 끔찍한 권능으로까지 퍼져 있다는 것입니다.

[이해관계] 조이는 이 글을 쓸 당시 썬마이크로시스템즈의 수석과학자였고, SPARC와 picoJava와 MAJC라는 세 마이크로프로세서 구조의 공동설계자이자 그 구현들의 설계자였으며, Java와 Jini의 설계자였습니다. 그가 경고하는 기술 흐름의 중심에 있던 사람이라는 뜻이고, 이 글에서 자기 자신을 ‘종을 대체할 기술의 건설을 가능하게 하는 도구’를 만드는 사람으로 규정하는 대목도 같은 자리에서 나옵니다.

글 이후의 이력도 함께 볼 필요가 있습니다. 썬은 2003년 9월 조이의 퇴사를 발표했고, 그는 2005년 1월 클라이너퍼킨스(Kleiner Perkins)의 파트너가 되어 녹색기술에 여러 건을 투자했습니다. H5N1 조류인플루엔자와 생물무기 같은 위험에 대응하는 전용 벤처 펀드를 조성하기도 했습니다. 포기를 주장한 사람이 이후 GNR 영역의 기업들에 투자하는 벤처 투자자가 되었다는 지적은 이 글에 대한 비판에서 반복해서 나오는 대목입니다.

질문하고 답을 찾으려는 충동

조이가 이 절을 시작하는 문장은 자신이 컴퓨터와 관계를 맺게 된 경로의 어느 지점에도 이런 종류의 문제를 마주하게 될 것이라는 암시는 없었다는 것입니다. 그가 꼽는 자기 삶의 동력은 질문하고 답을 찾으려는 깊은 욕구입니다. 세 살에 이미 글을 읽어서 아버지가 그를 초등학교에 데려가 교장의 무릎에 앉혀 이야기를 읽어주게 했습니다. 학교를 일찍 시작했고 나중에 한 학년을 건너뛰었으며 책으로 도피했는데, 배우려는 동기가 믿기 어려울 만큼 강했습니다. 질문을 많이 해서 어른들을 자주 지치게 만들었다고 그는 덧붙입니다.

십 대의 조이는 과학과 기술에 깊이 관심이 있었습니다. 아마추어 무선 통신사가 되고 싶었지만 장비를 살 돈이 없었습니다. 그는 아마추어 무선이 당시의 인터넷이었다고 적습니다. 중독성이 매우 강하고 상당히 고독한 활동이었다는 것입니다. 돈 문제를 제쳐두더라도 어머니가 반대하고 나섰는데, 이미 충분히 비사교적인 아이였으니 무선까지 할 수는 없다는 이유였습니다.

해설 아마추어 무선은 면허를 받은 개인이 호출부호를 배정받아 전파로 전 세계의 다른 개인과 직접 교신하는 활동입니다. 상업 방송과 달리 중앙의 송출자가 없고 참가자들이 서로 중계하며 연결망을 이루었으므로, 조이가 이것을 당시의 인터넷이라고 부른 것은 비유 이상의 구조적 유사성을 가리킵니다.

이 대목이 글 전체에서 하는 역할은 조이의 성향을 미리 보여주는 것입니다. 그는 돈이 없어 장비를 사지 못하면 장비를 만드는 법에 관한 책을 읽는 쪽으로, 망원경을 살 수 없으면 망원경 제작서를 빌리는 쪽으로 움직이는 사람으로 자신을 묘사하며, 이 절의 뒷부분에서 머릿속 설계가 이미 실현된 것처럼 느꼈다는 서술로 이어집니다.

하인라인과 아시모프, 그리고 프라임 디렉티브

가까운 친구는 많지 않았지만 생각은 넘쳤다고 조이는 적습니다. 고등학교 때 위대한 공상과학 작가들을 발견했고, 특히 하인라인(Heinlein)의 『Have Spacesuit Will Travel』과 아시모프의 『I, Robot』을 기억합니다. 로봇공학 삼원칙이 담긴 그 책입니다. 우주여행에 대한 묘사에 매혹되어 별을 볼 망원경을 갖고 싶었지만 사거나 만들 돈이 없었습니다. 그래서 도서관에서 망원경 제작에 관한 책을 빌려 만드는 법을 읽는 것으로 대신했고, 상상 속에서 날아올랐다고 씁니다.

목요일 밤마다 부모가 볼링을 치러 나가면 아이들은 집에 남았습니다. 그 시간은 진 로든베리(Gene Roddenberry)의 원작 스타트렉이 방송되는 밤이었고, 이 프로그램은 조이에게 큰 인상을 남겼습니다. 그는 인간에게 우주에서의 미래가 있다는 이 작품의 관념을 받아들이게 되었습니다. 큰 영웅들과 모험이 있는 서부극 방식의 미래였습니다.

조이가 특히 끌린 것은 로든베리가 그린 앞으로의 여러 세기가 강한 도덕적 가치를 담고 있었다는 점입니다. 그 가치는 프라임 디렉티브(Prime Directive) 같은 규범으로 구현되어 있었는데, 기술적으로 덜 발달한 문명의 발전에 간섭하지 않는다는 원칙입니다. 조이에게 이것은 믿을 수 없을 만큼 매력적이었습니다. 이 미래를 지배하는 것은 로봇이 아니라 윤리적인 인간이었고, 조이는 로든베리의 꿈을 자기 꿈의 일부로 삼았습니다.

해설 원작 스타트렉은 1966년부터 1969년까지 NBC에서 방영되었습니다. 로든베리가 기획을 설명할 때 쓴 표현이 별을 향한 왜건 트레인이었는데, 조이가 이 작품의 미래를 서부극 방식이라고 부른 것은 그 설정을 그대로 받은 말입니다.

프라임 디렉티브가 이 글의 논증에서 차지하는 자리도 눈여겨볼 만합니다. 이것은 우월한 기술을 가진 쪽이 그 기술의 사용을 스스로 금지하는 규범이며, 조이가 글의 후반부에서 요구하게 되는 포기와 구조가 같습니다. 그가 열두 살 무렵 매력을 느낀 원칙이 서른 해 뒤 자기 주장의 형식이 된 셈입니다.

기계가 옳고 틀림을 알려준다는 유혹

조이는 고등학교에서 수학에 뛰어났고, 미시간대학교(University of Michigan)에 공학 전공 학부생으로 들어가서는 수학 전공자들의 고급 교육과정을 수강했습니다. 수학 문제를 푸는 일은 흥미로운 도전이었지만, 컴퓨터를 발견하고 나서 훨씬 더 흥미로운 것을 찾았습니다. 문제를 풀려고 시도하는 프로그램을 넣으면 기계가 그 해답을 빠르게 검사해주는 장치였습니다. 컴퓨터에는 맞음과 틀림, 참과 거짓에 대한 분명한 관념이 있었습니다. 자기 생각이 옳은지를 기계가 알려준다는 점이 그에게는 대단히 유혹적이었습니다.

그는 운 좋게 초기 슈퍼컴퓨터를 프로그래밍하는 일을 얻었고, 거대한 기계가 고급 설계를 수치적으로 시뮬레이션하는 놀라운 힘을 알게 되었습니다. 1970년대 중반 캘리포니아대학교 버클리(UC Berkeley) 대학원에 들어간 뒤로는 늦게까지, 자주 밤을 꼬박 새우며 기계 안에 새로운 세계를 발명하기 시작했습니다. 문제를 풀고, 그토록 강하게 쓰여지기를 주장하는 코드를 쓰는 일이었습니다.

조이는 이 경험을 미켈란젤로(Michelangelo)에 관한 서술에 견줍니다. 어빙 스톤(Irving Stone)이 쓴 미켈란젤로 전기소설 『The Agony and the Ecstasy』에는 미켈란젤로가 대리석의 주문을 깨뜨리며 돌에서 조각상을 풀어주었고 머릿속 이미지에서 깎아냈다는 묘사가 생생하게 담겨 있습니다. 조이는 가장 황홀한 순간에 컴퓨터 속 소프트웨어가 같은 방식으로 나타났다고 적습니다. 머릿속에서 일단 그것을 상상하고 나면 이미 기계 안에 있으면서 풀려나기를 기다리고 있다고 느꼈다는 것입니다. 밤을 새우는 일은 그것을 자유롭게 해주고 생각에 구체적인 형태를 주기 위해 치르는 작은 대가로 보였습니다.

조이는 각주에 미켈란젤로의 소네트와 스톤의 번역을 함께 옮겨 둡니다. 최고의 예술가라 해도 거친 돌이 그 과잉의 껍질 안에 이미 품고 있지 않은 구상은 보여줄 수 없으며, 대리석의 주문을 깨뜨리는 일만이 두뇌에 복종하는 손이 할 수 있는 전부라는 내용입니다. 스톤이 서술한 작업 장면도 함께 실려 있습니다. 미켈란젤로는 자신의 소묘나 점토 모형을 보고 작업하지 않았고 그것들은 모두 치워져 있었으며 머릿속 이미지에서 깎아내고 있었다는 것입니다. 그의 눈과 손은 모든 선과 곡면과 덩어리가 어디에서 나와야 하는지, 돌의 심부 어느 깊이에서 저부조를 만들어야 하는지 알고 있었습니다.

해설 이 대리석 비유는 장식이 아니라 글 전체의 구조를 묶는 장치입니다. 조이는 이 글의 마지막 문단에서 다시 이 이미지로 돌아와, 더 나은 답을 상상하려 애쓰면서 주문을 깨뜨리고 그것들을 돌에서 풀어주려 한다는 말로 글을 닫습니다.

비유의 내용이 뒤집히는 방식이 핵심입니다. 젊은 조이에게 돌에서 풀려나기를 기다리는 것은 자신이 쓸 소프트웨어였고, 글의 끝에서 풀려나기를 기다리는 것은 이 위험에 대한 더 나은 답입니다. 같은 충동을 창조에서 수습으로 돌려놓는 전환입니다.

vi와 버클리 유닉스, 그리고 성공이라는 재난

버클리에서 몇 해를 보낸 뒤 조이는 자신이 쓴 소프트웨어를 밖으로 내보내기 시작했습니다. 교육용 파스칼(Pascal) 시스템, 유닉스 유틸리티들, 그리고 vi라는 텍스트 편집기였습니다. 그는 vi가 20년도 더 지난 지금까지 널리 쓰이고 있다는 것이 자신에게도 놀랍다고 적습니다. 받는 쪽은 비슷한 소형 PDP-11과 VAX 미니컴퓨터를 가진 사람들이었습니다.

이 소프트웨어 모험은 결국 유닉스 운영체제의 버클리 판본이 되었고, 조이에게는 개인적으로 성공이라는 재난이 되었습니다. 원하는 사람이 너무 많아서 그는 박사 학위를 끝내지 못했습니다. 대신 미국 국방고등연구계획국(DARPA)에서 일하는 자리를 얻어 버클리 유닉스를 인터넷에 올리고, 신뢰성을 높이고 대규모 연구 응용이 잘 돌아가게 고치는 작업을 했습니다. 그는 이 모든 일이 아주 즐겁고 큰 보람이 있었다고 적으며, 솔직히 말해 여기에도 그 근처 어디에도 로봇은 보이지 않았다고 덧붙입니다.

그럼에도 1980년대 초 조이는 허우적거리고 있었습니다. 유닉스 배포판은 매우 성공적이어서 한 사람으로 시작한 작은 프로젝트에 곧 돈과 약간의 인력이 붙었지만, 버클리의 문제는 늘 돈이 아니라 사무 공간이었습니다. 프로젝트에 필요한 인력을 둘 자리가 없었기 때문에, 썬마이크로시스템즈의 다른 창업자들이 찾아왔을 때 그는 합류할 기회에 뛰어들었습니다. 썬에서도 긴 노동 시간은 워크스테이션과 개인용 컴퓨터의 초기로 이어졌고, 그는 고급 마이크로프로세서 기술과 Java, Jini 같은 인터넷 기술을 만드는 데 참여하는 일을 즐겼습니다.

해설 조이가 내보낸 버클리 판본 유닉스는 이후 BSD로 불리며 독자적인 계보를 이루었고, 그 코드와 설계는 현재의 macOS와 여러 시스템의 네트워크 구현에 남아 있습니다. vi 역시 vim 같은 후계 편집기를 통해 유닉스 계열 환경의 기본 편집기 자리를 지키고 있어, 조이가 놀랍다고 적은 상황은 그 뒤로 사반세기가 더 지난 지금도 그대로입니다.

성공이라는 재난이라는 표현은 소프트웨어 배포가 만들어내는 고유한 부담을 가리킵니다. 쓰는 사람이 늘어나면 유지보수와 지원 요구가 함께 늘어나지만 만든 사람의 시간은 늘어나지 않으므로, 성공 자체가 원래 하려던 일을 밀어내는 구조입니다. 조이가 박사 학위를 끝내지 못한 경위가 그 사례입니다.

나는 러다이트가 아니다

조이는 이 모든 이력에서 자신이 러다이트가 아니라는 점이 분명해졌기를 바란다고 적습니다. 오히려 그는 진리를 찾는 과학적 탐구의 가치와 훌륭한 공학이 물질적 진보를 가져오는 능력을 늘 강하게 믿어왔습니다. 산업혁명이 지난 2백여 년 동안 모든 사람의 삶을 헤아릴 수 없이 개선했다는 것이 그의 평가입니다. 그는 자기 경력이 실제 문제에 대한 쓸 만한 해법을 한 번에 한 문제씩 만드는 일이 될 것이라고 늘 기대했다고 씁니다.

그 기대는 어긋나지 않았습니다. 그의 작업은 바라던 것보다 큰 영향을 미쳤고 합리적으로 예상한 것보다 널리 쓰였습니다. 지난 20년간 그는 컴퓨터를 자신이 원하는 만큼 신뢰할 수 있게 만드는 방법과 쓰기 쉽게 만드는 방법을 알아내려 계속 노력해왔습니다. 전자는 아직 전혀 그 수준에 이르지 못했고 후자는 상대적으로 더 적은 성공을 거두었다는 것이 그의 평가입니다. 얼마간 진전이 있었지만 남은 문제들은 오히려 더 벅차 보인다고 그는 적습니다.

무기 연구 같은 분야에서 기술의 결과를 둘러싼 도덕적 딜레마가 있다는 것은 조이도 알고 있었습니다. 그러나 그 문제를 자기 분야에서, 적어도 이렇게 빨리 마주하게 될 것이라고는 예상하지 못했습니다. 그는 변화의 소용돌이 안에 있을 때는 더 큰 영향을 보기가 늘 어려운 것일지도 모른다고 적습니다. 발견과 혁신의 황홀경에 빠져 있는 동안 자기 발명의 결과를 이해하지 못하는 것은 과학자와 기술자의 흔한 결함이라는 것입니다. 알고자 하는 압도적 욕구에 오래 끌려온 탓에, 더 새롭고 강력한 기술로 나아가는 진전이 자기만의 생명을 가질 수 있다는 점을 멈춰 서서 알아차리지 못한다는 설명입니다.

해설 러다이트는 1811년부터 몇 해에 걸쳐 영국 중부의 직물 노동자들이 방직기계를 파괴한 운동에서 나온 말이며, 전설적 인물 네드 러드의 이름에서 유래했습니다. 기계 자체를 혐오한 반기술 운동으로 흔히 요약되지만, 실제 쟁점은 숙련 노동자의 임금과 일자리를 무너뜨리는 기계 도입 방식이었습니다.

이 어휘의 용법이 이 글을 둘러싼 논쟁의 성격을 보여줍니다. 조이가 자신이 러다이트가 아님을 미리 선언해야 했던 이유는 기술의 위험을 말하는 것이 곧 기술에 대한 반대로 읽히는 구도가 이미 굳어져 있었기 때문이며, 그는 뒤에서 유전공학의 위험을 지적한 러빈스에게도 같은 꼬리표가 붙는 상황을 문제 삼습니다.

분자전자공학과 2030년

조이는 정보기술의 큰 진전이 컴퓨터 과학자나 컴퓨터 설계자나 전기공학자의 작업에서 오지 않고 물리과학자의 작업에서 온다는 것을 오래전에 깨달았다고 적습니다. 1980년대 초 물리학자 스티븐 울프럼(Stephen Wolfram)과 브로슬 하슬라커(Brosl Hasslacher)가 그에게 카오스 이론과 비선형 체계를 소개했습니다. 1990년대에는 힐리스, 생물학자 스튜어트 카우프만(Stuart Kauffman), 노벨상 수상 물리학자 머리 겔만(Murray Gell-Mann) 등과의 대화에서 복잡계를 배웠습니다. 가장 최근에는 하슬라커와 전기공학자이자 소자물리학자인 마크 리드(Mark Reed)가 분자전자공학(molecular electronics)의 놀라운 가능성에 대한 통찰을 주고 있었습니다.

조이 자신의 작업은 무어의 법칙(Moore’s law)을 직접 체험하게 해주었습니다. 그는 SPARC와 picoJava와 MAJC라는 세 마이크로프로세서 구조의 공동설계자였고 그중 몇 개 구현의 설계자였습니다. 무어의 법칙은 수십 년 동안 반도체 기술의 지수적 개선 속도를 정확히 예측해왔습니다. 조이는 작년까지만 해도 그 속도가 대략 2010년까지만 이어질 것이라고 믿었는데, 그때쯤 물리적 한계에 닿기 시작할 것이라고 보았기 때문입니다. 성능을 매끄럽게 밀어올릴 새로운 기술이 때맞춰 도착할 것이라고는 그에게 분명해 보이지 않았습니다.

그 판단을 바꾼 것이 분자전자공학입니다. 리소그래피로 그린 트랜지스터를 개별 원자와 분자가 대체하는 이 분야와 관련 나노 규모 기술에서 최근 빠르고 급진적인 진전이 있었기 때문에, 무어의 법칙이 말하는 진전 속도를 30년 더 맞추거나 넘어설 수 있을 것이라는 것입니다. 조이가 끌어내는 결론은 2030년이면 오늘의 개인용 컴퓨터보다 백만 배 강력한 기계를 양산할 수 있고 그것은 커즈와일과 모라벡의 꿈을 구현하기에 충분하다는 것입니다.

이 거대한 연산 능력이 물리과학의 조작 기술 진전과 유전학의 새롭고 깊은 이해와 결합하면서 엄청난 변형의 힘이 풀려나고 있다고 조이는 봅니다. 이 조합들은 세계를 더 좋게든 더 나쁘게든 완전히 재설계할 기회를 엽니다. 그가 이 절에서 내리는 진단은 한 문장으로 압축됩니다. 자연 세계에 국한되어 있던 복제와 진화의 과정이 이제 인간이 손대는 영역이 되려 한다는 것입니다.

해설 분자전자공학은 트랜지스터나 스위치의 기능을 개별 분자 하나가 담당하게 하려는 연구 분야입니다. 당시 기대가 컸던 이유는 리소그래피, 곧 빛으로 회로 패턴을 새기는 방식이 빛의 파장과 관련된 물리적 한계에 접근하고 있다는 전망 때문이었고, 분자를 쓰면 그 한계를 우회하면서 소자 크기를 단번에 수십 분의 일로 줄일 수 있다고 보았습니다. 조이가 2010년이라는 시점을 걱정했다가 30년을 더 얹은 근거가 이것입니다.

[사후 맥락] 조이가 판단을 바꾼 근거였던 분자전자공학의 극적인 진전 가운데 상당 부분은 조작된 것이었습니다. 벨연구소(Bell Labs)의 얀 헨드릭 쇤(Jan Hendrik Schön)은 유기 결정 트랜지스터와 단일분자 트랜지스터를 비롯해 실리콘 칩을 대체할 것으로 기대된 성과들을 잇달아 발표했는데, 벨연구소는 2002년 5월 조사위원회를 구성했고 스탠퍼드의 물리학자 맬컴 비즐리(Malcolm Beasley)가 이끈 위원회는 같은 해 9월 26일 보고서를 냈습니다. 위원회는 논문 25편을 검토해 최소 16건에서 과학적 부정행위가 있었다고 결론 내렸으며, 쇤은 해고되고 논문들은 철회되었고 결국 박사 학위도 잃었습니다. 공저자들에게는 부정행위가 인정되지 않았습니다.

실제로 연산 성능을 밀어올린 경로는 분자전자공학이 아니라 기존 실리콘 공정의 연장이었습니다. 다만 그 연장도 조이의 전망과는 다른 방식으로 꺾였습니다. 전력 밀도를 일정하게 유지해주던 데너드 스케일링(Dennard scaling)이 2005년 무렵 무너지면서 클록 주파수는 4-6기가헤르츠 대역에서 멈추었고, 이후의 성능 향상은 주파수가 아니라 병렬화와 전용 가속기, 적층 기술에서 나왔습니다. 트랜지스터 수의 증가는 계속되었지만 단일 프로세서의 체감 성능 곡선은 조이가 그린 매끄러운 지수 곡선과 모양이 달랐습니다.

[한국 관점] 조이는 연산 능력을 하나의 추상적 곡선으로 다루지만, 그 곡선을 실제로 공급한 것은 특정한 산업 기반입니다. 성능 향상의 경로가 소자 미세화에서 메모리 대역폭과 적층으로 옮겨가면서, 고대역폭 메모리(HBM)처럼 한국 기업이 중심에 있는 부품이 AI 가속기의 병목을 결정하는 자리에 올라섰습니다. 삼성전자(Samsung Electronics)와 SK하이닉스(SK hynix)가 그 공급의 핵심에 있습니다.

이 사실은 조이가 결론에서 제안하는 포기를 한국에서 훨씬 어려운 선택으로 만듭니다. 그는 포기의 선례로 미국의 생물무기 포기를 들지만, 그것은 해당 산업이 국가 경제의 기둥이 아니었기 때문에 가능한 선택이었습니다. 반도체와 메모리가 수출과 설비투자의 큰 몫을 차지하는 경제에서는 기술 개발의 속도를 늦추는 결정의 비용이 비대칭적으로 크고, 포기 논의가 들어올 자리는 개발 중단이 아니라 용도 제한과 수출통제 쪽입니다.

종을 대체할 도구를 만들고 있는지도 모른다는 생각

소프트웨어와 마이크로프로세서를 설계하면서 조이는 자신이 지능적인 기계를 설계하고 있다는 느낌을 받은 적이 한 번도 없었습니다. 소프트웨어와 하드웨어는 너무 취약하고 기계가 생각하는 능력은 너무 분명하게 부재해서, 가능성으로서조차 그것은 늘 아주 먼 미래의 일로 보였다는 것입니다.

30년쯤 뒤에 인간 수준의 연산 능력이 가능해진다는 전망은 그 느낌을 바꿉니다. 새로운 생각이 떠오른다는 것입니다. 자신이 우리 종을 대체할 기술의 건설을 가능하게 할 도구를 만드는 일을 하고 있는지도 모른다는 생각입니다. 이에 대한 기분을 조이는 매우 불편하다는 말로 답합니다.

그 불편함의 근거는 그의 직업 경험입니다. 신뢰할 수 있는 소프트웨어 체계를 만들려고 경력 전체를 씨름해온 사람으로서, 이 미래가 어떤 사람들이 상상하는 만큼 잘 풀리지 않을 가능성이 더 크다고 그는 봅니다. 우리는 자신의 설계 능력을 과대평가하는 경향이 있다는 것이 그가 개인적 경험에서 끌어내는 교훈입니다.

절은 두 개의 질문으로 닫힙니다. 이 새로운 기술들의 엄청난 힘을 감안하면 우리가 그것들과 어떻게 가장 잘 공존할 수 있는지를 물어야 하지 않겠는가 하는 질문입니다. 그리고 우리 자신의 멸종이 기술 발전의 유력한 결과이거나 가능한 결과이기만 하더라도, 큰 주의를 기울이며 나아가야 하지 않겠는가 하는 질문입니다.

[관점] 이 대목에서 조이가 쓰는 논증의 종류를 구분해둘 필요가 있습니다. 커즈와일과 모라벡의 논증은 능력에 관한 것으로, 기계가 무엇을 할 수 있게 되는지를 외삽합니다. 조이가 여기서 더하는 것은 그와 다른 종류의 논증이며, 복잡한 인공 체계를 설계해온 사람의 실패 기저율에 근거합니다.

이 구분이 중요한 이유는 반박의 방식이 달라지기 때문입니다. 능력 논증은 기술적 진전이 예상보다 느리다는 증거로 약화되지만, 신뢰성 논증은 기술이 느려도 약화되지 않습니다. 설계 능력의 과대평가가 문제라면 더 긴 시간은 더 많은 의존과 더 큰 체계를 뜻할 뿐입니다.

이후 AI 안전 논의의 주된 어휘가 된 정렬 실패는 이 두 논증과 또 다릅니다. 정렬 실패는 체계가 설계자의 의도와 다른 목표를 추구하는 상황을 가리키는데, 조이의 신뢰성 논증은 의도의 문제가 아니라 의도한 것을 구현해내지 못하는 공학적 무능의 문제를 지적합니다. 2000년 시점의 조이에게는 후자가 훨씬 더 익숙하고 증거가 많은 실패 양식이었습니다.

에덴으로의 복귀와 다윈의 경고

로봇공학의 첫 번째 꿈을 조이는 이렇게 정리합니다. 지능적인 기계가 우리 일을 대신 해주어서 우리에게 여가의 삶을 허락하고, 우리를 에덴으로 되돌려준다는 것입니다. 그런데 그런 관념의 역사를 다룬 『Darwin Among the Machines』에서 조지 다이슨(George Dyson)은 경고를 내놓습니다. 삶과 진화의 게임에는 세 명의 선수가 테이블에 앉아 있는데, 인간과 자연과 기계라는 것입니다. 다이슨은 자신이 단호히 자연의 편이라고 밝힌 뒤 “자연은, 내 짐작으로는, 기계의 편입니다”라고 덧붙입니다.

조이는 이미 본 대로 모라벡이 이 판단에 동의한다고 적습니다. 우월한 로봇 종과의 조우에서 우리가 살아남지 못할 가능성이 충분하다는 견해입니다. 그렇다면 그런 지능적 로봇이 얼마나 빨리 만들어질 수 있는가 하는 질문이 남습니다. 조이의 답은 다가오는 연산 능력의 진전을 감안하면 2030년까지 가능해 보인다는 것입니다. 그리고 지능적 로봇이 일단 존재하면 거기서 로봇 종까지는 작은 한 걸음, 곧 진화된 자기 복제본을 만들 수 있는 지능적 로봇까지는 작은 한 걸음이라는 것입니다.

해설 조지 다이슨은 기술사를 쓰는 저술가이고, 조이가 인용한 『Darwin Among the Machines』는 1997년에 나왔습니다. 이 책은 계산 기계와 통신망의 역사를 진화의 관점에서 다시 읽은 작업으로, 기계가 인간의 의도와 무관하게 자기 복제와 선택의 과정에 들어섰다는 논지를 담고 있습니다.

이 글에는 다이슨이라는 성이 두 번 나오는데 서로 다른 사람입니다. 여기 나오는 조지 다이슨은 뒤에서 핵무기를 두고 증언하게 되는 물리학자 프리먼 다이슨의 아들입니다. 아버지가 핵 시대의 과학자로서 기술의 유혹을 증언하고 아들이 기계의 진화를 경고하는 배치가 우연히 한 글 안에 겹쳐 있습니다.

의식을 내려받는다는 두 번째 꿈

로봇공학의 두 번째 꿈은 성격이 다릅니다. 우리가 점진적으로 자신을 로봇 기술로 대체하면서 의식을 내려받는 방식으로 거의 불멸에 이른다는 것입니다. 조이는 이것이 힐리스가 우리가 차츰 익숙해질 것이라고 본 과정이고, 커즈와일이 『The Age of Spiritual Machines』에서 우아하게 상세히 서술한 과정이라고 적습니다. 그는 그 전조가 이미 보이기 시작했다고 덧붙이는데, 컴퓨터 장치를 인체에 이식하는 일을 가리킵니다.

조이의 반론은 질문의 형태로 나옵니다. 우리가 우리의 기술 속으로 내려받아진다면, 그 이후에도 우리가 우리 자신일 가능성이나 심지어 인간일 가능성은 얼마나 되는가 하는 질문입니다. 그가 보기에 훨씬 더 그럴듯한 쪽은 다른 결론입니다. 로봇의 존재 방식은 우리가 이해하는 어떤 의미에서도 인간의 존재 방식과 같지 않을 것이고, 그 로봇들은 어떤 의미에서도 우리의 자식이 아닐 것이며, 이 경로에서는 우리의 인간성이 상실될 가능성이 크다는 것입니다.

해설 의식을 기술로 옮긴다는 구상은 이후 마음 업로드라는 이름으로 불리게 됩니다. 조이가 당시 전조로 지목한 인체 내 컴퓨터 장치 이식은 이후 뇌-컴퓨터 인터페이스라는 분야로 자리를 잡았고, 감각 보조 장치와 운동 기능 회복을 목표로 하는 임상 연구가 그 중심에 있습니다.

조이의 반론이 겨냥하는 지점은 기술적 실현 가능성이 아니라 동일성입니다. 복제가 성공한다 해도 복제된 것이 나인지는 별개의 문제이며, 이 질문은 기술이 발전해도 기술로 답할 수 없는 성격을 지닙니다. 커즈와일 쪽이 연속성을 근거로 동일성을 주장하는 데 반해 조이는 그 연속성이 보존하는 것이 무엇인지를 묻습니다.

유전공학의 약속과 평등의 문제

유전공학이 약속하는 것의 목록은 깁니다. 조이가 정리한 바로는 농약 사용을 줄이면서 작물 수확량을 늘려 농업을 혁신하는 일, 세균과 식물과 바이러스와 동물의 새로운 종을 수만 가지 만들어내는 일, 복제로 생식을 대체하거나 보완하는 일, 많은 질병의 치료법을 만들어 수명과 삶의 질을 높이는 일이 포함됩니다. 그는 생물과학에서 이런 심대한 변화가 임박했다는 것을 우리가 이제 확실히 알고 있으며, 그 변화가 생명이 무엇인지에 대한 우리의 모든 관념에 도전할 것이라고 적습니다.

인간 복제 같은 기술은 우리가 마주한 깊은 윤리적·도덕적 문제를 특히 뚜렷하게 자각시켰습니다. 조이가 여기서 드는 사례는 분화의 문제입니다. 유전공학의 힘을 써서 우리 자신을 서로 분리되고 불평등한 여러 종으로 재설계한다면, 우리 민주주의의 바로 그 초석인 평등이라는 관념이 위협받는다는 것입니다.

[관점] 조이가 여기서 짚는 것은 안전의 문제가 아니라 정치 체제의 전제에 관한 문제입니다. 근대 민주주의는 사람들 사이의 능력 차이가 제도적 평등을 무너뜨릴 만큼 크지 않다는 사실적 조건 위에 서 있고, 유전적 개량이 세습되면 그 조건 자체가 사라집니다.

이 논점이 현실의 쟁점으로 들어온 경로는 조이가 상상한 설계가 아니라 선별이었습니다. 배아 선별은 새로운 유전자를 넣지 않고 기존 배아 가운데 고르는 방식이며, 다유전자성 형질에 대한 위험도 점수를 매기는 서비스가 상업적으로 제공되기 시작했습니다. 능력의 설계가 아니라 확률의 구매라는 형태를 띠지만, 비용을 감당하는 쪽에만 축적된다는 점에서 조이가 지적한 분화의 기제와 같은 방향으로 작동합니다.

그러면서 조이의 논증에는 한 가지 비대칭이 있습니다. 그는 유전공학의 분화 위험을 민주주의에 대한 위협으로 규정하면서도, 뒤에서 제안하는 포기의 대상에서 치료 목적의 유전공학은 명확히 제외하지 않습니다. 치료와 개량의 경계가 어디인지는 이 글에서 끝까지 미해결로 남습니다.

새로운 식물학과 황금쌀 논쟁

유전공학의 힘이 엄청나다는 점을 감안하면 사용에 중대한 안전 문제가 따르는 것은 놀랄 일이 아닙니다. 조이는 친구 에이머리 러빈스(Amory Lovins)가 헌터 러빈스(Hunter Lovins)와 함께 쓴 사설을 소개하는데, 이 위험 가운데 일부에 대한 생태적 관점을 제시한 글입니다. 두 사람의 우려 중 하나로 조이가 꼽는 것은 새로운 식물학이 식물의 발달을 진화적 성공이 아니라 경제적 성공에 맞추어 정렬시킨다는 지적입니다. 조이는 에이머리의 긴 경력이 인공 체계를 전체 체계의 관점에서 보는 방식으로 에너지와 자원 효율에 집중해왔고, 그런 관점이 어려워 보이는 문제에서 단순하고 영리한 해법을 찾아내는 경우가 많으며 여기서도 유용하게 적용된다고 평가합니다.

러빈스의 사설을 읽은 뒤 조이는 그레그 이스터브룩(Gregg Easterbrook)이 1999년 11월 19일 뉴욕타임스에 쓴 유전자조작 작물에 관한 칼럼을 보았습니다. 제목은 미래를 위한 식량이었고, 언젠가 쌀에 비타민A가 내장될 것이라는 문장에 러다이트가 이기지 않는다면이라는 조건이 붙어 있었습니다. 조이는 그 조건절을 문제 삼습니다. 에이머리와 헌터 러빈스가 러다이트인가 하고 묻고, 분명히 아니라고 답합니다.

조이 자신의 입장은 양쪽을 가르는 자리에 있습니다. 비타민A가 내장된 황금쌀(golden rice)이 아마도 좋은 것이라는 데 우리 모두가 동의할 것이라고 그는 믿습니다. 다만 조건이 붙습니다. 적절한 주의를 기울이고, 유전자를 종의 경계를 넘어 옮기는 일에 따르는 유력한 위험을 존중하면서 개발되는 경우라는 조건입니다.

유전공학에 내재한 위험에 대한 자각은 러빈스의 사설에 반영된 것처럼 커지기 시작했다고 조이는 봅니다. 일반 대중은 유전자변형식품을 알고 있고 그에 대해 불편함을 느끼며, 그런 식품이 표시 없이 유통되도록 허용되어야 한다는 생각을 거부하는 쪽으로 보인다는 것입니다. 그러나 조이가 곧바로 덧붙이는 사실은 기술이 이미 훨씬 앞서 나가 있다는 것입니다. 러빈스가 지적한 바로 미국 농무부(USDA)는 이미 50종 가까운 유전자조작 작물의 무제한 방출을 승인했고, 세계 대두의 절반 이상과 옥수수의 3분의 1이 다른 생명 형태에서 끼워 넣은 유전자를 담고 있었습니다.

이 모든 쟁점 가운데 조이 자신의 주된 우려는 더 좁습니다. 유전공학이 군사적으로든 사고로든 의도적인 테러 행위로든 백색 역병을 만들어낼 힘을 준다는 것입니다.

해설 황금쌀은 비타민A의 전구체인 베타카로틴을 쌀알 안에서 만들어내도록 유전자를 넣은 품종입니다. 주식이 쌀인 지역에서 비타민A 결핍이 아동의 실명과 사망의 주요 원인이라는 문제를 겨냥한 것이며, 조이가 이 글을 쓸 무렵이 그 개발 성과가 학술지에 보고되던 시점이었습니다.

이스터브룩의 칼럼 제목이 이 논쟁의 구도를 압축합니다. 기술의 위험을 지적하는 쪽을 러다이트로 명명하면, 위험 지적은 곧 빈곤 지역 아동의 실명을 방치하는 선택으로 번역됩니다. 조이가 러빈스를 러다이트가 아니라고 변호하면서 동시에 황금쌀이 좋은 것이라고 인정하는 이유가 여기 있습니다. 그는 구도 자체를 거부하려 합니다.

[사후 맥락] 황금쌀의 이후 경로는 이스터브룩이 상상한 결말과 달랐습니다. 필리핀 농업부 식물산업국은 2021년 7월 황금쌀의 상업적 재배에 대한 생물안전 허가를 발급했고, 필리핀은 이 품종의 상업 재배를 승인한 첫 국가가 되었습니다. 그러나 필리핀 항소법원은 황금쌀에 대한 칼리카산 영장(Writ of Kalikasan)을 인정하고 그 생물안전 허가를 취소하는 결정을 내렸으며, 필리핀쌀연구소는 2024년 4월 19일 정부법무공단을 통해 결정문을 받고 해당 허가에 따른 상업 재배와 관련 활동을 중단해야 했습니다.

주목할 점은 승인에서 취소까지 24년이 걸렸다는 사실입니다. 조이가 글을 쓴 2000년에 황금쌀은 곧 실현될 기술로 이야기되었지만, 실제로는 규제와 소송의 경로를 지나는 데 사반세기가 들었고 그조차 확정되지 않았습니다. 조이가 걱정한 것은 기술이 너무 빨리 퍼지는 상황이었는데, 농업 생명공학의 실제 속도는 그 예상보다 훨씬 느렸습니다.

[한국 관점] 표시 없이 유통되는 유전자변형식품을 대중이 거부한다는 조이의 관찰은 한국에서 20년 넘게 이어진 쟁점이었습니다. 한국의 표시 제도는 최종 제품에 유전자변형 DNA나 단백질이 남아 있지 않으면 표시 의무를 면제해왔고, 그 결과 유전자변형 대두와 옥수수를 원료로 쓰는 식용유와 당류, 간장 같은 가공식품 대부분이 표시 대상에서 빠져 있었습니다. 소비자 단체가 요구해온 완전표시제의 핵심 쟁점이 이 면제 조항이었습니다.

2025년 12월 2일 국회 본회의는 이 면제를 좁히는 식품위생법 개정안을 통과시켰습니다. 유전자변형 원료를 썼지만 최종 제품에 DNA나 단백질이 남지 않은 식품도 식품의약품안전처장이 지정하면 표시 의무를 지도록 하는 내용이며, 지정은 식품위생심의위원회의 심의와 의결을 거칩니다. 대상 품목과 표시 방법, 비의도적 혼입률 같은 구체적 기준은 하위 법령과 고시로 정하게 되어 있어 실제 적용 범위는 아직 열려 있습니다.

한국이 조이의 서술과 다른 조건에 놓여 있다는 점도 짚어둘 만합니다. 미국은 생산국이자 승인국이었지만 한국은 대두와 옥수수를 대량 수입하는 소비국이며, 재배 승인 권한으로 기술의 속도를 조절할 여지가 거의 없습니다. 한국에서 유전공학 규율이 표시와 수입 검역 쪽으로 집중되는 구조적 이유가 여기 있습니다.

파인만에서 드렉슬러까지, 조립기의 유토피아

나노기술의 수많은 경이를 처음 상상한 사람으로 조이가 꼽는 것은 리처드 파인만(Richard Feynman)입니다. 노벨상을 받은 이 물리학자는 1959년의 한 강연에서 그 전망을 내놓았고, 그 강연은 「There’s Plenty of Room at the Bottom」이라는 제목으로 뒤에 출판되었습니다. 조이에게 1980년대 중반 큰 인상을 남긴 책은 에릭 드렉슬러(Eric Drexler)의 『Engines of Creation』이었습니다. 원자 수준에서 물질을 조작하면 풍요의 유토피아적 미래를 만들 수 있다는 것, 거의 모든 것을 값싸게 만들 수 있고 상상할 수 있는 거의 모든 질병과 신체적 문제를 나노기술과 인공지능으로 해결할 수 있다는 것을 아름답게 서술한 책이었습니다.

드렉슬러가 공저한 후속작 『Unbounding the Future: The Nanotechnology Revolution』은 분자 수준의 조립기(assembler)가 있는 세계에서 일어날 변화를 상상합니다. 조이가 옮긴 목록은 다음과 같습니다.

태양광 — 믿기 어려울 만큼 낮은 비용의 태양광 발전이 가능해집니다.
면역 — 인간 면역계를 증강해 암과 감기를 치료할 수 있게 됩니다.
환경 — 환경을 본질적으로 완전히 정화할 수 있습니다.
연산 — 믿기 어려울 만큼 저렴한 주머니 속 슈퍼컴퓨터가 나옵니다.
제조 — 사실상 어떤 제품이든 목재보다 비싸지 않은 비용으로 조립기가 만들어낼 수 있습니다.
우주 — 우주비행이 오늘날의 대양 횡단 여행보다 접근하기 쉬워집니다.
복원 — 멸종한 종을 되살릴 수 있습니다.

조이는 『Engines of Creation』을 읽은 뒤 나노기술에 대해 좋은 기분을 느꼈다고 기억합니다. 기술자로서 그것은 평온함을 주었습니다. 나노기술이 믿기 어려운 진보가 가능하고 어쩌면 불가피하다는 것을 보여주었기 때문입니다. 그는 나노기술이 우리의 미래라면 현재의 그 많은 문제를 풀어야 한다는 압박을 느끼지 않았다고 적습니다. 드렉슬러의 유토피아적 미래에는 때가 되면 도달할 테니 지금 여기서 삶을 더 즐기는 편이 낫다는 것이었고, 그 전망대로라면 늘 밤을 새우는 일은 말이 되지 않았습니다.

드렉슬러의 전망은 재미있는 놀이로도 이어졌습니다. 조이는 나노기술을 들어본 적 없는 사람들에게 그 경이를 설명할 기회를 종종 얻었습니다. 드렉슬러가 묘사한 모든 것으로 상대를 한껏 들뜨게 만든 다음, 그는 자기 나름의 숙제를 하나 내주었습니다. 나노기술로 뱀파이어를 만들어 보라는 것, 해독제까지 만들면 가산점을 주겠다는 것이었습니다.

이 경이들에 분명한 위험이 따른다는 것을 조이는 예리하게 자각하고 있었습니다. 그는 1989년 10월 제1회 포사이트 나노기술 회의에서 「The Future of Computation」이라는 제목으로 발표하면서, 우리가 그저 과학만 하고 이런 윤리적 문제를 걱정하지 않을 수는 없다고 말했습니다. 그 발표문은 1992년 MIT 출판부에서 나온 논문집에 실렸습니다. 그러나 이후 물리학자들과의 대화는 그에게 나노기술이 아예 작동하지 않을지도 모른다는, 적어도 조만간은 작동하지 않을 것이라는 확신을 주었습니다. 그 직후 그는 자신이 세운 비밀 연구조직으로 콜로라도로 옮겼고, 작업의 초점은 인터넷용 소프트웨어, 구체적으로는 Java와 Jini가 된 구상으로 이동했습니다.

해설 파인만의 1959년 강연이 이 분야에서 갖는 위치는 발명이 아니라 허가에 가깝습니다. 그는 물리 법칙이 원자 수준에서의 조작을 금지하지 않는다는 점을 논증했고, 그 뒤 수십 년간 나노기술 문헌은 이 강연을 출발점으로 인용해왔습니다.

드렉슬러의 조립기는 이 전망을 한 단계 더 밀어붙인 개념입니다. 원자를 하나씩 지정된 자리에 놓을 수 있는 기계를 만들고, 그 기계가 자기 자신을 복제할 수 있다면, 제조 비용이 재료비와 설계비로 수렴한다는 것이 핵심 주장입니다. 조이가 옮긴 목록에서 목재 가격이라는 기준이 나오는 이유가 그것이며, 동시에 자기복제라는 전제가 이 유토피아와 뒤에 나올 그레이 구를 하나의 메커니즘으로 묶는 지점입니다.

하슬라커의 전화와 파괴의 엔진

판단을 뒤집은 소식은 지난여름에 왔습니다. 하슬라커가 조이에게 나노 규모 분자전자공학이 이제 실용적이라고 알려준 것입니다. 적어도 조이에게는 새로운 소식이었고 많은 사람에게도 그랬을 것이라고 그는 적으며, 이 소식이 나노기술에 대한 자신의 의견을 급진적으로 바꾸었다고 말합니다. 그래서 그는 『Engines of Creation』으로 돌아갔습니다.

10년도 더 지나 드렉슬러의 책을 다시 읽으면서 조이는 당황했습니다. 위험과 희망이라는 제목이 붙은 긴 절을 자신이 거의 기억하지 못하고 있었다는 사실 때문입니다. 나노기술이 어떻게 파괴의 엔진이 될 수 있는지에 대한 논의도 그 안에 있었습니다.

오늘 그 경고성 자료를 다시 읽으면서 조이가 받은 인상은 두 가지입니다. 드렉슬러의 안전장치 제안 가운데 일부가 얼마나 순진해 보이는지, 그리고 지금 자신이 판단하는 위험이 당시 드렉슬러가 본 것보다도 얼마나 더 큰지입니다. 드렉슬러 자신은 나노기술의 여러 기술적·정치적 문제를 예견하고 서술한 뒤 1980년대 말 포사이트연구소(Foresight Institute)를 설립했는데, 예상되는 선진 기술, 그중 가장 중요하게는 나노기술에 사회가 대비하도록 돕는다는 목적이었습니다.

조립기로 가는 결정적 돌파는 앞으로 20년 안에 일어날 가능성이 상당히 높다고 조이는 전망합니다. 개별 분자가 회로 소자가 되는 나노기술의 새 하위 분야인 분자전자공학은 빠르게 성숙해 이번 10년 안에 막대한 수익을 내게 되고, 그 결과 모든 나노기술 분야에 큰 규모의 추가 투자가 일어날 것이라는 것입니다.

불행한 점은 핵기술의 경우와 마찬가지라고 조이는 적습니다. 나노기술에서 파괴적 용도를 만들어내는 일이 건설적 용도를 만들어내는 일보다 훨씬 쉽다는 것입니다. 나노기술에는 분명한 군사적·테러적 용도가 있고, 대량으로 파괴적인 나노기술 장치를 풀어놓기 위해 자살을 감수할 필요도 없습니다. 그런 장치는 선택적으로 파괴하도록 만들 수 있기 때문인데, 예를 들어 특정 지리적 구역이나 유전적으로 구별되는 집단만 겨냥하게 만들 수 있습니다. 나노기술의 거대한 힘을 얻는 파우스트적 거래의 즉각적 결과로 조이가 지목하는 것은 중대한 위험, 곧 모든 생명이 의존하는 생물권을 파괴할 위험입니다.

[관점] 파괴가 건설보다 쉽다는 비대칭은 이 글에서 가장 반박하기 어려운 명제이고, 이후 AI 안전 논의에서도 같은 형태로 반복됩니다. 기능하는 체계를 만들려면 수많은 조건이 동시에 충족되어야 하지만 체계를 무너뜨리려면 하나를 어긋나게 하면 되기 때문이며, 공격과 방어의 비용 구조가 처음부터 대칭이 아닙니다.

조이가 여기서 추가하는 논점은 자살 의도의 불필요성입니다. 20세기 테러의 상당 부분은 실행자가 현장에 있어야 했고 그 조건이 억제력으로 작동했는데, 선택적으로 작동하는 자기복제 장치에서는 그 억제가 사라집니다. 투자의 측면에서 보면 이 비대칭은 더 날카로워집니다. 조이 자신의 전망대로 분자전자공학의 상업적 수익이 모든 나노기술 분야로 투자를 끌어들인다면, 이중용도 기술에 대한 자본 유입이 안전 연구의 속도와 무관하게 결정되는 구조가 만들어집니다.

그레이 구 문제

조이는 드렉슬러의 설명을 그대로 소개합니다. 오늘의 태양전지보다 나을 것 없는 효율의 잎을 가진 식물이 실제 식물을 경쟁에서 밀어내 생물권을 먹을 수 없는 잎으로 가득 채울 수 있다는 것입니다. 질긴 잡식성 세균이 실제 세균을 경쟁에서 밀어낼 수도 있는데, 바람에 날리는 꽃가루처럼 퍼지고 빠르게 복제해서 며칠 만에 생물권을 먼지로 만들 수 있다는 것입니다. 위험한 복제자는 너무 질기고 작고 빠르게 퍼져서 멈추기 어려울 수 있으며, 적어도 우리가 아무 대비를 하지 않는다면 그렇습니다.

드렉슬러가 덧붙이는 비교는 소박합니다. 우리는 바이러스와 과실파리를 통제하는 데도 충분히 애를 먹고 있습니다.

나노기술에 밝은 사람들 사이에서 이 위협은 그레이 구(gray goo) 문제라는 이름으로 불리게 되었습니다. 통제되지 않은 복제자의 덩어리가 회색일 필요도 끈적일 필요도 없지만, 그레이 구라는 말은 생명을 지워버릴 수 있는 복제자가 바랭이 한 종보다도 영감을 주지 못하는 존재일 수 있다는 점을 강조한다고 조이는 설명합니다. 그것들은 진화적 의미에서 우월할 수 있지만, 그렇다고 가치 있는 존재가 되는 것은 아닙니다.

조이가 그레이 구 위협에서 분명해진다고 보는 것은 한 가지입니다. 복제하는 조립기와 관련해 어떤 종류의 사고는 감당할 수 없다는 것입니다. 그는 그레이 구가 지구에서 인간이 벌인 모험의 침울한 결말일 것이라고 적습니다. 단순한 불이나 얼음보다 훨씬 나쁜 결말이며, 단순한 실험실 사고에서 비롯될 수도 있는 결말입니다.

이 대목에서 조이는 보니것의 1963년 소설 『Cat’s Cradle』을 각주로 끌어오는데, 훨씬 높은 온도에서 고체가 되는 아이스나인(ice-nine)이라는 얼음이 바다를 얼려버리는 그레이 구 같은 사고를 상상한 작품입니다. 조이가 그 문단 끝에 남긴 말은 한 마디였습니다. 아이쿠.

[반론] 그레이 구 논증의 전제인 분자 조립기가 실제로 가능한지에 대해 가장 강한 반박을 제기한 사람은 노벨 화학상 수상자 리처드 스몰리(Richard Smalley)입니다. 그는 2001년 9월 Scientific American에 「Of Chemistry, Love, and Nanobots」를 실어 두 가지 문제를 제시했습니다. 하나는 굵은 손가락 문제로, 조작기의 손가락도 원자로 만들어지므로 최소 크기가 있고 나노미터 규모의 반응 영역에는 그 손가락들이 들어갈 자리가 남지 않는다는 것입니다. 다른 하나는 끈적한 손가락 문제로, 조작기 표면의 원자가 옮기려는 원자에 달라붙어서 원하는 자리에 정확히 놓고 떼어내는 일이 대개 불가능하다는 것입니다.

드렉슬러 측은 같은 해 반박을 내놓았습니다. 많은 반응은 반응물 하나만 제어하면 되고, 자연에 이미 두 문제를 겪지 않는 조립기가 있다는 것이었습니다. 리보솜이 그 예입니다. 논쟁은 2003년 12월 1일 Chemical & Engineering News의 표지 기사에서 양측의 왕복 서신 형태로 마무리되었습니다. 드렉슬러가 2003년 4월에 쓴 공개서한이 먼저 실리고, 스몰리는 자신이 말한 형태의 손가락은 작동할 수 없다는 점에는 동의하면서도 같은 문제가 더 큰 구성 단위에도 적용된다고 주장했으며, 드렉슬러가 구상하는 비수용성 효소 유사 화학이 구체적으로 무엇인지 물었습니다. 드렉슬러는 『Nanosystems』를 근거로 기계적 위치 제어가 시스템 공학의 문제라고 답했고, 스몰리는 마지막 서신에서 드렉슬러가 원자들이 컴퓨터 프로그램의 지시대로 움직이는 가상의 세계를 만들어냈다고 비판했습니다.

이 논쟁에서 과학적 합의가 선언되지는 않았습니다. 커즈와일은 드렉슬러의 승리를 선언했지만 그것은 한 사람의 평가이며, 대다수 나노기술 연구자에게 이 논쟁은 흥미로운 학계의 여담에 가까웠다는 평가도 있습니다. 『Nanosystems』에 조립기의 설계도는 들어 있지 않다는 지적도 함께 나왔습니다. 분명한 것은 조이가 임박했다고 본 조립기로의 돌파가 그가 제시한 20년의 기한 안에 오지 않았다는 사실입니다.

자기복제가 더 근본적일 수 있다는 가능성

조이가 우리를 멈춰 세워야 한다고 보는 것은 무엇보다 유전학·나노기술·로봇공학에 들어 있는 파괴적 자기복제의 힘입니다. 자기복제는 유전공학의 작동 방식 자체인데, 유전공학은 세포의 기계장치를 써서 자기 설계를 복제하기 때문입니다. 나노기술에서는 그레이 구의 바탕에 있는 으뜸 위험이 자기복제입니다. 창조자가 부과한 윤리적 제약에서 벗어나려고 복제하거나 변이하는 보그 같은 폭주 로봇의 이야기는 우리 공상과학 책과 영화에 이미 확고하게 자리 잡고 있습니다.

조이가 여기서 한 걸음 더 나아가 제시하는 것은 더 불편한 가능성입니다. 자기복제가 우리가 생각한 것보다 더 근본적인 현상일 수 있고, 따라서 통제하기가 더 어렵거나 아예 불가능할 수 있다는 것입니다. 그 근거로 그는 카우프만이 Nature에 발표한 논문을 듭니다. 아미노산 32개로 이루어진 펩타이드가 자기 자신의 합성을 자가촉매할 수 있다는 발견을 다룬 글이며, 1996년 8월 8일자에 실렸습니다.

이 능력이 얼마나 널리 퍼져 있는지는 우리가 알지 못한다고 조이는 적습니다. 다만 카우프만이 지적한 함의는 분명합니다. 그것이 왓슨-크릭 염기쌍(Watson-Crick base-pairing)보다 훨씬 넓은 토대 위에서 자기 재생산하는 분자 체계로 가는 경로를 시사할 수 있다는 것입니다.

해설 왓슨-크릭 염기쌍은 DNA의 두 가닥이 아데닌과 티민, 구아닌과 시토신으로 짝을 맞추며 결합하는 방식이고, 이것이 유전정보가 복제되는 물리적 기제입니다. 지구 생명의 자기복제는 모두 이 토대 위에 있으므로, 자기복제를 통제한다는 과제도 이 한 가지 기제를 다루는 일로 이해되어왔습니다.

카우프만이 보고한 펩타이드 자가촉매가 중요한 이유가 여기 있습니다. 단백질을 이루는 아미노산 사슬이 핵산의 짝짓기 없이 스스로의 합성을 촉진할 수 있다면, 자기복제는 생명이 우연히 채택한 하나의 설계가 아니라 분자 수준에서 여러 경로로 나타날 수 있는 성질이 됩니다. 조이가 통제 불가능성을 말할 때 염두에 둔 것은 막아야 할 문이 하나가 아닐 수 있다는 전망입니다.

경고를 알리는 일에는 이익이 없다

조이는 사실 우리가 여러 해 동안 분명한 경고를 손에 쥐고 있었다고 적습니다. GNR 기술에 관한 지식이 널리 퍼지는 데 내재한 위험, 곧 지식만으로 대량파괴가 가능해질 수 있다는 경고입니다. 그러나 이 경고들은 널리 알려지지 않았고 공적 논의는 명백히 불충분했습니다. 그가 제시하는 이유는 한 문장입니다. 위험을 널리 알리는 일에는 이익이 없다는 것입니다.

[관점] 이 한 문장은 경고의 공급이 왜 구조적으로 부족한지를 설명합니다. 기술의 이익은 특정 기업과 투자자에게 집중되어 그들이 홍보에 자원을 쓸 유인을 갖지만, 위험의 비용은 사회 전체에 분산되므로 누구도 그것을 알리는 데 비례하는 자원을 쓸 유인이 없습니다. 경고는 공공재의 성격을 띠고 공공재는 과소공급됩니다.

이 비대칭이 깨지는 조건도 함께 생각해볼 만합니다. 보험이 그 하나인데, 손해를 실제로 부담하는 주체가 생기면 위험 평가에 돈을 쓸 유인이 만들어집니다. 금융에서 신용평가와 공매도가 담당하는 역할도 같은 성격입니다. 조이가 이후 제시하는 해법이 기업의 유인 구조가 아니라 과학자 개인의 윤리 규범과 국가 간 협약에 의존한다는 점은, 그가 이 구조적 진단을 자기 처방에 끝까지 반영하지는 않았음을 보여줍니다.

정부 연구소에서 기업으로

20세기 대량파괴무기에 쓰인 NBC 기술은 대체로 군사적이었고 정부 연구소에서 개발되었습니다. 조이가 날카로운 대비라고 부르는 것은 21세기 GNR 기술의 사정이 정반대라는 점입니다. 이 기술들은 분명한 상업적 용도를 갖고 있고 거의 전적으로 기업이 개발하고 있습니다.

조이는 이 시대를 상업주의가 승리한 시대로 규정합니다. 과학을 시녀로 삼은 기술이 거의 마법 같은 발명을 연이어 내놓고 있으며, 그 발명들은 역사상 가장 경이적으로 수익성이 높습니다. 우리는 이 새로운 기술들의 약속을 이제 도전받지 않는 전 지구적 자본주의 체제와 그것의 다양한 금전적 유인, 경쟁 압력 안에서 공격적으로 추구하고 있습니다.

그 결과로 도달한 지점을 조이는 한 문장으로 정리합니다. 지금은 어떤 종이 자기 자신의 자발적 행동으로 자신에게, 그리고 수많은 다른 종에게 위험이 된 우리 행성 역사상 최초의 순간이라는 것입니다.

[사후 맥락] 이 글의 여러 예측 가운데 가장 정확하게 들어맞은 것이 이 구조적 진단입니다. 조이가 글을 쓴 뒤 25년 동안 가장 강력한 범용 기술로 떠오른 AI는 정부 연구소가 아니라 민간 기업에서 개발되었고, 가장 앞선 모델을 보유한 조직은 모두 영리 기업이거나 영리 자본을 조달하는 구조를 갖추고 있습니다. 모델 개발에 필요한 연산 설비의 규모와 비용이 그 구조를 강화했습니다.

그래서 20세기 핵 통제 체제를 그대로 가져올 수 없다는 조이의 지적도 유효합니다. 핵은 국가가 독점했으므로 국가 간 조약이 통제의 기본 단위가 될 수 있었지만, 기업이 개발하는 기술에서는 조약의 당사자와 능력의 보유자가 일치하지 않습니다. 이후 등장한 자발적 서약, 기업과 정부 사이의 평가 협약, 수출통제 같은 혼합 수단들은 조이가 지목한 이 불일치를 메우려는 시도들입니다.

세이건의 익숙한 진행 경로

조이는 칼 세이건(Carl Sagan)의 한 대목을 끌어옵니다. 많은 세계에서 반복되는 익숙한 진행 경로일지도 모른다는 서술입니다. 새로 형성된 행성이 자기 별 주위를 평온하게 돌고, 생명이 서서히 형성되고, 만화경처럼 다채로운 생물의 행렬이 진화하고, 적어도 어느 지점까지는 거대한 생존 가치를 부여하는 지능이 출현하고, 그러고 나서 기술이 발명됩니다.

그 다음에 일어나는 일이 핵심입니다. 자연 법칙이라는 것이 존재하고 그 법칙이 실험으로 드러날 수 있으며 그 법칙에 대한 지식이 전례 없는 규모로 생명을 구하고 또 거둘 수 있게 만들어질 수 있다는 것을 그들이 깨닫게 됩니다. 과학이 막대한 힘을 부여한다는 것을 그들은 인식합니다. 그리고 순식간에 세계를 바꾸는 장치들을 만들어냅니다.

세이건의 결론은 갈림길입니다. 어떤 행성 문명들은 길을 찾아내 무엇이 허용되고 무엇이 허용되지 않는지에 한계를 설정하고 위험의 시기를 안전하게 통과하며, 그만큼 운이 좋지도 분별 있지도 못한 다른 문명들은 소멸합니다.

조이는 이것이 1994년 『Pale Blue Dot』에 쓴 세이건의 문장이라고 밝힙니다. 우주에서의 인간의 미래에 대한 자신의 전망을 서술한 책입니다. 조이는 세이건의 통찰이 얼마나 깊었는지를 이제야 깨닫고 있으며, 그의 목소리가 사무치게 그립고 앞으로도 그리울 것이라고 적습니다. 그 모든 유려함에도 세이건의 기여에서 적지 않은 부분은 단순한 상식이었다는 것이 조이의 평가이고, 21세기 기술의 주도적 옹호자 다수에게는 겸손과 함께 바로 그 상식이 결여되어 보인다고 그는 덧붙입니다.

해설 조이가 세이건의 목소리를 그리워한다고 쓴 이유는 세이건이 이미 세상을 떠났기 때문입니다. 그는 1996년 12월 20일에 사망했고, 조이가 인용한 『Pale Blue Dot』은 그보다 2년 전인 1994년에 나왔습니다. 조이가 이 글을 쓴 시점은 세이건의 부재가 3년 남짓 지난 때였습니다.

세이건이 이 글에서 차지하는 자리는 권위의 보증이 아니라 어조의 모범입니다. 조이가 여기서 칭찬하는 덕목은 전문성이나 예측력이 아니라 상식과 겸손이며, 그는 바로 그 두 가지를 다음 절에서 자기 할머니에게서 다시 찾아냅니다. 과학의 권위와 상식의 권위를 나란히 놓는 이 구성이 글 후반부에서 포기를 정당화하는 논거가 됩니다.

항생제를 경계한 할머니

조이는 어린 시절의 기억을 하나 꺼냅니다. 할머니가 항생제 남용에 강하게 반대했다는 기억입니다. 할머니는 제1차 세계대전 전부터 간호사로 일해온 사람이었고, 꼭 필요한 경우가 아니라면 항생제를 먹는 것이 몸에 나쁘다는 상식적 태도를 지니고 있었습니다.

조이가 분명히 하는 것은 할머니가 진보의 적이 아니었다는 점입니다. 70년에 가까운 간호사 경력에서 그는 많은 진보를 보았습니다. 당뇨가 있던 조이의 할아버지는 자기 생애에 쓸 수 있게 된 개선된 치료법에서 큰 도움을 받았습니다. 그러나 할머니는 분별 있는 많은 사람들처럼 지금 우리가 하는 일을 대단히 오만하다고 여겼을 것이라고 조이는 봅니다. 상대적으로 단순한 것들을 작동시키는 데도 명백히 그토록 애를 먹고 우리 자신을 관리하거나 이해하는 데도 그토록 애를 먹으면서, 로봇 대체종을 설계하고 있다는 것입니다.

조이가 이제 와 깨닫는 것은 할머니가 생명의 질서가 어떤 성격인지를, 그리고 그 질서와 함께 살며 그것을 존중해야 한다는 필요를 자각하고 있었다는 사실입니다. 이 존중과 함께 오는 것이 필수적인 겸손인데, 21세기 초의 뻔뻔함을 지닌 우리는 그 겸손을 결여하고 있고 그 대가를 치르게 된다는 것입니다. 이 존중에 뿌리를 둔 상식적 견해는 과학적 증거보다 앞서서 옳은 경우가 많다고 그는 적습니다. 우리가 만들어온 인공 체계들의 분명한 취약성과 비효율은 우리 모두를 멈춰 세워야 하며, 자신이 작업해온 체계들의 취약성이 자신을 확실히 겸손하게 만든다고 그는 덧붙입니다.

[관점] 상식이 과학적 증거보다 앞서서 옳은 경우가 많다는 주장은 조이의 논증에서 가장 논쟁적인 대목입니다. 이것은 증거가 모이기 전에 판단해야 한다는 요구이며, 사전예방 원칙과 같은 구조를 지닙니다. 피해의 증거를 기다리는 비용이 피해 자체일 때는 증거를 기다리는 것이 합리적 선택이 아니라는 것입니다.

이 주장의 약점은 기각 조건이 없다는 데 있습니다. 상식이 옳았던 사례는 사후에 선별되므로, 상식이 틀렸던 수많은 경우를 함께 세지 않으면 이 논거는 어떤 결론도 정당화할 수 있게 됩니다. 조이 자신이 앞에서 러다이트라는 꼬리표를 거부했던 이유가 이 문제이기도 합니다.

다만 조이가 여기서 제시하는 근거는 상식 일반이 아니라 자신의 공학 경험입니다. 그가 만든 체계들이 취약했다는 사실은 사후에 선별된 사례가 아니라 그가 직접 관찰한 기저율이며, 앞서 본 신뢰성 논증과 같은 종류의 근거입니다. 상식을 내세운 문단과 자기 경험을 내세운 문단이 섞여 있다는 점이 이 절을 읽을 때 구분해야 할 지점입니다.

오펜하이머와 트리니티

조이가 보기에 우리는 첫 원자폭탄의 제작과 그 결과로 일어난 군비경쟁에서 교훈을 배웠어야 했습니다. 그때 우리는 잘하지 못했고, 지금 상황과의 평행 관계가 걱정스럽다는 것입니다.

첫 원자폭탄을 만드는 노력을 이끈 사람은 뛰어난 물리학자 로버트 오펜하이머(Robert Oppenheimer)였습니다. 오펜하이머는 천성적으로 정치에 관심이 있는 사람이 아니었지만, 제3제국이 서구 문명에 가하는 중대한 위협이라고 자신이 인식한 것을 고통스럽게 자각하게 되었습니다. 히틀러가 핵무기를 얻을 수 있다는 가능성 때문에 확실히 중대한 위협이었습니다. 이 우려에 힘을 얻어 그는 강한 지성과 물리학에 대한 열정, 카리스마 있는 지도력을 로스앨러모스(Los Alamos)로 가져갔고, 믿기 어려운 위대한 지성들의 집합이 폭탄을 빠르게 발명하도록 신속하고 성공적인 노력을 이끌었습니다.

조이가 두드러진다고 보는 것은 그 다음입니다. 최초의 추동력이 제거된 뒤에도 이 노력이 그토록 자연스럽게 계속되었다는 것입니다. 유럽 전승일 직후 노력을 어쩌면 중단해야 할지 모른다고 느낀 일부 물리학자들과의 회의에서 오펜하이머는 계속해야 한다고 주장했습니다. 그가 밝힌 이유는 다소 이상해 보입니다. 일본 본토 침공에서 대규모 사상자가 날 것이라는 두려움 때문이 아니라, 곧 창설될 국제연합(UN)이 원자무기에 대한 사전 지식을 가져야 한다는 이유였습니다.

프로젝트가 계속된 더 유력한 이유로 조이가 꼽는 것은 이미 쌓인 관성입니다. 첫 원자실험 트리니티(Trinity)가 거의 임박해 있었습니다.

이 첫 실험을 준비하면서 물리학자들이 수많은 가능한 위험에도 불구하고 그대로 나아갔다는 것을 우리는 알고 있습니다. 그들은 처음에 에드워드 텔러(Edward Teller)의 계산에 근거해 원자폭발이 대기에 불을 붙일지 모른다고 걱정했습니다. 수정된 계산은 세계를 파괴할 위험을 백만분의 삼으로 낮추었습니다. 텔러는 나중에 대기 발화의 가능성을 완전히 배제할 수 있었다고 말합니다.

그러나 오펜하이머는 트리니티의 결과를 충분히 우려해 뉴멕시코주 남서부 지역의 소개 가능성을 준비해두었습니다. 그리고 물론 핵 군비경쟁을 시작하게 되는 분명한 위험이 있었습니다.

해설 시간 순서를 짚어두면 조이의 논점이 더 뚜렷해집니다. 유럽 전승일은 1945년 5월 8일이었고 트리니티 실험은 7월 16일, 히로시마 투하는 8월 6일이었습니다. 히틀러의 핵무기라는 애초의 명분이 사라진 뒤 폭탄이 완성되기까지 두 달, 사용되기까지 석 달이 걸렸습니다.

오펜하이머 자신의 이후 행로도 이 절의 맥락에 들어갑니다. 그는 전후 수소폭탄 개발에 소극적인 태도를 보였고, 1954년 보안 적격 심사에서 접근 권한을 박탈당해 정책 결정에서 배제되었습니다. 조이가 뒤에서 과학자의 내부고발이 높은 개인적 대가를 치르는 일이라고 쓸 때, 이 사례가 그 대가의 구체적 모습입니다.

누구도 아니라고 말할 용기가 없었다

첫 실험이 성공한 뒤 한 달 안에 두 발의 원자폭탄이 히로시마와 나가사키를 파괴했습니다. 일부 과학자들은 폭탄을 일본 도시에 투하하는 대신 그저 시연하는 방안을 제안했고, 그렇게 하면 전후 군비통제의 가능성이 크게 개선될 것이라고 말했지만 받아들여지지 않았습니다. 진주만의 비극이 미국인들의 기억에 여전히 생생한 상황에서, 해리 트루먼(Harry Truman) 대통령이 실제로 한 대로 사용하는 대신 시연을 명령하기는 매우 어려웠을 것이라고 조이는 적습니다. 전쟁을 빨리 끝내고 일본 본토 침공에서 잃게 될 생명을 구하려는 욕구가 매우 강했습니다.

그러나 압도적인 진실은 아마 매우 단순했을 것이라고 조이는 봅니다. 프리먼 다이슨(Freeman Dyson)이 나중에 말한 대로, 폭탄이 투하된 이유는 그저 누구도 아니라고 말할 용기나 선견지명을 갖지 못했기 때문이라는 것입니다.

1945년 8월 6일 히로시마 폭격의 여파 속에서 물리학자들이 얼마나 충격을 받았는지를 깨닫는 일이 중요하다고 조이는 적습니다. 그들은 감정의 파도가 연이어 왔다고 서술합니다. 처음에는 폭탄이 작동했다는 성취감, 그 다음에는 죽은 그 모든 사람들에 대한 공포, 그 다음에는 어떤 경우에도 또 한 발이 투하되어서는 안 된다는 확고한 느낌이었습니다. 그러나 물론 또 한 발이 투하되었습니다. 히로시마 폭격으로부터 사흘 뒤 나가사키였습니다.

[한국 관점] 시연이 아니라 도시 투하였다는 선택이 한국과 직접 연결되는 지점이 있습니다. 당시 히로시마와 나가사키에는 강제동원과 이주로 그곳에 있던 조선인이 다수 포함되어 있었습니다. 한국원폭피해자협회의 추산으로 두 도시의 조선인 피해자는 약 7만 명이고 그중 약 4만 명이 사망했으며, 생존자 약 2만 3천 명이 한국으로 돌아왔습니다.

이들에 대한 국내 지원 제도는 매우 늦게 만들어졌습니다. 한국인 원자폭탄 피해자 지원을 위한 특별법은 2016년 5월에 제정되어 2017년 7월에 시행되었습니다. 이 법은 투하 당시 히로시마나 나가사키에 있던 사람, 2주 안에 폭심지로부터 3.5킬로미터 이내에 거주한 사람, 사후 처리 과정에서 방사선에 노출된 사람을 피해자로 정의하고, 당시 태아였던 2세 피해자도 포함합니다. 2018년 8월 기준으로 대한적십자사에 등록된 생존자는 2,283명이었습니다.

이 사실이 조이의 논증에 더하는 것은 비용 부담자와 결정자가 다르다는 점입니다. 폭탄의 사용을 결정한 쪽과 그 결과를 감당한 쪽이 달랐고, 감당한 쪽 가운데는 결정 과정에 대표되지 않은 식민지 주민이 있었습니다. 조이가 이후 포기를 논할 때 전제하는 우리라는 주체가 실제로는 누구를 포함하고 누구를 배제하는지를 묻게 하는 자리입니다.

애치슨-릴리엔솔 보고서와 바루크 계획

1945년 11월, 원폭 투하 석 달 뒤에 오펜하이머는 과학적 태도를 굳건히 옹호했습니다. 세계에 대한 지식과 그것이 주는 힘이 인류에게 내재적 가치를 지닌 것이며 자신이 그것을 지식의 확산을 돕는 데 쓰고 있고 그 결과를 감수할 의지가 있다고 믿지 않는다면 과학자일 수 없다는 내용입니다.

그 뒤 오펜하이머는 다른 사람들과 함께 애치슨-릴리엔솔 보고서(Acheson-Lilienthal report) 작업에 참여했습니다. 리처드 로즈(Richard Rhodes)가 자신의 책 『Visions of Technology』에서 평가한 대로, 이 보고서는 무장한 세계정부에 의존하지 않고도 은밀한 핵 군비경쟁을 막을 방법을 찾아냈습니다. 그 제안의 내용은 국민국가가 핵무기 작업을 국제기구에 넘기는 형태의 포기였습니다.

이 제안은 바루크 계획(Baruch Plan)으로 이어져 1946년 6월 국제연합에 제출되었지만 끝내 채택되지 않았습니다. 로즈가 제시하는 이유는 버나드 바루크(Bernard Baruch)가 계획에 재래식 제재를 얹는 부담을 지우겠다고 고집했기 때문이며, 그것이 계획을 필연적으로 무너뜨렸다는 것입니다. 다만 로즈는 스탈린 치하의 러시아가 어차피 거부했을 것이 거의 확실하다고 덧붙입니다.

군비경쟁을 막기 위해 핵력을 국제화하는 분별 있는 조치를 추진하려 한 다른 노력들도 미국 국내 정치와 내부의 불신, 또는 소련 측의 불신에 걸려 좌초했습니다. 조이의 정리는 간결합니다. 군비경쟁을 피할 기회는 상실되었고, 그것도 매우 빠르게 상실되었습니다.

두 해 뒤인 1948년에 오펜하이머는 자기 생각의 또 다른 단계에 이른 것으로 보입니다. 어떤 저속함도 어떤 유머도 어떤 과장도 완전히 지울 수 없는 거친 의미에서, “물리학자들은 죄를 알게 되었고, 그것은 그들이 잃을 수 없는 지식입니다”라고 그는 말했습니다.

1949년에 소련이 원자폭탄을 폭발시켰습니다. 1955년에는 미국과 소련 모두 항공기로 투하할 수 있는 수소폭탄을 실험했습니다. 그렇게 핵 군비경쟁이 시작되었습니다.

해설 애치슨-릴리엔솔 보고서의 구상은 핵 연료 주기의 위험한 단계 전체를 국제기구의 소유와 운영 아래 두는 것이었습니다. 각국에 금지를 약속받고 사후에 검증하는 방식이 아니라, 애초에 위험한 활동을 할 수 있는 시설 자체를 국가의 손에서 떼어내는 설계였다는 점이 핵심입니다. 조이가 이것을 포기의 한 형태라고 부른 이유입니다.

이 구상의 희석된 형태가 뒷날 국제원자력기구로 남았습니다. 국제원자력기구는 시설을 소유하지 않고 사찰과 안전조치를 수행하는 기구이며, 보고서가 제안한 소유와 운영의 국제화는 끝내 실현되지 않았습니다. 조이가 뒤에서 검증의 어려움을 길게 논하는 배경이 이 결과입니다.

핵무기의 반짝임

조이는 거의 20년 전의 다큐멘터리 「The Day After Trinity」에서 프리먼 다이슨이 우리를 핵의 절벽으로 데려간 과학적 태도를 요약한 대목을 인용합니다. 존 엘스(Jon Else)가 만든 이 작품의 제목은 오펜하이머와 원자폭탄을 부제로 달고 있습니다.

프리먼 다이슨의 증언은 자기 고백으로 시작합니다. 자신도 그것을 느껴보았다는 것, 바로 “핵무기의 반짝임”이라는 것입니다. 과학자로서 그것에 다가가면 저항할 수 없다고 그는 말합니다. 그것이 자기 손안에 있다고 느끼는 일, 별을 태우는 이 에너지를 풀어놓는 일, 그것이 자기 명령을 따르게 하는 일입니다. 이런 기적들을 수행하는 일, 백만 톤의 암석을 하늘로 들어올리는 일입니다.

프리먼 다이슨이 내리는 진단은 환상이라는 말에 걸려 있습니다. 그것은 사람들에게 무한한 힘이라는 환상을 주며, 어떤 면에서는 우리의 모든 문제에 책임이 있는 것이라고 그는 말합니다. 자기 정신으로 무엇을 할 수 있는지를 보게 된 사람들을 압도하는, 기술적 오만이라고 불러도 좋을 그것입니다.

조이가 이 인용에서 끌어내는 평행 관계로 절이 닫힙니다. 지금도 그때처럼 우리는 새로운 기술의 창조자이고 상상된 미래의 주인공입니다. 이번에는 거대한 금전적 보상과 전 지구적 경쟁에 떠밀리고 있습니다. 분명한 위험에도 불구하고 그렇게 움직이면서, 우리가 창조하고 상상하는 것의 현실적 결과인 세계에서 살아가려 애쓴다는 것이 어떤 일일지는 거의 평가하지 않고 있다는 것입니다.

[관점] 프리먼 다이슨의 증언이 이 글에서 하는 역할은 조이 자신에 대한 진단입니다. 앞에서 조이는 머릿속 설계가 기계 안에서 풀려나기를 기다린다고 느꼈다고 적었고, 밤을 새우는 일이 그것을 자유롭게 하기 위한 작은 대가로 보였다고 썼습니다. 그것은 다이슨이 말하는 반짝임과 같은 종류의 경험입니다.

이 구조가 조이의 포기 주장에 특별한 무게를 줍니다. 그가 요구하는 것은 외부의 규제가 아니라 그 매혹을 직접 아는 사람들의 자기 제한이며, 다이슨의 증언은 그런 자기 제한이 왜 어려운지에 대한 당사자의 설명으로 인용됩니다.

동시에 조이가 지적하는 차이도 중요합니다. 1945년의 추동력은 적국의 위협과 전시의 긴급성이었지만 2000년의 추동력은 금전적 보상과 전 지구적 경쟁입니다. 전자는 전쟁이 끝나면 사라지는 조건이고 후자는 평시의 정상 상태입니다. 이 차이가 조이의 비관을 강화하는 근거입니다.

종말 시계가 가리킨 자정 9분 전

1947년 원자과학자회보(The Bulletin of the Atomic Scientists)는 표지에 종말 시계(Doomsday Clock)를 싣기 시작했습니다. 50년이 넘는 동안 이 시계는 우리가 마주한 상대적 핵 위험의 추정치를 보여주었고, 변화하는 국제 정세를 반영했습니다. 조이가 글을 쓰던 시점에 시곗바늘은 열다섯 번 움직인 상태였고 자정 9분 전을 가리키고 있었습니다. 핵무기로부터의 위험이 계속되고 있으며 실재한다는 뜻이었습니다.

바늘을 자정에 더 가깝게 옮긴 직전의 사건으로 조이가 꼽는 것은 1998년의 변화입니다. 인도와 파키스탄이 핵보유국 목록에 최근 추가되면서 비확산 목표가 실패할 위협이 커졌고, 그 위험이 바늘의 이동으로 반영되었다는 것입니다.

해설 종말 시계는 측정 장치가 아니라 판단의 표현입니다. 과학안보위원회가 매년 국제 정세를 검토해 바늘의 위치를 정하며, 핵무기로 시작했지만 뒤에 기후변화와 생명공학, 그리고 AI를 포함한 파괴적 기술이 판단 요소로 추가되었습니다. 조이가 이 글에서 요구하는 것, 곧 여러 기술의 위험을 하나의 저울에 올려 평가하는 작업을 이 시계가 이미 제도화한 형태로 하고 있다는 점이 눈에 띕니다.

[사후 맥락] 조이가 자정 9분 전이라고 적은 뒤 26년이 지난 2026년 1월 27일, 과학안보위원회는 시계를 자정 85초 전으로 발표했습니다. 1947년 이후 바늘이 재설정된 횟수는 27회입니다. 조이가 글을 쓴 시점과 비교하면 자정까지의 거리가 9분에서 1분 25초로 줄어든 셈입니다.

눈금의 단위가 분에서 초로 바뀐 것 자체가 하나의 서술입니다. 위원회가 초 단위를 쓰기 시작한 것은 분 단위로는 더 이상 변화를 표현할 수 없게 된 뒤였고, 그 변화를 밀어올린 요인에는 조이가 이 글에서 다룬 생명공학과 파괴적 신기술이 핵무기와 나란히 들어 있습니다.

멸종 위험은 얼마나 높은가

조이는 질문을 두 개로 다시 세웁니다. 우리 시대에 우리가 마주한 위험은 핵무기만이 아니라 이 모든 기술에서 얼마나 큰가, 그리고 멸종 위험은 얼마나 높은가입니다.

이 질문을 연구한 철학자 존 레슬리(John Leslie)의 결론은 인간 멸종의 위험이 최소 30퍼센트라는 것입니다. 반면 커즈와일은 우리가 통과할 가능성이 반반보다는 낫다고 보는데, 자신이 늘 낙관주의자라는 비난을 받아왔다는 단서를 덧붙입니다. 조이가 지적하는 것은 두 가지입니다. 이 추정치들이 고무적이지 않다는 것, 그리고 멸종에는 이르지 않는 수많은 끔찍한 결과의 확률은 여기에 포함되어 있지도 않다는 것입니다.

레슬리의 추정치는 그의 책 『The End of the World: The Science and Ethics of Human Extinction』에 담겨 있습니다. 조이가 각주에 옮긴 바로, 레슬리는 브랜던 카터(Brandon Carter)의 종말 논증(Doomsday Argument)을 받아들이면 멸종 확률이 상당히 더 높아진다고 지적합니다. 그 논증은 간략히 말해 우리가 앞으로 살아갈 모든 인간 가운데 극히 예외적으로 이른 쪽에, 예컨대 가장 이른 0.001퍼센트에 속한다고 믿는 데는 어느 정도 주저함이 있어야 한다는 것입니다. 그렇다면 인류가 앞으로 여러 세기를 더 살아남지 못할 것이라고, 은하를 식민화하는 것은 더욱 아니라고 생각할 이유가 생깁니다.

레슬리는 카터의 논증이 그 자체로는 어떤 위험 추정치도 산출하지 않는다는 점을 분명히 합니다. 여러 가능한 위험을 고려해 우리가 산출한 추정치를 상향 수정하라는 논증이라는 것입니다.

해설 종말 논증은 경험적 증거가 아니라 확률 추론에 관한 논증입니다. 내가 전체 인류 가운데 어느 위치에 있는지에 대해 특별한 정보가 없다면 나의 출생 순번을 무작위 표본처럼 다루어야 한다는 전제에서 출발하며, 인류가 아주 오래 존속한다면 내가 지금처럼 이른 시기에 태어났을 확률이 매우 낮아진다는 점을 지적합니다.

이 논증이 발표된 이후 전제 자체를 겨냥한 반박이 많이 나왔습니다. 내가 어느 시점에 태어났는지를 무작위 표본으로 볼 수 있는지, 표본의 모집단을 전체 인류로 잡는 것이 정당한지가 쟁점입니다. 레슬리 자신이 이 논증을 독립적인 위험 추정이 아니라 수정 계수로만 쓴 이유가 여기 있고, 조이도 그 한정을 그대로 옮깁니다.

[사후 맥락] 멸종 위험에 숫자를 붙이는 작업은 그 뒤 하나의 장르가 되었습니다. 파멸 확률이라는 표현이 AI 연구자와 투자자 사이에서 통용되는 어휘로 자리를 잡았고, 레슬리의 30퍼센트처럼 개인이 제시하는 확률값이 입장의 표지로 쓰입니다.

제도적 형태로 가장 널리 인용되는 것은 2023년 5월 30일 Center for AI Safety가 조직한 한 문장짜리 성명입니다. AI로 인한 멸종 위험을 줄이는 일이 전염병이나 핵전쟁 같은 다른 사회 규모의 위험과 함께 전 지구적 우선과제가 되어야 한다는 내용입니다. 서명자에는 샘 올트먼, 데미스 하사비스, 다리오 아모데이와 제프리 힌턴, 요슈아 벤지오, 스튜어트 러셀(Stuart Russell), 피터 노빅, 일리야 수츠케버가 포함되었습니다.

조이와의 차이가 여기서 드러납니다. 2000년에 멸종 위험을 공개적으로 말한 사람은 자기 업계에서 고립된 한 명의 수석과학자였지만, 23년 뒤에는 가장 앞선 모델을 만드는 기업의 최고경영자들이 같은 문장에 서명했습니다. 그러면서도 그 서명이 조이가 요구한 개발의 포기로 이어지지는 않았습니다.

은하로 흩어진다는 대안

이런 평가들을 마주하고 일부 진지한 사람들은 이미 다른 제안을 하고 있다고 조이는 적습니다. 가능한 한 빨리 지구를 벗어나자는 것입니다. 폰 노이만 탐사선(von Neumann probe)을 써서 은하를 식민화하는 방식인데, 이 탐사선은 항성계에서 항성계로 건너뛰면서 가는 길에 자기를 복제합니다.

이 단계가 언젠가 필요해진다는 데는 조이도 동의합니다. 50억 년 뒤에는 거의 확실히 필요해지며, 우리 은하가 앞으로 30억 년 안에 안드로메다 은하와 충돌해 태양계가 재난적 영향을 받는다면 더 일찍 필요해집니다. 문제는 시점입니다. 커즈와일과 모라벡의 말을 그대로 받아들인다면 이번 세기 중반까지 필요해질 수도 있다는 것입니다.

조이가 묻는 것은 그 다음입니다. 여기에 어떤 도덕적 함의가 있는가입니다. 종이 살아남기 위해 이렇게 빨리 지구를 벗어나야 한다면, 뒤에 남겨지는 사람들, 결국 우리 대부분인 그들의 운명에 대한 책임은 누가 받아들이는가 하는 질문입니다. 그리고 우리가 별들로 흩어진다 해도 우리 문제를 함께 가져가게 되거나 나중에 그 문제가 우리를 따라왔음을 알게 될 가능성이 크지 않은가 하는 질문입니다. 조이의 결론은 지구에서 우리 종의 운명과 은하에서 우리의 운명이 떼어낼 수 없이 연결되어 있는 것으로 보인다는 것입니다.

해설 폰 노이만 탐사선은 존 폰 노이만이 연구한 자기복제 기계 개념을 우주 탐사에 적용한 구상입니다. 탐사선이 도착한 항성계에서 현지 자원으로 자기 복제본을 만들어 다시 내보내면, 각 탐사선의 속도가 빛보다 훨씬 느려도 복제가 지수적으로 늘어나므로 은하 전체를 비교적 짧은 시간에 덮을 수 있다는 것이 핵심입니다.

이 대목이 글의 논증에서 차지하는 자리에 아이러니가 있습니다. 조이가 위험의 원천으로 지목한 바로 그 성질, 곧 자기복제가 탈출 계획의 수단으로 제안된다는 점입니다. 조이가 이 대안을 기각하는 이유도 기술적 불가능이 아니라 도덕적 문제, 즉 떠날 수 있는 소수와 남는 다수의 분리입니다. 앞에서 본 카진스키의 엘리트와 잉여 대중이라는 구도가 여기서 다시 나타납니다.

방패를 세운다는 대안

또 다른 구상은 위험한 기술 각각에 대해 방어하는 일련의 방패를 세우는 것입니다. 레이건 행정부가 제안한 전략방위구상(Strategic Defense Initiative)이 소련의 핵공격 위협에 대해 그런 방패를 설계하려 한 시도였습니다.

조이는 이 프로젝트에 관한 논의에 참여했던 아서 클라크(Arthur C. Clarke)의 관찰을 인용합니다. 막대한 비용을 들이면 탄도미사일의 몇 퍼센트만 통과시키는 국지 방어 체계를 만드는 일은 가능할지 모르지만, 크게 선전된 전국 규모 우산이라는 구상은 터무니없었다는 것입니다. 클라크는 20세기 최고의 실험물리학자일지도 모르는 루이스 앨버레즈(Luis Alvarez)가 자신에게 한 말을 전합니다. 그런 구상의 옹호자들은 아주 똑똑하지만 상식이 없는 사람들이라는 평가였습니다.

클라크의 전망은 한 걸음 더 나아갑니다. 자주 흐려지는 자신의 수정 구슬을 들여다보면 완전한 방어가 100년쯤 뒤에는 실제로 가능할지도 모른다는 것입니다. 그러나 거기에 쓰이는 기술이 부산물로 만들어낼 결과가 문제입니다. 너무나 끔찍한 무기들이 나와서 탄도미사일처럼 원시적인 것에는 아무도 신경 쓰지 않게 될 것이라는 것입니다. 이 인용의 출처로 조이는 클라크가 1998년 6월 5일 Science에 쓴 글을 들고, 그것이 그의 에세이집에 다시 실렸다고 밝힙니다.

해설 전략방위구상은 레이건 대통령이 1983년에 발표한 계획이고, 궤도와 지상에서 날아오는 탄도미사일을 요격해 전국을 덮는 방어막을 만든다는 구상이었습니다. 당시 비판자들은 스타워즈라는 별칭으로 불렀으며, 핵심 쟁점은 기술적 실현 가능성과 함께 방어가 오히려 선제공격의 유인을 키운다는 전략적 문제였습니다.

클라크가 인용한 앨버레즈는 1968년 노벨 물리학상을 받은 실험물리학자이며, 공룡 멸종의 소행성 충돌 가설을 제시한 연구에도 참여했습니다. 똑똑하지만 상식이 없다는 그의 평가가 조이에게 중요한 이유는 앞에서 세이건과 할머니를 통해 세운 상식의 권위와 같은 선에 놓여 있기 때문입니다.

실제 경로를 덧붙이면 클라크의 판단이 대체로 유지되었습니다. 미국은 2002년 탄도탄요격미사일 조약에서 탈퇴하고 제한적인 지상 기반 요격 체계를 배치했지만, 클라크가 터무니없다고 평한 전국 규모 우산은 건설되지 않았습니다.

생물권의 면역계와 자가면역

『Engines of Creation』에서 드렉슬러는 능동적인 나노기술 방패를 만들자고 제안했습니다. 생물권을 위한 일종의 면역계를 세워서, 실험실에서 탈출하거나 악의로 만들어진 온갖 종류의 위험한 복제자를 방어한다는 구상입니다.

조이의 반론은 그 방패 자체를 겨눕니다. 드렉슬러가 제안한 방패는 그 자체로 극도로 위험하다는 것입니다. 그것이 자가면역 문제를 일으켜 생물권 자체를 공격하게 되는 것을 막을 수 있는 것은 아무것도 없다는 것이 이유입니다.

조이는 여기서 데이비드 포레스트(David Forrest)의 논문 「Regulating Nanotechnology Development」을 각주로 끌어옵니다. 규제의 대안으로 엄격책임(strict liability)을 쓴다면 어떤 개발자도 그 위험의 비용, 곧 생물권의 파괴라는 비용을 내부화할 수 없게 되므로, 이론적으로는 나노기술을 개발하는 활동 자체가 결코 수행되어서는 안 된다는 결론이 나온다는 것입니다. 조이가 덧붙이는 평가는 건조합니다. 포레스트의 분석은 우리를 보호해줄 것으로 정부 규제만 남겨두는데, 그것은 마음 편한 전망이 아니라는 것입니다.

같은 어려움이 로봇공학과 유전공학에 대한 방패의 건설에도 적용됩니다. 조이의 정리는 두 갈래입니다. 이 기술들은 너무 강력해서 우리가 관심을 두는 시간 범위 안에 방어막을 칠 수 없다는 것이 하나이고, 설령 방어용 방패를 구현하는 일이 가능하다 해도 그 개발의 부작용이 우리가 막으려는 기술만큼은 위험할 것이라는 것이 다른 하나입니다.

[관점] 포레스트의 엄격책임 논증은 법경제학의 표준 도구를 끝까지 밀어붙인 결과입니다. 엄격책임은 과실 여부를 묻지 않고 손해를 일으킨 쪽에 배상 책임을 지워 위험의 비용을 행위자에게 내부화시키는 장치이며, 그렇게 되면 기대 손해보다 작은 이익을 기대하는 활동은 시장에서 자연히 사라집니다.

이 장치가 작동하려면 손해가 배상 가능한 크기여야 합니다. 손해가 생물권의 파괴라면 어떤 주체도 그것을 배상할 수 없고 보험으로 이전할 수도 없으므로, 내부화된 비용이 무한이 되어 어떤 이익으로도 상쇄되지 않습니다. 결론이 개발 금지가 되는 것은 계산의 오류가 아니라 계산의 정직한 귀결입니다.

투자의 관점에서 보면 이 논증은 한 가지 기준을 제공합니다. 보험시장이 특정 활동의 위험을 인수하기를 거부하는지, 거부한다면 그것이 정보 부족 때문인지 손해 규모의 성격 때문인지를 보는 것입니다. 조이가 정부 규제만 남는다는 결론을 불편하게 여긴 이유는, 그 경우 위험의 가격이 시장이 아니라 정치 과정에서 결정되기 때문입니다.

남는 것은 포기뿐이다

조이의 중간 결론은 소거법의 형태를 띱니다. 앞서 검토한 가능성들은 모두 바람직하지 않거나 달성 불가능하거나 둘 다라는 것입니다. 그가 보는 유일한 현실적 대안은 포기(relinquishment)입니다. 너무 위험한 기술의 개발을 제한하는 것이고, 특정 종류의 지식에 대한 우리의 추구를 제한하는 방식으로 그렇게 한다는 것입니다.

조이는 곧바로 예상되는 반론을 자기 입으로 말합니다. 지식이 좋은 것이고 새로운 진리를 찾는 일도 좋은 것임을 자신도 안다는 것입니다. 우리는 고대부터 지식을 추구해왔고, 아리스토텔레스(Aristotle)는 『형이상학』을 모든 인간은 본성적으로 알고자 한다는 단순한 진술로 열었습니다. 우리는 정보에 대한 열린 접근의 가치에 오랫동안 합의해왔고 그것을 사회의 기반 가치로 삼아왔으며, 지식에 대한 접근과 그 발전을 제한하려는 시도에서 생기는 문제들도 인식하고 있습니다. 최근에 와서 우리는 과학적 지식을 숭배하게 되었습니다.

그러나 강한 역사적 선례에도 불구하고 조건이 달라졌다는 것이 조이의 논지입니다. 지식에 대한 열린 접근과 무제한적 발전이 이제부터 우리 모두를 멸종의 분명한 위험에 놓는다면, 상식은 이 기본적이고 오래 지켜온 믿음까지도 재검토하라고 요구한다는 것입니다.

이 대목에서 조이는 니체를 끌어옵니다. 프리드리히 니체(Friedrich Nietzsche)는 19세기 말에 신이 죽었다고만 경고한 것이 아니라 과학에 대한 신앙을 두고도 경고했다는 것입니다. 부정할 수 없이 존재하는 그 신앙이 효용 계산에서 기원했을 수는 없으며, 진리에의 의지와 어떤 대가를 치르더라도 진리를 추구한다는 태도가 무용하고 위험하다는 것이 끊임없이 입증되는데도 그 신앙이 생겨났다는 지적입니다. 조이는 이것이 우리가 이제 온전히 마주한 추가적 위험, 곧 우리의 진리 추구가 낳는 결과라고 적습니다. 과학이 찾는 진리가 우리의 멸종으로 이어질 가능성이 크다면, 그것은 신을 대신하는 위험한 대체물로 간주될 수 있다는 것입니다.

[반론] 포기라는 처방은 이 글에서 가장 많은 반박을 받은 부분입니다. 커즈와일은 조이의 입장을 비판하면서 전면적 포기가 아니라 세밀한 수준의 포기와 윤리 지침을 선호했습니다. 특정 응용과 특정 능력을 선별적으로 금지하자는 것이며, 지식의 추구 자체를 제한한다는 조이의 설계와는 적용 지점이 다릅니다.

정치적 방향에서 온 비판도 있었습니다. 미국의 보수 매체 The American Spectator는 이 글이 의도하지 않았을 수도 있지만 국가주의의 근거를 제공한다고 평가했습니다. 지식의 추구를 제한하려면 그것을 감시하고 집행할 권력이 필요하고, 조이 자신이 포레스트의 분석을 두고 정부 규제만 남는 것은 마음 편한 전망이 아니라고 적었던 바로 그 문제입니다.

조이의 이력을 들어 제기된 비판도 있습니다. 포기를 주장한 이후 그가 GNR 영역의 기업에 투자하는 벤처 투자자가 되었다는 지적입니다. 이것은 논증에 대한 반박은 아니지만, 포기가 개인의 결단에 의존하는 처방일 때 그 결단이 얼마나 지속되는지를 묻는 사례로 인용됩니다.

군비경쟁이 시작되면 끝내기 어렵다

조이는 조건절로 자기 희망을 밝힙니다. 우리가 종으로서 무엇을 원하고 어디로 향하며 왜 그런지에 합의할 수 있다면 우리 미래를 훨씬 덜 위험하게 만들 수 있고, 그때 우리가 무엇을 포기할 수 있고 포기해야 하는지 이해하게 될 것이라는 것입니다.

그렇지 않을 경우의 전망도 분명합니다. 20세기에 NBC 기술을 두고 그랬던 것처럼 GNR 기술을 둘러싼 군비경쟁이 전개되는 상황을 쉽게 상상할 수 있다는 것입니다. 조이가 이것을 아마도 가장 큰 위험으로 꼽는 이유는 한 가지입니다. 그런 경쟁이 일단 시작되면 끝내기가 매우 어렵다는 것입니다.

그러면서 그는 1945년과의 결정적 차이를 짚습니다. 이번에는 맨해튼 프로젝트 때와 달리 우리가 전쟁 중이 아니고, 우리 문명을 위협하는 무자비한 적을 마주하고 있는 것도 아닙니다. 대신 우리를 몰아가는 것은 우리의 습관과 욕망, 우리의 경제 체제, 그리고 알고자 하는 경쟁적 필요입니다.

조이는 우리 모두가 집단적 가치와 윤리와 도덕이 우리 진로를 결정해주기를 바란다고 믿습니다. 지난 수천 년 동안 우리가 집단적 지혜를 더 많이 얻었더라면 이 목적을 향한 대화가 더 실현 가능했을 것이고, 우리가 막 풀어놓으려는 믿기 어려운 힘들도 지금처럼 걱정스럽지 않았을 것이라는 것입니다.

자기보존 본능이 우리를 그런 대화로 이끌 것이라고 생각할 수도 있습니다. 조이의 관찰은 그렇지 않다는 것입니다. 개인은 분명히 그런 욕구를 갖고 있지만 종으로서 우리의 행동은 우리에게 유리한 쪽이 아닌 것으로 보입니다. 핵 위협을 다룰 때 우리는 우리 자신에게도 서로에게도 자주 정직하지 않게 말했고, 그렇게 해서 위험을 크게 키웠습니다.

그것이 정치적 동기 때문이었는지, 미리 생각하지 않기로 선택했기 때문인지, 그토록 중대한 위협을 마주했을 때 두려움에서 비합리적으로 행동했기 때문인지는 자신이 알지 못한다고 조이는 적습니다. 다만 좋은 징조는 아니라는 것입니다.

[관점] 조이가 지적한 1945년과의 차이는 군비경쟁의 종료 조건에 관한 문제입니다. 전시의 경쟁은 전쟁이 끝나면 명분을 잃지만, 상업적 경쟁에는 종료 시점이 없습니다. 경쟁의 동력이 비상사태가 아니라 평시의 정상 상태일 때 속도 조절을 요구하는 일이 왜 더 어려운지가 여기서 설명됩니다.

이후 AI 논의에서 이 문제는 상향 경쟁과 바닥을 향한 경쟁이라는 대립으로 다시 정리되었습니다. 안전에 대한 투자가 경쟁에서 불이익이 되는 구조라면 경쟁은 바닥을 향하지만, 안전이 신뢰와 채택의 조건이 되는 구조라면 경쟁이 상향으로 작동할 수 있다는 것입니다. 조이의 글에는 이 가능성에 대한 검토가 없고, 그가 유인 구조의 재설계가 아니라 개인의 윤리와 국가 간 협약으로 바로 넘어가는 이유도 거기에 있습니다.

되돌릴 수 없는 판도라의 상자

유전학과 나노기술과 로봇공학의 새로운 판도라의 상자가 거의 열려 있는데도 우리는 거의 알아차리지 못한 것으로 보인다고 조이는 적습니다. 그가 강조하는 비가역성의 근거는 물질과 정보의 차이입니다. 관념은 상자에 다시 넣을 수 없고, 우라늄이나 플루토늄과 달리 채굴하고 정련할 필요가 없으며 자유롭게 복제될 수 있습니다. 일단 나오면 나온 것입니다.

조이는 마지막으로 윈스턴 처칠(Winston Churchill)의 유명한 왼손잡이 칭찬을 끌어옵니다. 미국인과 그 지도자들은 다른 모든 대안을 검토한 다음에는 반드시 옳은 일을 한다는 말입니다. 그러나 이번 경우에는 더 선견지명 있게 행동해야 한다는 것이 조이의 결론입니다. 마지막에 가서야 옳은 일을 한다는 것은 그 일을 할 기회 자체를 잃는 것일 수 있기 때문입니다.

해설 처칠의 말이 왼손잡이 칭찬인 이유는 칭찬의 형식 안에 비판이 들어 있기 때문입니다. 결국 옳은 일을 한다는 평가 안에 그 전에 가능한 모든 잘못을 먼저 해본다는 관찰이 들어 있고, 조이는 이 지체가 핵의 경우에는 통했지만 비가역적 기술에서는 통하지 않는다는 점을 지적합니다.

비가역성의 근거로 조이가 든 복제 비용의 차이는 이 글에서 가장 오래 유효한 관찰로 남았습니다. 핵확산을 통제할 수 있었던 실질적 이유는 농축 우라늄과 플루토늄이 물리적으로 희소하고 생산 시설이 크고 탐지 가능했다는 데 있습니다. 반면 모델 가중치와 설계와 합성 서열은 복제 비용이 거의 영이고, 유출되면 회수할 수단이 없습니다. 이후 가중치 공개 모델과 모델 가중치 탈취를 둘러싼 논쟁이 바로 이 비대칭 위에서 전개되었습니다.

우리가 철도를 타는 것이 아니다

조이는 소로(Thoreau)의 문장으로 이 절을 엽니다. 우리가 철도를 타는 것이 아니라 철도가 우리를 탄다는 말입니다. 조이는 이것이 우리 시대에 우리가 싸워야 하는 대상이라고 적습니다. 그러면서 질문을 두 개 세웁니다. 누가 주인이 될 것인가, 그리고 우리는 우리의 기술에서 살아남을 것인가입니다.

해설 소로의 이 문장은 『Walden』에서 나왔습니다. 그가 철도를 두고 쓴 대목은 교통수단에 대한 평가가 아니라, 철도를 놓기 위해 사람들이 들여야 하는 노동과 삶의 시간을 가리킵니다. 수단을 얻기 위해 지불하는 것이 수단으로 얻으려던 것보다 커지는 역전을 지적한 말이며, 조이가 이 문장을 포기 논의의 입구에 둔 이유가 그 역전입니다.

두 질문의 성격도 구분해둘 만합니다. 누가 주인인가는 통제의 문제이고 우리가 살아남는가는 생존의 문제인데, 조이는 두 질문을 하나로 묶습니다. 그의 논증에서 통제의 상실은 곧 생존의 문제로 번역되기 때문이며, 앞에서 본 카진스키의 첫 번째 경우, 곧 기계를 끄는 것이 자살과 다름없어지는 상태가 그 번역의 근거입니다.

안전장치 시점이 다가오고 있다

조이의 진단은 세 개의 부정으로 요약됩니다. 우리는 계획도 통제도 브레이크도 없이 이 새로운 세기로 밀려들어가고 있다는 것입니다. 그렇다면 진로를 바꾸기에는 이미 너무 멀리 왔는가 하는 질문이 남습니다. 그는 그렇지 않다고 믿지만, 아직 시도조차 하지 않고 있으며 통제력을 주장할 마지막 기회인 안전장치 시점(fail-safe point)이 빠르게 다가오고 있다고 적습니다.

그 근거로 조이가 드는 것은 당시 이미 존재하던 것들입니다. 우리는 첫 애완 로봇을 갖고 있고 상업적으로 구매할 수 있는 유전공학 기법이 있으며 나노 규모 기법은 빠르게 진전하고 있습니다.

조이가 특히 경계하는 것은 진전의 모양입니다. 이 기술들의 개발이 여러 단계를 거쳐 진행되지만, 맨해튼 프로젝트와 트리니티 실험에서 그랬던 것처럼 기술을 입증하는 마지막 단계가 반드시 크고 어렵지는 않다는 것입니다. 로봇공학이나 유전공학이나 나노기술에서 야생 상태의 자기복제로 가는 돌파가 갑작스럽게 올 수 있다는 것이며, 그것은 포유류 복제 소식을 들었을 때 우리가 느낀 놀라움을 다시 연출하게 될 것입니다.

해설 조이가 언급한 포유류 복제는 1997년에 발표된 복제 양 돌리(Dolly)입니다. 첫 애완 로봇은 1999년에 나온 소니(Sony)의 아이보(AIBO) 같은 제품을 가리킵니다. 두 사례가 함께 놓인 이유는 각각 유전공학과 로봇공학이 연구실을 벗어나 소비자 시장과 일반 뉴스의 영역으로 들어온 시점의 표지이기 때문입니다.

안전장치 시점이라는 개념은 공학에서 온 말입니다. 어떤 공정이든 되돌릴 수 있는 구간과 되돌릴 수 없는 구간의 경계가 있고, 그 경계를 넘기 전에 중단 결정을 내려야 한다는 발상입니다. 조이의 논증에서 이 개념이 중요한 이유는 그가 요구하는 것이 위험이 현실화된 뒤의 대응이 아니라 경계 이전의 결정이라는 점이며, 앞에서 본 복제 비용의 비가역성이 그 경계를 정의합니다.

미국의 일방적 생물무기 포기

그럼에도 조이는 강하고 견고한 희망의 근거가 있다고 믿습니다. 지난 세기에 대량파괴무기를 다루려 한 우리의 시도가 포기의 빛나는 사례를 하나 남겼다는 것입니다. 미국이 전제조건 없이 일방적으로 생물무기 개발을 포기한 일입니다.

조이가 정리한 그 포기의 논리는 간단합니다. 이 끔찍한 무기를 만드는 데는 엄청난 노력이 들지만, 일단 만들어지면 그때부터는 쉽게 복제되어 불량 국가나 테러 집단의 손에 들어갈 수 있다는 자각에서 나왔다는 것입니다.

그 자각에서 나온 분명한 결론도 두 갈래입니다. 이 무기를 추구하면 우리 자신에게 추가적인 위협을 만들어내게 된다는 것, 그리고 추구하지 않으면 우리가 더 안전해진다는 것입니다. 우리는 생물무기와 화학무기에 대한 이 포기를 1972년 생물무기금지협약(BWC)과 1993년 화학무기금지협약(CWC)에 담아냈습니다. 조이는 이 대목의 출처로 매슈 메셀슨(Matthew Meselson)이 1999년 1월 13일 미국예술과학아카데미(American Academy of Arts and Sciences) 제1,818차 정례회의에서 한 생물무기 문제에 관한 발표를 듭니다.

해설 조이가 각주로만 언급한 메셀슨은 이 포기의 성립 과정에 직접 관여한 인물입니다. 그는 1960년대에 미국 군비통제군축처에서 일하면서 탄저균을 생산하던 포트 데트릭(Fort Detrick)을 시찰했고, 생물무기가 핵무기보다 값싸다는 사실을 알게 되었습니다. 1925년 제네바 의정서(Geneva Protocol)가 이미 생물무기의 사용을 금지하고 있었지만 미국은 비준하지 않은 상태였고, 메셀슨은 비준해야 한다고 주장하는 보고서를 썼습니다. 헨리 키신저(Henry Kissinger)가 그 보고서를 리처드 닉슨(Richard Nixon)에게 전달했습니다.

그 결과가 조이가 말한 일방적 포기입니다. 닉슨은 1969년이 끝나기 전에 생물무기를 포기했고, 메셀슨의 두 번째 보고서는 그가 자연 유래 독소만이 아니라 모든 독소 무기를 포기하도록 이끌었습니다. 닉슨은 메셀슨의 조언에 따라 제네바 의정서를 상원에 다시 제출했고, 공격용 생물학 연구를 포기하며 공격용 생물무기 비축분의 폐기를 명령했습니다. 메셀슨과 동료들은 사용만이 아니라 비축과 공격용 연구까지 금지하고 검증 체계를 담는 더 강한 조약을 원했고, 그 노력이 1972년에 서명된 생물무기금지협약으로 이어졌습니다.

핵무기 100기라는 제안

50년 넘게 우리와 함께 살아온 핵무기의 위협에 관해서는 조이의 평가가 덜 낙관적입니다. 미국 상원이 최근 포괄적핵실험금지조약(CTBT)을 부결시킨 것이 핵무기를 포기하는 일이 정치적으로 쉽지 않을 것임을 분명히 보여준다는 것입니다.

그러면서도 그는 기회를 봅니다. 냉전의 종식과 함께 다극적 군비경쟁을 피할 독특한 기회가 있다는 것입니다. 생물무기와 화학무기의 포기 위에 쌓아올려 핵무기 폐기를 성공시킨다면, 그것이 위험한 기술을 포기하는 습관을 만들어가는 데 도움이 될 수 있다는 것입니다.

조이는 괄호 안에 구체적인 수치를 덧붙입니다. 전 세계에서 100기만 남기고 핵무기를 없앤다면 이 멸종 위협을 제거할 수 있다는 것입니다. 100기는 대략 제2차 세계대전 전체의 파괴력에 해당하며, 완전 폐기보다 상당히 쉬운 과제라는 것이 그의 계산입니다. 이 제안의 출처로 조이는 폴 도티(Paul Doty)가 1999년 12월 9일 Nature 402호에 쓴 글을 듭니다. 핵무기 비축분이 여전히 문명에 가장 큰 위협이라는 잊힌 위험에 관한 기고였습니다.

[사후 맥락] 조이가 희망을 걸었던 두 경로 모두 그 뒤 진전되지 않았습니다. 포괄적핵실험금지조약은 발효하지 않았고, 조약 제14조가 요구하는 44개 특정 국가의 비준이라는 조건이 충족되지 않은 상태입니다. 서명국은 187개국에 이르지만 미국과 중국을 포함한 여덟 개 주요 국가가 비준하지 않았고, 러시아는 2023년에 비준을 철회했습니다.

최근 흐름은 오히려 반대 방향입니다. 트럼프 행정부는 미국 비준을 위한 상원의 권고와 동의를 구하지 않겠다고 밝혔고, 도널드 트럼프는 2025년 10월 동등한 조건에서 미국의 핵실험 재개를 지시할 수 있다는 뜻을 내놓았습니다. 미국 핵무기 연구소장들과 국가핵안보국은 폭발 실험이 미국 보유 무기의 신뢰성 유지에 필요하지 않다고 결론 내린 상태입니다.

핵무기를 100기로 줄인다는 제안은 현실의 보유량과 비교할 수 없는 거리에 있습니다. 조이가 포기의 습관을 만드는 출발점으로 삼으려 했던 사례가 26년 동안 진전되지 않았다는 사실은, 그의 처방에서 가장 실현 가능하다고 제시된 부분이 가장 움직이지 않은 부분이었음을 보여줍니다.

검증은 투명성의 문제다

포기를 검증하는 일은 어려운 문제이지만 풀 수 없는 문제는 아니라고 조이는 봅니다. 생물무기금지협약과 다른 조약들의 맥락에서 관련된 작업을 이미 많이 해두었다는 점이 다행이라는 것입니다.

주된 과제는 그 작업을 성격이 다른 대상에 적용하는 것입니다. 본래부터 군사적이기보다 훨씬 더 상업적인 기술에 적용해야 한다는 것입니다. 여기서 실질적으로 필요한 것은 투명성이라고 조이는 적습니다. 그 이유를 그는 비례 관계로 설명합니다. 검증의 어려움은 포기된 활동과 정당한 활동을 구별하는 어려움에 정비례한다는 것입니다.

[관점] 이 비례 명제가 이 절에서 가장 유용한 분석 도구입니다. 검증 체제의 설계 난이도를 기술의 위험도가 아니라 금지된 활동과 허용된 활동 사이의 구별 가능성으로 측정하라는 지침이기 때문입니다. 핵실험은 지진파와 방사성 핵종으로 탐지되므로 구별이 쉬웠고, 그래서 조약의 검증 설계가 가능했습니다.

이 기준을 적용하면 기술마다 규율 가능성의 순서가 달라집니다. 유전자 합성은 주문 서열을 선별할 수 있으므로 구별 지점이 비교적 명확하고, 연산 자원은 집중되어 있고 측정 가능하므로 임계값을 걸 수 있습니다. 반면 알고리즘 연구와 모델 사후학습은 정당한 활동과 구별되는 지점이 거의 없습니다.

이후 AI 규율 논의에서 연산량 임계값, 유전자 합성 선별, 데이터센터 보고 의무 같은 수단이 반복해서 제안되는 이유가 조이의 비례 명제로 설명됩니다. 이들은 위험이 가장 큰 지점이 아니라 구별이 가장 쉬운 지점에 걸린 통제이며, 검증가능성을 기준으로 선택된 접점입니다.

1945년이 더 단순했던 이유

조이는 1945년의 상황이 지금 우리가 마주한 상황보다 단순했다고 솔직하게 인정합니다. 세 가지 이유를 듭니다. 핵기술은 상업적 용도와 군사적 용도로 합리적으로 분리될 수 있었고, 원자실험의 성격과 방사능을 측정하기 쉬웠다는 점이 감시를 도왔으며, 군사적 응용에 관한 연구는 로스앨러모스 같은 국립연구소에서 수행되고 그 결과를 가능한 한 오래 비밀로 유지할 수 있었습니다.

GNR 기술은 이 세 조건을 모두 충족하지 못합니다. 상업적 용도와 군사적 용도로 분명하게 나뉘지 않고, 시장에서의 잠재력을 감안하면 국립연구소에서만 추구하는 상황을 상상하기 어렵습니다. 널리 상업적으로 추구되는 조건에서 포기를 집행하려면 생물무기에 쓰는 것과 유사한 검증 체제가 필요하지만 전례 없는 규모로 필요하다는 것이 조이의 결론입니다.

그 결과로 불가피하게 생기는 것이 긴장입니다. 개인의 사생활과 독점적 정보를 지키려는 욕구가 한쪽에 있고, 우리 모두를 보호하기 위한 검증의 필요가 다른 쪽에 있습니다. 조이는 이 사생활과 행동의 자유의 상실에 강한 저항이 있을 것임을 의심하지 않는다고 적습니다.

사이버공간에서의 검증과 지식재산

특정 GNR 기술의 포기를 검증하는 일은 물리적 시설에서만이 아니라 사이버공간에서도 이루어져야 한다고 조이는 봅니다. 그가 꼽는 결정적 쟁점은 수용성의 문제입니다. 독점적 정보가 지배하는 세계에서 필요한 투명성을 받아들일 수 있게 만드는 일이며, 그 방법으로는 지식재산에 대한 새로운 형태의 보호를 제공하는 길을 짐작합니다.

[한국 관점] 조이가 말한 검증의 접점이 한국에서는 인공지능 기본법으로 구체화되었습니다. 이 법은 2024년 12월 국회를 통과해 2026년 1월 22일 시행되었고, 과학기술정보통신부가 시행 하루 전에 이를 알렸습니다. 세계에서 두 번째로 제정된 AI 기본법이라는 평가가 붙었습니다.

고영향 인공지능에 부과되는 의무는 조이가 말한 투명성의 요구와 성격이 같습니다. 사업자는 위험관리 방안을 수립해 운영하고, 주요 판단 기준에 대한 설명 방안을 마련해 이행하며, 이용자 보호 방안을 운영하고, 사람의 관리와 감독을 유지하며, 이행한 조치의 기록을 작성해 보관해야 합니다. 고영향 인공지능이나 생성형 AI가 제품과 서비스에 쓰일 때는 이용자에게 사전에 고지해야 하고, 생성 결과물과 딥페이크 결과물에는 이용자가 명확히 인식할 수 있는 표시를 해야 합니다. 시행령은 사람이 최종 판단에 참여해 통제 가능하다고 인정되는 경우를 고영향 범주에서 제외하며, 판단 기준은 에너지와 보건의료, 채용, 대출 심사, 교육을 포함한 10개 분야에 걸쳐 있습니다.

가장 눈에 띄는 것은 안전 의무의 적용 범위입니다. 강화된 안전 의무는 누적 학습 연산량이 10의 26제곱 FLOPs 이상이고 최첨단 기술을 사용하며 기본권에 광범위하고 중대한 영향을 줄 수 있는 위험이 있는 경우라는 세 조건을 모두 충족할 때만 적용됩니다. 조이의 비례 명제대로 측정 가능하고 구별 가능한 지점, 곧 연산량에 임계값을 건 설계입니다. 다만 정부는 혼란을 줄이고 기업의 준비 기간을 두기 위해 최소 1년간 규제를 유보하기로 했고, 이 기간에는 과징금 관련 계도가 적용되며 실태조사는 인명 피해나 인권 침해 같은 극히 예외적인 경우에만 하기로 했습니다.

히포크라테스 선서와 베테의 호소

준수를 검증하는 일에는 또 하나가 필요하다고 조이는 적습니다. 과학자와 기술자가 히포크라테스 선서에 준하는 강한 윤리 규범을 채택하는 것, 그리고 필요할 때 높은 개인적 대가를 치르더라도 내부고발을 감행할 용기를 갖는 것입니다.

조이는 이것이 하나의 호소에 대한 응답이 될 것이라고 봅니다. 히로시마로부터 50년이 지난 시점에 노벨상 수상자이자 맨해튼 프로젝트 생존 참여자 가운데 가장 원로였던 한스 베테(Hans Bethe)가 모든 과학자에게 호소한 내용입니다. 핵무기와 잠재적 대량파괴무기를 창조하고 개발하고 개량하고 제조하는 작업을 중단하고 손을 떼라는 것이었습니다. 조이는 각주에서 베테가 1997년 빌 클린턴(Bill Clinton) 대통령에게 보낸 서신도 함께 보라고 안내합니다.

21세기에 이 호소가 요구하는 것을 조이는 두 단어로 정리합니다. 경계와 개인적 책임입니다. NBC 기술과 GNR 기술 양쪽에서 일하려는 사람들이 대량파괴무기와 지식으로 가능해진 대량파괴를 구현하지 않도록 그 둘을 갖추어야 한다는 것입니다.

[사후 맥락] 조이가 요구한 내부고발의 조건은 그 뒤 AI 업계에서 실제 쟁점이 되었습니다. 2024년 6월 오픈AI와 앤트로픽, 구글 딥마인드의 현직과 전직 직원들이 경고할 권리를 주장하는 공개서한을 냈고, 요슈아 벤지오와 제프리 힌턴, 스튜어트 러셀이 이를 지지했습니다.

서한의 요구는 조이가 말한 개인적 대가의 구조를 정확히 겨냥합니다. AI 위험에 관한 비방금지 조항을 없앨 것, 우려를 제기할 수 있는 익명 경로를 만들고 작동하게 할 것, 내부고발자 보호와 보복 금지 조치를 확대할 것입니다.

조이의 처방과 이 서한의 차이가 25년의 간격을 보여줍니다. 조이는 개인의 용기를 요구했지만 서한의 서명자들은 용기만으로는 부족하다는 전제에서 계약과 제도의 변경을 요구했습니다. 앞에서 본 브라운과 듀기드의 반박, 곧 개인의 양심적 거부는 부적절한 대응이고 제도적 대응이 필요하다는 지적이 이 지점에서 당사자들의 요구로 되돌아온 셈입니다.

내려놓을 수 있는 것의 수에 비례하는 부

조이는 소로의 또 다른 문장을 끌어옵니다. 우리가 그냥 내버려둘 수 있는 것의 수에 비례해 부유해질 것이라는 말입니다.

그 문장에서 조이가 끌어내는 질문은 비용에 관한 것입니다. 우리는 각자 행복하기를 추구하지만, 더 많은 지식과 더 많은 물건을 얻기 위해 완전한 파괴라는 그토록 높은 위험을 감수해야 하는지는 물어볼 만한 일로 보인다는 것입니다. 상식이 말해주는 바는 두 가지입니다. 우리의 물질적 필요에는 한계가 있다는 것, 그리고 어떤 지식은 너무 위험해서 포기하는 것이 최선이라는 것입니다.

해설 소로의 두 문장은 같은 책에서 나왔고 같은 계산을 다룹니다. 앞서 나온 철도 문장이 수단을 얻기 위해 지불하는 삶의 비용을 지적했다면, 이 문장은 그 계산을 부의 정의로 바꿔놓습니다. 소유한 것이 아니라 필요하지 않은 것의 목록이 부를 결정한다는 발상입니다.

조이가 이 문장을 택한 이유는 포기를 결핍이 아니라 선택으로 재서술할 수 있기 때문입니다. 앞에서 그는 포기를 위험 회피의 유일한 수단으로 제시했지만, 이 절에서는 그것을 더 나은 삶의 조건으로 제시합니다. 같은 처방에 대한 두 번째 논거이며, 첫 번째 논거가 두려움에 기대는 데 반해 이것은 가치에 기댑니다.

거의 불멸을 추구하는 일의 비용

조이가 다음으로 겨누는 것은 불멸이라는 목표 자체입니다. 거의 불멸에 이르는 일도 비용을 고려하지 않은 채, 그에 상응하는 멸종 위험의 증가를 고려하지 않은 채 추구해서는 안 된다는 것입니다.

그러면서 그는 전제 하나를 흔듭니다. 불멸은 어쩌면 최초의 유토피아적 꿈이겠지만 가능한 유일한 유토피아적 꿈은 분명히 아니라는 것입니다. 여기서부터 이 절의 논의는 기술의 위험에서 목적의 선택으로 옮겨갑니다.

[사후 맥락] 조이가 밀어내려 한 그 목표는 25년 뒤 더 선명한 형태로 되돌아왔습니다. 다리오 아모데이는 「Machines of Loving Grace」에서 강력한 AI가 생물학 연구를 압축해 수십 년의 진전을 몇 년에 담아낼 수 있다고 전망하면서, 압축된 21세기라는 표현과 수명의 탈출 속도라는 개념을 함께 제시했습니다.

두 글의 구조가 거울처럼 대칭입니다. 조이는 기술이 가져올 수명 연장을 인정하면서도 그 추구에 따르는 멸종 위험의 증가를 계산에 넣으라고 요구했고, 아모데이는 같은 위험을 인정하면서도 그 이익의 크기를 계산에 넣으라고 요구합니다. 같은 저울에 같은 두 항목을 올려놓고 반대 결론에 도달하는 셈이며, 차이는 각자가 추정하는 두 항목의 크기에 있습니다.

아탈리의 세 유토피아

조이는 최근에 저술가이자 학자인 자크 아탈리(Jacques Attali)를 만나는 행운을 얻었다고 적습니다. 아탈리의 책 『Lignes d’horizons』은 영어판 제목이 다르게 붙었고, 다가오는 유비쿼터스 컴퓨팅 시대에 대한 Java와 Jini의 접근에 영감을 주는 데 도움이 되었다고 그는 밝힙니다. 조이가 이 절에서 소개하는 것은 아탈리의 새 책 『Fraternités』인데, 유토피아에 대한 우리의 꿈이 시간에 따라 어떻게 변해왔는지를 서술한 작업입니다.

아탈리가 그리는 첫 번째 단계는 영원입니다. 사회의 새벽에 사람들은 지상에서의 삶을 고통의 미궁에 지나지 않는 것으로 보았고, 그 끝에 죽음을 통해 신들과 함께하는 자리와 영원으로 이어지는 문이 서 있다고 여겼습니다.

두 번째 단계는 자유입니다. 히브리인들과 그 다음 그리스인들에 이르러, 일부 사람들이 감히 신학적 요구에서 스스로를 풀어내고 자유가 꽃피는 이상적인 도시를 꿈꾸었다는 것입니다.

세 번째 단계는 평등입니다. 다른 사람들은 시장 사회의 전개를 지켜보면서 일부의 자유가 다른 이들의 소외를 수반하게 된다는 것을 이해하고 평등을 추구했다는 것입니다. 조이는 아탈리가 자신에게 이 세 가지 서로 다른 유토피아적 목표가 오늘 우리 사회에서 어떻게 긴장 관계로 공존하는지를 이해하도록 도와주었다고 적습니다.

해설 아탈리는 프랑스의 경제·사회 이론가이자 저술가이며 고위 공직자입니다. 1981년부터 프랑수아 미테랑(François Mitterrand) 대통령의 보좌관으로 일했고 대통령 임기 첫 10년간 그의 셰르파 역할을 맡아 1982년과 1989년 주요 7개국 정상회의를 조직했습니다. 1991년 4월부터 1993년 6월까지 유럽부흥개발은행(EBRD)의 초대 총재를 지냈는데, 이 은행의 설립을 1989년에 발의하고 파리 교섭회의를 주재한 당사자이기도 합니다.

조이가 인용한 『Fraternités』는 1999년에 나왔고, 『Lignes d’horizons』은 1990년에 미국 국력의 상대적 쇠퇴를 예측한 책으로 알려져 있습니다. 조이가 이 책에서 영감을 받았다고 말하는 대목은 유비쿼터스 컴퓨팅의 설계 방향에 관한 것이며, 그가 이 글에서 기술 설계와 유토피아 구상을 같은 저자에게서 가져오고 있다는 점이 흥미롭습니다.

네 번째 유토피아, 형제애

아탈리가 이어서 서술하는 것은 네 번째 유토피아입니다. 형제애이고, 그 토대는 이타심입니다.

조이가 이 네 번째 유토피아에서 결정적이라고 보는 성질은 하나입니다. 형제애만이 개인의 행복을 다른 사람들의 행복과 연결시키며, 그래서 스스로 지속될 수 있다는 약속을 준다는 것입니다. 앞의 세 유토피아는 각각의 추구가 다른 사람의 조건을 악화시킬 수 있지만 형제애는 그렇지 않다는 것입니다.

조이는 이 구분이 커즈와일의 꿈에 대한 자신의 문제의식을 명료하게 해주었다고 적습니다. 영원에 대한 기술적 접근, 곧 로봇공학을 통한 거의 불멸은 가장 바람직한 유토피아가 아닐 수 있으며 그 추구에는 분명한 위험이 따른다는 것입니다. 그가 내놓는 제안은 조심스러운 형태를 띱니다. 어쩌면 우리는 우리의 유토피아적 선택을 다시 생각해야 할지도 모른다는 것입니다.

[관점] 이 대목에서 조이의 논증이 성격을 바꿉니다. 앞의 절들은 위험의 크기를 다투었지만 여기서는 목표의 선택을 다툽니다. 기술 논쟁을 목적 논쟁으로 되돌리는 이 이동이 중요한 이유는, 위험 추정치에 대한 합의 없이도 방향에 대한 결론에 도달할 수 있는 길을 열기 때문입니다.

정책의 언어로 옮기면 이것은 무엇을 금지할지가 아니라 무엇에 투자할지의 문제가 됩니다. 수명 연장과 능력 증강에 자원을 집중하는 경로와 질병 부담의 감소와 접근성 확대에 집중하는 경로는 같은 생명공학 역량을 쓰면서도 결과의 분배가 전혀 다르며, 전자는 지불 능력에 따라 이익이 쌓이고 후자는 그렇지 않습니다. 조이가 앞에서 불평등한 종으로의 분화를 민주주의의 문제로 규정한 것과 같은 축입니다.

다만 조이는 이 선택을 누가 어떻게 하는지는 말하지 않습니다. 유토피아의 선택이 집단적 결정이라면 그 결정을 내리는 절차가 필요한데, 그는 종으로서 합의할 수 있다면이라는 조건절을 반복하면서 그 절차를 공백으로 남겨둡니다. 이 글의 처방이 끝까지 제도가 아니라 호소의 형태를 띠는 이유입니다.

달라이 라마와 보편적 책임

새로운 윤리적 토대를 어디서 찾을 수 있는가 하는 질문에 조이는 책 한 권으로 답합니다. 달라이 라마(Dalai Lama)의 『Ethics for the New Millennium』에 담긴 생각들이 매우 도움이 되었다는 것입니다.

조이가 정리한 그 주장은 두 갈래입니다. 아마도 잘 알려져 있으나 거의 유념되지 않는 것으로, 가장 중요한 일은 우리가 다른 사람들에 대한 사랑과 연민을 가지고 삶을 영위하는 것이라는 주장이 하나입니다. 다른 하나는 우리 사회가 보편적 책임과 우리의 상호의존성에 대한 더 강한 관념을 발전시켜야 한다는 주장입니다. 달라이 라마는 개인과 사회를 위한 긍정적 윤리 행위의 기준을 제시하는데, 조이는 그것이 아탈리의 형제애 유토피아와 조화를 이루는 것으로 보인다고 적습니다.

해설 달라이 라마가 이 책에서 쓰는 보편적 책임은 특정 종교의 교리가 아니라 세속 윤리의 틀로 제시된 개념입니다. 모든 사람이 행복을 원하고 고통을 피하려 한다는 공통점에서 출발해, 내 행복이 타인의 조건에 의존한다는 사실 인식을 윤리의 토대로 삼는 구성입니다.

조이가 이 책을 가져오는 방식에도 일관성이 있습니다. 앞에서 그는 세이건과 자기 할머니에게서 상식의 권위를 찾았고, 여기서는 종교 지도자에게서 윤리의 토대를 찾습니다. 과학적 지식의 숭배를 재검토하자는 그의 요구가 과학 외부의 권위를 끌어오는 방식으로 실행되고 있는 셈이며, 이것은 이 글이 과학 공동체 안에서 받은 반발의 한 원인이기도 합니다.

무엇이 사람을 행복하게 하는가

달라이 라마의 또 다른 주장으로 조이가 꼽는 것은 행복의 조건에 관한 것입니다. 우리는 무엇이 사람들을 행복하게 만드는지 이해해야 하고, 강한 증거가 가리키는 바를 인정해야 한다는 것입니다. 물질적 진보도 지식의 힘을 추구하는 일도 그 열쇠가 아니며, 과학과 과학적 추구만으로 할 수 있는 일에는 한계가 있다는 것입니다.

조이는 서구의 행복 관념이 그리스인들에게서 온 것으로 보인다고 적습니다. 그들이 내린 정의는 활력을 펼칠 여지를 주는 삶 안에서 그 활력을 탁월함의 선을 따라 발휘하는 것이었습니다. 조이가 각주로 든 출처는 에디스 해밀턴(Edith Hamilton)의 『The Greek Way』 1942년판 35면입니다.

여기서 조이가 끌어내는 요구가 두 개로 갈립니다. 첫째는 분명합니다. 앞으로 무엇이 오든 그 안에서 행복하려면 우리 삶에서 의미 있는 도전과 충분한 여지를 찾아야 한다는 것입니다.

둘째는 더 급진적입니다. 우리의 창조적 힘을 위한 대안적 출구를 영구적 경제성장의 문화를 넘어서 찾아야 한다고 그는 믿습니다. 이 성장은 수백 년 동안 대체로 축복이었지만 우리에게 순수한 행복을 가져다주지는 않았고, 이제 우리는 과학과 기술을 통한 제약 없고 방향 없는 성장의 추구와 그에 따르는 분명한 위험들 사이에서 선택해야 한다는 것입니다.

해설 조이가 옮긴 그리스적 행복 정의는 에우다이모니아를 영어로 풀어쓴 것입니다. 쾌락이나 만족의 상태가 아니라 능력을 제대로 발휘하는 활동 자체를 행복으로 보는 관점이며, 탁월함의 선을 따른다는 표현이 가리키는 것이 아레테입니다.

이 정의가 조이의 논증에 필요한 이유는 포기의 비용을 상쇄해주기 때문입니다. 행복이 소유의 양에 달려 있다면 성장을 포기하는 일은 행복을 포기하는 일이 되지만, 행복이 능력의 발휘에 달려 있다면 발휘의 대상을 바꾸는 것으로 충분합니다. 조이가 창조적 힘의 대안적 출구를 말할 때 전제하는 것이 이 교체 가능성입니다.

[한국 관점] 물질적 진보가 행복의 열쇠가 아니라는 주장을 가장 극적인 형태로 시험한 나라가 한국입니다. 한 세대 만에 최빈국에서 고소득국으로 이동한 압축 성장은 조이가 비판하는 영구적 경제성장의 문화를 국가의 조직 원리로까지 만들었고, 그 성과는 부인할 수 없습니다.

그러면서 그 성장이 재생산으로 번역되지 않는다는 지표가 함께 나타났습니다. 통계청 집계로 2024년 한국의 합계출산율은 0.75명이었고, 2023년의 0.72명에서 0.03명 오르며 9년 만에 처음 반등했습니다. 같은 집계에서 OECD 평균은 1.51명, 한국 다음으로 낮은 스페인은 1.16명이었습니다. 한국의 수치는 OECD 평균의 절반 수준입니다.

조이의 질문을 한국에 적용하면 두 가지가 됩니다. 성장의 포기가 아니라 성장의 방향 전환이 가능한지, 그리고 조이가 말한 의미 있는 도전과 충분한 여지가 장시간 노동과 높은 경쟁 압력으로 구성된 사회에서 어떻게 확보될 수 있는지입니다. 조이가 서구 사회를 두고 던진 질문이 한국에서는 더 짧은 시간에 더 압축된 형태로 제기되고 있습니다.

1년이 지난 자리에서

조이는 커즈와일과 설을 처음 만난 뒤 1년 넘게 지났다고 적으며 마지막 절을 엽니다. 그는 주변에서 희망의 근거를 본다고 말합니다. 주의와 포기를 요구하는 목소리들에서, 그리고 현재 우리가 처한 곤경에 대해 자신만큼 걱정하는 사람들을 발견한 데서입니다.

함께 깊어진 것은 책임감입니다. 다만 그 책임감이 향하는 대상이 중요합니다. 이미 해놓은 작업에 대한 것이 아니라 여러 과학이 합류하는 지점에서 앞으로 하게 될지도 모르는 작업에 대한 책임감이라는 것입니다.

해설 여러 과학이 합류하는 지점이라는 표현은 앞의 서술로 돌아가는 말입니다. 조이는 정보기술의 큰 진전이 컴퓨터 과학자가 아니라 물리과학자의 작업에서 온다고 적었고, 자신이 카오스 이론과 복잡계와 분자전자공학을 물리학자와 생물학자에게서 배웠다고 밝혔습니다. 연산과 생물학과 물질과학이 만나는 자리가 그가 말하는 합류 지점입니다.

그가 과거의 작업이 아니라 미래의 작업에 책임을 느낀다고 말하는 방식도 짚어둘 만합니다. 유닉스와 Java는 돌이킬 수 없고 그에 대한 반성은 아무것도 바꾸지 못하지만, 아직 하지 않은 작업은 선택의 대상입니다. 책임을 과거의 평가가 아니라 미래의 결정으로 재정의하는 이 전환이 앞에서 요구한 개인적 책임의 실제 내용입니다.

이미 다 나온 이야기라는 반응

조이가 이 절에서 길게 다루는 것은 동료들의 반응입니다. 위험을 알고 있는 많은 사람들이 여전히 이상하게 침묵하는 것으로 보인다는 것입니다. 추궁하면 그들은 정해진 응수를 꺼낸다고 그는 적습니다. 이것은 새로운 이야기가 아니라는 반박이며, 무엇이 일어날 수 있는지를 자각하고 있다는 사실 자체가 충분한 대응이라는 듯한 태도입니다.

조이가 옮긴 구체적인 말들은 세 가지입니다. 하루 종일 이 문제를 연구하는 생명윤리학자들로 가득한 대학들이 있다는 말, 이 모든 것이 전에 이미 쓰였고 그것도 전문가들이 썼다는 말, 그리고 당신의 걱정과 논증은 이미 낡은 이야기라는 불만입니다.

조이의 답은 질문의 연속입니다. 그는 이 사람들이 자기 두려움을 어디에 숨기는지 모르겠다고 적습니다. 복잡한 체계의 설계자로서 자신은 일반론자의 자리에서 이 영역에 들어간다는 것을 그는 인정합니다. 그러나 그것이 자기 우려를 깎아내릴 이유가 되어야 하는지를 묻습니다. 얼마나 많은 것이 그토록 권위 있게 쓰이고 말해지고 강의되었는지 자신도 알지만, 그것이 그 내용이 사람들에게 도달했다는 뜻인지, 우리 앞의 위험을 할인해도 된다는 뜻인지를 묻는 것입니다.

[관점] 이 반응의 구조를 따져볼 필요가 있습니다. 전문 문헌이 존재한다는 사실은 그 문제가 다루어졌음을 뜻하지 결정이 바뀌었음을 뜻하지 않습니다. 생명윤리 연구의 축적과 생명공학 투자의 방향 사이에는 인과 경로가 필요하고, 그 경로가 없으면 문헌의 존재는 오히려 안심의 근거로 쓰입니다.

이후 AI 논의에서 이 양상은 안전 연극이라는 이름으로 지적되었습니다. 위험에 대한 공개적 인정과 전담 조직의 존재가 실제 의사결정을 제약하지 않는 상태를 가리키는 말이며, 조이가 2000년에 관찰한 이상한 침묵의 다른 형태입니다. 앞에서 본 2023년 멸종 위험 성명의 서명자들이 동시에 개발 속도를 높였다는 사실이 같은 구조를 보여줍니다.

조이가 자신을 일반론자로 규정하는 대목도 전략적입니다. 전문성의 위계로 발언 자격을 따지는 반박에 대해, 그는 자격을 주장하는 대신 질문의 성격을 바꿉니다. 문제가 전문 분야 안에 있는지 분야들 사이에 있는지를 묻는 것이며, 분야들 사이의 문제라면 어떤 전문가도 전체를 보지 않는다는 것이 그의 논지입니다.

아는 것은 행동하지 않을 근거가 아니다

조이가 이 절에서 내놓는 명제는 한 문장으로 정리됩니다. 아는 것이 행동하지 않을 근거가 되지는 않는다는 것입니다.

그 뒤에 그는 질문 하나를 더 붙입니다. 지식이 우리가 우리 자신을 향해 휘두르는 무기가 되었다는 것을 우리가 의심할 수 있는가 하는 질문입니다.

원자과학자들이 보여준 것

원자과학자들의 경험이 분명하게 보여주는 것으로 조이는 세 가지를 꼽습니다. 개인적 책임을 질 필요, 일이 너무 빨리 진행될 위험, 그리고 어떤 과정이 자기만의 생명을 가지게 되는 방식입니다.

그가 거기서 끌어내는 경고는 속도에 관한 것입니다. 우리도 그들이 그랬듯이 거의 순식간에 극복할 수 없는 문제를 만들어낼 수 있다는 것입니다. 따라서 우리 발명의 결과에 비슷하게 놀라고 충격받지 않으려면 앞단에서 더 많이 생각해야 한다는 것이 결론입니다.

해설 조이가 말한 거의 순식간이라는 표현에는 구체적인 기간이 들어 있습니다. 앞에서 본 대로 트리니티 실험은 1945년 7월이었고 소련의 원자폭탄 실험은 1949년이었습니다. 군비경쟁이라는 극복할 수 없는 문제가 성립하는 데 4년이 걸렸습니다.

앞단에서 더 많이 생각한다는 요구가 구체적으로 무엇인지는 이 글에서 끝까지 열려 있습니다. 애치슨-릴리엔솔 보고서는 폭탄이 이미 만들어진 뒤에 작성되었고, 바루크 계획은 그보다 더 뒤였습니다. 조이가 안전장치 시점을 강조한 이유가 이 순서의 문제이며, 그가 요구하는 것은 더 나은 사후 대응이 아니라 사전 결정입니다.

도구를 만드는 사람의 의무

조이는 자신이 계속하고 있는 전문 작업이 소프트웨어의 신뢰성을 개선하는 일이라고 밝힙니다. 소프트웨어는 도구이고, 도구를 만드는 사람으로서 자신은 그 도구가 어떤 용도로 쓰이는지와 씨름해야 한다는 것입니다.

그가 지금까지 지켜온 믿음은 소프트웨어를 더 신뢰할 수 있게 만드는 일이 그 많은 용도를 감안할 때 세계를 더 안전하고 더 나은 곳으로 만든다는 것이었습니다. 그러면서 그는 조건절을 하나 세웁니다. 만약 그 반대라고 믿게 된다면 자신은 도덕적으로 이 작업을 중단할 의무를 지게 된다는 것입니다. 그리고 결정적인 문장이 이어집니다. 이제 그런 날이 올지도 모른다고 상상할 수 있다는 것입니다.

이 모든 것이 자신을 분노하게 만들지는 않지만 적어도 조금은 우울하게 만든다고 조이는 적습니다. 이제부터 자신에게 진보는 다소 씁쓸하고 달 것이라는 말로 그는 이 대목을 닫습니다.

[관점] 도구 제작자의 딜레마가 여기서 특이한 형태를 띱니다. 신뢰성의 개선은 통상 안전의 개선과 같은 방향으로 이해되지만, 조이의 논증에서는 반대 방향으로도 작동합니다. 신뢰할 수 있는 소프트웨어는 더 중요한 일에 맡길 수 있고, 더 중요한 일에 맡겨진 체계는 실패할 때 더 큰 피해를 냅니다.

이 구조는 범용 기술에서 피하기 어렵습니다. 특정 응용을 겨냥한 기술은 용도를 제한할 수 있지만 신뢰성이나 성능 같은 일반적 개선은 모든 용도에 동시에 적용되며, 좋은 용도와 나쁜 용도를 가려서 적용되지 않습니다. 이중용도라는 말이 통상 특정 품목을 가리키는 데 반해, 조이가 여기서 지적하는 것은 일반적 역량 자체의 이중용도성입니다.

조이가 세운 조건절의 의미도 분명히 해둘 만합니다. 그는 작업을 중단하겠다고 선언하지 않고, 중단할 의무가 생기는 조건을 명시한 뒤 그 조건이 충족될 가능성을 인정합니다. 앞에서 그가 과학자들에게 요구한 윤리 규범이 자기 자신에게 적용되는 모습이며, 동시에 그 요구가 선언이 아니라 유보의 형태로만 실행되고 있다는 점도 함께 드러납니다.

트레이시의 얼굴

마지막으로 조이는 영화 「Manhattan」의 한 장면을 불러옵니다. 우디 앨런(Woody Allen)이 소파에 누워 녹음기에 말하는 끝에서 두 번째 장면입니다. 그가 쓰고 있는 것은 단편소설인데, 사람들이 스스로에게 불필요하고 신경증적인 문제를 만들어내는 이야기입니다. 그렇게 하면 우주에 관한 더 풀 수 없고 더 무서운 문제들을 다루지 않을 수 있기 때문입니다.

그 장면에서 인물은 스스로를 하나의 질문으로 이끕니다. 삶은 왜 살 만한가 하는 질문입니다. 그리고 자신에게 삶을 살 만하게 만드는 것들을 떠올립니다. 그루초 마르크스(Groucho Marx), 윌리 메이스(Willie Mays), 주피터 교향곡의 2악장, 루이 암스트롱(Louis Armstrong)이 녹음한 「Potato Head Blues」, 스웨덴 영화들, 플로베르(Flaubert)의 『Sentimental Education』, 말론 브란도(Marlon Brando), 프랭크 시나트라(Frank Sinatra), 세잔(Cézanne)이 그린 사과와 배, 샘 워(Sam Wo’s)의 게 요리, 그리고 마지막으로 결정적인 한 가지가 옵니다. 그가 사랑하는 트레이시(Tracy)의 얼굴입니다.

조이가 여기서 끌어내는 결론이 이 글의 마지막 논거입니다. 우리 각자에게는 소중한 것들이 있고, 그것들을 돌보는 과정에서 우리는 우리 인간성의 본질을 찾아낸다는 것입니다. 그래서 결국 우리가 돌보는 능력을 크게 가지고 있기 때문에 지금 우리 앞의 위험한 문제들을 마주하게 될 것이라고 낙관한다고 그는 적습니다.

해설 이 장면이 글의 마지막 논거로 선택된 이유는 목록의 성격에 있습니다. 열거된 것들 가운데 기술은 하나도 없고, 전부 구체적이고 대체 불가능한 것들입니다. 앞에서 조이가 아탈리와 달라이 라마를 통해 세운 주장, 곧 행복이 물질적 진보나 지식의 힘에 있지 않다는 주장이 여기서 하나의 목록으로 예시됩니다.

영화 속 인물이 그 목록에 도달하는 경로도 조이의 구성과 맞물립니다. 그 인물은 불필요한 문제를 만들어내는 일이 더 무서운 문제를 회피하는 방법이라고 쓰다가 그 질문에 이릅니다. 조이가 앞 절에서 지적한 이상한 침묵, 곧 더 큰 문제를 다루지 않기 위해 다른 일에 몰두하는 상태와 같은 진단입니다.

애스펀연구소와 퍼그워시 회의

조이의 당면한 희망은 참여입니다. 여기서 제기한 쟁점들에 대해 훨씬 더 큰 논의에 참여하는 것이며, 조건이 붙습니다. 여러 다른 배경을 가진 사람들과 함께, 그리고 기술 자체를 두려워하거나 편드는 쪽으로 미리 기울어지지 않은 자리에서여야 한다는 것입니다.

그가 이미 한 일도 밝힙니다. 애스펀연구소(Aspen Institute)가 주최한 행사에서 이 쟁점들을 두 차례 제기했고, 별도로 미국예술과학아카데미가 퍼그워시 회의(Pugwash Conferences)와 함께 해온 작업의 연장으로 이 문제를 다루어줄 것을 제안했다는 것입니다. 퍼그워시 회의는 1957년부터 군비통제, 특히 핵무기의 군비통제를 논의하고 실행 가능한 정책을 수립하기 위해 열려온 회의입니다.

조이가 덧붙이는 평가는 시점에 관한 것입니다. 퍼그워시 회의가 핵의 요정이 병에서 나온 뒤에야, 대략 15년 늦게 시작되었다는 것이 불행이라는 것입니다. 그리고 같은 일이 반복되고 있다고 그는 봅니다. 21세기 기술의 쟁점, 곧 지식으로 가능해진 대량파괴의 방지를 진지하게 다루는 일에서도 우리는 늦게 출발하고 있으며 더 이상의 지체는 받아들일 수 없어 보인다는 것입니다.

해설 퍼그워시 회의는 1955년의 러셀-아인슈타인 선언에서 출발해 1957년 캐나다 노바스코샤의 퍼그워시에서 첫 회의를 열었습니다. 핵무기를 만든 과학자들이 국적을 떠나 모여 군비통제를 논의하는 비공식 경로를 만든 시도였고, 이 회의와 공동 창설자 조지프 로트블랫은 1995년 노벨 평화상을 받았습니다.

조이가 15년 늦었다고 계산한 기준은 1945년입니다. 첫 폭탄이 사용된 때부터 과학자들이 모여 통제를 논의하기까지 12년이 걸렸고, 그 사이에 군비경쟁이 성립했습니다. 그가 이 글에서 요구하는 것을 이 계산에 비추어 읽으면, 2000년이 GNR 기술에 대해 1945년에 해당하는 시점인지 아니면 이미 그 뒤인지가 쟁점이 됩니다. 조이 자신은 안전장치 시점이 아직 지나지 않았다고 판단했습니다.

돌에서 풀어내기

마지막 문단은 미완의 상태를 그대로 보여줍니다. 조이는 자신이 여전히 찾고 있으며 배울 것이 훨씬 더 많다고 적습니다.

그가 결론 대신 남기는 것은 미결정입니다. 우리가 성공할지 실패할지, 살아남을지 이 기술들의 희생자가 될지는 아직 결정되지 않았다는 것입니다.

그리고 글은 처음의 장면으로 돌아갑니다. 그는 또 늦게까지 깨어 있고 거의 새벽 6시라고 적습니다. 더 나은 답들을 상상해보려 애쓰고 있으며, 주문을 깨뜨려 그것들을 돌에서 풀어주려 하고 있다는 것이 이 글의 마지막 문장입니다.

해설 앞에서 조이는 버클리 대학원 시절 밤을 새우며 기계 안에 세계를 만들던 때를 서술하고, 어빙 스톤이 묘사한 미켈란젤로를 끌어왔습니다. 머릿속에서 일단 상상하고 나면 그것이 이미 기계 안에서 풀려나기를 기다리고 있다고 느꼈고, 밤을 새우는 일은 그것을 자유롭게 해주기 위한 작은 대가였습니다.

마지막 문장은 같은 문장 구조에 다른 대상을 넣습니다. 늦게까지 깨어 있는 것도 돌에서 무언가를 풀어내려는 것도 같지만, 풀려나기를 기다리는 것이 이제 소프트웨어가 아니라 이 위험에 대한 더 나은 답입니다. 창조의 충동을 수습의 과제로 돌려놓는 전환이며, 조이가 이 글 전체에서 요구한 것, 곧 같은 능력을 다른 목적에 쓰라는 요구를 자기 자신에게 적용한 마지막 장면입니다.

원문: Bill Joy, Why the Future Doesn’t Need Us (Apr 2000) 전문은 원문에서 확인하실 수 있습니다.

참고할만한 글

마크 안드레센 – AI가 세상을 구할 이유 (Why AI Will Save the World) — 조이가 세운 위험 논증을 도덕적 공황과 범주 오류로 규정하며 정반대 결론에 도달하는 글이어서 함께 읽으면 쟁점이 선명해집니다.
엘리저 유드코프스키 – AI 개발을 멈추는 것으로는 부족하다 (Pausing AI Developments Isn’t Enough) — 조이의 포기 주장을 23년 뒤 AI에 적용해 유예와 전면 중단 요구까지 밀고 간 글입니다.
다리오 아모데이 – 사랑스러운 은총의 기계들(Machines of Loving Grace) — 조이가 비용을 이유로 밀어낸 수명 연장과 질병 정복이라는 목표를 같은 저울 위에서 정면으로 옹호하는 글입니다.