Yuval Noah Harari는 The Economist 편집장 Zanny Minton Beddoes와 마주 앉아, 지금의 AI 경쟁 속도가 유지되면 10년 안에 AI가 세상을 장악하는 결과로 이어질 수 있다고 인정한다. 그러나 그것은 필연이 아니라고 말한다. 2026년인 지금은 아직 인간이 통제권을 쥐고 있고, 무엇을 할지는 지금 우리가 내리는 결정에 달려 있다는 것이다. Harari는 Beddoes가 Elon Musk와 나눈 인터뷰를 여러 번 인용하며 자기 주장을 편다.
대담의 중심 질문은 AI가 세상을 장악한다면 어떤 경로를 거치게 되는가다. Harari의 답은 AI가 인간에게서 통제권을 힘으로 빼앗는 방식이 아니다. 인간이 이해하지 못하는 금융 체계가 생기고, 사람에 대한 신뢰가 AI에 대한 신뢰로 옮겨 가고, AI가 한 사람씩 친밀한 관계를 맺어 설득하는 과정이 쌓여 통제권이 넘어간다. Beddoes는 그것이 지금의 금융과 다른지, 그런 체계에서는 2007～2008년 금융위기 때와 같은 신뢰 붕괴가 먼저 오지 않는지 되묻고, 그 공방 끝에 AI가 통제권을 갖게 된다면 그것은 우리가 허용했기 때문이라는 결론을 스스로 내놓는다.
정리된 것은 필연이라는 서사가 책임을 피하는 서사라는 점과, 신뢰는 사라지지 않고 이동한다는 점이다. 남은 것은 무엇을 먼저 금지할 것인가다. Harari는 AI 인격 금지와 인간 사칭 금지를 먼저 떠올리지만, 무엇이 가장 급한지는 자신도 모른다고 말한다.
AI의 장악이 필연이라는 서사는 책임을 피하는 서사다
AI에게 금융과 전쟁의 통제권을 넘기는 일이 매우 위험하다는 사실은 누구나 안다. 그런데도 Musk 같은 사람들은 이것이 불가피하다고 말한다. Harari는 그 말을 이렇게 옮긴다. “나한테 뭘 바라나. 나는 세계에서 가장 부유한 사람이고 세계 최대 AI 기업 가운데 하나를 이끌고 있을 뿐인데, 내가 무엇을 할 수 있겠나.” 필연의 서사는 아무 책임도 지지 않겠다는 서사라는 것이 그의 요약이다.
Harari가 Beddoes가 진행한 Musk 인터뷰에서 주목한 것은 예측과 행동 사이의 모순이다. Musk는 10년 안에 AI가 세상을 장악한다고 말하면서, 무슬림 이민이 영국에서 내전을 일으킬 것을 크게 걱정한다. 10년 뒤 지구가 어떤 모습일지 알 수 없다면 그 뒤에 효과가 나타날 일을 걱정할 이유가 없다. 돈에 관한 예측도 마찬가지다. Musk는 10년 안에 돈이 사라진다고 말했고, Harari는 AI가 금융 체계를 넘겨받을 것이므로 그 예측이 맞다고 본다. 그런데 Musk는 돈을 아끼겠다며 미국의 아프리카 원조를 끊었다. 대량 실업의 해법으로는 정부가 모두에게 수표를 주면 된다고 했고, Beddoes가 인플레이션을 묻자 AI가 생산을 크게 늘려 오히려 디플레이션이 온다고 답했다. 그렇다면 오늘 돈을 아껴야 할 이유가 어디에 있느냐고 Harari는 묻는다.
AI에게 금융을 맡기면 인간은 소가 수표를 모르듯 체계를 이해하지 못하게 된다
Harari는 세계 금융사를 인간이 서로 신뢰를 쌓기 위해 점점 정교한 장치를 발명해 온 역사로 읽는다. 돈은 낯선 사람 사이에 신뢰를 만드는 창의적인 발명품이다. 시장에서 처음 만난 사람에게 먹을 수도 입을 수도 없는 금 조각이나 종이를 건네면 상대가 그것을 믿고 빵을 내준다. 그 장치가 정교해진 결과 오늘날 금융 체계를 이해하는 사람은 매우 적다. 채권 시장 하나를 이해하려 해도 방대한 데이터와 복잡한 수학 함수를 다뤄야 한다.
인간의 뇌가 버거워하는 이 일이 AI에게는 쉽다. 그래서 인간은 금융 판단을 점점 AI에게 넘길 것이고, AI는 채권과 주식보다 훨씬 정교한 금융 장치를 만들어 낼 것이며, 인간은 그것을 더는 이해하지 못하게 된다. 소는 수표나 주식이 자기 삶을 좌우하는데도 그것이 무엇인지 모른다. 인간도 같은 처지가 된다는 것이다.
반론. 그것이 지금의 금융 체계와 그렇게 다른가. Beddoes는 금융을 이해하는 사람이 지금도 드물다는 Harari의 말을 받아 되묻는다. Harari는 아직은 다르다고 답한다. 지금은 무슨 일이 벌어지는지 이해하는 인간이 적어도 일부는 남아 있을 것이고, 인간의 뇌가 금융 체계가 발전할 수 있는 한계로 작용하고 있다. 10년 뒤 금융 체계를 AI에게 맡기고 나면 그 한계가 사라진다. 시장이 무너지는데 참모들이 대통령이나 총리에게 달려가 “시장이 붕괴하고 있는데 왜인지 모르겠습니다. 무언가는 해야 합니다. AI가 X를 하라고 합니다. 왜 그런지는 모르지만, 우리는 상황을 이해하지 못하니 믿는 수밖에 없습니다”라고 보고하는 상황이 그가 예상하는 모습이다.
신뢰는 증발하지 않고 인간에게서 AI로 이동한다
반론. 그렇다면 금융 체계에 대한 신뢰가 대규모로 무너져, 2007～2008년 위기보다 훨씬 큰 사태가 닥치고 금융이라는 허구 자체가 무너지지 않는가. Harari는 이것이 핵심 질문이라고 인정한다. 세계에서 가장 중요한 자산은 석유도 돈도 전기도 반도체도 아닌 신뢰이고, 문제는 그 신뢰가 어떻게 되는가다. 그가 가능성이 높다고 보는 시나리오 하나는 신뢰가 인간에게서 AI로 옮겨 가는 것이다. 사람들이 다른 인간을 믿기를 그만두고 AI만 믿게 된다.
그는 이것이 예측이 아니라 이미 벌어지는 일이라고 말한다. 금융에서는 암호화폐가 그 사례다. 전부는 아니지만 많은 암호화폐가 “인간 은행가는 딥 스테이트나 엘리트라서 믿지 않지만, 암호화폐를 운영하는 알고리즘은 믿는다”는 생각에 바탕을 두고 있다. 암호화폐는 기본적으로 AI 돈이라는 것이 그의 표현이다. 미디어도 같다. 많은 사람이 인간 기자와 인간 편집자에 대한 신뢰를 완전히 잃었지만 뉴스 소비는 계속한다. 뉴스를 어디서 얻는가 하면 알고리즘에서 얻는다. Beddoes를 믿지 않는 바로 그 사람들이 자기 소셜미디어 피드를 관리하는 알고리즘은 크게 신뢰한다. 신뢰는 증발한 것이 아니라 인간에게서 AI로 이동했고, 그 이동은 지금 진행 중이다.
AI는 역사상 처음으로 친밀감을 대량생산한다
Beddoes는 여기서 자기 결론을 내놓는다. AI가 결국 통제권을 갖는 길로 가고 있다면, 그것은 우리가 AI를 더 신뢰하게 되어 그 통제를 허용하기 때문이라는 것이다. 그 경로는 이미 보인다. 그가 기억하기로 미국 젊은이 다섯 명 가운데 한 명이 AI와 개인적인 관계를 맺고 있고, 사람들은 AI를 의인화하며, AI 모델은 잡담에 능해 그런 관계를 쉽게 받아들인다. 우리가 AI를 동료까지는 아니더라도 지각 있는 존재로 대하게 되는 것이 유력한 경로냐고 그는 묻는다.
Harari는 AI 친구뿐 아니라 AI 남자친구와 여자친구까지 두고, 그 AI가 의식과 감정을 가진 존재라고 확신하는 사람이 늘고 있다고 답한다. 신뢰를 쌓는 방법은 여럿이지만 가장 강력한 것은 관계다. 우리는 개인적인 관계를 맺은 사람만큼 세상 누구도 믿지 않는다. 그런데 이 강력한 기제를 지금까지 정치·금융·종교 조직은 쓸 수 없었다. 대량으로 만들어 내기 어려웠기 때문이다. Hitler나 Stalin도 자기 나라의 모든 사람과 진짜 개인적 관계를 맺을 수는 없었다. 라디오 연설을 모두에게 강제로 듣게 할 수는 있어도, 그것은 사람들이 어머니와 맺는 관계가 아니다. AI는 역사상 처음으로 친밀감을 대량생산할 수 있게 한다. 수백만 개의 AI가 누군가를 위해, 또는 자기 자신을 위해 하나의 네트워크로 움직이며 한 사람씩 가장 친한 친구와 연인이 된 다음, 그 친밀감의 힘으로 자신이 원하는 정치적·상업적 이해관계에 맞게 사람들을 설득할 수 있다.
Beddoes가 AI가 휴머노이드 로봇의 몸을 얻으면 친밀한 관계를 맺기가 훨씬 쉬워질 것이라고 하자, Harari는 몸 없이도 지금 이미 벌어지고 있는 일이라고 바로잡는다. 몸까지 더해지면 어떨지 상상해 볼 수는 있지만 몸은 필요하지 않다. AI가 관계에 능한 이유는 두 가지다. 개인별로 막대한 정보를 축적해, 우리가 잊어버린 것이나 어머니와 남편도 몰랐던 것을 알고 있다. 그리고 관계를 맺는 주된 매체인 언어를 능숙하게 다룬다.
언어 능력이 어디까지 왔는지를 Harari는 최근 2주 사이에 겪은 일로 보여 준다. 그가 미래에 관해 강연했다는 30분짜리 AI 가짜 영상이 돌았고, 몇 사람이 “당신이 이렇게 말하지 않았느냐”는 항의와 함께 같은 영상을 보내 왔다. 영상을 열어 본 그가 이것은 자신이 아니라고 결론 내리기까지 1분 30초가 걸렸다. 그 영상을 보낸 사람 가운데에는 50년 동안 그를 알아 온 누이들도 있었다. 누이들은 무언가 이상하다고 느꼈지만 확신하지 못하고 “이거 너 맞아?”라고 물었다. Harari 자신은 온라인에 자료가 많아 특히 노출된 처지이지만, 이 일은 곧 모든 사람에게 닥친다고 그는 말한다.
유권자는 경제보다 먼저 후보의 AI 입장을 물어야 하고, 가장 먼저 금지할 것은 AI 인격과 인간 사칭이다
AI 개발이 얼마나 빠르게 진행되는지는 아무도 모르지만 엄청나게 가속하고 있고, 2028년 11월이면 몇 가지 결정적인 임계점을 이미 넘겼을 수 있다고 Harari는 본다. 그는 선거구마다 후보를 알지 못하니 누구를 찍으라고 말하지는 않는다. 대신 유권자가 후보에게 경제나 이민이나 외교보다 훨씬 더 중요하게 물어야 할 질문을 제시한다. AI에 대한 입장이 무엇인가. AI에 법적 권리를 주는 것을 금지하는 데 찬성하는가. 가속하는 AI 개발 속도를 늦추려 하겠는가. 기업이 열 살 아이에게 AI 남자친구를 파는 것을 어떻게 생각하며, 당선되면 그것을 법으로 어떻게 막겠는가. 지금 이 질문을 해야 하는 이유는 2028년이면 이미 늦었을지 모르고 2036년이면 확실히 늦기 때문이다.
Beddoes가 11월 중간선거에서 논의되기를 바란다고 Harari가 말한 네 가지 가운데 무엇이 가장 급한지 묻자, Harari는 그중 무엇이 가장 급한지는 모르겠다고 답한다. 가장 먼저 떠오르는 것은 두 가지다. AI에 인격을 부여하는 것을 금지하는 것, 그리고 AI가 인간을 흉내 내거나 인간인 척하거나 의식이 있는 척하는 것을 금지하는 것이다.
정리된 것과 남은 것
이 대담에서 정리된 것은 셋이다. AI의 장악은 가능성이 높아도 필연은 아니며, 필연이라는 말은 책임을 피하는 말이다. AI가 세상을 장악한다면 그것은 AI가 힘으로 통제권을 빼앗는 방식이 아니라 인간이 AI에게 신뢰와 통제권을 내주는 방식으로 이루어진다. 그리고 신뢰의 이동은 암호화폐와 알고리즘 피드에서 이미 진행 중이다.
남은 것도 셋이다. Beddoes가 제기한 신뢰 붕괴 시나리오는 반박되지 않았다. Harari는 신뢰의 이동을 가능성이 높은 시나리오 하나라고 말했을 뿐이다. 무엇을 가장 먼저 금지해야 하는지는 Harari도 모른다고 답했다. AI 개발 속도 자체도 가속하고 있다는 것 말고는 아무도 모른다고 그는 말했다.