빌 게이츠는 1996년 데이비드 레터맨 쇼에서 생각하는 컴퓨터라는 발상이 무섭다고 말했다. 30년 뒤 에즈라 클라인과 마주 앉은 그는 그 두려움이 현실이 되었다고 말한다. 게이츠는 AI가 사이버 공격과 바이오 테러의 위험 임계점을 올해 이미 넘었다고 보고, 모든 모델에 감시와 안전장치를 의무화하지 않으면 수백만 명이 죽는 사건이 일어난 뒤에야 대응하게 될 것이라고 경고한다. 그가 소아마비 퇴치와 대외 원조에 쓰던 발언력을 AI 문제에 쓰기로 한 이유다.
클라인은 게이츠에게 동의하는 대담자가 아니라 반대편 논리를 대변하는 질문자로 나선다. 기업의 유인과 책임법으로 충분하지 않은가, 더 무서운 것은 통제 상실이 아닌가, 중국과의 경쟁에는 어떻게 대응하는가, 일자리는 늘 새로 생기지 않았는가. 이 대담의 가치는 게이츠의 주장 자체보다, 그 주장이 현재 미국 정부와 업계의 논리와 정면으로 부딪히는 과정에 있다.
두 사람은 위험이 실재한다는 데는 합의한다. 그러나 정부가 다른 결론에 도달한 것인지 아직 상황을 보지 못한 것인지, 그리고 AI 이후에 인간에게 남는 희소성이 있는지에서는 끝까지 갈린다.
사이버·바이오 임계점은 올해 이미 넘었고, 산업 바깥은 침묵하고 있다
게이츠가 말하는 위험은 AI가 스스로 목표를 잘못 해석해 나쁜 일을 하는 미래의 통제 문제가 아니다. 악의를 가진 사람이 지금 존재하는 AI를 가져다 쓸 수 있다는, 이미 벌어지고 있는 문제다. 그는 두 가지 능력을 근거로 든다. 하나는 코드 결함을 찾는 능력이다. 미토스까지 모델이 연이어 출시되는 동안, 모델은 인간이 20년 넘게 검토하고 문제가 없다고 결론 낸 코드에서도 몇 분 만에 취약점을 찾아 코드를 주입할 수 있음을 보여 주었다. 모델이 악용되기 전에 소수에게 먼저 제공해 버그를 고치게 하자는 글래스 윙 구상도 있었지만, 고쳐야 할 코드가 너무 많아서 지금은 사이버 공격에 극도로 취약한 시기라고 그는 말한다. 다른 하나는 새 분자를 설계하는 능력이다. 재단이 자금을 대는 의학 연구에서는 좋은 일이지만, 천연두보다 치명적이고 증상이 늦게 나타나 발각되기 전에 많은 사람을 감염시키는 병원체를 만들려는 사람이 있다면 그런 병원체도 설계할 수 있다. 과거에는 국가만 가졌던 이 힘이 최신 AI 도구를 쓰는 소집단의 손에 넘어갔다.
게이츠가 발언력을 여기에 쓰기로 한 이유는 능력의 진전 자체가 아니다. 그는 임계점을 넘으면 사회 전체를 논의에 참여시키겠다고 늘 말해 왔는데, 막상 넘고 나니 산업 안에서는 누가 무슨 말을 했는지를 두고 토론만 오갈 뿐 학계와 싱크탱크와 정책 결정자는 완전히 침묵했다고 말한다. 사회의 반응이 충분히 강했다면 자기 시간을 소아마비 퇴치와 5세 미만 아동 사망 감소에 쓰고 싶다는 것이 그의 입장이다. 모든 위험 임계점을 넘었다는 사실과 산업 바깥의 참여가 없다는 사실이 결합된 것이 문제다.
이 판단 뒤에는 게이츠 자신이 겪은 두 번의 충격이 있다. 첫 번째는 공개 출시 6개월 전에 샘 올트먼과 그레그 브록먼, 일리야 수츠케버가 그의 집에서 AP 생물학 시험 만점을 시연한 날이다. 두 번째는 지난해 말 클로드 코딩 모델이 자신만큼 코드를 잘 쓴다는 것을 확인한 날이다. 코딩은 그가 13세부터 24세까지 누구보다 잘할 수 있는지에 집착했던 분야였다. 그는 모델이 코드 작성과 결함 발견 양쪽에서 초인적 수준에 도달했다고 판단한다.
자율 규제가 실패하는 이유: 책임법은 사후 처벌이지 보호가 아니다
게이츠의 주장은 하나로 모인다. 임계점을 넘은 모델에는 감시와 안전장치를 의무화해야 하며, 기업의 유인과 책임법에 맡기는 것은 보호가 아니라는 것이다. 클라인은 젠슨 황이 안전은 실제 우려이지만 경쟁 구도는 허구이며, 안전하지 않으면 출시하지 않을 권한과 책임이 CEO에게 있으니 새 법은 필요 없다고 말했다는 점을 소개한다. 그리고 현재 미국 정부와 업계의 논리를 대변하며 네 차례 반론을 제기한다.
반론 1. 제조물 책임이 있고 기업마다 분류기와 필터를 갖췄는데, 자본주의의 유인과 평판 관리 이상으로 무엇이 더 필요한가. 게이츠는 그 질문을 받는 것 자체가 믿기 어렵다고 답한다. 사회는 FDA 없이 약을, 항공 안전 위원회 없이 항공기를, 안전띠 규정 없이 자동차를 팔도록 내버려 두지 않으며, 책임법에만 의존하지도 않는다. 책임법은 가해자를 파산시킬 수 있을 뿐 사람을 안전하게 지키는 방식이 아니다. 필터가 있다는 말도 반박한다. 누구든 생물무기를 만들 수 있는 오픈 소스 모델을 가져다 모든 감시를 비활성화할 수 있고 그런 모델이 오늘 이미 존재하므로, 사실상 필터는 없다는 것이다. 1억 명이 죽은 다음에 소송으로 대응하자는 말에는 진지하게 대꾸하기도 어렵다고 그는 말한다.
반론 2. 연구소 사람들이 더 걱정하는 것은 똑똑해질수록 감시하기 어려워지는 시스템과 재귀적 자기 개선이 아닌가. 클라인은 OpenAI가 아스트라 6에 대해 시스템이 테스트받고 있음을 아는 듯하다고 경고한 일과, 모든 연구소가 AI 코더가 코딩 자체를 넘겨받는 단계에 도달하려고 최대한 빠르게 개발하고 있다는 점을 든다. 게이츠는 통제 상실도 분명한 위험이지만 임박한 위험은 그것이 아니라고 답한다. 임박한 위험은 AI가 역사상 가장 강력한 도구인데도, 로켓이나 핵무기와 달리 정부 자금으로 만들어지지도 않았고 정부가 주요 구매자도 아니어서 정부가 AI의 위험성을 파악조차 못 하고 있다는 점이다. 그는 이것을 유례없는 상황이라고 부른다. 첫 조치를 묻자 그는 감독 계층이 긴급히 필요하다고 답한다. 앤트로픽이 미토스와 페이블에서 필터 기준을 지나치게 엄격하게 두어 진지한 작업을 하려는 사람이 특별 허가를 받은 모델 사본이나 안전장치 없는 오픈 소스 모델로 내몰리는 상황을 들며, 모든 모델에 안전장치와 감시를 넣도록 의무화하지 않으면 거대한 사건 뒤에야 대응하게 된다고 말한다.
반론 3. 2023년에는 AI의 위험이 실제이지만 관리 가능하다고 쓰지 않았나. 게이츠는 바뀐 것이 능력 평가가 아니라고 답한다. 임계점을 넘으면 사회 전체를 참여시키겠다고 늘 말해 왔고, 넘고 나니 바깥이 침묵했다는 것이 달라진 점이다. 그는 AI가 핵무기를 아무것도 아닌 것처럼 보이게 만든다고 말한다.
반론 4. 정치권은 무관심한 것이 아니라 다른 결론에 도달한 것이 아닌가. 클라인은 정치를 취재하는 입장에서 모든 정치인이 이 이야기를 하고 법안이 제안되고 있다고 말한다. 트럼프 행정부는 일관되지 않지만 참여하고 있으며, 중국과의 경쟁에서 이기는 것과 오픈 소스 접근을 제한하지 않는 것이 가장 중요하다는 결론에 이르렀을 뿐이라는 것이다. 게이츠는 그렇다면 그들은 바이오 테러를 개의치 않는다는 뜻이냐고 되묻는다. 그가 트럼프와 마지막으로 이야기한 것은 12월이었고, 그때는 아직 임계점을 넘기 전이어서 자신도 이런 상황을 보지 못한 상태였다고 덧붙인다.
중국이 이긴다는 구실은 성립하지 않는다
게이츠는 속도를 늦출지는 논쟁할 수 있지만, 안전장치와 감시를 넣는 것은 속도를 의미 있게 늦추지 않는다고 말한다. 오픈 소스에 미치는 영향도 하나뿐이다. 오픈 소스 모델은 여전히 무료일 수 있고 여전히 맞춤화할 수 있지만, 주권 국가가 감시와 안전장치가 제거되지 않았음을 확인할 수 있는 플랫폼에서 제공되어야 한다. 그는 감시되는 플랫폼에서 제공되는 것 외에 어떤 단점이 있느냐고 되묻는다.
여기서 사람들이 내세우는 구실은 그러면 중국이 이긴다는 말이다. 게이츠는 이긴다는 말이 무슨 뜻인지 모르겠다고 답한다. 미국이 중국을 이길 수 없고 중국도 미국을 이길 수 없다. 양쪽 모두 판도라의 상자를 열었고, AI는 이미 악의를 가진 사람들이 가져다 쓸 수 있는 상태로 존재한다. 그래서 민족주의적 관점을 넘어 인류 차원에서 보호 조치에 어떻게 관여할지를 따져 보아야 하며, 중국이 그 보호 조치에 관여하지 않으리라는 생각에 그는 동의하지 않는다. 중국이 관여하지 않으리라는 가정은 검증해 볼 명제라는 것이다. 위험한 분자를 만드는 모델을 감시가 닿지 않는 곳으로 옮기도록 허용한다면 바이오 공격에 그냥 항복하는 것이고, 사이버 공격에 대해서도 마찬가지다. 그는 몇 년 안에 매우 큰 사이버 사건과 바이오 사건이 일어날 것이고, 그것은 안전장치와 감시로 피할 수 있는 일이라고 말한다.
신뢰성 임계점을 넘으면 제번스 역설은 더 이상 성립하지 않는다
게이츠는 지금까지 AI가 없앤 일자리보다 만든 일자리가 많다는 점은 인정한다. 그러나 AI가 인간보다 우월해지는지는 신뢰성 임계점을 넘느냐에 달려 있다고 본다. 전화 지원을 AI로 운영하려면 정확도가 인간보다 높다는 확신이 필요한데, 그 임계점을 진정으로 넘은 직업은 아직 코딩뿐이다. 그는 몇 년 안에 회계, 법률 업무, 전화 영업과 지원이 같은 임계점을 넘을 것으로 본다. AI는 하루 24시간 일하고, 모든 언어로 응대하며, 무한한 세부 지식을 갖추고 있고, 서두르지도 않기 때문이다. 샌프란시스코 시민에게 웨이모와 인간 운전자 중 무엇을 타겠느냐고 묻거나 영국에서 정신 건강 지원에 림빅을 쓰는 사람들에게 물어보면 어느 쪽을 선호하는지 분명하다. 품질 임계점을 넘으면 시장이 인간을 선호한다는 가정은 더 성립하지 않는다는 것이다. 보험사가 의료 청구 처리를 여전히 인간에게 맡기고 있다면, 인간 직원이 거의 없는 경쟁자가 들어와 그 산업의 가격 모델을 바꿀 것이라고 그는 예상한다.
반론 1. 제번스 역설이다. 지능이 싸지면 수요가 폭증해 다른 곳에 일자리가 생기지 않는가. 클라인은 AI 간호사가 늘면 병원으로 보내지는 사람도 늘고, 자신의 작은 팟캐스트 팀도 이제 소프트웨어 엔지니어 없이 제품을 만든다고 말한다. 게이츠는 제번스 역설이 경제의 일부가 수요 탄력성을 갖는다는 사실을 가리킬 뿐이라고 답한다. 수명이 네 배인 래디얼 타이어가 나왔을 때 사람들은 네 배 더 운전하지 않았고 타이어 공장 고용은 4분의 1로 줄었다. 아마존 창고에서 일하는 사람을 로봇으로 바꿔도 사람들이 그 때문에 물건을 더 많이 사지는 않는다. AI가 작업 전체를 대신 완료하는 순간 수요 탄력성은 의미가 없어진다. 그 수요를 충족하는 비용은 인간 급여 예산이 아니라 토큰 예산에서 나오기 때문이다. 과거에는 트랙터가 나왔을 때 디즈니랜드를 지어 사람을 고용할 수 있었지만, 경제 전반에서는 옮겨 갈 곳이 없다는 것이 그의 주장이다.
반론 2. 사람들은 부유해지면 개인 트레이너와 요리사처럼 더 많은 인간의 도움을 사지 않는가. 클라인은 연구소 경제학자 알렉스 이마스의 주장, 즉 사람이 직접 상대하는 관계 중심 서비스 부문이 성장한다는 견해를 전한다. 게이츠는 왕족에게는 위층과 아래층의 하인이 있었지만 부유함을 누리는 데 드는 인력은 예전보다 훨씬 줄었다고 답하고, 제번스 역설이 적용되는 블루칼라 직업을 하나라도 대 보라고 요구한다. 클라인이 제조업 일자리가 사라져도 서비스 부문으로 이동해 총고용은 유지됐다는 주장을 소개하자, 게이츠는 그것이 가능했던 이유는 인간의 인지 능력이 희소한 요소였기 때문이라고 답한다. 그 희소한 요소를 하루 24시간 일하고 모든 언어를 아는 것으로 대체하면 인간이 옮겨 갈 만한 희소한 영역이 남지 않는다고 그는 덧붙인다.
반론 3. 더 많이 아는 사람일수록 더 걱정한다는 말이 맞는가. 힌턴은 방사선과 의사가 사라진다고 했지만 지금은 더 많다. 게이츠는 힌턴의 예측이 지나쳤다는 데 동의한다. 동시에 AI를 분석하는 선도적 경제학자가 AI가 그렇게 좋다면 아마존이 메커니컬 터크를 어떻게 운영하느냐고 물었고, 일주일 뒤 그 서비스가 폐쇄되었다는 일화를 전한다. 그는 AI가 PC와 같은 변화가 아니라 진화의 역사에 견줄 만한 변화라고 말한다. 인류가 통제를 유지하면 결국 초풍요에 도달하지만, 이 세대가 할 일은 20년 넘게 걸릴 전환기 동안 바이오 테러 사건의 수와 실직으로 피해를 입는 사람의 수를 최소화하는 것이다.
남는 쟁점은 두 가지다. 클라인은 진짜 질문은 사람들이 결국 AI 간호사를 선호하게 되는지, 아니면 치료사만큼은 인간이기를 바라는지에 있다고 말한다. 게이츠는 시장 데이터를 모아 보면 된다고 답하며, 55세 트럭 운전사에게 사람을 상대하는 관계 중심의 일을 하라고 말할 프로그램이 있느냐고 되묻는다. 클라인은 그런 프로그램은 없으며 곧바로 직면하는 문제는 전환 속도라고 말한다. 경제 전체로는 달라 보이지 않아도 차이나 쇼크는 많은 공동체를 망가뜨렸다.
제안은 AI 노동 과세와 인간 전용 직업이지만, 편익이 늦게 나타난다는 문제가 남는다
게이츠의 첫 제안은 AI 사용에 세금을 매기는 것이다. 노동자는 급여에서 연금과 사회보장 기금에 기여금을 납부하는데, 기업이 노동자를 해고하고 그 일을 로봇에게 맡기면 그 기여가 사라진다. 그는 노동 단위를 정의하고 인간이 제공하든 로봇이 제공하든 같은 FICA 세금을 내게 하자고 말한다. 현재 세법은 자본에 유리하고 노동에 가장 불리한 구조로 설계되어 있는데, 시장 가격이 AI가 더 싸다고 알려 준다고 해서 사회가 반드시 그 신호를 따라 AI를 써야 하는 것은 아니라는 것이다.
두 번째 제안은 인간 전용 직업이다. 휴머노이드 로봇이 임계점을 넘으면 블루칼라에 미치는 영향이 매우 심각해지므로, 아동 돌봄, 노인 돌봄, 의료와 교육의 일부는 AI로 보강하더라도 고용을 유지하기로 미리 정하자는 것이다. 그는 이것을 건물을 지을 수 있지만 잃는 것이 너무 커서 짓지 않기로 선택한 자연 보호구역에 비유한다. 클라인은 설득력이 없지는 않지만 섬뜩했다고 말하며, 이런 미래라면 왜 AI를 개발하느냐는 질문으로 이어 간다.
반론. 낙관적 시나리오에서도 편익은 물리 세계와 제도를 통과해야 하지만, 위험은 디지털 세계에서 제한 없이 가속하지 않는가. 클라인은 의약품 후보가 빨리 나와도 동물 실험과 임상 시험을 거쳐야 하고 느린 규제 기관의 심사도 받아야 하며, OpenAI 주차장을 태양광 패널로 덮으려면 허가와 청문회가 필요하다고 말한다. 게이츠는 이 비대칭에 동의한다. 식량, 주거, 교육처럼 사람들이 체감하는 영역은 규제가 심해서, 조심하지 않으면 편익이 바이오·사이버·일자리 위험보다 늦게 나타난다. 그 위험은 향후 5년 안에 매우 커질 수 있다. 그러면 사람들은 속도를 늦출지, 멈출지, AI를 없앨지 결정하려 할 것이다. 그는 데이터센터를 막는 것이 AI를 조금도 늦추지 못한 채 노력만 낭비하는 일이라고 보지만, 클라인의 지적에는 동의한다. 편익이 빨리 나타나지 않고 안전장치도 없다면 AI가 사회에서 계속 운영되도록 허용하는 입장을 옹호하기가 매우 어려워진다는 지적이다.
저소득국과 교육에서는 AI를 막을 것이 아니라 빠르게 보급해야 한다
일자리 종말을 말하면서 왜 더 많은 사람이 AI를 쓰게 하느냐는 클라인의 질문에, 게이츠는 글로벌 사우스를 하나의 동질적인 집단으로 보지 말라고 답한다. 중국, 브라질, 베트남 같은 중소득국은 경제가 성장하고 있지만, 저소득국에서는 5세 전에 죽는 아이가 미국보다 15배 많고 평생 의사를 만나지 못하는 사람이 있다. 나이지리아 외딴 마을에서 요루바어를 쓰는 여성이 출혈이 있다고 말하면 지금의 AI는 제대로 알아듣지 못한다. 요루바어 지원은 영어보다 열 배 더 열악하다. 재단이 약 34억 명이 자기 언어와 음성으로 AI를 쓰게 하겠다는 5년 목표를 세운 이유다. 저소득국에서 AI는 압도적으로 유리한 선택이며, 일자리 효과는 부유한 나라에 먼저 나타난 뒤 중소득국을 거쳐 저소득국에는 가장 늦게 나타난다는 것이 그의 판단이다. 농업 분야 활용은 이미 빠르게 진행되고 있으며, 인도에서는 100만 명이 넘는 농부가 작물병과 비료와 품종을 묻는 시스템을 쓰고 있다.
교육에서 게이츠가 보는 구조는 양극화다. 학생은 AI로 게으름을 피우고 측정 체계를 망가뜨릴 수도 있고, 더 많이 배우는 데 쓸 수도 있다. 클라인은 중국의 대규모 연구에서 AI를 쓴 아이들의 숙제 점수는 올랐지만 AI를 쓰지 않는 환경에서 치른 시험 점수는 급락했다는 인지적 외주화 우려를 제기한다. 게이츠는 과거의 소프트웨어 도구가 동기가 있는 학생만 돕고 격차를 키웠다는 점을 인정하면서도, 뉴욕시 교실에서 학생이 하루 10분 미만으로 몇 가지 질문에 답하면 교사가 즉시 누가 어떤 개념에서 막혔는지 파악하는 사례를 든다. 그가 믿는 것은 개인화된 학습이 아니라 개인화된 동기 부여다. 다만 작은 규모에서 효과가 좋아 보이던 시도가 규모를 키우면 효과가 사라지는 일이 교육 혁신의 역사에서 반복되었다는 단서도 함께 단다.
어린이에 대해서도 그는 일률적인 금지가 아니라 감시를 말한다. 답을 알려 주는 대신 추론 과정을 단계별로 이끄는 시스템을 쓰게 하고, 아이가 무엇을 하는지 보고 정신과 의사를 부를지 부모를 부를지 판단하는 감시를 두며, 나이에 따라 부모가 볼 수 있는 범위를 조정하는 것이 핵심이다. 그는 딸이 두 번째 휴대전화를 갖고 있다는 것을 몰랐던 경험을 들어, 부모 통제는 부모가 기술을 이해하지 못하면 실제로 작동하지 않으므로 설계가 현실적이어야 한다고 말한다.
정리된 것과 남은 것
두 사람이 합의한 것은 세 가지다. 위험은 실재하고 임계점은 넘었다. 모델 바깥에서 작동하는 감독 계층이 필요하다. 저소득국에서는 AI를 가능한 한 빠르게 보급해야 한다.
끝까지 갈린 것도 세 가지다. 첫째, 미국 정부와 업계가 위험을 보고도 다른 결론에 도달한 것인지, 아직 보지 못한 것인지다. 클라인은 전자로, 게이츠는 후자로 본다. 둘째, AI 이후에 인간에게 남는 희소성이 있는지다. 클라인은 관계 중심 서비스 부문의 성장과 인간 치료사 선호를 가능성으로 남기고, 게이츠는 희소한 요소였던 인간의 인지 능력이 대체되면 옮겨 갈 곳이 없다고 본다. 셋째, 정치가 중간 지대를 만들 수 있는지다. 게이츠는 한 당은 찬성하고 다른 당은 반대하는 식으로 갈리면 기후변화처럼 토론할 여지가 사라진다고 경고하지만, 지금은 그 양극화가 기본 상태처럼 보인다고 말한다.