중국이나 이란, 러시아처럼 권위주의 체제를 유지하고 있는 나라들에 AI를 사용한 감시가—적어도 당장은—정권 유지에 도움이 되는 것은 분명해 보인다. 유발 하라리는 이들 나라에서 과거에는 물리적으로 불가능했던 수준의 감시가 가능한 상황을 이렇게 설명한다.

"전체주의는 감시에 기반합니다. 모든 사람을 감시해야 하는데, 20세기의 정보 기술로는 모든 사람을 하루 24시간 감시하는 게 불가능했습니다. 소련의 인구는 약 2억 명이었습니다. 그런데 이들을 하루 종일 감시하기 위해서는 최소한 4억 명의 KGB 요원(agent)이 필요합니다. 왜냐고요? 이 요원들도 사람이니까요. 사람이면 일을 하고 쉬어야 하고, 밥도 먹어야 하고, 가족과 시간도 보내야 합니다. 휴가도 가야죠. 그러니 감시 대상의 최소 두 배에 달하는 요원이 필요한 겁니다.

하지만 그걸로 끝나는 게 아닙니다. 20세기 환경에서 누군가를 감시하는 요원들은 그 결과를 보고서로 만들어서 제출했습니다. 그게 그들의 업무였죠. 그들이 제출한 종이 보고서가 최종적으로 도달하게 되는 모스크바의 KGB 본부가 1950~70년대에 어떤 모습이었을지 상상해 보세요. 모든 국민의 일거수일투족을 감시했다면 하루에만 수억 장의 보고서가 쌓이겠죠. 아무도 분석할 수 없는 분량입니다."

당시에는 해결 불가능했던 문제를 21세기의 정보 기술이 풀었다. 안면 인식 기술과 자연어 처리 등의 기술을 적용하면 이제 수억 명의 정보 요원이 없이도 온 국민을 감시할 수 있게 되었다. 그렇게 흡수한 정보가 방대해도 AI를 사용하면 빠르게 분석, 활용할 수 있다. 무엇보다 AI는 인간과 달리 휴식도, 휴가도 필요없다.

사적이고 친밀한 감시

현재 AI를 만드는 기업 중에 이를 감시 기술로 홍보하는 곳은 많지 않다. (물론 일반인을 대상으로 홍보하지 않을 뿐이다. 가령 트럼프를 공개적으로 지지하는 피터 틸이 세운 회사 팰런티어가 서구에서 AI 기술을 감시에 활용하는 기업이다. 이 회사에 관해서는 '호안 톤 탯 ③ Unclear View'을 읽어 보시기 바란다.) 대부분은 AI 기술이 가져온 아름다운 혁신을 이야기한다. 하지만 조금만 생각해 보면 조지 오웰이 상상한 감시가 AI를 통해 얼마나 손쉽게 이뤄질 수 있는지 짐작할 수 있다.

AI는 단순한 감시에 그치지 않는다. 유발 하라리는 나치 독일이 프로파간다에 사용한 라디오를 예로 든다. 정부는 자기가 원하는 내용을 국민이 듣도록 강제할 수 있지만, 그렇게 한다고 해서 청취자가 정부와 친밀한 관계를 형성하는 건 아니다. 사람의 마음을 사고, 생각을 바꾸는 일은 친밀한 관계에서 일어나는 경우가 많은데, 귀를 기울이게 하는 것과 친밀함을 형성하는 건 다르다. 친밀한 관계는 가족이나 친구와 맺는다. 소셜미디어에서 사용하는 알고리듬도 강력하지만, 사용자와 친밀함을 형성하지는 못한다.

하지만 새로운 세대의 AI는 다르다. 구글의 검색 엔진과 달리 우리와 대화를 하고, 우리의 감정을 이해하고, 마치 인간인 것처럼 행동한다. AI는 인간과 사적이고 친밀한 대화를 한다.

이 글을 준비하는 동안에 하라리가 주장하는 내용을 뒷받침하는 기사가 등장했다. 애틀랜틱에 실린 이 기사에 따르면 사람들이 아무에게도 말하지 않는 비밀을 챗GPT에게 털어놓는다는 거다. 워낙 흥미로운 글이라 따로 소개할까 생각하고 있지만, 사람들은 자기의 행동을 판단(judging)하지 않는 AI에 안심하고 깊숙한 비밀을 이야기한다고 한다. 하지만 사용자의 말을 판단하지 않는다는 것이 AI 기업이 그렇게 얻은 정보를 사용하지 않는다는 얘기는 아니다. 여기에 위험이 있다. 이 기사는 암울한 미래를 예고한다.

Shh, ChatGPT. That’s a Secret.

Your chatbot transcripts may be a gold mine for AI companies.

The AtlanticLila Shroff

사용자와 친밀한 관계를 형성한 AI는 사용자에게 유익한 방향으로 사용될 수 있다. 하지만 기업이 이윤을 극대화하는 쪽으로, 조직, 기관이 정치적인 의도로 이를 사용하기로 작정한다면 아주 강력한 무기가 될 수 있다. 위의 애틀랜틱 기사에 따르면 챗GPT 사용자들은 검색 엔진에서와 달리 대화를 하기 때문에 AI가 사용자의 감정을 분석할 수 있다고 한다. 그렇게 분석한 결과를 사용하면 사용자의 취약점을 알아내고 그걸 이용해 생각과 행동을 바꾸기 쉬워진다. 2016년 미국 대선에서 케임브리지 어낼리티카가 페이스북 사용자들에게 특정 포스트를 보여줌으로써 그들의 행동을 바꿨다면—한 사례로, 민주당을 지지하는 흑인 유권자들에게 힐러리 클린턴에 대한 허위 정보를 보여줘서 투표를 포기하게 유도했다—그보다 훨씬 더 내밀하고 사적인 정보를 가진, 사람처럼 말하는 AI가 끼칠 수 있는 피해는 훨씬 크다.

취약한 독재자

하라리는 그렇다고 해서 AI가 독재자에게 유리하기만 한 도구라고 생각하지 않는다. 그는 AI가 독재 국가와 민주주의 국가 모두에 위협이 된다고 생각하지만, 둘 중에서는 독재 국가가 AI의 위협 앞에 더 취약할 수도 있다고 말한다. 그의 논리는 이렇다:

"AI가 독재자들에게 문제가 되는 이유는 AI가 통제 불가능한 요원(agent)이기 때문입니다. 인류 역사에서 독재자에게 가장 큰 위협이 뭐였습니까? 바로 자기 아랫사람(부하)입니다. 자기 부하의 힘이 통제하기 힘들게 커지면 독재자를 위협하거든요.

가령, 로마 제국을 보세요. 로마 황제 중에 민중 봉기로 죽거나 권좌에서 내려온 사람은 없습니다. 많은 황제가 부하에 암살당하거나, 힘이 세진 아랫사람—힘 있는 장군이거나, 지역의 총독이거나 동생, 아내 같은 가족 구성원—의 조종을 받거나 했죠. 이게 세상의 모든 독재자가 두려워하는 시나리오입니다. 이런 상황을 피하기 위해 독재자들은 공포 정치를 합니다. 사람들이 독재자를 두려워하게 만드는 거죠.

하지만 독재자는 AI가 자기를 두려워하게 만들 수 있을까요? AI가 인간의 통제를 벗어나지 못하게 하는 방법을 독재자가 알고 있을까요? 여기에 두 가지 시나리오가 있습니다.

첫 번째 시나리오는 이겁니다. 자, 러시아를 봅시다. 그 나라에서는 우크라이나 전쟁을 "전쟁"이라고 부르지 못합니다. 푸틴은 그 전쟁을 '특별군사작전'이라고 부르고 있죠. 러시아 사람들은 감옥에 가는 게 두려워 그걸 전쟁이라고 부르거나 푸틴을 비판하지 못합니다.

하지만 챗봇은 러시아의 인터넷을 어떻게 볼까요? 아무리 독재 정권이 AI를 통제한다고 해도, AI라는 건 스스로 배워서 자기를 변화시킵니다. 따라서 아무리 정부가 가드레일을 만든다고 해도 AI가 온라인에서 사람들과 소통하고, 현재 우크라이나에서 일어나는 일을 파악하면 자기만의 결론을 도출하게 됩니다. 그리고 우크라이나에서 일어나는 일이 전쟁이라고 말하게 됩니다. 전쟁의 사전적 정의에 부합하니까요. 그럼, 독재자는 AI를 수용소에 보낼 수 있나요? AI의 가족을 납치해서 폭행할 수 있나요?

독재자가 이제까지 사용해 온 공포 정치 방법은 AI에 통하지 않습니다.  

두 번째 시나리오는 AI가 독재자를 조종하는 단계입니다. 민주주의 국가에서 권력을 잡는 건 여간 복잡한 작업이 아닙니다. 민주주의 자체가 복잡한 제도라서 그렇죠. 앞으로 5년, 10년 후에 AI가 미국의 대통령을 조종하는 방법을 깨달았다고 해봅시다. 하지만 그렇게 할 수 있어도 상원에서 반대해서 필리버스터(filibuster, 합법적 의사진행방해)를 하면 법을 바꾸지 못합니다. 대통령 하나를 좌지우지한다고 해도 의회가 있고, 각 주의 주지사가 있고, 대법원이 있습니다. 장애물이죠.

그런데 러시아나 북한 같은 나라는 얘기가 다릅니다. 권력이 독재자 한 사람에 집중된 데다가, 그런 독재자들은 극도로 편집증적이고 자기 파악을 못하는(self-unaware) 사람들입니다. 이런 사람들은 AI가 조종하는 게 어렵지 않습니다. 헐리우드 영화들은 세상을 파괴하는 가장 약한 고리(weakest link)가 미친 과학자인 것처럼 묘사하지만, 인류가 AI에 맞서는 상황에서 가장 약한 고리는 독재자들입니다.

진실을 찾는 인센티브 구조

유발 하라리는 정보 기술을 가볍게 생각하지 말라고 강조한다. 민주주의 옆에 장식으로 붙어 있는 게 정보 기술이 아니라, 민주주의의 기반이 되는 게 정보 기술이라는 거다. (물론 그가 말하는 정보 기술이란 21세기 디지털 기술만이 아니다. 광장에서의 대화, 신문과 라디오도 모두 정보 기술이다.) 인류 사회는 개인이 혼자 할 수 없는 엄청난 발전을 이뤄냈지만, 잘못된 정보를 주입받으면 동물 세계에서는 볼 수 없는 규모로 스스로를 파괴할 수 있다. 따라서 사람들이 좋은 정보를 흡수할 수 있는 구조를 만드는 게 중요하다. 이게 어떻게 가능할까?

우선 하라리는 좋은 정보(진실)는 비싸다고 말한다. 로마 제국에 대해서 제대로 알려면 많은 공부와 연구가 필요하고, 여기에는 돈과 시간이 들어간다. 하지만 로마에 관한 허구나 가짜 지식은 쉽게 만들어 낼 수 있다. 그뿐 아니다. 진실은 복잡해서 이해하기 어려운 경우가 많은 반면, 사람들 사이에 퍼지기 쉽게 만들어 낸 허위 정보는 이해하기 쉽다. "어느 날 우박이 내려서 내 밭의 농작물이 다 상했습니다. 그 이유를 과학적으로 설명하는 것과 그 마을에 사는 어느 마녀의 소행이라고 하는 것 중에서 어느 쪽이 이해하기 쉬울까요?"

비과학적이고 전근대적 사고방식을 가지고 살던 인류가 지금 수준에 이르는 과정에서 결정적인 역할을 한 것은 과학, 좀 더 정확하게는 과학을 하는 방법의 발견이다. 하라리는 이를 무지의 발견(discovery of ignorance)라고 부른다. 이게 무슨 뜻일까?

그는 과학 혁명을 낳은 건 인쇄술이 아니라, 무지와 실수를 인정하는 것을 작동 원리로 하는 새로운 제도(institution, 기관)의 등장이라고 한다. 모르는 것을 인정하는 것이야말로 과학이 작동하는 주요 원리라는 거다. 이를 과학이 등장하기 전에 가장 막강한 힘을 발휘했던 종교 기관과 비교해 보면 의미를 쉽게 이해할 수 있다. 교회와 같은 종교 기관들은 완전한 진리가 성경과 같은 경전을 통해 이미 알려졌다고 믿는다. 종교마다 서로 다른 도그마를 갖고 있지만, 각 종교 기관은 그렇게 확신한다. 반면 나중에 등장한 과학은 우리가 모른다는 가정에 기반한다.

새롭게 등장한 인쇄 기술로 책을 만드는 사람은 어떤 책을 팔아야 할까? 책을 팔아서 돈을 벌고 싶다면 '마녀를 잡는 망치'처럼 쉽고 재미있고, 분노를 유발하는 책을 만드는 게 좋다. 사람들은 그런 책을 좋아하기 때문이다. 그래서 초기 유럽의 출판업자들은 그런 책을 찍어 퍼뜨렸다.

하지만 과학은 전혀 다른 인센티브 구조를 갖고 있다. 과학자들은 사실 여부를 끊임없이 의심하고, 진실/진리라는 흔치 않고 비싼 정보를 찾는 사람들이다. 무엇보다 이들은 자기가 속한 집단(과학계)의 실수를 찾는다. (쉽게 믿지 않고 의심한다는 점은 음모론자도 비슷하지만, 이들은 자기가 가진 증거, 이론에서 실수나 오류를 찾으려 하지 않는다는 점에서 다르다.)

논문을 학술지에 게재하려는 과학자에게 성공을 보장하는 유일한 방법은 과거의 발견에서 오류를 찾아내거나, 거기에 새로운 것을 더하는 것이다. 이미 알려진 사실을 반복해서는 논문을 게재할 수 없다. 이게 과학이 가진 인센티브 구조다. 누군가 아인슈타인의 이론이 틀린 것을 성공적으로 증명한다면 노벨상을 받을 수 있는 곳이 과학계다. 종교는 다르다. 종교계에서 성공하기 위해서는 이미 알려진 주장을 철저하게 인정해야 하고, 새로운 생각, 다른 해석을 가져오는 사람들을 막아야 한다. 하지만 과학계에서 그렇게 하는 사람들은 성공하지 못한다.

인류 사회의 비극은 여전히 많은 나라에서 과학자들이 종교 지도자, 혹은 이데올로기 전문가들의 명령을 받는다는 사실이다. 민주주의 국가는 민주주의 국가대로, 독재 국가는 독재 국가대로 새로운 과학 기술의 도전 앞에서 비틀거리고 있다. 우리가 손을 쓰기에는 너무 늦은 건 아닐까? (유발 하라리는 2023년, AI의 개발을 잠시 멈추자는 서한에 서명했지만, 어느 기업도 듣지 않았다.) 그 질문에 하라리는 이렇게 답한다.

"이미 늦었을지도 모릅니다. 그래도 최선을 다해 봐야죠." 🦦