중국 정부가 인공지능(AI) 개발에 적극적으로 개입하고 있다는 뉴스가 들린다. 미국에서는 기업이 개발하고 정부는 규제안을 만드는 식으로 역할 분담이 이뤄지고 있지만, 중국 정부는 다르다. MIT 테크리뷰에 따르면 중국 정부는 규제의 주체만이 아니라, AI 기술의 스폰서이자 투자자로 보이고 싶어 한다. 규제를 해야 하는 당국이 이 기술을 적극 밀고 있다면 여기에는 이해 충돌이 생길 수밖에 없다.

그런데 문제는 단순한 이해 충돌보다 더 깊은 곳에 있다. 새로운 기술을 대하는 중국 정부와 그 정부가 길들인 국민들의 태도다. 아랫글은 포린어페어스(Foreign Affairs)에 올라온 "China Is Flirting With AI Catastrophe(중국은 AI 재난을 우습게 생각하고 있다)"라는 기사를 번역한 것으로, 이 문제를 쉽고 흥미롭게 설명한다. 기사 링크를 누르면 원문을 읽을 수 있다.

20세기 냉전 초기를 지켜본 사람이라면 냉전 중 최악의 핵 재난이 우크라이나에 있는 잘 알려지지 않은 발전소에서 발생할 것이라고는 상상하기 힘들었을 것이다. 1986년에 일어난 체르노빌 사태는 원자로 설계 결함과 발전소 운영자들의 일으킨 일련의 실수가 만들어 낸 결과였다. 당시 세계 최강대국들이 인류의 종말을 불러올 수 있는 군비 경쟁을 벌이고 있었기 때문에 사람들은 인류가 가지게 된 지 얼마 되지 않아 아직 실험적인 단계에 있던 핵기술이 가진–그다지 커보이지 않았던–위험을 보지 못했다.

1962년의 쿠바 미사일 사태처럼 아슬아슬한 위기를 탈출한 인류가 미국이 히로시마에 떨어뜨린 핵폭탄보다 400배나 많은 방사능에 속수무책으로 노출된 것은 담당자들이 단순한 안전 조치를 따르지 않았고, 권위주의 정권이 재난 관리에 실패했기 때문이다. 수백에서 수만 명의 사람들이 방사능으로 인해 기대 수명보다 일찍 사망한 것으로 추산되고, 런던의 두 배 규모의 출입통제 구역이 만들어져 오늘날에 이르고 있다.

세계가 새로운 두 강대국–이번에는 중국과 미국–간의 경쟁의 시대로 진입하면서 인공지능(AI)이라는 새로운 기술을 두고 두 나라 사이에 과거 핵무기 경쟁 때와 비슷한 군사적, 윤리적 우려가 촉발하게 되었다. 이건 공연한 걱정이 아니다. 아니, 오히려 더 크게 우려해야 할 문제다. 자동화된 무기와 기계 속도의 전쟁이 가능한 세상은 인류에게 끔찍한 결과를 초래할 수 있기 때문이다. 중국 정부가 신장 위구르 지역 주민들을 상대로 반인류적 범죄를 저지르는 과정에서 사용하는 AI 도구들은 이런 범죄 행위를 더욱 효율적으로 만들어 주고 있다. 이것만으로도 AI로 인한 재난이라고 할 수 있다. (가령 BBC는 중국 정부가 위구르인들을 대상으로 감정을 읽는 AI를 실험해왔다고 보도했다–옮긴이)

하지만 우리는 AI 엔지니어들이 실수로 비극적 결과를 불러오는 사고를 일으킬 가능성에도 주목해야 한다. 비록 AI 시스템이 원자로처럼 폭발하는 것은 아니지만, AI로 인한 파괴는 새로운 치명적 병원체의 개발부터 전기나 석유 파이프라인과 같은 주요 시설의 해킹까지 다양할 수 있다. 그런데 중국 정부는 기술적인 위험에 느슨하게 접근하고 위기관리가 부실하기 때문에 AI로 인한 사고 위험은 중국에서 일어날 가능성이 가장 크다. 이런 위험–그리고 그 결과가 중국 밖으로 퍼져나갈 가능성–을 냉정하게 평가한다면 AI 분야에서 작업의 위험(hazards)을 고려하는 방식을 다시 생각하게 될 것이다.

위험에 대한 인식 차이

지난 몇 달 동안 AI가 초래할 수 있는 위험에 대한 논의가 많이 이뤄졌다. 어떤 전문가들은 인간을 초월하는 지능을 가진 AI가 언젠가는 인류의 생존에 위협이 될 거라 주장하는가 하면, 다른 전문가들은 "AI 종말론자들"이 불필요한 불안감을 자아낸다고 비난한다. 하지만  AI 디스토피아에 대한 가장 극단적인 공포는 무시하고 이미 발생한 적 있는 일만 살펴봐도 의도치 않은 대규모의 재난이 가까운 미래에 일어날 수 있다고 걱정할 충분한 이유를 발견할 수 있다.

가령 금융계에서 사용하는 AI 시스템 사이에서 기계 속도의 상호작용이 빨라지면서 주가를 폭락시킬 수 있다. 2010년 "플래시 크래시" 때 알고리듬 거래 시스템이 그런 방식으로 수조 달러 가치의 주식을 단 몇 분만에 날려버렸다. 또한 의약품 연구자들이 AI를 사용해 잠재적인 생화학무기 4만 종을 개발하는 데 6시간이 채 걸리지 않았다는 사실은 AI 시스템이 파괴적인 결과를 내는 데 얼마나 쉽게 이용될 수 있는지 보여준다.

플래시 크래시(flash crash) "갑작스러운 붕괴"란 뜻으로 알고리즘 거래에서 컴퓨터 프로그램의 매물 폭탄으로 주가가 급락하는 현상을 말한다. 2010년 5월6일 다우지수는 특이한 악재도 없이 거래 종료를 15분 남기고 순식간에 998.5포인트(약 9%)나 순간적으로 폭락했는데 이는 알고리즘 매매를 통한 매물이 집중됐기 때문이다. 당시 지수는 빠르게 회복해 낙폭을 347포인트로 줄인 채 거래를 마쳤는데, 낙푹을 만회하게 한 주 원인도 알고리즘 매매였다. (출처: 한경 용어 사전)

마찬가지로 AI를 동원한 사이버 공격은 통제 불능 상태가 되어 사회 기간망을 무차별 파괴할 수있다. 비슷한 일이 낫페트야(NotPetya) 공격 때 일어났다. 2017년에 일어난 이 공격은 원래 러시아가 우크라이나를 겨냥해 시작한 것이지만 결과적으로 전 세계의 컴퓨터를 감염시켰다. 이런 불안한 전조에도 불구하고 AI 테크놀로지는 계속해서 빠른 속도로 발전하고 있다. 이 기술이 초래할 수 있는 위험(리스크)은 이에 대한 해결책을 찾는 속도보다 훨씬 빠르게 커진다.

대다수의 미국인은 이런 위험을 전문적으로 자세하게 알지는 못하지만, 새롭고 강력한 기술로 중대한 결과를 초래할 수 있는 복잡한 시스템을 만드는 것이 얼마나 무서운 일인지는 알고 있다. 2022년에 나온 입소스 조사 결과에 따르면 35%의 미국인만이 AI가 주는 혜택이 위험보다 더 클 것이라 생각한다. 다른 나라와 비교하면 미국은 이 기술이 가져올 미래를 가장 비관적으로 보는 나라 중 하나다. 일반인만 그런 게 아니다. AI 연구소에서 일하는 엔지니어들을 상대로 한 조사를 보면 일반 대중보다 안전 문제를 더 염려하면 염려했지 덜 하지 않는 것으로 나타난다. "AI의 대부"라고 알려진 제프리 힌튼(Geoffrey Hinton)은 최근까지 구글에서 부사장으로 일했지만 과학자들이 "(AI를) 통제할 수 있는지 알 수 있을 때까지" AI 테크놀로지를 더 키우는 것을 보류해야 한다고 널리 알리기 위해 회사를 그만뒀다.

반대로 중국은 AI와 관련해서 세계에서 가장 낙관적인 나라 중 하나로 꼽힌다. 조사 대상 다섯 중 네 명에 가까운 중국인이 AI가 가져올 이익이 위험보다 크다고 답했다고 한다. 미국 정부와 실리콘밸리가 "move fast and break things (빠르게 움직이고 파괴하라)"라는 식의 사고방식에 대해 거부감을 갖기 시작한 지 벌써 몇 년이 되었지만, 중국의 테크 기업과 정부는 여전히 그 사고방식을 갖고 있는 것을 스스로 자랑스럽게 생각한다. 중국의 AI 전문가이자 테크 기업 임원인 카이 푸 리(Kai-Fu Lee)의 말을 빌자면 "위험에 민감한 미국의 정치인들이라면 두려워할" AI의 위험을 중국 정부는 기꺼이 감수하려는 태도를 갖고 있고, 중국의 테크 리더들은 이 사실에 열광한다.

재난에 대한 기억 상실

AI가 가져올 수 있는 위험을 보는 중국과 미국의 시각–그리고 각 나라의 테크 업계가 위험을 감수하려는 태도의–차이는 우연히 발생한 게 아니다. 발생한 재난에 대한 비판적 여론으로부터 중국 정부를 보호하기 위해 국민이 겪은 재난의 경험을 체계적으로 억누르는 중국의 정책이 가져온 결과다.

미국에서는 석유 추출이나, 식료품, 의약품 생산처럼 대규모 산업, 위험한 화학물질을 처리하는 업종에서 큰 재난이 발생하면 가슴 아픈 결과가 미디어를 통해 사회에 퍼지고, 그 결과 대중의 의식이 높아지고 안전 조치가 강화되곤 한다. 예를 들어 현재 오하이오주에서는 새로운 안전 규정을 도입하는 절차가 진행 중이다. 지난 2월에 일어난 화물열차 탈선 사고로 유독 가스가 오하이오주 이스트 팔레스틴 상공을 뒤덮었기 때문이다.

하지만 중국에서는 다르다. 중국에서는 이런 종류의 사고 소식이 미디어를 타고 퍼지는 일이 드물다. '중국은 안정된 사회'라는 이미지를 끊임없이 홍보하기 위해 정부가 정보의 통로를 옥죄고 있기 때문이다. 재난에 대한 대처가 실패할 경우 중국 공산당은 정보의 확산을 억누르고 사망자의 숫자를 조작하는 일이 늘 일어난다. 1964년부터 1996년까지 중국에서 행해진 핵실험으로 인한 방사능 중독으로 약 20만 명이 수명을 다하지 못하고 사망했지만 이렇게 엄청난 비극이 일어나도 중국 정부는 이에 대한 보도를 허용하기는커녕, 사실조차 인정하지 않는다.

그 결과가 중국의 재난에 대한 기억상실(disaster amnesia)이다. 이로 인해 중국 국민은 변화를 요구하지 못하고, 중국 정부는 큰 대가를 치르는 사고로부터 배우지 못한다. 실수에 대해 책임질 필요가 없다면 기업주들은 안전 규정을 적당히 무시하고 넘어가게 된다. 중국의 산업 안전 재해의 끔찍한 역사는 이런 관행의 결과다.

그뿐 아니라 대중이 사실을 알게 된 경우에도 진정한 변화를 끌어낼 만큼의 지속력을 얻지 못한다. 가령 2007년에 독성 물질이 들어간 치약이 대량 생산, 유통된 일이 있었고, 2008년에는 멜라민을 첨가한 분유가 유통되었고, 2011년에는 저장성(浙江省) 원저우(溫州) 인근에서 고속열차가 충돌하는 사고가 있었지만 전부 손쉬운 희생양을 찾아 공개하고, 정부는 개혁을 요란하게 외쳤지만 공공 안전은 별로 나아지지 않았다. 중국 정부는 문제에 대응하는 척 하지만, 실제 사건에 대한 정보는 묻어둔다. 원저우 열차 사고의 경우 사고 열차의 잔해를 문자 그대로 땅속에 묻어 버렸다. 그때가 원자바오 총리 시절이다. 그런데 시진핑이 총리가 된 후로 미디어 생태계가 훨씬 더 강력한 통제를 받고 있다는 것을 생각하면, 오늘날 중국 국민이 이런 사고에 대해 알게 될 가능성은 더 작다.

새롭게 떠오르는 기술들이 최악의 사고를 내도 대중의 의식에 남지 않기 때문에 중국 사회는 AI와 같은 신기술에 엄청나게 낙관적인 태도를 갖고 있는 듯 보인다. 중국이 엄청난 속도로 가난을 벗어난 것이 중국 사회의 빠른 기술 발전과 맞물려 있음을 생각하면, 중국인들의 마음속에 과학 발전은 국가의 발전과 동의어이고, 부정적인 면이 거의 없다고 할 수 있다.

이렇게 전력으로 질주하는 사례를 찾고 싶다면 2018년에 유전자를 편집한 아기를 탄생시켜 전 세계를 놀라게 한 중국의 과학자 허젠쿠이(贺建奎)를 보면 된다. 이는 세계 최초의 유전자 아기를 만들겠다는 생각으로 비밀리에 진행한 일이다. 그는 자신의 업적으로 중국에서 찬사를 받을 거라 기대했고, 처음에는 잠깐 동안 환영받기도 했다. 하지만 인류 사회의 합의 없이 독단적인 결정을 내린 것을 두고 국제적인 비난이 쏟아지자 중국 정부는 어색하게 태도를 바꿨다. 이 문제를 자세히 조사한 결과 예상했던 것처럼 허젠쿠이는 실험에서 돌이킬 수 없는 실수를 저질렀던 것으로 밝혀졌다. 한 유전학자는 이를 두고 "유전자 편집이 잘못될 경우 어떤 결과가 나오는지를 보여주는 끔찍한 예"라고 이야기했다. 그는 애초에 HIV 바이러스를 억누를 수 있는 유전자를 가진(그리고 그 유전자를 후손에게 물려줄 수 있는) 아기를 만들어 내려 했는데, 그 목표에 실패했을 뿐 아니라, 그렇게 태어난 아기들은 인플루엔자와 암을 비롯한 다양한 질병에 더 취약한 것으로 밝혀졌다.

하지만 허젠쿠이는 짧은 기간 동안 형을 살고 나온 후에 연구를 재개했다. 중국 정부는 이와 관련한 법을 새로 제정했지만, 이 법은 윤리적으로 문제가 있어도 수익성이 높은 실험은 할 수 있도록 하는 구멍을 마련해 두고 있다.

'중국의 AI 불장난 ②'에서 이어집니다.