반론 1: “기술의 발전은 불가피하며, 발전의 속도를 줄이려는 노력은 효과가 없다"

이건 테크 업계에서 자기들끼리 하는 말인 동시에, 일반 대중에게도 반복적으로 전파하는 신화다.

"우리가 만들지 않아도 다른 누군가가 만들 것이기 때문에 차라리 우리가 만드는 게 낫다"라는 주장은 내가 실리콘밸리의 테크 전문가들을 인터뷰할 때 흔히 듣는 말이다. 그들은 기술적 진보의 행진은 막을 수 없다고 주장하면서, 이를 자연에서 볼 수 있는 진화의 법칙에 비유한다. 아무도 막을 수 없다는 얘기다.

하지만 이는 사실이 아니다. 우리가 만들지 않기로 결정하거나, 개발에 아주 엄격한 제한을 가한 테크놀로지는 많다. 상당한 잠재적 이익, 경제적 가치와 아주 실질적인 위험을 저울질해서 판단해야 하는 종류의 혁신일 경우다.

"A군 연쇄상구균(strep A)은 전 세계적으로 한 해 50만 명의 목숨을 앗아가는 질병이었음에도 미국 식품의약국(FDA)은 이를 위해 개발한 백신의 인체 실험을 1970년대부터 2000년대까지 금지했다." AI 임팩트의 카트야 그레이스(Katja Grace) 수석 연구원의 말이다. "유전자 조작 식품, 유전자 드라이브(gene drive, 변형된 유전자를 개체군 전체에 신속하게 퍼뜨리는 혁신적 기술로, 가령 모기와 같은 하나의 종의 유전자를 모조리 조작하거나 아예 멸종시킬 만한 파괴력을 가졌다–옮긴이), 그리고 초기의 유전자 재조합 기술을 연구하던 사람들이 모라토리엄(일시 중단)을 선언한 후 특정 실험을 금지하는 등의 연구 가이드라인을 먼저 만든 것은 잘 알려져 있다. (이와 관련해서는 아실로마 회의를 볼 것.)

이 글에 처음 들어간 링크가 소개하는 기사에 좀 더 자세한 설명이 있다:

진화는 테크놀로지의 발전을 설명하는 메타포로서 아주 부적절하다. 테크 전문가들이 진화와 기술을 동등한 것처럼 설명하고 싶어 하는 것은 근본적으로 문제가 많다. 진화는 무작위에 의한 돌연변이가 주도하는 과정으로, 계획이 아닌 실수에 의해 진행된다. (물론 발명에 따라서는 우연한 실수의 결과인 경우도 있지만, 그렇게 얻어진 결과를 기업이 특허를 출원하고, 제품을 생산하고, 판매하는 작업은 실수의 결과가 아니다.) 진화는 시장이나 환경, 소비자층에 관한 회의를 하지 않는다. 진화는 특허를 내지도 않고 포커스그룹을 운영하지도 않는다. 진화는 자신이 계획이 아무런 제약을 받지 않고 진행되도록 하기 위해 수백만 달러를 들여 의회를 상대로 로비하지도 않는다.

테크놀로지의 지니를 다시 호리병 속으로 되돌리지 못해도, 인위적으로 개입해서 지니가 특정한 규칙에 따라 활동하도록 만드는 경우도 있다. 가령 생물학 무기 분야에서는 기업이 해도 되는 것과 하면 안 되는 것이 법으로 분명하게 정해져 있다. FDA는 의약품이 시장에 팔리기 전에 효과와 안전성을 확인한다. 미국 농무부(USDA)는 식품 연구가 함부로 진행되지 못하게 하고 있다. 기업이 원한다고 아무 곳에서나 땅을 파서 석유를 뽑아낼 수 없고, 원한다고 아무 곳에나 원자력 발전소를 지을 수 있는 것도 아니다. 아무나 자동차, 비행기, 총기류를 만들어 팔게 허용하지도 않는다.

따라서 테크기업은 국민의 이해에 따르게 만들어지거나 제한을 받을 수 없다는 주장은 테크업종은 다른 업종과는 근본적으로 다르다는 주장이다. 그렇지 않다. 테크기업도 다른 기업과 다를 바 없다.

그레이스 연구원은 인간 복제나 인간 유전자의 조작이 "경제적 가치가 높아도 많은 나라들이 개발하지 않고 있는 기술이다. 이 기술을 가진 나라들은 경쟁력을 키울 수 있음을 알고도, 나라들 사이에 특별한 조율이 없이도 개발을 하지 않기로 한 것이다"라고 설명한다.

하지만 자체적으로 속도를 늦추는 메커니즘을 가진 생물의학(이 분야에 있는 IRB, 즉 연구윤리심의위원회나 "우선, 해가 되는 일을 하지 말라"는 윤리 규정을 생각해보라)과 달리 테크업계–특히 인공지능 분야–의 경우 이런 원칙이 없다. 아니, 오히려 그 반대다. 마크 저커버그(Mark Zuckerberg)가 했던 악명 높은 말, "빠르게 움직이고, 틀을 깨부숴라(move fast and break things)"라는 말이 대표적이다.

특정 기술을 개발하도록 우리를 떠미는 자연의 법칙 같은 것은 없지만–개발을 할지, 말지의 여부는 인간이 내리는 것이다–그럼에도 불구하고 어떤 기술의 경우에는 개발에 대한 인센티브가 너무나 강력해서 마치 중력처럼 피할 수 없는 것으로 느껴지기도 한다. AI의 안전과 연구를 진행하는 기업인 앤트로픽(Anthropic)은 작년에 발표한 논문에서 이렇게 표현했다. "그런 AI모델을 개발하는 데에 주어지는 경제적 인센티브, 그리고 그걸 발표할 때 얻을 수 있는 명예(prestige)는 아주 크다." 한 계산에 따르면 생성 AI 하나의 시장 규모가 2020년대 말에 1,000억 달러(약 130조 원)를 넘을 수 있다. 새로운 기술을 가장 먼저 개발하는 '퍼스트무버'가 갖게 되는 이점을 실리콘밸리만큼 잘 알고 있는 곳도 없을 거다.

그렇지만 이런 인센티브와 인류에게 진정으로 이득이 되는 AI를 만드는 것이 일치하지 않는 상황은 쉽게 상상할 수 있다. 딥마인드(DeepMind)의 설립자 데미스 허사비스(Demis Hassabis)는 작년에 이런 트윗을 했다. "AI처럼 중요한 기술을 개발할 때는 '빠르게 움직이고, 틀을 깨부수'지 않는 것이 중요하다." 다른 기업들이 이런 AI 모델들을 개발, 출시하는 게 불가피하니 우리가 보류하는 건 아무런 의미가 없다고 단정 짓기 전에 우리 자신에게 이런 질문을 해봐야 한다. 어떻게 하면 모든 AI 기업들을 움직이게 하는 인센티브 구조를 바꿀 수 있을까?

앤트로픽에서는 몇 가지 방법을 제안한다. 그리고 그중 하나는 AI 기술이 핵무기나 바이오 엔지니어링처럼 세상을 바꾼 다른 기술들과 크게 다른 지점을 정확하게 공략한다. 바로 사기업(private companies)이 기술 개발을 주도하고 있다는 사실이다. 지난 몇 년 동안 큰 인기를 끌었던 AI 연구들이 학계에서 산업계로 이동해 왔다. 오늘날 대규모의 AI 실험을 진행하기 위해서는 최고의 인재들 외에도 엄청난 컴퓨팅 파워–10년 전에 비해 30만 배가 넘는 파워–를 필요로 한다. 이는 단순히 비싸기만 한 것이 아니라 구하는 것 자체가 쉽지 않다. 그 결과, 학계의 환경에서는 이런 연구가 불가능한 경우가 많다.  

따라서 하나의 해법은 더 많은 컴퓨팅 자원을 연구자들에게 제공하는 것이다. 학계의 연구자들은 기업들과 달리 개발한 AI 모델을 서둘러 상업적으로 출시하는 것에 인센티브가 없고, 그렇기 때문에 (기업과의 사이에서) 일종의 균형추 구실을 할 수 있다. 구체적인 방법으로는 각 나라가 국립 연구 클라우드를 만들어서 연구자들에게 컴퓨팅 파워를 무료, 혹은 저가로 공급하는 것이다. 캐나다에 이미 그런 사례가 있고 스탠포드의 인간중심 인공지능 연구소(HAI)에서도 비슷한 아이디어를 미국 정부에 제안한 바 있다.

인센티브를 바꿀 수 있는 또 다른 방법이 특정한 종류의 AI 기술에 부정적인 낙인을 찍는 것이다. 낙인이 대수롭지 않게 보여도 과소평가하면 안 된다. 기업들은 자신의 명성에 신경을 쓴다. 명성이 수익에 영향을 주기 때문이다. 특정 AI 기술이 우리에게 도움이 되지 않거나, 너무 빨라서 도움이 되지 않는다는 사회적 공감대가 형성되면 그런 기술을 사용하는 기업들은 박수를 받는 대신 지탄을 받게 되고, 이는 기업의 결정에 영향을 준다.

앤트로픽는 인센티브를 바꿀 규제 방법들을 탐구해보라고 추천한다. 앤트로픽에서 발표한 논문은 연성 규제(soft regulation)와 경성 규제(hard regulation)의 조합을 제안한다. 업계와 학계, 시민사회, 정부가 자발적 모범 사례를 만들 경우 연성 규제로 작동할 수 있고, 이런 모범 사례들을 업계의 표준으로 만들고 법제화하면 경성 규제가 된다는 것이다.

카트야 그레이스는 또 다른 아이디어도 제안한다. 경우에 따라 논문의 출판 시스템을 바꿔서 연구 결과가 퍼지는 속도를 줄일 수 있다는 것이다. 학술 저널은 연구 결과를 검증한 후 연구의 세부 사항을 드러내지 않고 발표 사실만 공개함으로써 다른 연구소가 속도를 내는 일을 제한할 수 있다. 이 아이디어는 좀 이상하게 들릴 수 있지만 주요 AI 기업 중에 논문 출판 시스템이 당연히 바뀌어야 한다고 생각하는 곳이 있다. 바로 오픈AI다. 이 기업의 헌장은 "안전과 보안에 관한 우려로 인해 앞으로는 전통적인 논문 발표를 축소할 것으로 예상한다"라고 밝히고 있다.

사실 이런 일은 과거에도 있었다. 1934년, 핵 연쇄반응으로 특허를 낸 물리학자 레오 실라드(Leo Szilard)가 나치 독일의 핵무기 개발을 저지하기 위해 자신의 연구가 퍼져나가는 걸 최소화한 방법을 생각해 보라. 그는 먼저 영국 전쟁성(British War Office)에 자신의 특허를 비밀로 해달라고 부탁했다. 그후 1938년에 핵분열을 발견한 실라드는 함께 연구한 다른 과학자들을 설득해서 결과를 숨겼다. 그러다가 나치 독일이 원자폭탄을 개발할 거라는 두려움에 빠진 실라드가 알버트 아인슈타인과 함께 프랭클린 D. 루즈벨트 대통령에게 편지를 써 미국도 핵무기 개발 프로그램을 시작하라고 촉구했다는 것을 제외하면, 그의 계획은 적어도 부분적으로는 성공했다.

그렇게 편지를 받은 루즈벨트는 (원자폭탄 개발 계획인) 맨해튼 프로젝트를 시작하게 되고, 히로시마와 나가사키에 원자폭탄이 떨어지면서 핵 시대가 시작되었다. 이 이야기는 자연스럽게 우리가 두 번째로 이야기하려는 "중국과의 AI 경쟁에서 이겨야 한다"는 반론에 대한 논의로 이어진다.

'Slow Down ④ 중국과의 경쟁'에서 이어집니다.