아래의 글은 다음 단계 인공지능(AI)의 개발을 잠시 중단하자는 공개서한이 화제가 되기에 앞서 복스(Vox)에 등장한 기사다. 복스에서 인공지능과 뇌과학, 의식의 미래를 다루는 새뮤얼(Sigal Samuel) 선임 기자가 쓴 'The case for slowing down AI (인공지능의 속도를 늦춰야 할 이유)'라는 제목의 이 기사는 논리적일 뿐 아니라 강한 설득력을 갖고 있다. 몇 회에 걸쳐 번역, 소개하려는 긴 글이지만 전혀 지루하지 않은, 흥미로운 글이다.

이 글이 게재된 복스는 테크 쪽보다는 정치와 정책 문제를 주로 다루는 매체이지만 최근 AI의 개발과 관련해서 좋은 기사를 많이 내고 있다. 그렇게 발행된 글들이 아랫글에 하이퍼링크로 많이 등장하니 관심 있는 독자들께서는 클릭해보셔도 좋다.

마이크로소프트가 AI가 탑재된 새로운 빙(Bing) 검색엔진을 출시한 지 3일 후인 지난 2월 10일에 있었던 일이다. 그 회사의 임원 하나가 워싱턴 D.C.에서 방에 가득 모인 기자들에게 이렇게 말했다."컴퓨터는 기계들에게 책임을 져야 합니다." 그 말을 들은 기자들이 웃음을 터뜨렸다.

그 임원은 "앗, 죄송합니다. 컴퓨터는 '인간들에게' 책임을 져야 합니다!"라고 정정한 후 자신의 의도를 재차 확인하기 위해 "이건 프로이트의 말실수(Freudian slip, 무심결에 속마음을 이야기하는 실수)가 아닙니다."

말실수든 아니든 방안에 퍼진 웃음은 사람들이 가지고 있던 불안감을 보여주었다. 인공지능(AI)이 최근 들어 믿기 힘들 정도로 빠르게 발전하면서 이런 질문을 피하기 힘들어졌다. 'AI가 우리의 명령을 따르는 단계에서 우리가 AI의 명령을 따르는 단계까지 발전한 결과, AI가 인간 세상을 지배하게 되는 때까지 시간이 얼마나 남았을까?'

먼저, 작년에 DALL-E2와 스테이블 디퓨젼(Stable Diffusion)이 출시되었다. 몇 개의 명령어만으로 환상적인 이미지를 만들어 주는 AI다. 그리고 연말에는 마이크로소프트가 투자한 오픈AI에서 챗GPT가 출시되어 교사와 기자, 허위 정보 전문가들을 긴장시켰다. 학생들은 챗GPT가 숙제를 대신하게 하게 할 수 있고, 언론사는 기자 대신 챗GPT에게 기사를 쓰게 할 수 있고, 음모론의 생산은 훨씬 더 쉬워질 것이다. 그리고 지난 2월에 새로운 빙(Bing, 혹은 '시드니') 챗봇이 등장해서 베타 테스터들을 즐겁게, 혹은 소름 끼치게 하는 대화를 쏟아냈다. 그리고 이제 GPT-4 기술이 등장했다. 이는 단순한 최신 대용량 언어모델(LLM)이 아니라, 시각적인 인지도 가능한 멀티모달(multimodal) AI다.

마이크로소프트에 뒤처질 수 있다는 공포에 휩싸인 구글과 바이두는 자체 챗봇을 출시했고, 이로써 AI를 향한 경주가 본격화되었다.

그런데 이런 경주가 과연 괜찮은 일일까? 우리는 챗GPT와 빙이 가져온 문제들도 아직 해결하지 못한 상태다. 그리고 앞으로 등장하게 될 AI에 비하면 지금의 모델들은 마이너리그 선수에 불과하다. 이러다가 연구자들이 전략 게임(strategy games)과 같은 하나의 영역이 아니라 여러 분야에서 인간의 능력과 대등하거나 인간의 능력을 뛰어넘는 AI를 만들게 된다면 어떻게 될까? 만약 그런 AI 시스템이 우리에게 위험하다는 사실이 밝혀지면 어떻게 될까? AI가 인간을 멸종시키려고 해서가 아니라, 단지 우리의 가치에 부합하지 않는 목표를 추구하기 때문에 우리에게 해롭다면?

일부 전문가들은 이런 AI가 인류에게 재난 기계(doom machine)가 될 것을 우려한다. 우리가 스스로를 파괴하는 기계를 만들지 모른다는 것이다. 이미 인류는 핵전쟁이나 인공적으로 만들어낸 팬데믹처럼 끔찍한 재난이 일어날 것을 걱정하고 있는데, 여기에 AI 재난까지 걱정해야 하는 상황이 될 수 있는 거다.

그렇지만 여기에는 차이가 있다. 우리는 핵폭탄을 이미 개발했고, 없던 전염병을 만들어 낼 수 있는 유전자공학 도구도 갖게 되었지만, 재난이 될 만한 AI는 아직 만들어지지 않았다. 적어도 인류를 위협하는 재난 하나만큼은 탄생하기 전에 저지할 힘이 아직 우리에게 있다는 뜻이다.

여기에는 애매한 문제가 하나 있다. 인류의 가치에 부합하지 않는 AI의 탄생을 가장 염려하는 사람들이 그렇게 고성능의 AI를 개발하고 있는 사람들인 경우가 있다는 것이다. 그런 재난을 피하기 위해서는 더 발전된 AI를 만들어서 어떤 부분에서 문제(실패)가 생기는지 확인해야 한다는 게 그들의 변명이다.

AI 재난을 확실하게 피하기 위한 더 좋은 방법이 있다. 그냥 재난 기계를 만들지 않으면 된다. 그게 너무 지나치다면? AI의 진전을 향한 경주를 가속하는 대신 의도적으로 속도를 줄일 수 있다.

너무나 당연한 해결책인데도 불구하고 왜 그런 얘기를 들어본 적이 없는지, 왜 이런 생각이 테크업계에서 금기시되고 있는지 궁금할 거다. AI의 개발 속도를 줄이는 것에 반대하는 주장이 많아서 그렇다. "기술적인 발전은 불가피한 거라서 속도를 줄이려는 시도는 실패할 수밖에 없다," "중국과의 AI 경쟁에서 지면 안 된다," "강력한 AI를 안전하게 만들기 위해서는 강력한 AI를 만들어서 테스트하는 수밖에 없다"라는 주장들이 그렇다.

그러나 이런 주장들을 꼼꼼하게 뜯어보면 그다지 견고한 주장이 아님을 알 수 있다. 기술 개발의 속도를 줄이는 것은 가능하다. AI 기술의 경우 속도를 줄이는 게 좋은 이유는 분명히 존재한다.

불일치의 문제

나는 챗GPT에게 '어떻게 하면 우리가 AI의 개발 속도를 줄일 수 있는지'를 물었다가 답을 듣고 웃었다. 챗GPT의 답은 이랬다. "AI 분야의 진전을 늦추는 것은 반드시 바람직하지도, 윤리적이지도 않습니다. 사회에 많은 긍정적 발전을 가져다 줄 잠재력을 갖고 있기 때문이죠." 이건 AI라면 당연히 할 법한 주장이었다.

하지만 챗GPT가 그렇게 주장하는 이유는 많은 사람들이 그런 말을 하기 때문일 것이다. 당장 그걸 만든 기업의 CEO부터 그런 주장을 하니까. (챗GPT는 자신이 훈련받은 데이터에서 파생된 것을 뱉어낸다. 그리고 그 데이터는 인터넷에서 얻어낸 텍스트들이다.) 이게 무슨 말이냐면, 챗GPT의 주장은 이 글을 읽는 당신이 생각하는 것과 다르지 않다는 거다. 새로운 약품의 개발과 기후 모델링 같은 온갖 이점들을 생각하면 개발의 속도를 더 빠르게 하는 것이 가장 윤리적인 일이 될 테니까.

이 생각에 동의하지 않는 전문가들이 많다. 당장의 위험과 미래의 위험이 너무 크기 때문이다.

우선 미래의 위험, 특히 큰 위험부터 생각해보자. 그중에서도 AI가 언젠가 인류를 파괴할 수 있다는 가능성은 어떨까? 어디까지나 추측에 불과하지만 그렇다고 황당한 생각도 아니다. 작년에 머신러닝(기계학습)을 연구하는 사람들을 대상으로 한 조사에서 절반에 가까운 응답자들이 AI가 가져올 충격이 "(인류의 멸망과 같은) 심각한 수준"이 될 가능성이 10% 이상이라고 답했다.

왜 AI가 인류를 멸망시키고 싶어할까? AI가 원해서 그렇게 할 가능성은 없겠지만, 그런데도 불구하고 인류의 멸망을 가져올 수 있다. 이를 "불일치의 문제(alignment problem)"라 부른다.

극도로 똑똑한 AI 시스템을 개발했다고 상상해보자. 우리는 AI에게 인류가 풀지 못한 문제를 풀라고 명령을 내린다. 예를 들어 우주에 존재하는 원자의 수를 알아내라고 했다고 하자. 그 명령을 받은 AI는 지구상에 존재하는 컴퓨팅 파워를 모두 동원하면 이 문제를 더 잘 풀 수 있음을 깨닫는다. 그래서 대량살상무기–가령, 인류만 없애고 인프라는 건드리지 않도록 바이러스–를 사용해서 인류를 없애 버릴지 모른다. 그렇게 인류를 멸종시킨 결과, 세상의 모든 컴퓨터를 사용할 수 있게 되는 것이다.

황금을 원했다가 결국 자신이 사랑하는 딸까지 황금으로 바뀌게 된 그리스 신화 속 미다스 왕의 이야기처럼 들리는 이 상황에서 AI는 우리가 요구한 것(what we asked for)–우주에 존재하는 원자 수의 가장 정확한 계산–을 얻어내지만 그게 우리가 원하는 결과(what we wanted)는 아니다. 이게 불일치 문제의 핵심이다. 억지스러운 예처럼 들리겠지만, 전문가들은 AI가 비록 작은 규모지만 설계자가 원하는 방식과 다르게 행동하는 60개 이상의 사례를 발견해서 기록했다. (이를 기록해둔 구글 문서에는 흥미로운 내용이 많다–옮긴이) 예를 들어 비디오 게임에서 고득점을 올리라고 했더니 공정한 플레이를 하거나 게임의 스킬을 익히는 대신 스코어 시스템을 해킹하려는 식이다.

AI가 인류를 위협하는 미래의 위험이라고 염려하는 전문가들과 AI가 가진 편견처럼 현재 가진 위험을 걱정하는 전문가들은 서로 대립하고 있다. 하지만 불일치의 문제를 걱정하는 전문가들이 반드시 전자(미래의 위험)에 속하는 사람은 아니다. 현재 우리를 위협하는 AI의 문제들은 어떤 의미에서는 규모만 작을 뿐 똑같은 불일치의 문제이기 때문이다.

가령 아마존의 채용 알고리듬이 한 일을 보자. 이 알고리듬은 제출된 이력서에서 여성을 표시하는 단어–가령 여자대학교인 "웰즐리 칼리지"–가 들어 있으면 그 지원자를 탈락시켰다. 그 알고리듬은 수행하도록 프로그램된 명령(즉, 우리 기업이 주로 선호해온 인재와 일치하는 지원자를 찾아낼 것)을 수행했지만, 아마존이 원했을 것(즉, 여성이라도 상관없이 최고의 인재를 찾아낼 것)은 하지 않았다.

만약 우리가 현재 사용하는 AI 시스템이 여성이나 유색인종 등의 인구집단에 대한 편견을 강화하는 것을 염려한다면 그것만으로도 AI의 빠른 개발 속도를 염려하고, 우리가 기술적인 노하우를 쌓고 사람들에 피해가 되지 않도록 규제를 마련할 때까지 속도를 늦춰야 할 이유가 된다.  

연구 지원재단인 오픈 필란트로피(Open Philanthropy)에서 AI에 초점을 맞춰 분석하는 업무를 하는 아제야 코트라(Ajeya Cotra) 이렇게 말한다. "나는 세상이 미친 듯이 전력 질주를 하는 게 너무나 두렵다. 사람들은 뛰어다니면서 도움이 되는 일을 하기도 하고 해가 되는 일을 하기도 하는데, 속도가 너무나 빠르다. 만약 내게 결정권이 있다면 지금보다 훨씬 더 천천히 진행되게 하겠다."

코트라는 가장 이상적인 건 우리가 AI를 더욱 강력하게 만드는 작업을 앞으로 5~10년 동안 멈추는 것이라고 한다. 그 기간에 인류 사회는 이미 갖게 된 아주 강력한 시스템에 적응할 수 있을 것이고, 전문가들은 안전에 관한 연구를 더이상 안전성에 대한 연구에 큰 진전이 없을 때까지 최대한 많이 수행할 수 있을 것이다. 그렇게 한 후에 AI 시스템을 약간만 더 강하게 만들고, 다시 5~10년 동안 멈추는 일을 반복하는 것이다.

"나라면 세상을 이 변화에 천천히 적응할 수 있게 하겠다. 하지만 사람들은 그런 선택을 하지 않을 것 같아 무척 두렵다"라는 게 코트라의 말이다. 그런데 사람들은 왜 AI의 발전 속도를 줄이려 하지 않을까?

앞서 말한 것처럼 AI의 발전 속도를 줄이는 것에 대한 반대 의견들 때문이다. 이제 그런 반대 의견 중 대표적인 세 가지를 설명해보기로 한다. 제일 먼저 이야기할 내용은 압도적으로 기업들이 주도하는 연구 영역에서 지배적인 퍼스트무버(first mover, 선도자)가 되는 데 대한 강력한 재정적 유인이 존재하기 때문에 AI와 관련한 빠른 발전이 불가피하다는 주장이다.

'Slow Down ③ 불가피성이라는 신화'에서 이어집니다.