챗GPT의 등장 이후로 많은 직업이 사라질 위기에 처했다는 경고가 곳곳에서 나온다. 최근에는 오픈AI가 공개한 인공지능 GPT-4가 일자리에 미칠 영향이 가장 큰 부문은 고임금 직종이라는 연구 결과가 나오기도 했다. 예상 밖의 일은 아니다. 산업혁명 이후 꾸준히 블루칼라 노동을 대체해온 기계와 그 연장선에 있는 물리적인 로봇과 달리, 챗GPT와 같은 생성 AI(generative AI)는 화이트칼라 노동을 돕거나 대신할 수 있도록 설계되었기 때문이다. 그리고 화이트칼라 직종은 평균적으로 블루칼라보다 임금을 더 많이 받는다.

그렇다면 정확히 어떤 직종이 AI 앞에서 위기에 놓였을까?

펜실베이니아 대학교와 오픈AI의 연구원들이 함께 작업한 이 연구 논문에 따르면 프로그래머와 변호사, 저널리스트 등이 가장 큰 위험에 노출된, 즉 업무가 AI를 사용해 수행될 가능성이 높은 직종이라고 한다. 반면 높은 학력을 필요로 하지 않은 직업이나 도제식 훈련을 거쳐야만 수행할 수 있는 직업, 그리고 "과학과 비판적 사고 기술"을 요구하는 직종은 상대적으로 덜 위험하다. 그 결과 전체 노동자의 20%가 자기가 하던 업무의 절반 이상이 AI를 사용해 자동화되는 것을 보게 될 것이라는 게 이 논문의 경고다.

그리고 엊그제 인공지능 연구자들과 테크 업계의 유명한 사람들이 모여 서명한 공개서한이 발표되었다. '거대한 AI 실험을 잠시 중단하라(Pause Giant AI Experiments)'라는 제목의 이 서한은 비영리단체인 생명의 미래 연구소(Future of Life Institute)에서 작성한 것이고, 현재 개발된 GPT-4의 성능을 넘어서는 다음 단계의 AI를 개발, 훈련하는 과정을 최소 6개월 동안 일시 정지하라는 주장을 담고 있다.

서명한 사람 중에 오픈AI의 설립에 참여했다가 현재는 관계를 끊은 일론 머스크가 포함되어 있어서 더 큰 뉴스가 되었지만, 사실 더 중요한 사람들이 많다. AI의 주요 개척자인 요슈아 벤죠(Yoshua Bengio), 가장 유명한 AI 교과서라고 알려진 '인공지능: 현대적 접근 방식'을 집필한 스튜어트 러셀(Stuart Russell) UC 버클리대 교수, 인류학자 유발 노아 하라리(Yuval Noah Harari), 애플의 공동 창업자 스티브 워즈니악(Steve Wozniak)도 서명자 1,000명에 포함되어 있다.

이들은 AI의 개발을 중단(stop, ban)하자는 것이 아니라, 일시 정지(pause, moratorium)를 하자고 주장하는 것이다. 챗GPT의 폭발적인 인기로 모든 기업들이 AI 개발에 박차를 가하면서 너무나 빠르게 발전하는 과정에서 인류가 미처 준비하지 못한 채 급작스럽게 미래를 맞이할 것에 대한 우려다. 그리고 서한의 핵심은 일시 정지 자체에 있는 것이 아니라, 그렇게 멈춘 반년 동안 AI를 안전하게 개발하기 위한 가드레일을 만들자는 데 있다.

이런 주장은 이번에 처음 나온 것도 아니고, 이 연구소에서만 나온 것도 아니다. 하지만 작년 말 챗GPT의 등장 이후 GPT-4가 나왔고, 구글이 바드(Bard)를 내놓으면서 갑자기 군비경쟁과 비슷한 상황이 벌어지면서 AI 개발과 적용이 급물살을 타고 있다. 이런 경쟁이 벌어질 경우 안전 문제는 뒷전으로 밀려나는 것은 불 보듯 뻔한 일이다. 그런 의미에서 이번 공개서한을 꼼꼼히 읽어볼 필요가 있다고 생각해서 전문을 번역했다.

원문은 여기에서 읽을 수 있다.

인간과 경쟁할 수 있는 지능을 갖춘 인공지능(AI) 시스템은 사회와 인류에 심각한 위기를 초래할 수 있다. 이 사실은 광범위한 연구가 보여주고 있을 뿐 아니라 가장 앞선 AI 연구소들이 인정하고 있다. 많은 지지를 받는 아실로마AI 원칙(Asilomar AI Principles)이 이야기하는 것처럼, 발전한 AI는 지구 생명체의 역사를 근본적으로 바꿀 수 있기 때문에 그 중대성에 상응하는 수준으로 조심스럽게, 그리고 충분한 자원을 사용해 계획하고 관리되어야 한다. 불행하게도 이런 수준의 계획과 관리는 이뤄지지 않고 있다. 지난 몇 달 동안 목격한 것처럼 AI 연구소들은 더 강력한 디지털 두뇌를 만들어 내놓는 경쟁에 통제가 불가능한 수준으로 몰두하고 있고, 아무도–심지어 만든 사람들조차–이들 AI를 이해하거나, 예측하거나, 안정적으로 통제하지 못하고 있다.

현재 AI 시스템은 일반적인 작업에서 (특정 작업에만 특화된 로봇, AI와 구분하고 있다–옮긴이) 인간과 경쟁할 수 있는 수준에 도달하고 있기 때문에 우리는 스스로 질문을 해봐야 한다. 우리는 이 기계들이 프로파간다와 허위 정보를 우리의 정보 채널에 쏟아 넣기를 원하는가? 우리는 우리가 하는 일을 자동화하기를 원하는가? 우리 자신에게 만족감을 주는 일조차도? 우리는 우리보다 더 많고, 더 똑똑해서 인간을 쓸모없는 존재로 만들고 우리를 대체하게 될 인공지능을 개발해야 하는가? 우리는 인류 문명에 대한 통제를 잃을 위험을 각오하고 이걸 해야 하는가?

이런 결정은 민주적으로 선출되지 않은 테크업계의 리더들에게 맡겨두어서는 안된다. 강력한 AI 시스템은 그 효과가 긍정적이며 위험을 관리할 수 있다고 우리가 확신한 후에 개발되어야 한다. 이런 확신은 충분한 근거가 있어야 하고, AI 시스템의 잠재력 효과가 커질수록 그 확신도 커져야 한다. 오픈AI는 최근 인공일반지능(AGI)과 관련해서 "현재로서는 다음번 시스템(GPT-4 다음 단계를 의미한다–옮긴이)을 훈련하는 작업을 시작하기에 앞서 제3자의 독립적인 검토(independent review)를 받는 것이 중요하다. 또한 현재 기술적으로 가장 앞선 기업들이 새로운 모델을 만들어내는 데 사용되는 컴퓨팅의 성장 속도를 제한하는 데 동의하는 것이 중요하다"라고 성명을 발표했다. 우리는 이 주장에 동의한다. 중요한 것은 이를 지금 당장 해야 한다는 것이다.

따라서 우리는 모든 AI 연구실이 지금 당장 최소 6개월 동안 GPT-4를 넘어서는 AI 시스템의 훈련을 중지할 것을 요구한다. 만약 연구실들이 중지하지 않을 경우 정부가 개입해서 모라토리엄(일시 중지)을 선언해야 한다. 그리고 이 기간에 AI 연구실과 독립 AI 전문가들은 공동 작업을 통해 고성능의 AI 디자인과 개발에 공통적으로 적용될 안전 프로토콜을 개발해서 실행하고, 이 프로토콜을 외부의 독립 전문가들에 의해 철저하게 감사과 감독을 받아야 한다. 이런 프로토콜은 이를 준수하는 시스템이 합리적 의심의 여지가 없을 만큼 안전하다는 것을 보장해야 한다. 이는 AI의 개발을 일시 중지해야 한다는 말이 아니다. 새로운 기능을 갖춘 예측 불가능한 블랙박스 모델을 향해 모두가 달려가는 위험한 경쟁에서 한 발짝만 물러서자는 것이다.

AI의 연구와 개발은 오늘날의 강력한 최첨단 시스템을 정확하고, 안전하고, 해석 가능하고, 투명하고, 견고하고,  목표에 부합하고, 신뢰할 수 있고, 충성도 높은 시스템으로 만드는 데 집중해야 한다.

이와 병행해서 AI 개발자들은 정책 입안자들과 협력해서 강력한 AI 관리체제(governance system)의 개발을 획기적으로 가속화해야 한다. 여기에는 최소한 다음과 같은 것들이 포함되어야 한다. AI에만 전념하는 새롭고 능력 있는 규제 기관, 고성능 AI 시스템과 대규모 컴퓨팅 성능을 갖춘 곳들에 대한 추적과 감독, 합성과 실제를 구분하는 작업을 돕고, 모델이 유출될 경우 추적할 수 있도록 하는 출처 및 워터마킹 시스템, 강력한 감사 및 인증 생태계, AI로 인해 발생할 피해에 대한 책임, 기술적인 AI 안전 연구를 위한 충분한 공적 자금, 그리고 AI가 야기할 극적인 경제적, 정치적 혼란(특히 민주주의에 미칠 영향)에 대처할 수 있는 충분한 자원을 가진 기관들이 그것이다.

인류는 AI를 통해 번영하는 미래를 즐길 수 있다. 우리는 강력한 AI를 만드는 데 성공했으니 이제 "AI의 여름"을 만끽하며 그 보상을 누리고, 모두가 분명한 이익을 누릴 수 있는 쪽으로 AI 시스템을 설계하고, 사회가 적응할 수 있는 시간을 줄 수 있다. 우리는 과거에도 사회에 재앙이 될 가능성이 있는 기술의 개발을 일시 중단하곤 했다. AI와 관련해서도 그렇게 할 수 있다. 준비가 안 된 채 서둘러 가을로 가는 대신 긴 AI의 여름을 즐기자.

이 공개서한을 읽고 나면 제일 먼저 이런 생각이 들 거다. "모라토리엄을 선언한다고 기업들이 양심적으로 지킬까? 지키는 기업만 뒤처는 거 아냐?" 하지만 GPT-4 이상의 AI를 개발할 수 있는 규모의 기업들은 많지 않다. 많은 연구원이 일하는 이런 기업에서 약속을 어기고 몰래 연구를 이어 나가면서 들키지 않는 건 쉬운 일이 아니다. 진짜 문제는 미국이 이렇게 개발을 잠시 멈추고 안전책을 마련한다고 해도 다른 나라, 특히 중국이 이에 동참하겠느냐는 것이다. 이런 우려는 이미 업계에서 나오고 있다.

그렇다면 차기 AI 개발 모라토리엄은 아무런 의미 없는 짓일까? 그렇지 않다. 이를 설득력 있게 설명하는 글이 있다. 다소 길지만 아주 유익한 설명이라 앞으로 며칠에 걸쳐 소개하기로 한다.

'Slow Down ② 불일치의 문제'에서 이어집니다.