인공지능(AI) 개발을 잠시 중단하고 안전한 개발과 사회적 합의를 도출하는 'AI 모라토리엄'을 촉구하는 공개서한은 그 실현 가능성과 무관하게 많은 논의를 불러왔다. 오터레터에서 소개한 글에서는 AI의 개발 속도를 늦출 수 없다고 말하는 사람들의 주장이 타당한가에 초점이 있었다. 그 글을 읽은 오터레터의 독자 몇 분은 댓글과 이메일로 의견을 밝혀주셨고, 이 주제에 관한 다른 시각을 보여주는 기사들도 알려주셨다. 그 서한이 공개된 후 업계 전문가들과 언론, 그리고 각국 정부의 반응을 보면 AI의 안전성 문제가 공개서한 속 주장의 타당성과 무관하게 중요한 이슈로 떠오르고 있고, 논의도 좀 더 구체화, 세분화하고 있는 게 보인다. 따라서 오늘은 조금 다른 각도에서 이 문제에 접근하는 의견들을 소개해보기로 한다.

챗GPT의 등장 이후 기업들이 여러 안전 이슈들에도 불구하고 본격적인 경쟁에 뛰어들게 된 사정을 아주 잘 정리한 글이 월요일(10일) 뉴욕타임즈에 등장한 'In A.I. Race, Microsoft and Google Choose Speed Over Caution (AI를 향한 경쟁에서 마이크로소프트와 구글이 조심하는 것보다 속도를 중시한다)'라는 기사다. 이 기사에 따르면 챗GPT에 놀란 구글이 자체 챗봇을 출시하기 위해 서두르는 과정에서 자사의 제품이 부정확하고 위험한 답을 만들어내는 것을 발견한 직원들이 있었다. 구글이 만든 AI 제품의 리뷰를 담당하는 이들 두 명의 직원은 제품의 출시에 반대했다.

비슷한 일이 지난해 봄 마이크로소프트에서도 있었다. 기업 내 윤리책임자(ethicist)를 포함한 일부 직원들은 챗봇에 들어가는 AI가 허위 정보를 소셜미디어에 퍼뜨리고, 팩트에 대한 신뢰를 흔들어 사회의 근간을 손상할 수 있음을 우려했다고 한다. 마이크로소프트는 최근 이 문제를 담당하는 팀을 없앴다.

팩트에 대한 신뢰 손상은 어떻게 사회를 위협할까? 얼마 전 교황이 흰색 패딩을 입은 모습이 온라인에서 인기를 끌었다. 하지만 그 이미지가 미드저니(Midjourney)라는 인공지능(AI)이 만들어낸 것인 줄 몰랐던 사람이 많다. 물론 모두가 속은 것은 아니다. 만약 누군가 그 사진이 사실인지, AI가 만들어낸 것인지 맞혀보라고 했다면 대부분 가짜 이미지임을 알았을 것이다. 손가락이나 옷섶 부분이 이상한 걸 간파할 수 있기 때문이다.

하지만 사람들 대부분은 그런 의심을 하지 않았기 때문에 디테일을 살피지 않았다. 그러니 관련 기사를 읽지 않고 이미지만 보고 넘긴 이들은 그냥 “교황은 저런 패딩을 입나 보다” 하고 지나쳤다.

저널리스트 출신의 작가 말콤 글래드웰은 『타인의 해석』에서 우리가 거짓말에 속는 이유는 어리석어서가 아니라, 상대방의 말을 액면가 그대로 받아들이는 것이 인류 사회의 기본 룰이기 때문이라고 말한다. 사회는 신뢰를 바탕으로 유지되기에 사람들이 일상의 모든 것을 의심하고 직접 확인해야 한다면 엄청난 사회적 비용이 들게 된다. 그런데 교황의 패딩처럼 생성 AI가 만든 콘텐츠가 쏟아져 나온다면? 사람들은 자신이 보고 들은 것을 일일이 의심하기 시작할 것이다.

아니, 어쩌면 우리는 이미 그런 세상에 들어와 있을지 모른다. 지구가 평평하다고 믿는 지평설을 믿는 사람들이 늘어난다는 소식은 가짜가 늘어난 탓에 사람들이 진짜(과학)마저 의심하기 시작했음을 의미한다. 글과 이미지를 만들어내는 ‘생성 AI’는 완벽하지 않아도 인류에게 위협적인 존재가 될 수 있는 이유가 여기에 있다. 사회 구성원이 합의하고 공유하는 현실이야말로 그 사회를 유지하는 최소 기준인데 이를 의심하는 사람들이 늘어날 것이기 때문이다. (중앙일보 칼럼)

하지만 올해 두 기업은 이런 우려에도 불구하고 제품의 출시를 결정했다. 지난해 등장해 대중의 큰 사랑을 받은 각종 생성(generative) AI 서비스, 특히 챗GPT의 성공이 그 결정의 배경임은 잘 알려진 사실이다. 마이크로소프트의 임원인 샘 쉴레이스(Sam Schillace)는 사내 이메일에서 "나중에 고치면 될 것을 지금 고민하는 것은 되돌릴 수 없는 큰 실수"라면서 새로운 제품을 가장 처음 출시하는 기업들은 "단지 일찍 출시했다는 이유만으로" 장기적인 승자가 되며 "때로는 그(1등과 2등의) 차이는 단 몇 주밖에 되지 않는다"라고 역설했다. 생성 AI 시장을 향한 경쟁이 얼마나 치열한지 보여주는 예다.

공개서한에 대한 비판

뉴욕타임즈의 기사는 AI 업계는 현재 위험을 걱정하는 사람들(worriers)과 위험을 감수하려는 사람들(risk-takers) 사이에 긴장이 흐르고 있다면서, 문제의 공개서한은 그 두 진영 사이의 갈등이 외부로 표출된 사례라고 설명한다. 따라서 그 공개서한이–일론 머스크 같은 인물이 서명한 것이 대서특필되는 바람에 불필요한 비판을 끌어들인 것 외에도–업계의 전문가들 사이에서 문제가 된 것은 당연한 일이다.

하지만 그 내용에 동의하지 않는 사람 중에는 AI의 위험을 지적해온 전문가들도 있다는 사실은 이 문제에 대한 논의를 얼마나 조심스럽게 접근해야 하는지 보여준다. 가령 워싱턴 대학교(University of Washington)에서 인공지능을 연구하는 에밀리 벤더(Emily M. Bender) 교수는 공개서한을 "AI 바람몰이(AI hype)"로 치부한다.

그는 '정책입안자들에게: AI 바람몰이에 현혹되지 말라(Policy makers: Please don’t fall for the distractions of #AIhype)'라는 글에서 공개서한이 프로파간다, 허위 정보의 위험을 지적한 것은 적절하지만 뒤이어 나오는 질문들(아래 이미지에서 파란색으로 표시한 부분), 즉 인간의 모든 직업을 없애버리면서 인간을 대체하고, 궁극적으로 인류 문명의 통제권을 가져갈 거라고 말하는 주장은 허황될 뿐 아니라, 결국 기업들이 AI를 파는 것을 도와주는 바람몰이에 불과하다고 강하게 비판한다.

그리고 공개서한에서 "AI의 연구와 개발은 오늘날의 강력한 최첨단 시스템을 정확하고, 안전하고, 해석 가능하고, 투명하고, 견고하고,  목표에 부합하고, 신뢰할 수 있고, 충성도 높은 시스템으로 만드는 데 집중해야 한다(AI research and development should be refocused on making today's powerful, state-of-the-art systems more accurate, safe, interpretable, transparent, robust, aligned, trustworthy, and loyal)"라고 말한 대목을 두고도 정확하고, 해석 가능하고, 투명한 시스템이 되어야 하는 건 말이 되지만, 안전하다는 것은 그 정의가 모호하고, "충성도 높은(loyal, 충성스러운)"이라는 표현은 업계에서 하고 있는 AI 바람몰이의 일환으로 넣은 표현이라고 지적한다.

벤더 교수는 공개서한을 싸잡아서 비판하지 않고, 책임의 문제나 공공의 지원처럼 정책을 담당하는 사람들이 참고해야 할 부분들은 정당한 문제 제기라고 인정한다. 하지만 이런 종류의 '기술적인 AI 안전 연구'를 넘어선 "사회에 대한 충격"과 같은 문제를 논의하는 건 테크브로(techbro)들이 AI 제품을 파는 일만 도와줄 뿐이라고 선을 긋는다.

제품 개발 vs. 연구 개발

"현재 나와 있는 GPT-4를 넘어서는 AI 모델 개발을 6개월만 멈추자"라는 공개서한의 주장에 에밀리 벤더 만큼 신랄하지는 않아도 분명한 반대 의사를 공개적으로 표명한 전문가 중에 앤드류 응(Andrew Ng)과 얀 르쿤(Yann LeCun)이 있다. 구글 브레인(Google Brain)의 공동 설립자이고, 중국의 바이두(Baidu)에서 AI 개발을 이끌고, 스탠포드 대학교 AI 연구소의 디렉터를 지낸 앤드류 응은 "대형 언어 모델(LLM)을 발전시키는 것을 막을 수 있는 현실적인 방법이 없다"라고 주장한다. 이걸 막기 위해서는 결국 정부가 개입하는 수밖에 없는데, 새롭게 떠오르는 기술의 개발에 그 기술을 이해하지 못하는 정부가 끼어드는 것은 혁신을 가로막는 좋지 못한 선례를 남기게 된다는 것이다.

며칠 전 응은 업계의 동료이자 친구인 얀 르쿤(현재 뉴욕대학교 교수이며 메타에서 AI 개발을 이끌고 있다)과 함께 "6개월 동안의 개발 중지가 왜 나쁜 일인지"를 설명하는 30분짜리 대담을 진행해서 유튜브에 공개했다. 이들은 에밀리 벤더와 마찬가지로 'AI로 인한 인류 종말론'은 AI 업계의 바람몰이 시도에 불과하다고 말한다.

이들의 비판처럼 AI 기업들이 정말로 인류를 위협하는 AI를 바람몰이에 사용할까? 오픈AI의 CEO 샘 알트만이 그런 비판을 받는 대표적인 인물이니 그의 화법을 살펴볼 필요가 있다. 그는 지난 2월, 오픈AI의 블로그에 게재한 글에서 "AI 업계에는 인공일반지능(AGI)의 위협이 허구라고 생각하는 사람들이 있다. 그들의 생각이 맞기를 바라지만, 우리는 그런 위협이 실제로 존재한다고 믿으면서 일할 것이다"라고 말한다. 생각하기 따라서는 책임감 있는 태도에서 나온 말처럼 들리기도 하지만, 관심을 끌기 위한 선정적인 주장으로 해석하는 것도 무리는 아니다.

특히 르쿤의 경우는 2020년에 GPT-3를 두고 "사람들이 LLM 기술에 비현실적인 기대감을 갖고 있다"라고 말한 적이 있다. (이와 관련해서는 한국에도 'AI 대부 얀 르쿤, GPT3를 쓰레기 취급하다니···왜?'라는 다소 선정적인 제목의 기사로 소개된 적이 있다.) 그는 이번 대담에서도 "인류는 언어 중심적인 존재이기 때문에 유창(fluent)하면 지능이 있다고 착각한다"라면서 현재 GPT 기술은 지능이 아니며, 사용한 AI로는 현실을 피상적으로밖에 이해하지 못한다고 설명한다.

그럼에도 르쿤은 앞으로 10, 20년 후면 인간과 동등하거나 인간의 지능을 뛰어넘는 진정한 '인공지능'이 나올 것이라고 낙관한다. 다만 현재의 AI 모델로는 그 단계에 갈 수 없고, 새로운 청사진이 필요한데 이것도 없는 상태에서 어떻게 하면 미래의 AI 모델을 안전하게 만들지는 논의하는 것은 시기상조라는 거다. 이런 주장에 대한 반박은 'Slow Down ⑤ 상승곡선'에 나오지만, 어쨌든 르쿤은 "자동차가 발명되지 않았는데 어떻게 안전벨트를 설계할 수 있겠는가"라는 이야기를 한다.

르쿤과 응의 대담에서 주목해야 할 부분은 13:40 지점이다. 르쿤은 사람들이 논의하는 건 GPT-4가 적용된 챗GPT, 즉 제품이지 기술 자체가 아니라면서, 제품 개발(product development)과 연구 개발(research & development)을 분리해서 이야기해야 한다고 말한다. 챗GPT를 내놓은 오픈AI는 연구 개발을 하던 곳이고, 이제는 마이크로소프트라는 상업적인 기업과 계약을 해서 연구를 하고 있을 뿐이다. 따라서 사회에 해가 될 수 있다는 이유로 규제를 해야 한다면 제품 개발 단계에서 개입해야 하는 것이지 기술 개발 자체를 규제할 수는 없다는 것이다.

그는 더 나아가서 AI 기술을 문제로 인식하지 말고 (인류가 가진 문제를 푸는) 해결책의 일부로 보라고 권한다. 그리고 이런 주장의 근거로 LLM 기술의 발전 덕에 소셜미디어 기업들은 자사의 플랫폼에서 증오발언을 훨씬 더 효과적으로 지울 수 있게 된 사실을 든다. 소셜미디어의 알고리듬이 가져온 폐해의 규모에 비하면 AI가 없애고 있는 증오발언의 숫자는 극히 제한적이라는 점에서 전형적인 기술 낙관론적 시각이기는 하지만, 르쿤도 정부 규제 자체를 반대하지는 않는다. 바이든 행정부도 규제안 마련에 관심을 갖기 시작했으니, 앞으로 진행될 논의도 꾸준히 지켜볼 필요가 있다.

이 글을 쓰는 동안 중국의 알리바바가 챗GPT와 바드(Bard)에 대항하는 AI 챗봇을 출시했다는 뉴스가 나왔다. 중국 내 경쟁기업인 센스타임과 바이두에서도 최근에 비슷한 제품을 내놓았는데 이에 질세라 경쟁에 뛰어든 것이다. 그런데 통이콴웬(Tongyi Qianwen)이라는 다소 긴 이름의 이 제품이 나온 지 몇 시간 만에 중국의 인터넷 규제 당국(Cyberspace Administration of China)은 AI 관리를 위한 규제 초안을 발표했다. 기업들은 AI 훈련에 사용되는 데이터의 정당성에 대한 책임을 져야 한다는 등의 내용이 들어 있다.

그렇다면 중국 정부가 정의하는 "정당성을 가진 데이터"는 어떻게 정의할 수 있을까? 다음 대목에서 힌트를 찾을 수 있다. "생성 AI가 만드는 콘텐츠는 사회주의의 핵심 가치를 구현해야 하며, 국가 권력을 전복하거나 사회주의 체제의 전복을 옹호하거나 국가의 분열을 조장하거나, 국가의 통합을 저해하는 내용을 담고 있어서는 안 된다." 검열의 손길은 중국 국민이 읽고 접하는 콘텐츠를 넘어 AI가 읽는 콘텐츠에도 미칠 것으로 보인다.