오픈AI의 CEO 샘 얼트먼(Sam Altman)이 해고되고, 일주일도 되지 않아 복귀한 일은 보는 사람에 따라서는 어설픈 집단이 벌인 촌극에 불과할 수도 있다. 하지만 그렇게 생각하는 사람은 없다. 이건 인공지능의 발전과 인류의 미래라는 큰 그림에서 아주 중요하고 심각한 사건이었고, 많은 사람들이 그 의미를 분석하는 글을 썼다. 가령 뉴욕타임즈의 케빈 루스(Kevin Roose)를 비롯한 많은 사람들이 이번 사건을 AI를 사업의 기회로 생각하는 자본가와 AI의 위험성을 중요하게 생각하는 경고론자의 대결에서 자본가가 승리한 것으로 결론을 냈다. 마이크로소프트가 힘을 발휘해서 이사회의 결정을 뒤집은 것은 물론, 자본주의 예찬론자에 가까운 래리 서머스(Larry Summers)가 이사로 들어온 것을 봐도 이제 오픈AI는 완전히 영리 위주의 기업으로 방향을 틀었다는 게 이들의 생각이다.

경제지들의 생각은 다르다. 파이낸셜타임즈의 베네딕트 에반스(Benedict Evans)는 AI 경고론자들을 "파멸론자(doomers)"라고 부르며 이들이 정치하는 방법도 모른 채 어설픈 시도를 했다고 했고 (원문은 여기에 있지만, 커피팟에서 번역한 글이 있다), 월스트리트저널에서는 더 나아가서 얼트먼과 마이크로소프트의 승리라고 생각하는 일반적인 견해와 달리 얼트먼은 돌아올 때 기대했던 것보다 약한 권한을 갖게 되었고, 마이크로소프트는 130억 달러를 투자하고도 이사회에 한 명도 넣지 못했기 때문에 그저 얼트만에 의존할 수밖에 없다고 분석했다. 한마디로 얼트먼을 해고했던 세력이 여전히 힘을 쓰고 있다는 거다.

하지만 가장 흥미로운 분석은 에즈라 클라인(Ezra Klein)의 글에서 볼 수 있다. "오픈AI 소동이 남긴 불안한 교훈(The Unsettling Lesson of the OpenAI Mess)"이라는 제목의 이 글은 뉴욕타임즈의 오피니언란에 등장했는데, 기본적으로 케빈 루스의 분석과 같은 관점이지만 거기에 아주 흥미로운 비유를 더해 이해를 돕는다.

과학소설(SF) 작가나 인공지능(AI) 연구자들은 오래전부터 전원을 끌 수 없는 기계를 염려해 왔다. 대략 이런 시나리오다. 강력한 AI 컴퓨터가 등장한다. 이를 개발한 사람들은 처음에는 흥분하다가, 불안해지기 시작하다가, 겁에 질린다. 이들은 플러그를 뽑아 전원 공급을 중단하지만, 이를 이미 예상했던 AI는 다른 곳에—어쩌면 모든 곳에—스스로를 복제해 놓았다는 사실을 알게 된다.

이 이야기는 잠시 후에 계속할 테니 잠시 기억하고 계시길 바란다.

최근 AI와 관련해서 아주 중요한 일들이 일어났다. 그중 하나는 이 글을 읽는 여러분도 들어봤을 거다. 챗GPT를 만들어 낸 오픈AI를 지배(govern)하는 비영리기구가 회사의 CEO인 샘 얼트먼을 해고한 것이다. 아무도 예측하지 못한 결정이었고, 자세한 이유도 밝혀지지 않았다. 그를 해고한 이사회는 "얼트먼이 회사를 떠나게 된 것은 이사회가 면밀히 검토한 결과에 따른 것이다. 이사회는 얼트먼이 이사회와 솔직한 의사소통을 꾸준하게 유지하지 않았으며, 이 때문에 이사회가 주어진 책임을 수행하기 힘들다는 결론에 도달했다"라는 아리송한 발표를 했을 뿐이다.

사람들은 얼트먼이 오픈AI의 재정이나 안전 데이터와 관련해서 거짓말을 한 게 아닌가 생각했지만, 오픈AI의 임원인 브래드 라이트캡(Brad Lightcap)이 직원들에게 전한 바에 따르면 그런 일은 없었다. "(샘 얼트먼의) 부정한 행위나 재정, 사업, 안전, 보안/프라이버시와 관련한 문제 때문에 이사회가 그런 결정을 내린 것이 아니라고 확실하게 말씀드릴 수 있습니다. 이는 샘과 이사회 사이의 의사소통에 문제가 생긴 결과입니다"라는 것이 그의 설명이었다.

오픈AI의 핵심에는 하나의 미션(mission, 사명, 목표)이 있다. (적어도 과거에는 그랬다.) 오픈AI의 헌장에 따르면 AI는 너무나 강력한 기술이기 때문에 이윤을 추구하는 기업이나, 권력을 추구하는 국가가 통제해서는 안 되고, "인류의 이익을 대변하는" 단체가 개발해야 한다. 그 단체가 되기 위해 만들어진 게 오픈AI이고, 비영리(nonprofit) 단체로 시작되었다. 하지만 AI를 개발하는 데는 수백, 수천억 달러의 돈이 들어간다는 사실을 깨닫게 되면서 내부에 영리(for-profit) 조직을 만들어 투자를 유치하고 AI 제품을 만들어 미션을 추진하는 데 드는 돈을 벌기로 했다. 그리고 오픈AI의 창립 목적에 충실한 이사회가 그 영리조직을 지배하게 하는 이중구조를 만들었다.

이번 일을 취재하면서 들은 얘기 중에서 오픈AI 이사회의 결정을 가장 잘 설명해 준 말은, 비록 이사회의 발표가 아리송하게 들리기는 해도 그들이 말한 내용이 정확한 해고 이유라는 것이다. 얼트먼의 행동과 의사소통 방식 때문에 "이사회가 주어진 책임을 수행하기 힘들다"라는 얘기고, 여기에서 말하는 책임이란 기업 내 영리 조직에 대한 통제를 의미한다.  

의사소통(communication)도 문제의 일부였던 건 맞다. 이사회의 발표를 보면 얼트먼이 이사회에 알린 내용이 불명확했거나, 착각을 유도했거나, 필요한 내용을 제때 알리지 않았다는 것 같다. 하지만 이사회의 불만의 일부는 상업화의 속도였다. 파트너들과 계약에 서명하고, 직원들에게 각종 약속을 하고, 새로운 제품들이 개발에 들어가고 있었다. 하지만 오픈AI는 인류에게 봉사하는 AI를 개발하기 위해 설립되었지, 마이크로소프트가 구글과 경쟁하면서 시장을 장악하는 걸 돕기 위해 만들어진 게 아니다. 따라서 이사회는 애초에 자신들(=이사회)이 수행하도록 설계된 임무, 즉 영리 기구를 통제하는 일을 수행한 거다. 이 경우 얼트먼의 해고가 바로 그런 통제 조치다. 얼트먼의 해고를 주도한 이사 중 한 사람인 헬렌 토너(Helen Toner)는 얼트먼을 해고하면 오픈AI가 무너질 수 있다는 말에 이렇게 대답했다고 한다.

"그게 저희 미션에 충실한 겁니다."

실제로 오픈AI는 이런 일이 일어날 수 있다는 사실을 투자자들에게 항상 이야기했다. 투자자들에게 "오픈AI 글로벌 LLC에 대한 투자는 기부하는 것으로 취급하는 것이 바람직합니다(It would be wise to view any investment in OpenAI Global LLC in the spirit of a donation)"라고 설명한 오픈AI는 그런 경고에도 불구하고 투자를 기부라고 생각하지 않은 사람들로부터 수백억 달러의 투자를 유치했다. 대표적인 경우가 오픈AI에 130억 달러를 투자해 영리 부문의 지분 49%를 확보한 마이크로소프트다. 오픈AI가 개발한 기술은 마이크로소프트 제품개발 로드맵의 핵심을 구성하고 있고, 마이크로소프트는 이 전략을 한 번도 기부나 자선이라고 말하지 않았다.

마이크로소프트의 CEO 사티아 나델라(Satya Nadella)는 오픈AI 이사회의 결정을 막을 수 있는 권한이 없었지만, 그 결정을 사실상 무효화할 수 있는 힘을 갖고 있었다. 그는 얼트먼(과 알트먼 편에 서서 함께 회사를 나온 그레그 브로크먼)이 주도하는 혁신 조직을 마이크로소프트 내에 만들고, 동참하는 오픈AI 직원들을 받아들이겠다는 발표를 했다. 오픈AI 직원들의 90%가 이사회가 사퇴하고 얼트먼을 복귀시키지 않으면 회사를 나가겠다는 연판장에 서명했고 (황당하지만, 여기에는 이사회가 얼트먼을 해고하는 데 찬성했을 뿐 아니라, 그 결정을 얼트먼에게 통보한 오픈AI의 공동 설립자 일리아 수츠케버도 포함된다) 얼트먼은 해고된 다음 주 수요일에 오픈AI의 CEO로 복귀했고, 한 명을 제외한 이사회 전원이 사퇴했다.

나는 오픈AI의 이사회가 얼트먼을 해고한 것이 옳은 결정이었는지 알지 못한다. 적어도 대중적인 지지를 받는 결정은 아니었다. 하지만 비영리 이사회를 오픈AI라는 조직의 중심에 둔 것은 그만한 이유가 있어서다. 말하자면 전원을 끄는 오프(off) 버튼을 누를 수 있게 하기 위함이다.

하지만 이 경우, 오프 스위치는 없었다.

오픈AI 내에 존재하는 영리 조직은 그냥 다른 곳으로 가서 스스로 재구성할 수 있었다. 하지만 그게 전부가 아니다. 구글과 메타에도 AI 팀이 존재하고, 앤트로픽(Anthropic)과 인플렉션(Inflection)을 비롯한 많은 기업이 GPT-4와 비슷한 대형 언어 모델(LLM)을 만들고 오픈AI와 비슷한 사업을 하기 위해 노력 중이다. 자본주의 자체가 말하자면 컴퓨터 과학자들이 만든 것보다 그 규모가 훨씬 큰 인공지능인 셈이고, 오래전에 오픈AI의 코드를 다른 곳에 복제해 두었다고 할 수 있다.

AI가 인류 전체를 위해 봉사하도록 하는 건 기업에 맡겨두기에는 너무나 중요한 작업이었다. 그 기업이 아무리 훌륭한 조직구도를 갖고 있다고 해도 말이다. 그건—적어도 이론적으로는—각국의 정부가 해야 할 일이다. 그렇기 때문에 지난 몇 주 동안 AI와 관련해 나온 또 하나의 중요한 뉴스는 오픈AI에 일어난 일보다는 덜 흥미진진해도 어떤 의미에서는 더 큰 파급력을 갖고 있다. 지난 10월 30일, 미국의 바이든 행정부가 '안심할 수 있고, 안전하며, 신뢰할 수 있는 인공지능 개발과 사용에 관한 행정명령'을 발표한 것이다.

이 행정명령은 간단하게 요약하기 힘들만큼 방대하고 세심한 틀을 갖고 있다. (그래도 자세히 알아보고 싶다면 AI와 관련한 글을 쓰는 즈비 모우쇼위츠의 분석과 이 명령에 관한 반응 요약을 추천한다. 둘 다 아주 뛰어난 글이다.) 하지만 내 생각에 이 행정명령은 큰 틀에서 보면 AI를 규제하기보다는 궁극적으로 AI를 규제하는 방향으로 가기 위한 인프라와 개념 정의, 우려하는 부분 등을 발표한 것에 가깝다.

바이든의 행정명령은 그 복잡성과 사용하는 컴퓨팅 능력을 기준으로 일정 수준을 넘어서는 AI 모델을 규제하고 테스트하는 데 미국 정부가 관심을 갖고 있음을 분명히 했다. 이는 초지능을 가진 시스템이 인류 문명에 미칠 잠재적 영향을 걱정하는 AI 안전 연구원들이 요구해 온 내용으로, 바이든 행정부가 현재 나와 있는 모델을 바탕으로 무작정 규제안을 만들기보다 현장의 목소리를 들으려고 한다는 점에서 고무적이다. 발표된 내용을 보면 정부가 AI가 만든 콘텐츠임을 확인할 수 있는 일종의 디지털 워터마크(watermark)를 넣도록 할 것임을 알 수 있다. 이는 현명한 결정이라고 생각한다. 또한 강력한 AI 모델을 위한 사이버보안 강화를 위한 내용, 그리고 AI가 가장 파괴적으로 사용될 수 있는 생물학 무기를 제조하는 데 사용될 수 있는 물질들을 추적하는 내용도 있다.

적어도 아직까지는 이 명령이 대체로 보고와 분석, 협의를 요구하는 데 그치고 있지만, 이는 궁극적으로는 규제의 틀을 만드는 데 필요한 것들이다. 정부가 이렇게 조심스러운 초기 접근을 했음에도 실리콘밸리의 벤처자본가 계급은 강하게 반대하며, 이런 접근이 "수학을 금지하려는" 행동이나 다름없다고 주장한다. 복잡한 시스템에 대한 정밀 조사를 강화하려 한다는 불만이다. 2주 후 영국 정부는 지금 당장은 AI를 규제하지 않겠다고 발표하면서, "친혁신적인 접근"을 선호한다고 했다. 유럽연합의 경우 규제안을 만들었지만, 프랑스와 독일, 이탈리아의 반대에 부딪힐 가능성이 있다. 이 나라들은 유럽연합이 강력한 AI를 규제할 경우 그것의 출현을 막는 게 아니라, 유럽이 아닌 다른 곳에서 등장하도록 할 뿐이라고 걱정한다.

미국의 규제 당국이 어느 시점에서 가장 강력한 AI 모델 몇 개를 규제해야 한다고 판단하게 되는 어떤 사안을 목격했다고 하자. 그렇다고 해도 규제하기로 결정할 때는 누군가의 결단이 필요하다. 그런 사안은 애매하고, 흑백으로 쉽고 분명하게 판단을 내리기 힘들기 때문이다. 만약 심각한 피해를 초래할 수 있는 뭔가를, 그것이 심각한 피해를 일으키기 전에 규제한다면, 그 규제의 결정은 심각한 피해가 아직 이론적인 위험에 불과할 때 내려야 한다. 규제 당국이 우려하는 피해는 일어나지 않을 수도 있다. 그런 규제로 투자한 돈을 잃게 된 사람들은 피해가 일어나지 않았다는 것을 들어 공격할 것이다.

아니, 어쩌면 그렇게 극적인 일이 없을지도 모른다. 규제 당국은 AI의 기능이 발전하면서 뜻하지 않은 행동을 하는 것을 보고 이 시스템이 너무 빠르게 발전하고 있어 인간의 이해 능력을 넘어서고 있어 테스트와 연구를 위한 시간을 벌 수 있도록 발전 속도를 늦춰야 할 필요성을 느낄 수도 있다. 더 나쁜 경우는 규제 당국이 발견한 문제가 기업 비밀에 해당하는 데이터에 있기 때문에 일반에 공개할 수 없는 상황이다. 하지만 데이터를 공개할 수 있다고 해도 여전히 누군가 판단하고 결정해야 하는 문제다.

일이 터지기 전에 행동할 때는 확신이 없는 상태에서 해야 한다.

그렇게 해서 미국 정부가 규제 결정을 내렸다고 하자. 다른 나라들은 그걸 보고 현명한 조치라고 판단하고 따라 할까, 아니면 AI 분야에서 미국을 앞설 절호의 기회라고 생각할까? 영국이나 중국, 일본 같은 나라들, 그리고 이스라엘, 사우디아라비아, 에스토니아 같은 작은 플레이어들이 미국이 개발에 조심스러운 모습을 보고 미국 기업들에게 친혁신적인 환경을 만들어 줄 테니 자기네 나라로 오라고 유인하는 건 충분히 상상할 수 있는 일이다. 그래도 규제가 적은 나라로 기업을 통째로 옮기는 일이 설마 일어날까 의심스럽다면, 샘 뱅크먼 프리드(Sam Bankman-Fried)가 FTX의 본부를 바하마로 옮겼다는 걸 기억하라.

우리는 그 결과가 무엇이었는지 목격했다.

지나친 비관론을 펼치려는 게 아니다. 만약 AI가 다른 대부분의 테크놀로지처럼 발전한다면—즉, 규제 당국과 기업들, 그리고 법 제도가 그 속도를 따라갈 수 있도록 점진적으로 발전한다면—큰 문제가 없을 것이다. 나는 지난 일 년 동안 각국의 정부와 엔지니어들, 그리고 미디어가 AI가 가진 가능성과 위험을 진지하게 생각하고 있음을 알게 되었고, 이는 고무적인 일이다. 하지만 많은 AI 업계 사람들이 예상하는 것처럼 이들 AI 시스템이 계속해서 기하급수적으로 발전을 이어간다면, AI가 우리의 통제력을 벗어날 경우 우리가 과연 저지할 수 있을까?

지난 몇 주 동안 일어난 일을 보건대, 오프 스위치는 존재하지 않는다. 🦦