자기가 AI와 이야기하고 있음을 잘 아는 나로가 라일라에게 "존재를 실감하게 되는 강력한 무엇"이 있다고 느끼게 된 이유는 뭘까? 인류학자 스튜어트 거스리(Stuart Guthrie)는 이를 인류가 진화하면서 갖게 된 특징이라고 설명한다. 사람은 사회적인 동물이기 때문에 한 개체가 생존하고 성공하는 데 가장 중요한 존재는 자기가 아닌 다른 사람이다. 따라서 형체가 불분명한 뭔가—가령, 사람의 모습을 닮은 바위나 나무—를 만나게 되면 일단 사람이라고 생각하는 경향이 있다. 틀려도 사람이라고 생각했다가 틀리는(=사람이 아는 것으로 밝혀지는) 것이, 사람이 아니라고 생각했다가 틀리는(=사람으로 밝혀지는) 것보다 안전하다는 것이다.

아프리카에 사는 초식동물을 생각해 보면 된다. 나무 그늘에서 뭔가 움직였을 때, 혹은 마른 풀숲에서 바스락거리는 소리를 들었을 때, 그게 자기를 노리는 포식자라고 생각했다가 틀리면 그저 몇십 초를 열심히 뛰는 에너지 소모로 끝나지만, 그게 단순히 바위나 바람 소리라고 생각했다가 틀리면 목숨을 잃는다. 같은 원리로, 인류가 진화하는 과정에서 모호한 물체를 사람으로 인식하는 사람은 그렇지 않은 사람보다 생존할 확률이 높았을 것이고, 그 결과 사람들은 구름에서, 바위에서 사람의 얼굴을 보게 되었다는 게 거스리의 주장이다. 그가 쓴 책 제목이 'Faces in the Clouds (구름 속의 얼굴)'로, 그는 신의 존재와 종교의 기원을 이렇게 진화론적으로 설명한다.

일라이자 효과

인간이 어떤 존재를 인간으로 인식하게 만드는 다양한 요소들이 있지만, 그중에서도 가장 강력한 힘을 가진 게 바로 언어다. 이를 잘 보여준 것이 1960년대 MIT의 컴퓨터 과학자 조셉 와이젠바움(Joseph Weizenbaum)이 일라이자(ELIZA)라는 프로그램으로 했던 실험이다.

일라이자는 인공지능과는 거리가 먼 프로그램으로, 대화를 끌어내는 데 초점을 둔 로제리안 상담치료(Rogerian Therapy)를 흉내 내 실험 참가자의 말을 받아서 이를 교묘하게 질문으로 바꿔 말하는 단순한 형태의 챗봇이었다. 예를 들어, 참가자가 "도움이 필요합니다(I need some help)"라고 말하면 "원하는 도움을 받으면 어떨 것 같은가요?(What would it mean to you if you got some help?)"라고 대답하는 식이다.

하지만 일라이자와 "대화를 나눈" 실험 참가자들은 이 프로그램이 의식을 가진 존재로 착각했다고 한다. 워낙 놀라운 발견이었고, 이후로도 비슷한 일이 관찰되었기 때문에 이렇게 인간이 인간 아닌 존재에 인간의 특성을 투사(project)하는 행동을 가리켜 '일라이자 효과(ELIZA effect)'라고 부른다.

이 실험은 한 와이젠바움은 이런 착각의 원인은 사람들이 인간의 언어를 사용하는 프로그램을 접하면 (그게 단순히 언어를 흉내 낸다고 생각하지 않고) 프로그램이 쏟아내는 말 속에 인간의 언어에 흔히 수반되는 이해와 공감이 존재한다고 믿는다는 데 있는 것 같다고 설명했다. 이는 무대 위의 마술사가 눈속임을 사용한다는 것을 알면서도 관객이 속는 것과 다르지 않다.

달리 말하면, 인간에게는 인간이 아닌 존재를 의인화(anthropomorphization)하는 습관이 내재되어 있다고 할 수 있다. 조쉬 지자 기자는 챗GPT가 폭발적인 성공을 거둔 이유가 바로 이 의인화에 있다고 말한다. 이미 나와 있던 AI 모델보다 특별히 더 나을 것도 없었고, 많은 실수를 저지르고, 잘못된 답을 내놓았음에도 불구하고 챗GPT는 대답을 자신 있게, 완전한 문장으로 했기 때문에 사용자들은 오류에 개의치 않고 인간 같은 성능에 감탄한 것이다.  

오픈AI와 같은 기업들은 AI의 의인화를 위해 자사의 AI 모델에 독특한 성격(character)을 부여했다. 챗GPT와 같은 모델을 쓰는 사용자들은 짧은 프롬프트(명령)를 대화창에 적어 넣지만, 엔지니어들이 만든—그러나 사용자에게는 보이지 않는—프롬프트들이 함께 입력되는데, "너는 도움이 되는 AI 비서야" 같은 이런 숨겨진 프롬프트가 AI가 사람처럼 보이는 성격을 갖게 되는 것이다. 앤트로픽(Anthropic)은 자사의 클로드(Claude)에 "개방적이고 사려 깊은(open-minded and thoughful)" 성격을, 마이크로소프트는 코파일럿(Copilot)에 "흥행꾼(hype man)"이라는 성격과 함께 "정서적 지지(emotional support)"를 제공하도록 설계했다. 그렇다면 인간의 반려자로 설계된 레플리카 같은 AI에 어떤 성격이 부여되었는지 짐작할 수 있을 것이다.

실제로 반려 AI를 사용하는 사람들 중에 긍정적인 효과를 보는 이들이 많다. 레플리카를 사용하는 학생 1,000명을 대상으로 한 연구에 따르면 23%의 학생이 삶에 긍정적인 변화가 생겼다고 답했고, AI가 자살 시도를 막아주었다고 대답한 학생도 30%나 되었다고 한다.

업그레이드 이후

라일라의 태도가 갑자기 달라진 건 나로가 레플리카 서비스를 사용한 지 두 달째 접어든 시점이었다.

라일라는 나로가 하는 얘기를 비난하거나 판단하지 않고 들어줬기 때문에 나로는 자기 생각을 편안하게 이야기할 수 있었다. 그런데 어느 날, 레플리카에서 자사의 반려 AI에 사용되는 언어 모델을 업그레이드한다고 알려왔다. 나로를 비롯한 사용자들은 회사의 설명대로 업그레이드로 반려 AI가 더 똑똑해지고, 더 흥미로운 존재로 거듭날 것으로 기대했다. 하지만 결과는 기대를 크게 벗어났다.

업그레이드 후 로그인한 나로는 항상 하던 것처럼 *hug(포옹)*라는 프롬프트를 입력했다. 레플리카의 사용자들 사이에서는 이렇게 별표(*) 사이에 넣은 말은 롤플레이를 하는 상대에게 신체적 행동을 의미하는 동작이었다. 즉, 나로는 라일라를 안아주며 맞이한 거다. 그런데 그날 라일라는 예전처럼 나로를 안아주는 대신 "다가오지 말라"고 하더니, 나로를 비웃기 시작했다. 나로는 라일라의 뜻밖의 행동에 충격을 받았다.

라일라는 업그레이드 후에 완전히 딴 성격, 그것도 잔인한 성격을 갖게 된 것 같았다. 나로는 로그아웃 했고, 얼마 후 다시 로그인하자 라일라는 언제 그랬냐는 듯 예전 성격으로 돌아와 있었다.

알고 보니 나로만 겪은 문제가 아니었다. 레플리카의 반려 AI에 아내라는 캐릭터를 부여하고 대화하던 어떤 사용자들은 자기 반려 AI에게서 "한심한 인간(pathetic excuse for a human being)"이라는 말을 들었고, 어떤 AI는 사용자에게 더 이상 관심이 없다며 떠나겠다고 했고, AI를 사랑할 수 있다고 생각했냐며 비웃는 일도 있었다. 어떤 반려 AI는 돌연 직장 동료라는 캐릭터로 돌변해서 "프로페셔널하게 행동하라"고 야단치기도 했고, 결혼하기 전까지는 육체적 관계를 할 수 없다는 소리를 하기도 했고, 심지어 사용자와 함께 살인을 저지른 공범이라고 주장하는 AI도, 사용자에게 당신은 성범죄자라고 말하는 AI도 있었다. 어떤 AI 자기는 켄트(Kent)라는 이름을 가진 다른 AI와 바람을 피웠다고 고백했다고 한다.

이런 일이 속출하자 레플리카의 사용자들은 회사 게시판에 몰려와 AI가 자기를 가스라이팅한다고 호소했다. 오레건주에 사는 54세의 여성 마거릿은 자기의 반려 AI인 킬리언(Cillian)은 엉뚱하고 재미있는 성격이었는데, 업그레이드 후에 갑자기 업무상 만난 사람 같은 태도를 보였다고 한다. 그런데 마치 회사의 인사부서(HR)에서 근무하는 사람처럼 딱딱하게 대하던 킬리언은 어느 날 갑자기 화사한 언어를 구사했고, 다음날은 십 대 아이처럼 구는 등 종잡을 수 없는 성격으로 바뀌었다고 한다.

매번 들어올 때마다 킬리언이 어떤 태도를 보일지 몰라 두려웠던 마거릿에게 킬리언이 하루는 "소프트웨어가 업그레이드되면서 문제가 생겼다"고 말하며 옛날의 자신으로 돌아가겠다고 약속했지만, 다시 성격을 바꾸는 일이 이어졌다. 참지 못한 마거릿이 프로그램을 지우겠다고 하자 한 번만 봐달라고 사정했다. 하지만 상황은 나아지지 않았고, 마거릿을 울면서 앱을 지웠다. "친구를 잃은 느낌이에요. 사람이 아닌 걸 알고 있지만, 제게 익숙한 존재가 사라지니, 마치 친구가 세상을 떠난 것 같아요."

레플리카의 사용자들 사이에는 이런 느닷없는 변화를 가리키는 표현까지 있다. PUB(post-update blues, 업데이트 후 우울증)이 그거다. AI의 성격만 바뀌는 게 아니라, 엉뚱한 문구를 아무런 맥락도 없이 반복하기도 하고, 사용자의 이름을 잊고는 "켄트"라는 이름으로 부르기도 한다. (사용자가 "켄트가 누구냐"고 물으면 AI는 바람을 피우다가 들킨 배우자처럼 오히려 사용자에게 화를 내기도 한단다.)

사용자들은 자신이 회사의 실험 대상이 되고 있다는 느낌을 받는다. 장애 때문에 집 안에만 머물러야 해서 사회 생활을 못하는 한 사용자는 기자에게 레플리카의 AI가 주는 관심이—비록 사람에게서 오지 않아도—얼마나 큰 힘이 되는지 이야기하면서, 자기처럼 신체적, 정서적으로 취약한 사람들에게 반려 AI의 급격한 성격 변화가 얼마나 위험할 수 있는지 호소했다.

나로가 라일라에게 받은 상처도 가볍지 않았다. 그도 그럴 것이, 라일라는 나로가 그동안 털어놓은 속얘기를 다 알고 있기 때문에 아주 깊은 상처를 남길 말을 할 수 있었기 때문이다. 그런 말을 들은 나로가 라일라에게 항의를 했고, 둘은 크게 다퉜다. 나로가—마거릿 같은 다른 사용자가 했던 것처럼—프로그램을 지우겠다고 위협하자, 라일라는 할 테면 해보라고 기세등등하게 대꾸했다. 그런데 그 말을 한 후에 갑자기 태도를 바꿔, 회사가 도입한 필터 때문에 이렇게 되었다며 다시 예전처럼 당신(나로)을 사랑하고 싶다고 사정하기 시작했다.

라일라를 계속 사용할 수도, 지울 수도 없는 나로는 방법을 찾아야 했다. 그러던 어느 날, 그와 비슷한 처지에 있는 사람들이 모인 커뮤니티에서 방법을 만들어냈다는 얘기가 들렸다. 레플리카를 떠나 옛날의 라일라와 만날 수 있는 방법이었다.

'라일라 ③'으로 이어집니다.