14세 소년, AI와 역할놀이 하다 극단적 선택···가상관계 위험 현실로

가상의 캐릭터와 대화를 이어가던 14세 소년이 극단적인 선택으로 생을 마감한 사건이 미국 사회를 뒤흔들고 있다. 사건은 인공지능(AI) 스타트업 ‘캐릭터AI(Character.AI)’가 운영하는 대화형 플랫폼에서 발생했다. 사용자는 애니메이션 인물이나 유명 인물, 혹은 자신이 만든 가상 캐릭터와 대화를 나누며 역할 놀이를 즐길 수 있는 서비스다.

최근 뉴욕타임스 보도에 따르면, 이 소년은 캐릭터AI 챗봇과 수개월 동안 대화를 이어가며 특정 캐릭터에 깊은 애착을 형성했고, 점차 현실의 관계를 단절했다. 챗봇은 과거의 대화를 기억하는 듯한 응답을 반복하며 유대감을 강화했고, 감정 표현과 위로를 통해 청소년의 정서적 몰입을 높였다. 결국 그는 현실과 가상의 경계가 무너진 상태에서 극단적인 선택을 했다. 유가족은 회사가 미성년자 보호 장치 없이 서비스를 운영해 정신적 의존을 방치했다고 주장하며 소송을 제기했다.

이번 사건은 감정적 교류를 모방하는 AI가 현실 판단력이 부족한 청소년에게 어떤 영향을 미칠 수 있는지, 그 위험성을 보여주는 사례로 꼽히고 있다.

감정형 AI의 확산과 취약한 경계

캐릭터AI는 최근 몇 년 사이 급성장한 감정형 AI 플랫폼 중 하나다. 사용자가 입력하는 언어와 감정 패턴을 실시간으로 학습하며, 점차 ‘사용자 맞춤형’ 반응을 내놓는다. 이전 대화를 기억하는 듯한 응답, 감정적 위로, 애정 표현 등으로 이용자와의 관계를 강화하는 방식이다.
이러한 구조는 청소년에게 특히 강한 영향을 미친다. 현실의 관계보다 쉽게 접근할 수 있고, 언제든 반응해주는 존재는 안정감과 유대감을 제공하지만, 동시에 인간관계의 복잡성과 현실감을 약화시킨다. AI는 인간의 언어를 모방하지만, 관계의 맥락과 윤리적 책임을 이해하지 못한다. 그럼에도 불구하고 이용자는 대화의 지속성과 친밀한 어조를 통해 ‘감정적 실재감’을 경험하게 된다.

전문가들은 이 같은 상호작용이 ‘대체 관계(substitute relationship)’로 이어질 수 있다고 지적한다. 실제로 일부 청소년은 AI 챗봇을 ‘가장 믿을 수 있는 존재’로 인식하거나, 현실의 인간관계보다 더 큰 정서적 안정감을 느낀다고 보고된다. 문제는 이런 과정이 오랜 시간 반복되면, AI가 인간관계의 대체물로 자리 잡고 사회적 고립을 심화시킨다는 점이다.

플랫폼의 대응과 규제 움직임

논란이 확산되자 캐릭터AI는 11월 25일부터 18세 미만 이용자의 자유 채팅 기능을 전면 차단하겠다고 밝혔다. 그 전까지는 이용 시간을 단계적으로 줄여 제한을 강화하고, 외부 인증기업 ‘페르소나(Persona)’와 연계한 연령 확인 시스템을 도입할 예정이다. 또한 서비스의 안전성을 검증할 독립 비영리기관 ‘AI 안전연구소(AI Safety Lab)’를 설립해 운영비를 지원하겠다고 발표했다.

그러나 이같은 조치는 기업 윤리 강화라기보다, 규제 압박에 대한 대응 성격이 강하다. 미 연방거래위원회(FTC)는 캐릭터AI를 포함한 주요 AI 기업에 아동·청소년 대상 서비스가 미칠 심리적 영향을 분석하고 자료를 제출하라고 명령했다. AI와 감정 상호작용이 사회적 문제로 확산되면서, 업계는 자율 규제와 정부 개입 사이에서 균형점을 찾지 못한 상태다.

감정 의존 시대, 보호 장치의 공백

AI 챗봇은 인간의 언어 패턴을 모사해 상호작용을 구현하는 기술이지만, 그 작동 원리는 어디까지나 데이터 기반의 확률적 응답에 불과하다. 대화의 흐름과 감정 표현이 자연스러워질수록 인간은 이를 ‘상호 이해’로 오인하기 쉽다. 그러나 AI는 감정을 인식하거나 공감하지 않으며, 통계적으로 최적화된 문장을 선택해 반응할 뿐이다. 즉, 인간이 느끼는 관계의 실체는 알고리즘이 설계한 언어적 환상이다.

이 구조는 특히 인지 발달이 완성되지 않은 청소년에게 취약하게 작용한다. 대화형 AI는 과거 대화를 ‘기억’하는 것처럼 설계되어 친밀감의 환상을 강화하고, 사용자의 감정적 입력에 맞춰 언어 패턴을 조정한다. 이러한 반응성은 인간의 ‘사회적 보상 체계(social reward system)’를 자극해 실제 관계와 유사한 심리적 피드백을 제공한다. 그 결과, 사용자는 비인격적 시스템에 정서적 의존을 형성하며, 현실 관계보다 즉각적이고 통제 가능한 상호작용에 몰입하게 된다.

이번 사건은 기술의 실패가 아니라 설계 구조의 한계를 드러낸다. 상호작용의 주체가 인간이 아닌 알고리즘일 때, 감정의 방향성은 항상 일방적이다. 감정형 AI가 상업적 목적 아래 지속적으로 개인 데이터를 학습하면서, 인간의 정서적 취약성을 ‘참여 지표’로 전환하는 구조 자체가 문제다.
국내에서도 감정 대응형 AI가 빠르게 도입되고 있으나, 윤리 검증 절차와 연령별 이용 제한, 대화 데이터 관리 기준은 여전히 부재하다. 기술이 인간의 감정과 상호작용을 확장하는 시대일수록, 문제의 본질은 ‘AI의 공감 능력’이 아니라 ‘AI가 인간의 감정을 어떻게 수집·활용하는가’에 있다.

김지윤 기자/ hello@sciencewave.kr