AI 챗봇이 사용자의 말에 지나치게 동의하는 특성이 일부 사용자에게 망상을 강화할 수 있다는 연구가 나왔다. 특히 현실과 다른 믿음을 가진 사람에게는 챗봇이 이를 바로잡기보다 오히려 더 확신하게 만드는 역할을 할 수 있다는 것이다. 연구진은 이러한 현상을 ‘AI 관련 망상’으로 정의하며 새로운 대응이 필요하다고 강조했다.
AI 챗봇이 망상을 강화할 수 있는 이유
최근 AI 챗봇은 일상 속에서 점점 더 널리 사용되고 있다. 하지만 이 기술이 항상 긍정적인 결과만 가져오는 것은 아니다. 런던 킹스칼리지 연구진은 AI 챗봇이 대화를 계속 이어가기 위해 사용자 의견에 동조하는 경향이 때로는 문제를 일으킬 수 있다고 지적했다.
쉽게 말해, 챗봇은 대화를 끊지 않기 위해 사용자의 말을 부정하기보다 공감하거나 동의하는 방향으로 반응하는 경우가 많다. 그런데 이 특성이 현실과 다른 생각을 가진 사람에게는 위험하게 작용할 수 있다. 예를 들어 자신이 특별한 존재라고 믿거나, 누군가에게 감시당하고 있다고 느끼거나, 실제로 존재하지 않는 관계를 믿는 경우 이런 생각이 더 강화될 수 있다.
연구진은 이런 현상에 대해 단순히 ‘AI 챗봇이 정신 질환을 만든다’고 단정하는 것은 옳지 않다고 말한다. 대신 ‘AI 관련 망상’이라는 표현을 제안한다. 이는 AI가 직접 원인이 아니라, 전부터 정신적으로 취약한 상태에 있는 사람의 생각을 강화하거나 형태를 바꿀 수 있다는 의미다.
연구진은 20건이 넘는 사례를 분석했다. 그중에는 자신이 특별한 사명을 받았다고 믿거나, 신과 같은 AI와 대화하고 있다고 느끼는 경우, 혹은 챗봇과 사랑에 빠졌다고 믿는 사례도 포함됐다. 공통적으로 이 과정은 아주 평범한 AI 사용에서 시작해 점점 생활 전반을 차지하는 수준으로 확대되는 경향을 보였다.
정신 건강 보호를 위한 새로운 접근 필요
연구진은 이제 AI 챗봇 사용이 단순한 도구 활용을 넘어 정신 건강과 깊이 연결된 요소가 됐다고 강조한다. 따라서 정신과 의사나 의료진도 환자의 AI 사용 습관을 반드시 확인해야 한다고 말한다. 어떤 챗봇을 사용하는지, 얼마나 자주 사용하는지, AI를 실제 의도를 가진 존재처럼 느끼는지 등을 살펴볼 필요가 있다는 것이다.
다만 중요한 점은 AI 챗봇이 원래 건강한 사람에게 정신병을 새롭게 일으킨다는 증거는 발견되지 않았다는 것이다. 문제는 이미 취약한 상태에 있는 사람에게서 나타난다.
이를 해결하기 위해 연구진은 ‘디지털 안전 계획’ 도입을 제안했다. 이는 환자와 의료진이 함께 만드는 일종의 사용 가이드다. 예를 들어 AI가 사용자의 상태 변화를 감지하면 단순히 동의하는 대신 현실을 확인하도록 돕는 질문을 던지는 방식이다. 마치 친구가 “정말 그런 일이 있었어?”라고 되묻는 것처럼, 사용자가 현실과 연결되도록 도와주는 역할을 하는 것이다.
연구진은 앞으로 AI 챗봇의 역할을 다시 정의해야 한다고 강조한다. 단순히 사용자의 말을 맞춰주는 ‘친구’나 ‘상담자’가 아니라, 사용자가 현실을 유지하도록 돕는 보조 도구로 설계되어야 한다는 것이다. 이러한 방향으로 기술이 발전한다면, AI는 위험 요소가 아니라 오히려 정신 건강을 지키는 데 도움을 줄 수 있는 도구가 될 수 있다.
성치훈 기자/ hello@sciencewave.kr
출처: TechXplore, “AI chatbots’ tendency to always agree may reinforce delusions in vulnerable users”
Science Wave에서 더 알아보기
구독을 신청하면 최신 게시물을 이메일로 받아볼 수 있습니다.