AI가 말하는 ‘아마도’는 인간이 생각하는 것과 다를 수 있다

누군가가 “아마도 일어날 것 같다”고 말하면, 정확한 숫자를 말하지 않아도 누구나 꽤 높은 가능성이 있다고 생각할 것이다. 하지만 인공지능이 같은 단어를 쓸 때는 사정이 다르다는 연구 결과가 나왔다.  

전문가들은 최근 대화에 능숙한 AI가 ‘불확실성’을 표현할 때 인간이 생각하는 기준에서 크게 어긋난다는 연구 결과를 보고했다. 연구 대상은 “maybe(아마도)”, “probably(아마도 높다)”, “almost certain(거의 확실하다)” 같은 단어들이었다.  

연구진은 인간과 AI 모델이 이런 단어를 몇 퍼센트 확률로 추정하는지 비교했다. 그 결과 “impossible(불가능하다)”처럼 극단적인 표현에서는 비교적 비슷한 판단을 내렸다. 그러나 “maybe” 같은 애매한 표현에서는 큰 차이가 났다. 예를 들어 AI 모델은 “likely(가능성이 높다)”를 80% 확률로 계산하는 경향이 있었지만, 인간은 이를 약 65% 정도로 이해했다.  

왜 이런 차이가 생길까. 인간은 상황과 경험을 바탕으로 단어의 의미를 해석한다. 같은 “likely”라도 맥락에 따라 다르게 받아들인다. 반면 대규모 언어 모델은 방대한 학습 데이터 속에서 서로 다른 사용 사례를 평균 내어 단어를 선택한다. 그 결과 인간의 직관과 어긋나는 수치를 대응시킬 수 있다.  

연구는 또 다른 문제도 발견했다. 문장에 쓰인 성별 표현이나 언어 자체가 바뀌면, AI의 확률 추정도 달라졌다. 예를 들어 문장에서 “he”를 “she”로 바꾸면 AI의 확률 표현이 더 경직되는 경향이 나타났다. 이는 학습 데이터에 포함된 성별 편향이 반영됐을 가능성을 시사한다. 영어 대신 중국어로 질문했을 때도 확률 표현이 달라졌다. 언어마다 불확실성을 표현하는 방식이 다르기 때문일 수 있다.  

이 문제가 왜 중요한가

이 문제는 단순한 언어 습관 차이가 아니다. 인공지능 안전성과 직결된 문제다. AI 기술은 이미 의료, 정부 정책, 과학 보도 같은 중요한 분야에서 활용되고 있다. 이런 상황에서 AI가 위험을 어떻게 표현하느냐는 대중의 신뢰와 직결된다.  

예를 들어 AI가 의사를 돕는 상황을 생각해 보자. AI가 어떤 약물의 부작용을 “unlikely(가능성이 낮다)”라고 표현했는데, AI 내부 계산에서는 이를 30%로 간주하고 있고 의사는 10% 정도로 이해했다면, 결정이 달라질 수 있다. 같은 단어를 쓰더라도 실제로 떠올리는 확률이 다르면 판단도 달라진다.  

1960년대 분석부터 최신 AI 신경망 연구까지

인간이 불확실성을 어떻게 수치로 바꾸는지에 대한 연구는 1960년대부터 진행되어 왔다. 과거에는 정보 분석가들이 이런 문제를 연구했지만, 최근에는 신경망 내부 구조를 분석해 대규모 언어 모델의 ‘행동’과 언어 패턴을 이해하려는 연구가 급증하고 있다.  

이번 연구는 한 걸음 더 나아가 인간과 AI의 상호작용을 하나의 시스템으로 보고, 의미가 전달되는 과정에서 어떻게 왜곡되는지를 분석했다. 단순히 AI가 똑똑한지를 묻는 것이 아니라, 인간의 생각과 얼마나 균형을 이루는지를 따져본 것이다.  

일부 연구자들은 ‘생각 사슬(chain-of-thought) 프롬프팅’이라는 방법을 실험하고 있다. 이는 AI에게 답을 내기 전에 추론 과정을 단계별로 설명하도록 요구하는 방식이다. 하지만 이번 연구에 따르면, 이런 고급 추론을 사용해도 통계적 수치와 언어 표현 사이의 간극이 항상 줄어드는 것은 아니었다.  

앞으로의 과제

연구진은 앞으로의 AI 개발 목표가 단순히 다음에 올 단어를 예측하는 데 그치지 않고, 자신이 표현하는 불확실성의 무게를 제대로 이해하도록 만드는 것이라고 강조했다. 예를 들어 데이터에서 10% 확률이 관측되면, 항상 같은 단어를 선택하도록 하는 ‘일관성‘이 필요하다는 것이다.  

AI가 과학 논문을 요약하고 개인 일정을 관리하는 시대가 다가오고 있다. 이런 환경에서 “probably”라는 단어가 인간이 이해하는 “아마도”와 같은 의미를 갖도록 만드는 일은, 인공지능을 단순한 흉내 내기 기계가 아니라 신뢰할 수 있는 도구로 만드는 핵심 조건이 되고 있다.

성치훈 기자/ hello@sciencewave.kr

출처: Tech Xplore, “‘Probably’ doesn’t mean the same thing to your AI as it does to you”