GPT는 왜 인간처럼 사고하지 못할까?

AI의 한계를 밝히는 연구

인공지능(AI), 특히 GPT-4와 같은 대형 언어 모델은 다양한 논리적 과제에서 뛰어난 성능을 보인다. 하지만 AI가 정말로 인간처럼 사고할 수 있을까? 아니면 단순히 패턴을 학습해 답을 예측하는 것일까?

암스테르담 대학교와 산타페 연구소의 공동 연구에 따르면, GPT 모델은 특정 유추(analogical reasoning) 문제에서 높은 성과를 보이지만, 문제의 형태가 변경될 경우 성능이 크게 저하된다고 한다. 이는 AI의 논리적 추론 능력에 근본적인 한계가 있음을 시사하는 연구 결과로, 해당 논문은 Transactions on Machine Learning Research 저널에 게재되었다.

인간과 AI의 유추 추론 방식 차이
유추 추론이란 특정 개념 간의 유사성을 바탕으로 논리를 확장하는 사고 방식이다. 예를 들어, “컵은 커피와 같은 관계를 가지며, 국은 ???와 같은 관계를 가진다”라는 질문에서 정답은 ‘그릇’이다. 이는 인간이 사고하는 자연스러운 방식 중 하나다.

하지만 AI는 이러한 사고를 할 수 있을까? 암스테르담 대학교의 논리, 언어 및 연산 연구소(Institute for Logic, Language and Computation)의 마사 루이스(Martha Lewis)와 산타페 연구소의 멜라니 미첼(Melanie Mitchell)은 인간과 GPT 모델이 유추 문제를 해결하는 방식의 차이를 분석하는 연구를 진행했다.

인간 vs. AI: 세 가지 유추 테스트
연구진은 인간과 AI가 세 가지 유형의 유추 문제를 해결하는 방식을 비교했다.

문자열 패턴 분석 – 연속된 문자 패턴을 파악하고 다음 문자를 예측하는 과제
숫자 행렬 문제 – 숫자 간의 관계를 분석하고 누락된 숫자를 채우는 문제
이야기 유추 문제 – 두 개의 이야기 중 주어진 예시와 가장 유사한 것을 선택하는 과제

만약 AI가 인간처럼 사고할 수 있다면, 문제의 변형에도 높은 일관성을 유지해야 한다. 연구진은 이러한 기준을 바탕으로 실험을 진행했다.

GPT의 한계: 문제 변형 시 성능 저하
연구 결과, 인간은 문제의 형태가 변형되더라도 높은 정확도를 유지했지만, GPT 모델은 원래 형태의 문제에서는 우수한 성능을 보였으나 변형된 문제에서는 성과가 크게 하락했다. 이는 AI가 유추를 수행할 때 인간처럼 추상적인 개념을 이해하는 것이 아니라 단순한 패턴을 기반으로 답을 선택하는 경향이 있음을 보여준다.

예를 들어, 숫자 행렬 문제에서 GPT 모델은 숫자가 특정 위치에 있을 때는 높은 성과를 보였지만, 숫자의 위치가 변경되었을 때는 성능이 급격히 저하되었다. 반면, 인간 참가자들은 문제 형태가 바뀌어도 비교적 안정적인 성과를 유지했다.

또한 이야기 유추 문제에서 GPT-4는 첫 번째로 제시된 답을 정답으로 선택하는 경향을 보였으며, 이야기의 핵심 요소가 다르게 표현될 경우 혼란을 겪었다. 이는 AI가 논리적 사고보다는 표면적인 유사성에 의존한다는 점을 시사한다.

결론적으로, 단순한 유추 문제에서는 AI가 인간과 유사한 성능을 보일 수 있지만, 문제가 조금만 복잡해지면 인간과 AI 간의 차이가 극명해진다.

인간 사고력과 AI의 차이점
이 연구는 AI가 인간과 동일한 방식으로 사고할 수 있다는 일반적인 오해를 경고한다. 연구진은 “AI가 뛰어난 능력을 보여주지만, 이는 AI가 실제로 문제를 이해하고 있다는 의미는 아니다.”라고 강조했다.

즉, AI 모델은 문제를 일반화하여 적용하는 능력이 인간보다 현저히 떨어지며, 단순한 패턴 인식에 의존하는 경향이 강하다. 이는 AI가 교육, 법률, 의료 등 중요한 의사결정이 필요한 분야에서 인간을 완전히 대체하기에는 아직 부족하다는 점을 시사한다.

AI는 강력한 도구이지만, 인간의 사고 방식을 완전히 모방하기에는 아직 갈 길이 멀다는 것이 이번 연구의 핵심 결론이다.