AI 챗봇이 커지면서 더 똑똑해지는 건 누구나 아는 사실이다. 하지만 최근 연구에 따르면, AI 모델이 커질수록 잘못된 답변을 할 가능성도 커진다는 충격적인 결과가 나왔다.
우리가 몰랐던 챗봇의 위험한 허세
스페인의 발렌시아 인공지능 연구소에서 호세 에르난데즈-오롤로 박사와 연구진이 대형 AI 챗봇들을 분석한 결과, 이들은 이제 거의 모든 질문에 답하려는 경향이 있다고 한다. 문제는 자신이 모르는 질문에도 답변을 시도하면서 잘못된 정보를 더 자주 제공하게 됐다는 점이다. 인간의 피드백을 활용한 학습 덕분에 AI의 정확도는 높아졌지만, 동시에 틀린 답변의 비율도 증가한 것이다. AI는 모르는 것을 인정하는 대신 그럴듯한 답을 내놓으려 하고 있다. 더 큰 문제는 사람들이 AI의 잘못된 답변을 잘 알아차리지 못한다는 사실이다. 연구에 따르면, 사람들은 AI가 틀린 답을 했을 때 그걸 제대로 구분하지 못하는 경우가 10%에서 40%에 이르렀다. 이 때문에 일부 학자들은 AI가 마치 모든 걸 알고 있는 것처럼 보이려는 경향을 ‘지나친 허세’라고 부르기도 한다.
이 현상은 AI 챗봇에 대한 신뢰를 크게 흔들 수 있다. 연구진은 AI 모델이 커지면서 더욱 정확해지긴 했지만, 반대로 어려운 질문에도 무리하게 답을 하려는 경향이 커졌다고 지적했다. 특히 GPT-4 같은 최신 모델은 거의 모든 질문에 답하려 하며, 그중 상당수가 틀리거나 부정확한 답변이라고 한다. 이런 상황은 사용자들이 AI의 능력을 과대평가하게 만들고, 결과적으로 잘못된 정보를 믿게 되는 위험을 초래할 수 있다.
에르난데즈-오롤로 박사는 AI가 쉬운 질문에는 정확히 답하도록 하고, 어려운 질문은 답하지 않는 방향으로 개선해야 한다고 강조한다. 사용자가 AI를 어느 정도 신뢰할 수 있는지를 명확히 인식할 수 있어야 한다는 것이다. AI 챗봇의 성능이 뛰어난 건 사실이지만, 그만큼 주의 깊은 사용이 필요하다. 챗봇이 모든 질문에 답하려고 할수록, 우리는 그 답변을 더 꼼꼼하게 검토해야 한다. 과연 AI가 내놓는 답변을 어디까지 믿어야 할까?
참고 자료 doi: https://doi.org/10.1038/d41586-024-03137-3
Science Wave에서 더 알아보기
구독을 신청하면 최신 게시물을 이메일로 받아볼 수 있습니다.