AI, 인간을 넘어설 수 있을까?

LLM이 제시한 참신한 연구 아이디어의 가능성과 한계

대형 언어 모델(LLM)의 급격한 발전은 과학적 발견을 가속화하고 연구의 창의적 측면까지 대체할 수 있다는 기대를 불러일으키고 있다. 특히, LLM을 기반으로 한 연구 에이전트가 독립적으로 새로운 연구 아이디어를 생성하고, 그 아이디어를 검증할 수 있다는 가능성에 대한 논의가 활발히 진행 중이다. 하지만 지금까지는 LLM이 실제로 전문가 수준의 새로운 아이디어를 생성할 수 있는지에 대한 검증이 거의 이루어지지 않았다.

최근 arXiv에 LLM관련 논문이 업데이트됐다. 100명 이상의 자연어 처리(NLP) 연구자를 대상으로 LLM이 생성한 아이디어와 인간이 제안한 아이디어를 비교하는 대규모 실험에 관한 것이다.

실험의 결과는 매우 흥미로웠다. LLM이 생성한 아이디어는 인간이 생성한 아이디어보다 참신성 측면에서 더 높은 평가를 받았다(p < 0.05). LLM이 제안한 아이디어는 인간 연구자들이 생각하지 못했던 새로운 접근 방식을 제시하는 경향이 있었다. 하지만, 참신성에서 높은 평가를 받은 것과 달리, 실현 가능성 측면에서는 인간의 아이디어보다 다소 낮은 평가를 받았다. 이는 LLM이 창의적인 아이디어를 생성할 수는 있지만, 그 아이디어를 실제 연구로 구현하는 데 있어서는 아직 한계가 있음을 시사한다.

이 실험은 두 가지 조건에서 LLM의 성능을 평가했다. 첫 번째는 LLM이 자체적으로 생성한 아이디어였고, 두 번째는 LLM이 생성한 아이디어를 인간 전문가가 다시 재정렬한 것이었다. 인간이 재정렬한 아이디어는 단순 LLM의 아이디어보다 조금 더 높은 평가를 받았지만, 전반적으로 LLM의 아이디어는 인간의 아이디어보다 참신성에서 우수하다는 결론이 나왔다. 이러한 결과는 AI가 단순히 인간을 모방하는 것을 넘어서, 실제 연구 현장에서 창의적인 아이디어를 제공할 수 있음을 보여준다.

하지만 이 연구는 또한 LLM이 가진 중요한 한계를 드러냈다. LLM이 대량의 아이디어를 생성할 때 아이디어의 다양성이 부족했다는 점이다. 4000개의 아이디어를 생성했을 때, 그 중 약 200개의 아이디어만이 중복되지 않은 고유한 아이디어로 판명되었다. 이는 LLM이 새로운 아이디어를 계속해서 생성하는 능력에는 한계가 있음을 의미한다. 또한, LLM이 생성한 아이디어에 대해 자체적으로 평가를 수행할 때도 문제점이 드러났다. LLM이 스스로 아이디어의 질을 평가하는 것은 인간 평가자보다 신뢰성이 떨어졌다는 점에서, AI가 연구 아이디어를 완전하게 자동화하는 데는 아직 부족함이 있음을 알 수 있다.

한편, 연구자들은 이번 실험 결과를 통해 LLM의 아이디어 생성 능력에 대해 낙관적인 전망을 내비쳤다. 비록 LLM이 생성한 아이디어가 실현 가능성 측면에서 인간의 아이디어보다 약간 떨어졌지만, 이 문제는 인간과 AI의 협력을 통해 극복할 수 있다. 실제로 인간이 LLM이 생성한 아이디어를 재정렬하거나 평가할 때 더 높은 성과가 나타났으며, 이는 AI가 연구자의 보조 역할을 할 수 있음을 시사한다. AI와 인간이 서로 보완적인 역할을 하여, 인간이 보지 못했던 참신한 아이디어를 AI가 제공하고, 인간이 그 아이디어의 실현 가능성과 효율성을 평가해 발전시키는 형태로 연구가 이루어질 가능성이 열려 있다.

결국 이 연구는 AI가 과학적 창의성에 기여할 수 있는 잠재력을 확인한 중요한 시발점이 되었다. 다만, 이러한 참신한 아이디어가 실제 연구로 실행되었을 때 의미 있는 성과로 이어질 수 있는지는 아직 검증되지 않았다. 후속 연구에서는 LLM이 제안한 아이디어를 실제 연구 프로젝트로 실행하고 그 결과를 평가하는 과정을 통해, AI가 생성한 아이디어의 참신성과 실현 가능성의 균형을 맞출 수 있을지 검증할 예정이다.

이번 실험은 LLM이 연구 분야에서 인간 연구자와 협력하여 과학적 발견을 가속화할 수 있는 가능성을 제시했다. 동시에 AI의 한계를 분명히 보여줌으로써, 앞으로의 연구가 AI와 인간의 상호 보완적 역할에 집중해야 한다는 교훈을 남겼다. LLM은 아직 완전한 자율 연구 에이전트로는 부족하지만, 연구자들이 새로운 길을 모색하는 데 도움을 줄 수 있는 중요한 도구가 될 수 있음을 시사한다.

참고 자료

https://doi.org/10.1038/d41586-024-03070-5