AI, 뇌 속 이미지도 언어로 읽는다···ALS등 중증 장애 환자 소통 가능성

• 영상 시청과 기억 회상 모두 문장으로 재구성
• 언어장애 환자 의사소통 보조 기대

비침습적 뇌영상과 인공지능이 결합해, 사람이 본 장면이나 머릿속으로 떠올린 이미지를 문장으로 바꾸는 기술이 등장했다. 단순히 ‘보는 순간’뿐 아니라 ‘기억 속 영상’에서도 언어적 표현이 생성될 수 있음이 확인됐다. 이번 연구는 뇌의 시각 정보가 어떻게 언어로 변환되는지를 실험적으로 입증한 사례로, Science Advances 2025년 11월호에 게재됐다.

뇌, 외부 시각 정보와 내면 이미지 동일하게 처리

연구팀은 fMRI로 피험자의 시각 피질 활동을 측정하며 수천 개의 영상과 자막 데이터를 학습시켰다. 인공지능은 각 영상의 의미를 수치화한 ‘의미 서명(meaning signature)’을 만들고, 이를 뇌 신호와 대응시켜 학습했다. 그 결과 피험자가 영상을 볼 때나 기억을 떠올릴 때 모두 뇌 활동만으로 장면을 설명하는 문장이 생성됐다.
예를 들어, 폭포 위에서 사람이 뛰어내리는 장면을 본 피험자의 뇌 데이터로부터 AI는 “산등성이 폭포 위를 사람이 뛰어넘는다”는 문장을 만들어냈다.

시각 자극이 사라진 뒤에도 유사한 문장이 만들어졌다는 점은, 뇌가 눈앞의 장면과 마음속의 이미지를 구분하지 않고 처리한다는 뜻이다. 눈으로 본 장면이든 기억 속에 떠올린 장면이든, 뇌는 둘 다 같은 방식으로 언어화한다. 다시 말해, ‘본다’와 ‘떠올린다’는 뇌 안에서 거의 동일한 신경 회로를 거쳐 언어로 변환된다. 이 발견은 인간의 기억과 상상이 실제 시각 경험과 밀접하게 연결돼 있다는 사실을 구체적으로 보여준다.

이번 연구는 중증 실어증이나 루게릭병(ALS) 환자처럼 말을 하지 못하는 사람을 위한 의사소통 보조 기술로 확장될 가능성이 있다. 뇌–컴퓨터 인터페이스(BCI)와 결합하면, 생각이나 시각적 상상을 텍스트로 전환하는 실용적 도구로 발전할 수 있다.

기술은 아직 초기 단계다. fMRI의 해상도는 세밀한 시간 변화를 포착하기 어렵고, 학습된 범위를 벗어난 장면에서는 정확도가 낮다. 생성된 문장이 실제로 뇌가 표현하려 한 언어인지, AI가 통계적으로 만들어낸 문장인지는 구별이 쉽지 않다. 무엇보다 인간의 내면적 사고가 외부로 해석될 수 있다는 점에서, 기술의 발전과 함께 신중한 윤리 논의가 필요하다.

김지윤 기자/ hello@sciencewave.kr