사람의 뇌와 인공지능(AI)을 접목하는 연구들이 학계의 주목을 받고 있다. AI로 뇌 신호를 읽어 문장이나 영상을 만들어주는 식이다. 영화, 소설에서 나올 법한 ‘뇌 신호 해독’ 기술이 고도화되면 치매, 언어 장애, 전신마비 등 각종 뇌 질환 치료에 기여할 수 있을 전망이다.

○“생각을 영상으로 재현”

뇌 과학과 만난 AI…생각만하면 글·영상으로 바꿔 보여준다
12일 관련 업계에 따르면 스위스 로잔 공과대(EPFL) 연구진은 지난 3일 과학저널 네이처를 통해 쥐의 뇌 신호를 실시간으로 해석한 다음 쥐가 보고 있는 영상을 재현할 수 있는 AI 프로그램을 개발했다고 밝혔다. 연구진은 50마리의 쥐에게 30초 분량의 영상을 9번 시청하게 하고 뇌 활동 데이터를 수집했다. 영상은 1960년대 흑백영화로 한 남자가 차량의 트렁크에 뭔가를 숨긴 뒤 달아나는 장면이었다.

연구진은 수집한 뇌 활동 데이터를 딥러닝 알고리즘인 ‘세브라’란 AI 프로그램에 학습시켜 뇌 신호를 비디오의 특정 프레임에 매핑했다. 그런 다음 새로운 쥐에게 동일한 영상을 시청하게 하면서 뇌 활동을 측정하고, 이 뇌 활동 데이터를 세브라로 해석했다.

세브라는 쥐가 보고 있는 프레임을 실시간으로 예측할 수 있었고, 연구진은 예측한 프레임을 영상으로 변환했다. 그 결과 원본과 거의 일치한 영상을 제작할 수 있었다. 화면에 약간의 끊김과 어색한 움직임이 있었지만 원본과 거의 동일한 수준이었다.

연구팀은 “쥐가 돌아다니는 등 완전히 주의를 기울이지 않은 경우를 제외하면 원본 영상을 재구성할 수 있었다”며 “10년 전에 뇌의 매우 단순한 신호만 해석할 수 있었지만 이젠 전체 영상을 변환할 정도로 발전했다”고 설명했다.

이번 연구를 통해 사람의 기억과 꿈을 영상으로 재현할 수 있게 된 건 아니다. 세브라가 사전에 해당 영상으로 훈련받았기에 이 작업을 수행할 수 있었다. 영상의 배경과 관련한 데이터를 확보한 상태에서 실험이 진행됐다는 뜻이다.

연구진은 세브라가 신경학적 기능과 뇌가 자극을 해석하는 방법에 대한 통찰력을 제공할 것이라고 봤다. 뇌 활동 패턴과 시각적 입력 사이의 연결을 밝혀내고, 이를 통해 시각 장애가 있는 이들에게 관련 감각을 생성하는 방법을 개발할 수 있을 것으로 기대했다. 치매 등 뇌 질환을 진단하고 치료하는 데에도 도움이 될 것으로 내다봤다.

○말하지 않아도 문장으로 ‘척척’

뇌 과학과 만난 AI…생각만하면 글·영상으로 바꿔 보여준다
사람의 머릿속 생각을 읽는 AI 기술도 나왔다. 미국 텍사스대 연구진은 지난 1일 국제학술지 ‘네이처 뉴로사이언스’를 통해 “뇌 활동을 기능적 자기공명영상(fMRI)으로 분석해 사람의 생각을 문자로 번역할 수 있는 AI 해독기인 ‘시멘틱 디코더’를 개발했다”고 밝혔다.

이 기술의 특징은 기존 뇌 활동 분석에 쓰이는 탐침 등 침습 장치를 사용하지 않는다는 것이다. 수술을 통해 뇌에 전극을 삽입하는 등 인체에 부담을 주지 않아도 된다. 시멘틱 디코더는 뇌의 혈류 변화를 추적하는 방식으로 생각을 읽는다.

연구진은 fMRI로 참가자 3명의 뇌 혈류를 스캔했다. 16시간 동안 팟캐스트를 들려주면서 각각의 참가자가 문장과 단어에 어떤 혈류 반응을 보이는지 확인했다. 이를 통해 일종의 ‘뇌 활동 지도’를 만들었다.

이와 함께 참가자가 특정 단어를 생각한 뒤 어떤 단어를 떠올릴지 예측하기 위해 대규모언어모델(LLM)을 활용했다. 연구진은 오픈AI의 챗GPT나 구글 바드와 같은 생성AI 프로그램이 사용하는 ‘트랜스포머’ 기술을 이용했다고 설명했다. 트랜스포머는 문장 속 단어와 단어의 관계를 분석해 맥락과 의미를 학습하는 역할을 한다.

분석 결과 시멘틱 디코더는 완전하지는 않지만 참가자가 소리나 영상을 접했을 때 떠올리는 생각을 읽어냈다. 예를 들어 실험에서 참가자에게 “나는 아직 운전면허증이 없습니다”라고 말하면 AI는 “그녀는 아직 운전 배우기도 시작하지 않았습니다”라고 해석했다. “비명을 질러야 할지, 울어야 할지, 도망쳐야 할지 몰랐다. ‘나를 좀 내버려 둬!’라고 말했다”는 음성을 참가자에게 들려주자 AI는 뇌 신호를 감지한 뒤 “비명을 지르고 울기 시작하더니 그냥 ‘나를 내버려 두라고 했잖아’라고 말했다”로 해독했다.

또한 참가자들이 무음으로 애니메이션을 볼 때 AI는 어떤 장면인지 대략적인 내용을 잡아냈다. 연구진이 기술 정확도를 측정한 결과 참가자가 실제로 떠올린 생각과 해독된 내용이 절반에 가까운 일치율을 보였다. 향후 언어 장애, 전신마비 등 소통에 문제가 있는 이들에게 도움을 줄 수 있을 것으로 보이는 대목이다.

한계도 있었다. 한 사람에게 훈련된 AI 모델이 다른 사람의 뇌 활동을 읽어내지 못했다. 이 기술이 더 발달할 경우 이를 악용해 다른 사람의 생각을 훔쳐볼 수 있다는 우려의 목소리도 나왔다. 연구진은 “이 기술이 나쁜 목적으로 사용될 수 있다는 우려를 매우 심각하게 받아들인다”며 “사람들이 원할 때만 이 기술을 사용해 도움이 되기를 바란다”고 했다.

최진석 기자 iskra@hankyung.com