TL;DR

  • 고해상도 기능성 자기공명영상(fMRI) 뇌 스캔을 분석해 사람이 보는 이미지를 재구성하고 이미지로 뇌 활동을 예측하는 AI 도구가 기존 방식보다 높은 정확도를 보이며, 새 사용자에게 필요한 보정 데이터도 40시간에서 1시간으로 줄어듦.
  • Weizmann Institute of Science의 Michal Irani 연구팀은 이미지의 구조와 내용을 따로 예측하는 뇌 디코더와 확산 모델을 결합함.
  • 이미지에서 뇌 활동을 예측하는 인코더와 디코더를 함께 학습해, 학습 데이터의 약 70%를 실제 fMRI 스캔과 짝지어지지 않은 이미지로 구성함.
  • 이 도구는 신경과학 연구와 잠금 증후군 환자의 의사소통에 활용될 가능성이 있으며, 동영상·음성·꿈의 내용 재구성도 연구 목표임.
  • 뇌파검사(EEG) 기반 해독 기술이 발전하면 동의 없는 정신 이미지 추출이나 상업적 악용으로 이어질 수 있어 정신 프라이버시와 윤리 문제가 제기됨.

뇌를 들여다보기

  • 신경과학자들은 수년간 사람이 보는 것과 마음속에서 일어나는 일을 재구성하는 방법을 연구해 왔으며, 초기 시도는 흐릿하고 알아보기 어려운 이미지를 만들어 냄.
  • 기능성 자기공명영상(fMRI)은 거대한 자석으로 뇌의 산소가 공급된 혈액 흐름을 추적함. 스캔에서 활성화된 것으로 보이는 뇌 영역은 해당 순간 특히 활동적인 것으로 여겨짐.
  • 일반적인 fMRI의 각 활성 복셀(voxel)은 약 3세제곱밀리미터 범위로 약 1만 6,000개 뉴런을 포함해 세밀도가 제한적임. Irani 연구팀은 복셀 하나가 약 1세제곱밀리미터인 고해상도 스캐너로 수집한 데이터셋을 사용함.
  • 연구팀은 자원자들에게 수백 장의 이미지를 보여 주며 수집한 공개 뇌 스캔 데이터를 분석함. 다른 연구팀도 뇌 스캔에서 이미지를 재구성하는 도구를 개발했지만, Irani는 기존 모델이 바나나를 알아볼 수 있게 그려도 원래 이미지의 구조와 위치를 재현하지 못한다고 설명함.

더 나은 디코더

  • 연구팀은 고해상도 fMRI 스캐너 안에서 각각 약 9,000장의 이미지를 본 8명의 데이터를 사용해 AI 모델을 학습함.
  • 뇌 디코더는 두 갈래로 구성됨. 하나는 색상 배치 같은 이미지 구조를, 다른 하나는 접시에 놓인 바나나 무리 같은 이미지 내용을 예측함.
  • 이 예측을 확산 모델에 입력해 사람이 본 이미지에 더 가까운 재구성 결과를 생성함. 확산 모델은 잡음이 섞인 픽셀을 점진적으로 정리해 이미지와 동영상을 생성하는 AI임.
  • 연구팀은 데이터 부족을 보완하기 위해 이미지로 뇌 활동을 예측하는 인코더를 별도로 학습하고, 인코더와 디코더를 함께 사용해 두 도구를 개선함.
  • 표범 이미지에서 인코더가 해당 이미지를 본 사람의 fMRI 활동을 예측하고, 디코더가 예측된 뇌 활동으로 이미지를 재구성함.
  • 처음에는 결과가 표범과 닮지 않을 수 있지만, 이 과정을 반복해 모델을 학습하면 성능이 크게 개선됨.
  • 이 접근법은 fMRI 스캐너 안에서 사람에게 보여 준 적이 없는 이미지도 학습에 사용할 수 있게 함. 전체 학습 데이터의 약 70%는 원래 fMRI 스캔과 짝지어지지 않은 이미지임.
  • 여러 연구의 데이터를 결합해 개인 간에 기능을 공유하는 것으로 보이는 뇌 영역도 확인함. 한 영역은 음식 이미지에, 다른 영역은 스포츠 이미지에 반응하는 것으로 나타남.
  • 연구팀이 개발한 ‘범용 뇌 인코더’는 최소한의 보정만으로 새로운 사람의 스캔에 적용 가능함. 다른 접근법은 새 사용자의 뇌 활동을 예측하기 전에 일반적으로 약 40시간의 fMRI 데이터가 필요하지만, Irani의 디코더는 1시간의 데이터만 필요함.
  • 이 연구 결과는 지난달 뉴욕에서 열린 Cognitive Computational Neuroscience 학회에서 발표됨. Tommy Sprague는 새 연구 대상자에게 영상 촬영 40시간을 할애하기 어렵고 비용도 시간당 약 600~1,000달러라며, 이런 도구가 연구를 앞당길 수 있다고 설명함.

최첨단 기술

  • 인코더와 디코더는 완벽하지 않음. Irani는 케이크를 샌드위치 세 개 더미로, 욕조 속 개를 색이 비슷한 욕조 속 염소로 재구성한 사례를 제시함.
  • 비교 시험에서 이 도구는 앞서 공개된 도구보다 훨씬 뛰어난 성능을 보임. Irani는 다른 도구들을 큰 차이로 앞섰다고 평가하며, ‘마음 읽기’는 연구 내용을 표현하는 경쾌한 이름이라고 설명함.
  • Irani는 이미지에서 동영상과 음성으로 연구 범위를 넓히고, 사람이 생각하거나 상상하는 것과 꿈의 내용을 재구성하는 방법을 연구 중임. 아직 구현되지는 않았지만 달성을 위해 노력하고 있다고 밝힘.
  • 이 기술은 완전히 마비된 잠금 증후군 환자가 뇌 활동만으로 의사소통하는 데 활용될 가능성이 있으며, 외상 후 스트레스 장애(PTSD)의 플래시백이 어떤 모습인지 등 마음의 작동 원리를 밝히는 데도 도움이 될 수 있음.

정신 프라이버시 문제

  • 뇌 활동에서 정신 이미지를 재구성하는 기술은 개인의 생각이나 본 것을 동의 없이 추출할 수 있다는 우려를 낳음. Sprague는 현재 결과가 인상적이라고 평가하면서도, 생각을 은밀하게 추출할 방법이 생기면 공상과학의 상황이 현실이 될 수 있다고 우려함.
  • fMRI 스캐너 안에서 가만히 누워 연구에 적극적으로 참여하는 것조차 어렵기 때문에, Sprague는 과거에는 비동의 사용 가능성을 크게 우려하지 않았다고 설명함. 그러나 Irani를 비롯한 과학자들은 전극 모자나 헤드폰으로 측정하는 뇌파검사(EEG) 신호를 해독하는 유사한 방법도 연구 중임.
  • 모델이 발전하면 이런 방식으로 수집한 뇌 활동 분석이 쉬워질 수 있음. Sprague는 Irani의 접근법이 사람이 보고 있지는 않지만 생각하는 이미지를 예측하는 데도 상당히 효과적일 수 있다고 봄.
  • Technical University of Munich의 신경과학자이자 철학자인 Marcello Ienca는 EEG로의 전환이 판도를 바꿀 수 있다고 평가함. 사용자 개인의 뇌에 맞게 EEG 장치를 보정한 뒤 기업이 동의 없이 추가 정보를 추출하는 일이 비교적 쉬워질 수 있다는 우려임.
  • Ienca는 일부 법원이 정신 이미지 재구성 결과를 법적 증거로 허용할 가능성도 상상할 수 있다고 말함. 연구 의도가 선하더라도 윤리적·사회적으로 문제가 있는 상업적 용도로 전용될 수 있다는 지적임.
  • Irani는 EEG 활용 기술의 오용 가능성을 인정하지만, 현재로서는 우려하지 않으며 좋은 활용 방안을 생각하는 데 집중하고 있다고 밝힘.