Cajal-1은 소리가 포함된 영상에서 사람의 뇌 피질 반응을 1.49초 간격으로 예측하는 연구 모델이다. 제작진은 TRIBE v2가 시험용으로 제외한 영화 구간에서 Cajal-1이 실제 시청자의 뇌 활동을 더 잘 예측했다고 보고했다.

모델은 약 3,100건의 기능적 자기공명영상(fMRI) 기록으로 학습했다. 영상과 음성 정보를 처리하는 모델 세 종류를 결합해 뇌 피질 표면의 20,484개 지점에서 반응을 예측한다. 결과는 평균 시청자의 반응을 나타내며, 학습에 포함된 41명 가운데 한 명의 개별 판독값을 선택할 수도 있다.

비교 시험은 CNeuroMod movie10 데이터셋의 fMRI 기록 40건과 TRIBE v2가 보류한 영화 구간을 대상으로 했다. 알려진 시청자 기준으로 뇌 영역별 평균 점수는 Cajal-1이 0.183, TRIBE v2가 0.157이었고, 개별 지점 점수는 각각 0.119와 0.097이었다. 점수는 128초 고역통과 필터를 적용한 뒤 예측값과 측정값의 피어슨 상관계수로 계산했다. Cajal-1은 32개 기록 중 27개에서 영역별 점수가 앞섰다. 이 결과는 새 시청자에 대한 시험을 뜻하지 않는다. 별도로 제시된 sub-06 비교에서도 Cajal-1은 해당 시청자의 다른 기록으로 학습했지만 시험 영화는 보지 않았다.

장소와 신체 반응은 관련 뇌 영역에 나타났지만, 얼굴 반응은 일부만 포착했다. 방추상 얼굴 영역은 약하게 나타났고, 글자와 사물에 선택적으로 반응하는 영역은 재현하지 못했다. 이 범주 지도는 실제 뇌 측정값이 아니라 모델의 예측만으로 만들었으며, 측정된 지도와의 공식 비교는 아직 진행되지 않았다. 피질 아래 영역은 학습되지 않아 이번 공개판은 피질 예측만 제공한다. 특정인의 진단에 쓰는 도구도 아니다.

체험하려면 demo.ipynb를 내려받아 Google Colab에서 열면 된다. 샘플 영화나 직접 올린 영상으로 뇌 반응을 시각화할 수 있다. 제작진은 3분 영상 처리에 무료 T4 GPU 기준 약 5~10분이 걸린다고 안내한다. 실제 Colab 환경에서의 실행은 시험하지 않았으며, 공개된 노트북은 Linux CPU 환경에서 실행한 결과를 제시한다. 이 모델의 학습 데이터와 각 특징 추출 모델을 사용하거나 재배포하기 전에는 해당 이용 조건을 확인해야 한다.

부록: 원문 예시

text
from huggingface_hub import snapshot_download import sys path = snapshot_download("ffh92r32rm0/Cajal-1") sys.path.insert(0, path) import cajal model = cajal.load(path)                        brain = model.predict_video("my_video.mp4")     brain.plot()                   brain.show(at=42)              brain.top_regions(at=42)       brain.movie("brain.mp4")       brain.save("my_video_brain")