16세 때 다이빙 사고로 가슴 아래가 마비된 연구심리학자 게일런 버크월터(Galen Buckwalter)는 뇌 이식 장치로 컴퓨터를 조작하고 감각을 되찾는 데 더해 음악도 만든다. 캘리포니아공과대학(Caltech) 연구에 참여한 그는 뇌 신호를 실시간 음으로 바꿔 오랜 기간 함께한 로스앤젤레스 펑크 밴드 Siggy의 공연에 활용하고 있다.

버크월터는 2024년 뇌-컴퓨터 인터페이스(BCI) 연구에 참여해 운동 피질에 Blackrock Neurotech의 칩 6개를 이식받았다. 각 칩에는 64개 채널이 있어 연구진은 모두 384개 신경 신호를 관찰한다. 신호를 해석해 움직이려는 의도를 추정하면 커서를 조작하거나, 수십 년간 감각이 없던 손가락의 촉감을 느끼고, 맞춤형 오디오 인터페이스를 사용할 수 있다.

음악 시스템은 신경세포의 발화율을 음높이에 연결한다. 버크월터가 특정 움직임을 상상해 신경 활동을 높이면 음이 올라가고, 활동을 낮추면 음이 내려간다. 캘리포니아공과대학 대학원생 숀 다시(Sean Darcy)가 만든 가상 키보드는 신경 활동이 일정 기준을 넘을 때만 음이 나도록 해 연속적인 신호를 개별 음처럼 다룰 수 있게 한다. 다만 한 번에 두 개보다 많은 음을 제어하는 일은 버크월터에게 어렵다.

이식 장치의 연결은 매일 안정적이지 않다. 같은 번호의 채널이 다음 날에는 쓸 수 있는 신경세포와 연결되지 않을 수 있어, 연구진은 세션마다 반응하는 세포를 찾아 다시 보정해야 한다.

버크월터는 BCI 연구가 임상적 기능 회복에만 집중해서는 안 되며, 음악과 예술 같은 참여자 자신의 관심사도 연구 방향에 반영해야 한다고 본다. 그는 이식 장치를 가진 사람을 데이터 제공자가 아니라 연구 협력자로 대해야 한다고 주장한다.

밴드 Siggy는 이 접근을 음악에 적용하고 있다. 결성한 지 거의 30년 된 이 밴드는 버크월터의 신경 신호에서 만든 음을 앨범 수록곡 ‘Wirehead’에 넣었다. 앨범은 3월 15일 발매됐으며, 공연 중 다시가 음향 매개변수를 조절한다. 밴드는 신경 신호만으로 곡 전체를 만드는 작업도 시도하고 있다.

Wired의 관련 보도