TL;DR: 저희는 오늘 UCSF 연구진이 심각한 언어 장애를 가진 사람이 생각만으로 자신의 의사를 거의 즉시 화면으로 보여주는 기술을 최초로 시연하여 ‘뉴 잉글랜드 저널 오브 메디슨 (The New England Journal of Medicine)’에 발표한 사실을 알려드립니다. UCSF는 운동 피질에서 성대로 보내는 뇌 신호를 해독하여 사람의 의사 소통 능력을 복구했고, 이 연구는 신경과학 분야에서 중대한 진전을 기록하며 수년에 걸친 Facebook과 UCSF의 창 연구소(Chang Lab)의 협력을 마무리하게 되었습니다.
이러한 혁신적인 결과는 창 연구소와 같은 임상 환경과 저희가 지난 4년 동안 탐구해 온 광학 BCI 등 비삽입형 (non-invasive) 소비자 애플리케이션에서 찾을 수 있는 가능성을 나타냅니다.
우리는 이번 기회를 통해 이 분야 전반에서 광학 BCI 탐구가 계속 이루어져 핵심 연구자들과 기타 동료들이 중요한 작업을 진행하는 데 도움이 되도록 BCI 소프트웨어를 공개하고 머리에 장착된 하드웨어 프로토타입을 주요 연구원 및 기타 동료에게 무료로 공유하고자 합니다. 한편, Facebook 리얼리티 랩스(Facebook Reality Labs)는 직관적인 AR/VR 입력을 위한 손목형 신경 인터페이스의 발전 속도를 극적으로 앞당기기 위해 근전도(EMG) 연구에 BCI 개념을 적용하는 데 집중할 것입니다.
연구실은 UCSF 과학자들과 모니터, 케이블 등 장비가 가득했습니다. 그러나 연구 참가자의 눈은 “좋은 아침입니다!”라는 간단한 두 단어가 표시된 한 화면에 고정되어 있었습니다.
말을 할 수 없지만 대답을 하려하자 화면에 “안녕하세요.”라고 나타났습니다.
화면이 까맣게 바뀌고 “오늘 기분은 어때요?”라는 다른 대화가 표시되었습니다.
이번에는 “아주 좋아요”라는 말을 시도했고, 다시 한번 화면에 그 내용이 나타났습니다.
간단한 대화였지만 신경과학 분야에서는 중요한 순간이었습니다. 더 중요한 사실은 여러 차례 뇌졸중을 겪고 팔, 다리, 성대가 거의 완전히 마비된 후 16년이 지난 세월동안 처음으로 번거로운 헤드 마운트 장치(head-mounted appratus) 없이 소통할 수 있었다는 것입니다. 이제 그는 말하려고 시도만 하면 타이핑할 필요도 없이 컴퓨터가 단어들을 실시간으로 공유할 수 있게 되었습니다.
2017년에 설립된 Facebook 리얼리티 랩스(FRL, Facebook Reality Labs)의 BCI(Brain-Computer Interface) 프로젝트는 사람들이 말하려는 단어를 상상만으로 입력할 수 있는 조용한 비삽입형 음성 인터페이스 개발이라는 야심찬 장기 목표를 가지고 시작되었습니다.
저희 팀은 4년 동안 차세대 컴퓨팅 플랫폼, 즉 음성 속도와 신중한 타이핑을 AR/VR로 소통할 수 있는 잠재적인 입력 방식으로 헤드 마운트 광학 BCI(head-mounted optical BCI)에 통신하는 잠재적인 입력 방법을 중점으로 두었고, 큰 진전을 이루었습니다. 회사의 내부적인 노력과 더불어 언어 능력을 상실한 사람들을 위한 이식형 의사소통 보조 장치를 개발하는 캘리포니아 대학교 샌프란시스코 캠퍼스(UCSF)의 연구팀을 지원했습니다. Facebook이 이 연구에 자금을 지원한 목표는 분당 100단어를 입력할 수 있는 자동 인터페이스가 가능한 지, 가능하다면 어떤 신경 신호가 필요한지 파악하는 것으로 UCSF의 업무에 딱 맞는 목표였습니다.
UCSF는 2년 전 네이처 커뮤니케이션즈(Nature Communications)에 처음으로 소량의 구어체 단어와 구를 두뇌 활동에서 실시간으로 해독할 수 있음을 보여준 첫 번째 결과를 발표했습니다. 이후 UCSF는 기계 학습을 사용하여 두뇌에서 문자로 문장 전체의 디코딩도 시연했습니다.
오늘 저희는 기쁜 마음으로 UCSF 연구진이 심각한 언어 장애를 가진 사람이 생각만으로 자신의 의사를 거의 즉시 화면으로 보여주는 기술을 최초로 시연하여 ‘뉴 잉글랜드 저널 오브 메디슨’에 발표했다는 획기적인 결과를 알려드리고자 합니다. 다시말해 UCSF는 운동 피질에서 성대로 보내는 뇌 신호를 해독하여 사람의 의사 소통 능력을 복원하는 중대한 진전을 이루었습니다. 이 결과는 에드워드 창 박사(Dr. Edward Chang)가 UCSF에서 지난 10년 동안 진행한 연구의 정점입니다.
USCF 신경학과장 에드워드 창 박사는 “UCSF의 제 연구팀은 10년 넘게 이 [언어 신경 보조장치 (speech neuroprosthesis)] 목표를 위해 노력해 왔습니다. 그동안의 연구 동안 뇌에서 언어가 처리되는 방식에 대해 많은 것을 배웠지만, 머신 러닝의 발전으로 이 중요한 성과를 낸 것은 지난 5년 동안에 이루어진 일입니다” 라며 “여기에 Facebook의 머신러닝과 관련된 조언들과 자금 지원으로 발전이 이뤄낼 수 있었습니다”라고 전했습니다.
BCI 분야의 신기원
프로젝트 스테노(Project Steno)라는 이름으로 진행된 이 프로젝트의 마지막 단계는 2019년 UCSF의 창 연구소(Chang Lab)에서 시작되었으며 여러 차례 뇌졸중을 겪은 후 정상적인 언어 능력을 상실한 연구 참가자가 참여했습니다. 참가자는 뇌 표면에 전극을 이식하는 선택적 수술(elective surgery)을 받았습니다. 연구 과정에서 참가자는 UCSF 팀과 직접 협력하여 BCI로 언어 시도를 한 수십 시간의 데이터를 수집했습니다. UCSF는 음성 감지와 단어 분류를 하는 기계 학습 모델을 만드는 데 이 데이터를 사용했습니다. 참가자는 이 연구를 통해 뇌졸중으로 마비된 지 16년이 넘었음에도 실시간으로 진정한 의사 소통을 할 수 있었습니다.
네이처 커뮤니케이션스 (Nature Communications)를 통해 발표한 연구 등 UCSF는 지난 연구를 통해 뇌 활동에서 소량의 구어체 단어와 구를 두뇌 활동에서 실시간으로 해독할 수 있음을 입증했으며 창 연구소(Chang Lab)의 다른 연구에서도 훨씬 낮은 오차율로 훨씬 많은 양의 단어를 인식할 수 있다는 것을 보여주었습니다. 그러나 이러한 결과는 모두 사람들이 실제로 큰 소리로 말하는 동안 달성된 것으로, 사람들이 단순히 말하려고 생각만 할 때 실시간으로 단어를 해독할 수 있는지에 대한 여부는 여전히 알지 못했습니다. 오늘 발표한 연구 결과는 이 모든 것을 종합하여 생각한 대화식 음성의 실시간 해독이 성공했음을 보여줍니다. 저희는 프로젝트 스테노에서 특히 알고리즘이 언어 모델을 사용하여 ‘뇌-문자 (brain-to-text)’ 통신의 정확성을 향상시키는 방법에 적용되는 경우를 포함해 많은 것을 배웠습니다.
에밀리 머글러(Emily Mugler) FRL 신경 공학 연구 관리자 (FRL Neural Engineering Research Manager)는 “프로젝트 스테노는 BCI 구동에 언어 모델과 결합된 음성 시도의 첫 번째 시연한 것”이라며 “그 결과는 우리가 언어에 내재된 통계적 속성을 활용하는 방법, 즉 문장 구성에서 한 단어가 다른 단어로 이어지는 방식을 활용하여 BCI의 정확도를 극적으로 높일 수 있는 멋진 사례”라고 밝혔습니다.
사람들이 스마트폰에서 자동 교정과 자동 완성을 사용하여 문자에 입력한 내용의 정확성을 향상시키는 것처럼 BCI와 동일한 기술을 사용하여 누군가가 의사 소통하려는 내용에 대한 알고리즘 예측의 정확성을 향상시킬 수 있습니다.
프로젝트 스테노에 대한 Facebook의 기여
Facebook은 프로젝트 스테노 전반에 걸쳐 높은 수준의 피드백, 기계 학습 조언, 자금 지원을 제공했지만 UCSF는 연구를 설계하고 감독했으며 참가자와 직접 작업했습니다. Facebook은 연구 참가자의 데이터 수집에 관여하지 않았고, 모든 데이터는 항상 UCSF 연구소에 남아 있으며 UCSF가 통제하였으며, 이식형 전극이 요구되는 제품 개발에는 관심을 두지 않았습니다. UCSF는 Facebook의 자금 지원을 통해 UCSF는 서버 용량을 획기적으로 늘려 더 많은 모델을 동시에 테스트하고 더 정확한 결과를 얻을 수 있었습니다.
끝으로 머글러는 FRL 연구 BCI 팀(FRL Research BCI team)의 기술 피드백을 이끌고 참가자가 BCI 사용방법을 배우는 데 도움이 되는 방법에 대한 조언을 제공했습니다. 뇌로만 말하는 사람을 어떻게 훈련시킬까요? 이전에는 한 번도 수행되지 않았다는 점을 감안하면 사소하지 않은 위업입니다. 2017년 BCI 프로그램 초반에 Facebook에 합류한 머글러는 그 동안 근위축성 측삭 경화증(ALS) 같은 상태로 말을 할 수 없는 환자를 위한 복구 커뮤니케이션 BCI에 집중해 왔습니다.
머글러는 “이 작업의 결실을 보는 오랫동안 이 분야의 꿈이었고 제게도 개인적인 꿈이었습니다.”라며 “BCI 과학자로서 제 경력 전반에 걸쳐 핵심 목표는 음성 발음을 유도하는 신경 신호를 의사 소통에 사용할 수 있는 더 효율적인 BCI로 디코딩할 수 있음을 입증하는 것이었습니다. 이러한 결과는 언어 장애가 있는 사람들의 삶의 질을 크게 향상시킬 수 있는 보조 기술 분야에 많은 가능성을 열어주었습니다”라고 말했습니다.
UCSF가 오늘 발표한 결과는 비슷한 증상을 갖고있는 환자들에게 대화식 의사소통의 길을 여는데 도움이 될 수 있다는 점에서 보조 기술의 미래에 중요한 의미를 보여줍니다. 저희는 프로젝트 스테노의 영향이 신경과학 분야 전반에 걸쳐 오랫동안 지속될 것으로 보여져 기쁩니다.
AR/VR을 위한 고대역폭 상호작용 탐구
BCI에서 이처럼 획기적인 성과를 이룬 지금이야말로 BCI 프로그램 전체에 대한 FRL의 목표를 재평가하기 좋은 시기입니다. 뿐만 아니라 광범위한 신경과학 커뮤니티와 FRL의 성과를 공유할 준비가 되었다는 뜻이기도 합니다. 저희는 침묵의 대화형 (silent speech) BCI가 장기적인 노력을 필요로하는 분야임을 늘 알고 있었고, 이 목표를 향해 근적외선을 사용하여 안전한 비삽입형 방식으로 외부에서 뇌의 혈액 산소를 측정하는 웨어러블 프로토타입을 개발하는 등 상당한 진전을 이루었습니다. 그 과정에서 우리는 뇌에서 비삽입형으로 감지할 수 있는 것의 경계를 재정의할 가능성이 있는, 조직 운동(tissue movement)을 감지하는 새로운 방법을 탐구했습니다.
저희는 여전히 헤드 마운트 광학 BCI 기술의 장기적 잠재력을 믿고 있지만 가까운 시일에 출시할 수 있는 다른 신경 인터페이스 접근 방식, 즉 근전도 검사로 구동되는 손목형 보조 장치 (wrist-based devices powered by electromyography)에 즉각적인 노력을 집중하기로 결정했습니다. EMG가 작동하는 방식은 다음과 같습니다. 여러분이 손과 손가락을 움직이려고 하면 뇌는 운동 뉴런을 통해 팔로 신호를 보내 특정한 방식으로 움직이도록 지시하고, 톡톡 치거나 휘두르는 등의 동작을 수행합니다. EMG는 여러분이 의도한 손과 손가락의 움직임 같은 신호를 손목에서 포착해 디코딩하여 장치의 디지털 명령으로 변환할 수 있습니다. 가까운 시일 내에 여러분은 이러한 신호를 통해 매우 신뢰성이 높고 섬세하며 다양한 상황에 적합한 개인 맞춤형 제어 수준으로 장치와 상호작용할 수 있을 것입니다. 해당 연구 영역이 발전함에 따라 EMG 기반 신경 인터페이스는 장치와 통신할 수 있는 대역폭을 급격히 확장해 고속 타이핑과 같은 가능성을 열어줄 수 있습니다.
션 켈러(Sean Keller) FRL 연구 책임자(FRL Research Director)는 “우리가 사용 중인 장치나 우리 주변 세계와의 상호 작용 중 어느 하나만 선택하지 않아도 될 수 있도록 항상 착용 가능한 AR 안경(always-available AR glasses)과 상호 작용할 수 있는 더 자연스럽고 직관적인 방법을 개발하고 있습니다”라고 전했습니다. 그는 “아직은 손목형 보조장치(EMG)의 잠재력을 여는 초기 단계이지만 이것이 AR 안경의 핵심 내용이 될 것이며 BCI에 대해 배운 것을 적용하면 속도를 더 높일 수 있을 것이라고 생각합니다.”라고 덧붙였습니다.
음성은 본질적으로 대역폭이 높습니다. 다시 말해, 말하는 속도는 타이핑 속도보다 빠를 수밖에 없습니다. 바로 이 때문에 BCI 연구에서는 음성에 초점을 맞췄습니다. 그러나 반드시 음성에 의지하여 연구를 계속해야 하는 것은 아닙니다. BCI 팀의 기초 작업을 활용하면 직관적인 손목형 제어로도 중분히 가능합니다. 이에 FRL은 사람들이 말하고 싶은 단어를 상상하는 것만으로 타이핑할 수 있는 조용한 비삽입형 음성 인터페이스(silent, non-invasive speech interface)를 개발하는 연구를 더 이상 진행하지 않을 계획입니다. 음성 기반의 신경 인터페이스 대신, EMG를 이용한 새로운 형태의 직관적인 제어 방법을 연구하고자 합니다.
머글러는 “저희 팀은 광학 BCI 연구에 사용하는 바이오피드백과 실시간 디코딩 알고리즘이 손목형 EMG 연구 발전에 크게 기여할 수 있음을 깨달았습니다”며 “FRL은 사람들이 차세대 손목 밴드를 착용한 순간부터 몇 분 만에 직관적인 제어가 가능하도록 만드는 것을 목표로 합니다. 또한, 확신을 가지고 섬세한 제어 체계를 사용하려면 장치가 여러분의 목표를 이해하고 있는지 확인하기 위해 피드백을 제공할 수 있어야 합니다. 정확도 단계를 하나 더 추가하기 위해 언어의 통계적 속성을 활용하는 실시간 디코딩 알고리즘(real-time decoding algorithms)을 사용할 수 있습니다. 이와 같은 BCI 연구 개념을 EMG에 적용하면, 이용자는 손목형 제어를 처음 사용할 때부터 직관적이고 유용하다는 느낌을 받을 수 있습니다.”라고 합니다.
앞으로의 길
저희는 내부적으로 FRL에서 AR/VR용 손목형 입력 장치에 집중함과 동시에, 외부 협력업체가 개발 중인 헤드 마운트 광학 BCI 기술 연구를 계속 지원하고자 합니다. 이를 위해 팀은 BCI 소프트웨어의 소스를 공개하고 주요 연구원 및 기타 동료와 헤드 마운트 하드웨어 프로토타입을 공유하여 보조과학기술과 같은 새로운 사용 사례를 발전시키는 데 도움을 줄 계획입니다. 아울러, 해당 프로젝트의 발전 추이에 따라 광학 BCI 오픈 소스 협업(optical BCI open-source collaborations)에 대한 자세한 내용을 공유할 예정입니다.
FRL은 연구 기관으로서 오픈 소스를 통해 작업을 공유하는 것이 전체 연구 공동체를 발전시키고 모든 사람에게 혜택을 주는 좋은 방법이 될 수 있다고 믿습니다. 이것이 바로 우리가 연구 결과를 발간하고, 코드를 모두에게 공개하며 UCSF와의 협력 등을 통해 학술 연구에 투자하는 이유입니다. 특히, 기계 학습과 신경 과학의 교차 지점에서 학문 간 심층 조사가 필요한 BCI 연구에서 외부 협업의 장점이 발휘됩니다. 일례로, Facebook AI Research(FAIR)는 창 연구소(Chang Lab)와 협력의 일환으로 UCSF가 Facebook의 오픈 소스 코드 “Wav2letter“를 사용하여 실시간 데모에서 언어 모델을 개선하는데 기여했습니다.
머글러는 “이 연구를 공적 영역에서 동료들과 공유하는 것이 신경과학 부문 전반에 더 영향력 있는 결과를 달성할 것이라는 점이 학계 협력자들과의 대화를 통해 분명해졌습니다.”라며 “저희는 BCI 분야를 협업의 정신으로 발전시키기 위해 다른 BCI 연구원들이 FRL의 도구에 접근할 수 있기를 원합니다. FRL 연구실에서 수행하는 최첨단 작업은 독립적으로 진행할때 보다는 함께할 때 더 큰 진보를 이룰 수 있음을 알고 있기 때문입니다”라고 전했습니다.
우리는 신흥 신경과학이 사회와 개인에 미치는 영향을 조사하는 학문 간 분야인 신경윤리에 대하여 공개적 대화를 촉진하고자 합니다. 2020년, 책임 있는 혁신 원칙 (Responsible Innovation Principles)을 발표했을 때 저희의 목표는 책임감 있고 개인 정보 보호 중심적 방식으로 차세대 컴퓨팅 플랫폼을 구축하는 것이었습니다. 그러나 이는 혼자서는 해낼 수 없는 일입니다. 따라서 Facebook은 제3자와 협력하고 윤리, 개인 정보 보호, 안전, 보안 분야의 전문가와 학자들의 도움을 받아 신경 인터페이스를 포함한 미래 기술 플랫폼을 구축하기 위해 최선을 다해 협력하고 있습니다.
FRL은 내부적으로는 팀으로서, 외부적으로는 연구 공동체의 일원으로서 신경 윤리에 대한 투자를 심층적으로 진행하고 있습니다. 여기에는 미래 기술 플랫폼에 대한 개인 정보 보호 및 다양성을 보장하는 새로운 방법을 찾는 데 중점을 둔 새로운 제안 요청(RFP), 즉 책임 있는 신경 인터페이스 설계에 대한 엔지니어링 접근 방식(Engineering Approaches to Responsible Neural Interface Design)이 포함됩니다. 기능적 근적외선 분광법(fNIRS, functional near-infrared spectroscopy) 및 EMG에 중점을 둔 광학 BCI와 같은 분야에서 이러한 접근 방식을 적용하고 있습니다. RFP 외에도 신경 기술 및 AI 분야의 윤리적 혁신 촉진에 중점을 둔 NeuroRights Initiative 등의 조직과 대화에 정기적으로 참여하고 있습니다.
Facebook은 AR/VR의 미래 인터페이스 개발에 대한 헌신을 수년에 걸쳐 확대해 왔으며 이후로도 지속적으로 관련 어려움과 진척 상황을 공유할 것입니다. 올해 말에는 햅틱 웨어러블(haptic wearables)이 어떻게 차세대 컴퓨팅 플랫폼에 또 다른 차원을 추가하여 그 존재감을 확립하고 새로운 상호 작용 패러다임을 배울 수 있는 능력을 향상시킬 것인지에 대해 더 자세한 이야기를 전할 계획입니다.