펀치카드, 키보드, 마우스, 터치스크린. 우리는 소통하고, 창작하며, 작업하기 위해 컴퓨터와 상호작용하는 새로운 방식들에 여러 세대에 걸쳐 적응해 왔습니다. 그런데 만약 인공지능(AI)과 머신러닝이 주도하는 제어 체계를 통해, 기기가 오히려 우리에게 맞춰지고, 지금보다 훨씬 덜 기계적이고, 더 직관적이며 본질적으로 인간적인 방식으로 작동할 수 있다면 어떨까요?
컴퓨터 비전과 자연어 처리 기술 덕분에, 우리는 음성으로 기기와 소통하고 컴퓨터가 인간처럼 세상을 인식하도록 만드는 데까지 발전해 왔습니다. 그런데 만약, 손의 미세한 움직임만으로도 컴퓨터를 제어할 수 있다면 어떨까요? 손은 우리가 주변 세상과 상호작용할 때 가장 먼저 사용하는 도구 중 하나이니까요. 기기와 상호작용 하는 새로운 방식이, 말 그대로 우리의 손끝에 달려 있다면 말이죠.
Meta의 Reality Labs는 오랜 시간 이러한 미래를 연구해 왔습니다. 그리고 오랜 연구를 통해, 손목에서의 표면 근전도(surface electromyography, sEMG) 기술이 인간-컴퓨터 상호작용(human-computer interaction, HCI)의 다음 패러다임 전환을 여는 핵심 열쇠라는 결론에 도달했습니다.
이러한 가능성은 점점 더 많은 주목을 받고 있습니다. 세계적인 종합 과학 학술지 중 하나인 Nature(네이처)의 최신 호에 실린 Meta Reality Labs의 논문은, sEMG가 대부분의 사람에게 직관적이고 매끄러운 입력 방식으로 작동한다는 점을 입증하며, 이 분야에서 우리가 수행한 연구 내용을 자세히 소개하고 있습니다. 1869년에 창간된 Nature는 찰스 다윈(Charles Darwin), 제니퍼 다우드나(Jennifer A. Doudna), 제임스 채드윅 경(Sir James Chadwick), 로절린드 프랭클린(Rosalind E. Franklin), 그리고 Meta의 얀 르쿤(Yann LeCun)과 같은 세계적인 석학들의 연구가 실려온 권위 있는 학술지입니다.
sEMG는 직관적이고 매끄러운 방식으로 기기와 상호작용할 수 있게 해줄 뿐만 아니라, 다양한 신체 조건과 특성을 가진 사람들도 사용할 수 있는 본질적으로 포용적인 기술입니다. 이는 외부 연구기관의 연구를 통해 입증되었으며, Meta는 이 같은 연구를 지원해 왔습니다.
우리는 Meta 최초의 진정한 AR 안경 ‘Orion(오라이온)’과 sEMG 손목 밴드를 결합한 초기 프로토타입을 성공적으로 개발한 바 있습니다. 하지만 이는 시작에 불과했습니다. 우리 팀은 손목 근육을 제어하는 신경 신호를 해석해, 안경과 상호작용할 수 있는 명령어로 전환하는 고도화된 머신러닝 모델을 지속적으로 개발해 왔습니다. 그 결과, 기존의 번거로운 입력 방식을 대체할 수 있었죠. 이제는 키보드 없이도 메시지를 입력하고 전송할 수 있으며, 마우스 없이 메뉴를 탐색하고, 스마트폰을 내려다볼 필요 없이 현실 공간 속에서 디지털 콘텐츠와 자연스럽게 상호작용할 수 있습니다.
sEMG는 손을 옆에 편안히 둔 상태에서도 탭, 스와이프, 핀치 등 다양한 제스처를 시도하려는 사용자의 의도를 인식할 수 있습니다. 여기에 Meta의 필기 인식 기술을 결합하면, 책상이나 테이블과 같은 단단한 표면은 물론, 다리 위에도 빠르게 메모를 적을 수 있어 바쁘게 움직이는 와중에도 눈에 띄지 않게 소통할 수 있는 새로운 가능성이 열립니다.
Meta의 신경망은 수천 명의 자발적 연구 참여자로부터 수집한 데이터를 기반으로 학습되어, 별도의 개별 보정 없이도 다양한 사람들의 미세한 손 제스처를 높은 정확도로 해석할 수 있습니다. 또한, 기본 모델만으로도 충분히 높은 성능을 낼 수 있지만, 제한된 개인 데이터를 기반으로 약간의 맞춤화를 거치면 필기 인식 정확도를 최대 16% 높일 수 있습니다. 즉, sEMG 손목 밴드는 사용자에게 점차 적응하며 시간이 지날수록 더 나은 성능을 제공할 수 있는 것이죠.
우리는 sEMG 기술이 지금까지 개발된 어떤 방식보다도 더 직관적이고 유연하며 대부분의 사람들이 사용할 수 있는 기기를 제어하는 방식이라고 믿습니다.
- sEMG은 완전한 비침습형이며, 근육 신호를 사용해 컴퓨터와 상호작용할 수 있는 새로운 길을 열고, 기존의 인간-컴퓨터 상호작용(human-computer interaction, HCI) 방식들의 여러 문제를 해결해줍니다.
- 이는 편리하고, 단순하며, 자연스럽게 사용할 수 있습니다. 또, 공공장소에서 사적인 메시지를 보내야 하는 등 음성 기반 인터페이스가 현실적으로 어렵거나 부적절한 상황에서도 유용합니다.
- 언제 어디서든 사용할 수 있으며, 소중한 사람들이나 순간에의 몰입을 방해하는 크고 불편한 액세서리를 사용할 필요도 없습니다.
가장 고무적인 점은, Nature에 게재된 이번 논문이 과학 커뮤니티 전반에 신경운동 인터페이스 개발을 위한 하나의 청사진을 제시했다는 것입니다. Meta는 하드웨어, 실험 설계, 데이터 요건, 모델링 전반에 걸친 주요 설계 원칙과 모범 사례를 제시하는 것과 더불어, 세 가지 과제를 수행한 300여 명의 연구 참여자로부터 수집한 100시간 이상의 sEMG 기록 데이터셋도 공개합니다. 기존에 오픈소스로 제공했던 자세 추정(pose estimation) 및 표면 타이핑(surface typing)용 sEMG 데이터셋과 함께, 이번 데이터셋 공개가 학계와 연구자들의 후속 연구를 가속화하는 데 기여하길 기대합니다.
장기적으로 보았을 때, sEMG는 인류가 기기와 상호작용하는 방식을 혁신적으로 변화시킬 수 있는 잠재력을 지니고 있습니다. 신체 움직임에 불편함이 있는 이들에게는 새로운 수준의 자립성과 삶의 질 향상을 가능하게 하고, 아직 상상하지 못한 새로운 형태의 인간-컴퓨터 상호작용(HCI)을 실현할 수 있는 길을 열어줄 수 있습니다.
이 기술은 사실상 모든 기기에서 가장 이상적인 입력 방식이 될 수 있습니다.
Meta의 EMG Foundational Research 팀은 고대역폭이고 다채로운 표현력의 개인 맞춤화된 EMG 기반 입력 방식 구현을 위한 연구 제안(RFP)을 받고 있습니다. 지속적인 동작 학습을 통해 이러한 목표를 어떻게 책임감 있게 달성할 수 있을지에 대한 아이디어를 가진 연구자들의 많은 관심과 참여를 기대합니다. 자세한 내용은 RFP 안내 페이지를 확인하세요.