요약: 이번 게시물은 휴먼 컴퓨터 인터랙션(HCI)의 미래를 탐구하는 첫 번째 시리즈입니다. 오늘은 이용자가 공유하는 정보를 활용해 이용자의 선호를 예측하는 증강 현실(AR) 안경용 문맥/상황 인지 AI 기반 인터페이스의 10년에 걸친 비전에 대해 소개하고자 합니다.
다음 주에는 보다 근시일 내에 성과를 낼 수 있는 문맥/상황 인지 AI와 결합된 손목 기반 입력 방식에 대한 연구를 소개할 계획입니다. 손목 기반 입력 방식은 이용자 및 이용자의 사용 환경에 맞춰 동적으로 조정됩니다. 유용하지만 동시에 아직까지는 다소 제한적인 기술입니다. 올해 후반에는, 하루종일 편안하게 착용할 수 있는 올데이(all-day) 웨어러블 디바이스를 개발하는 소프트 로보틱스 분야의 획기적인 연구를 소개하고, Facebook의 햅틱 장갑 연구에 관한 최신 소식도 함께 전해드릴 예정입니다.
가볍고 스타일리시한 안경이 컴퓨터나 스마트폰을 대체하는 세상을 상상해 보신 적이 있나요? 그런 안경이 있다면, 이 세상 어디서든 친구, 가족과 실제로 함께 있는 것처럼 느낄 수 있을 것입니다. 문맥/상황 인지 AI를 통해 팔이 닿는 거리 안에서 3D 가상 정보를 제공받으며 보다 풍부한 주변 세계를 만나볼 수 있겠죠. 무엇보다도, 3D 안경이 있다면 핸드폰에 시선을 고정할 필요 없이 다른 사람들이 속한 세상을 온전히 바라보고, 그 안에 함께 존재할 수 있습니다. 현실 세계와 디지털 세계 사이에서 선택을 할 필요가 없는 기기가 탄생하는 것이죠.
마치 공상과학 소설 속 이야기처럼 들릴 수도 있지만, 이는 Facebook이 연구실에서 만들어나가고 있는 우리의 미래입니다. 오늘, 생각보다 가까운 미래 세계에서 사람들이 상호 작용하는 방식에 대한 Facebook의 비전을 나누고자 합니다.
AR 상호 작용의 도전 과제
Facebook 리얼리티 랩(Facebook Reality Labs, FRL) 수석 과학자인 마이클 애브래시(Michael Abrash)는 AR 상호 작용을 “가장 어렵고도 흥미로운 종합적 문제 중 하나“라고 정의합니다. AR 상호 작용은 휴먼 컴퓨터 인터랙션(HCI)에 대한 패러다임의 대전환을 불러오기 때문입니다. 가장 최근에 일어났던 대전환은 1960년대 다그 엥겔바트(Doug Engelbart)의 팀이 마우스를 발명하고 오늘날의 세상을 지배하고 있는 GUI(Graphical User Interface)의 발판을 마련하면서 시작됐습니다. GUI의 발명은 HCI를 더욱 우수하게 변화시켰으며, 이 획기적인 변화는 수십 년간 이어지고 있습니다.
하지만 올데이 웨어러블 AR 안경(all-day wearable AR glasses)의 경우, 하루 종일 그 어떤 상황에서도 작동되어야 하기 때문에 이에 맞춘 새로운 패러다임이 필요했습니다. AR 안경은 마치 이용자의 생각을 읽는 것처럼 원하는 작동을 수행하고, 원할 때 필요한 것을 알려줘야 합니다. 즉, 정보의 공유가 끊김없이 이루어져야 하며, 이용자가 원할 때 적절하게 동작하면서도 일상에 방해가 되어서는 안 됩니다.
애브래시는 “AR이 진정한 유비쿼터스(ubiquitous)로 거듭나기 위해서는 원활하면서도 상시 활용 가능한 기술이 필요합니다. 즉, 이용하기가 매우 직관적이어서 몸의 일부가 되는 수준이 되어야 하죠”라고 전했습니다. “현재의 HCI와는 매우 다르다고 할 수 있습니다. 때문에 엥겔바트가 그러했듯이, 우리는 사람을 컴퓨팅 환경의 중심에 놓는, 완전히 새로운 유형의 인터페이스를 발명해야 합니다.”
이를 위해서는 사후 대응적 방식이 아닌 선제적 방식으로 작동하는 AR 인터페이스가 필요합니다. 그러한 인터페이스는 이용자의 의도가 자연스럽게 필요한 기능으로 이어지게 만들어 우리가 일상 생활에서 더 자유롭게 활동하면서도 주변 환경과 자연스럽게 조화를 이를 수 있습니다.
특히, AR 인터페이스는 모든 측면에서 사회적으로 받아들여질 수 있는 수준으로 발전해야 합니다. 안전하고, 개인정보를 보호하며, 과하게 눈에 띄지 않고, 습득과 활용이 간편하며, 온종일 착용해도 편안하고, 수월하며 또 믿을 수 있어야 합니다.
Facebook은 사람을 중심으로 한 차세대 컴퓨팅 플랫폼을 구축해 나가면서, 개인정보 보호를 중점에 둔 책임감있는 방향으로의 혁신을 추진하고 있습니다. 그런 의미에서, 저희는 책임 있는 혁신에 관한 일련의 원칙을 정립했습니다. Facebook은 이 원칙에 따라 연구실 내 모든 작업을 수행하고 개인정보 보호, 안전, 보안을 최우선 순위로 두며 제품을 개발합니다.
요약하자면, AR 인터페이스는 인간과 컴퓨터 간의 상호 작용 방식을 완전히 제고하고, GUI가 그러했듯 사람과 디지털 세계의 관계를 모든 면에서 바꿔 놓을 것입니다.
공간의 문제를 탐구하고 해결하는 디지털 어시스턴트
어떤 사람이 디지털 어시스턴트, AR 안경와 소프트 손목밴드 한 쌍을 착용하고 업무를 보기 위해 한 카페에 방문했다고 가정해 볼까요? 카페 입구로 향할 때 어시스턴트가 즐겨 듣는 팟캐스트의 최신 에피소드를 들을 것인지 묻습니다. 이용자는 손가락을 살짝 움직여 “재생”을 클릭합니다.
카페 안으로 들어서면 어시스턴트는 “아메리카노 레귤러 한 잔을 주문할까요?”라고 묻습니다. 조금은 색다른 걸 먹고싶은 이용자는 다시 손가락을 짧게 튕겨 “아니오.”를 클릭합니다.
테이블로 향하고, 노트북을 꺼내는 대신 경량의 소프트 햅틱 장갑 한 쌍을 꺼냅니다. 손에 장갑을 끼면 가상 화면과 키보드가 앞에 나타나고, 곧 문서를 편집하기 시작합니다. 타이핑은 마치 물리적 키보드를 쓰는 것처럼 직관적입니다. 모든 게 순조로운 듯 하나, 카페 안 소음은 작업에 집중하는 데 방해가 됩니다.
이용자의 작업을 인식하고 주변 소음을 감지하는 어시스턴트는 특수 IEM(인이어 모니터)과 액티브 노이즈 캔슬링 기능으로 이용자가 작업에 쉽게 집중할 수 있도록 배경소음을 완화해 줍니다. 테이블 옆을 지나던 카페 직원이 커피 리필을 원하는지 묻습니다. AR 안경은 노이즈 캔슬링 기능을 사용하는 동안에도 카페 직원의 목소리를 인식해 통과시키고 빔포밍(beamforming)으로 미리 증폭시켜 줍니다. 카페 안은 시끄럽지만 커피가 리필되는 동안에도 카페 직원과 정상적인 대화를 이어 나갈 수 있습니다. 그리고 이 모든 과정은 자동으로 이루어집니다.
친구에게 전화가 오면 어시스턴트는 현재 대화를 방해하지 않도록 통화 알림을 자동으로 음성 메시지로 보냅니다. 일정 이벤트에 따라 자녀를 마중하러 나가야 할 때가 되면, 교통 상황 때문에 일정에 늦지 않도록 돕는 알림 표시가 나타납니다.
AR 인터페이스 개발
FRL 리서치(FRL Research)는 연구원, 엔지니어, 신경과학자 등 다양한 학문 분야의 전문가들로 팀을 구성했습니다. 연구과학 책임자인 숀 켈러(Sean Keller)가 이끄는 이 팀은 AR 상호 작용 문제를 해결하고, 거대한 차세대 컴퓨팅 패러다임의 전환을 일으키기 위해 노력하고 있습니다.
켈러는 “일반적으로 우리는 컴퓨터의 입장에서 입력과 출력을 고민합니다. 하지만 AR 상호 작용은 기존의 방식과는 달리 이용자의 일상과 함께 어우러져 감지하고 학습하며 작동하는 새로운 유형의 웨어러블 컴퓨터를 개발해야하는 특수한 분야입니다.”라고 말합니다. 켈러가 FRL 리서치에 합류해 만든 5인 규모의 팀은 단 6년만에 세계 정상급 전문가들 수백 명이 모인 팀으로 성장했습니다. “우리의 목표는 전 세계 모든 사람들이 더 많은 일을 하고 그들의 잠재력을 확대할 수 있도록 돕는 것입니다. 따라서 Facebook의 AR 상호 작용 모델은 인간 중심적인 접근을 기반으로 하고 있습니다.”
애브래시는 2020년 Facebook 커넥트 행사에서 언제나 활용할 수 있고 끊김없이 부드럽게 일상과 연결될 앞으로의 AR 인터페이스는 두 가지 기술적 원칙을 바탕으로 제작될 것이라고 밝혔습니다.
첫째, 마찰이 최소화된 입력 과정(ultra-low-friction input)입니다. 다시 말해, 이용자가 특정 행동을 취할 때, 생각에서 실제 디바이스의 동작으로 이어지는 과정은 가능한 짧고 직관적이어야 합니다.
핸드트래킹 카메라, 마이크 어레이(microphone array), 안구 추적과 같은 기술 덕분에 손으로 제스처를 취하거나, 음성 명령을 내리고, 단순히 보는 것 만으로 메뉴 항목을 고를 수도 있습니다. 하지만 궁극적으로 우리에게 필요한 것은 보다 자연스러운 AR 안경 조작 방식입니다. FRL 팀은 근전도검사(EMG)를 포함해 다양한 신경 입력 옵션을 연구해왔습니다. 여러가지 방식이 있지만, 손목 기반 EMG가 그 중 가장 유망하다고 할 수 있습니다. 해당 접근 방식은 손목의 신호를 감지하여 디바이스의 동작을 제어하기 위해 척추에서 손으로 흐르는 전기 신호를 이용합니다. 손목을 통하는 신호는 매우 선명하기 때문에, EMG는 단 1mm만큼 움직이는 손가락 동작까지도 감지할 수 있습니다. 덕분에 입력 과정은 마치 언제나 사용할 수 있는 가상 버튼을 클릭하는 것처럼 간편해집니다. 나중에는 손가락을 움직이려는 이용자의 의도까지도 감지할 수 있게 될 것으로 기대합니다.
두 번째 원칙은 AI, 문맥/상황 및 개인 맞춤화 방식을 통해 어떤 순간에도 이용자가 원하는대로 입력 동작의 효과 범위를 조정할 수 있도록 하는 것입니다. 이처럼 이용자 개개인을 위한 맞춤형 인터페이스를 만들기 위해서는 강력한 AI 모델이 필요합니다. 이용자와 이용자의 주변 환경에 대한 이해를 기반으로 다양한 상황에서 이용자가 필요로 하는 정보나 수행할 동작을 심층적으로 추론할 수 있어야 하죠. 동시에, 이용자에게 최선의 선택지를 제공할 수 있어야 합니다. 단 한 번의 클릭으로 원하는 작업을 수행할 수 있는 조작 과정이 가장 이상적이라고 할 수 있습니다. 더 나아가 언젠가는 이용자가 특별한 동작을 하지 않아도 디바이스를 작동시킬 수 있는 미래가 올 것으로 기대합니다. 저희의 목표는 디바이스가 자동으로 작동되는 동안에도 이용자가 원하는 방식으로 통제할 수 있는 AR 경험을 구축하는 것입니다.
문맥/상황 인지 AI와 끊김없는 입력 과정이 만나 만들어내는 잠재력은 무궁무진하지만, 중요한 과제가 남아 있습니다. 예를 들어, 착용감이 편안한 올데이 웨어러블 폼팩터(all-day wearable form factor) 안에 모든 기능을 탑재하는 기술적 도전과제, 이용자가 가상의 사물을 조작하는 데 필요한 햅틱 피드백(촉각 반응 전달)을 풍성하게 제공하는 문제 등을 해결해야 합니다. 햅틱은 또한 휴대폰의 진동 기능처럼 시스템이 이용자와 커뮤니케이션할 수 있도록 돕기도 합니다.
이러한 과제를 해결하려면 소프트 올데이 웨어러블 시스템이 필요합니다. 켈러의 팀은 최소한의 마찰 입력 및 문맥/상황 인지 AI 전반에 걸친 심층적 작업을 수행하는 것은 물론, 소프트 웨어러블 전자 기기를 활용한 연구도 진행하고 있습니다. 소프트 올데이 웨어러블 디바이스는 사람의 피부 가까이 또는 피부 바로 위에 착용되어 데이터를 감지하고 전송하는 디바이스입니다. EMG 센서와 손목밴드 등 이러한 디바이스는 손과 손목 위에 온종일 편안히 착용 가능할 뿐만 아니라, 훨씬 더 풍부한 양방향 통신 경로를 제공하는 다양한 기술을 개발할 수 있도록 합니다.
궁극적으로, AR 안경의 상호 작용 방식은 신경 자극 입력(neural input), 핸드트래킹 및 제스처 인식, 음성 인식, 컴퓨터 비전 그리고 IMU(관성 측정장치)를 통한 손가락 클릭 및 셀프 터치 감지 등의 새로운 기술이나 첨단 기술 여러 개를 새롭게 조합하는 연구를 통해 크게 발전할 수 있습니다. 물론, 이처럼 이용자가 디바이스에 전송된 지시를 보다 쉽고 즉각적으로 수행할 수 있는 기기를 만들기 위해서는 장면 이해에서부터 시각적 검색에 이르는 다양한 문맥/상황 인지 AI 기능이 필요합니다.
새로운 상호 작용은 인간의 필요를 중심으로 만들어져야 합니다. 따라서, 모든 기능은 개인정보 및 보안에 대한 이용자의 필요를 바탕으로 처음부터 책임감 있게 설계되어야 합니다. 새로운 디바이스들은 인간이 세상, 혹은 서로와 상호 작용하는 방식에 변화를 가져올 것입니다. 저희의 임무는 이용자가 그러한 상호 작용을 완벽히 통제할 수 있도록 돕는 것입니다.
AR 인터페이스를 개발하는 것은 어렵고 긴 시간이 걸리는 일이며, 아직도 수년간의 추가 연구가 더 필요합니다. 하지만 지금 초석을 준비해둔다면, 엥겔바트가 야기한 대전환에 버금가는 AR의 혁신을 맞이할 수 있습니다. 그리고, 그렇게 만들어진 인터페이스는 그 후 10년에 걸쳐 보다 많은 사람들이 사용하게 될 것이며, 그 후로도 지속적인 발전을 거듭할 것입니다.
더욱 풍부한 문맥/상황 인지
미래의 AR 인터페이스와 기존 인터페이스 간의 가장 중요한 차이점은 AR 디바이스에 훨씬 더 풍부한 문맥/상황 인지 정보를 활용할 수 있다는 것입니다. AR 안경은 이용자의 관점에서 세상을 보고 듣기 때문에, 기존의 어떤 인터페이스보다 더욱 풍부한 개인적 문맥/상황를 확보하게 됩니다. 이 문맥/상황 인지는 강력한 AI 추론 모델과 함께 AR 안경이 점점 더 다양하고 개인화된 방식으로 이용자를 지원하도록 합니다. 덕분에 이용자는 남는 시간과 에너지를 다른 일에 할애할 수 있게 됩니다.
비즈니스 회의에서 중요한 통계 자료를 제공하고, 목적지를 안내하며, 이동 중에 각종 신호를 해석하는 동시에 자동차 키를 놓아둔 곳을 알려주는 등 거의 모든 일상을 도와주는 안경이 있다고 상상해보세요! AR 인터페이스가 무엇을 할 수 있을지 묻는 것은 마치 1967년에 GUI가 무엇을 할 수 있을지 묻는 것과 동일합니다. 그 가능성은 끝없이 열려 있습니다.
또 다른 차이점은 대부분의 기존 인터페이스는 모달(modal) 방식이라는 점입니다. 이용자가 앱을 실행해 모드를 선택하면, 선택 사항은 그 후 해당 모드와 일치되도록 조정됩니다. 앱 사이에서 전환할 경우, 주어진 순간에서의 이용자 작업과 관련한 문맥/상황은 다음 작업으로 옮겨갈 때 사라지게 됩니다. 하지만 AR 안경은 그런 낭비를 허용하지 않습니다. AR 안경은 하루 종일 생겨나는 모든 문맥/상황 안에서 끊김없이 작동해야만 최상으로 가동될 수 있습니다. 이러한 문맥/상황은 수시로 변화하며, 겹치는 경우도 흔하게 일어납니다. 이는 곧 새로운 인터페이스가 모든 상호 작용을 의도 추론(intent inference)의 문제로 다룬다는 의미입니다. 그리고 이 인터페이스는 자체 예측을 통해 이용자에게 간단한 선택 사항을 제공합니다. 따라서, 이용자는 기존 인터페이스를 활용할 때와는 달리 특정 정보를 찾기 위해 여러 개의 옵션 메뉴를 왔다갔다 하지 않아도 됩니다.
중요한 것은, 미래의 인터페이스는 핵심 피드백 루프에 따라 강화된다는 점입니다. AI는 이용자로부터 배울 수 있을 뿐만 아니라, “지능형 클릭”만 있다면 가능한 마찰이 최소화된 입력 방식 덕분에, 보다 빠르게 이용자와 이용자의 필요를 이해하고 이를 개선하기 위해 자체적으로 질문을 할 수 있게 됩니다. 실시간으로 시스템에 지시를 내리는 기능은 매우 중요한 부분이며, 기존의 데이터 수집 및 트레이닝에 의존하는 시스템을 뛰어넘는 인터페이스의 핵심이 될 것입니다.
Facebook의 궁극적인 목표는 이용자 중심의 세심한 접근을 바탕으로 이용자의 필요를 충족시키면서, 모호한 상황에서는 이를 명확히할 수 있는 간단한 질문도 던질 수 있는 인터페이스를 개발하는 것입니다. 하지만 이러한 시스템이 실현되기 위해서는 좀 더 시간이 걸릴 것으로 보입니다. 이는 AI 추론 모델을 훈련시키는 데 필요한 센서 기술과 개인중심적 데이터(egocentric data)가 아직 존재하지 않기 때문이기도 합니다. 1인칭 관점 데이터를 수집하는 방법으로 진행되고 있는 Facebook의 ‘프로젝트 아리아(Project Aria)’는 우리가 이 목표에 한 걸음 더 가까이 다가설 수 있도록 도와줄 것입니다.
좀 더 단기적으로는, 다소 제한적으로 사용 가능한 문맥/상황 인지 기반 AI가 공개될 것입니다. 문맥/상황 인지 AI는 날마다 조깅할 때 듣고 싶은 재생목록을 미리 제안하는 것과 같은 예측 기능을 포함합니다. 곧이어 두 번째 포스트에서는 손목 위의 HCI에 대한 일부 성과와 더불어 적응형 인터페이스(adaptive interface)라는 기술에 대해 소개하겠습니다.
사람을 중심으로 한 기술 개발
오늘날 최신 디바이스를 사용하면 시간과 공간의 제약 없이 멀리 떨어진 사람들과 소통할 수 있습니다. 하지만, 그 과정에서 우리 옆에 실재하는 사람들을 간과하는 경우가 종종 일어납니다. 조금만 더 강한 의지가 있었다면 스마트폰을 내려놓고 바로 앞의 대화에 집중했을 것이라고 스스로에게 되뇌이고는 합니다. 그러나 디지털 세계와 물리적 세계가 공존하는 세상 속, 누구든 다른 하나를 수용하기 위해 나머지 하나를 희생할 필요는 없습니다.
우리는 사람과 디바이스 중 양자택일을 강요하지 않는 디바이스를 개발해야 합니다. 그러한 미래의 디바이스가 있다면 상대가 속한 세상을 온전히 바라보고, 그 안에 함께 존재할 수 있습니다. 더 나아가 소통과 협력이라는 인류 본연의 가치를 구현하는데 더욱 힘쓸 수 있게 될 것입니다.
그러나 인간 중심적 컴퓨팅이라는 새롭고 거대한 흐름이 결실을 맺으려면 진정으로 사람을 중심에 두는 패러다임의 전환이 필요합니다. AR은 개인이 디바이스에 적응하는 것이 아닌 디바이스가 각 개인에 맞춰 적응하는 방식으로 나아가야 하며, 이는 곧 AR 또한 엥겔바트가 야기한 바로 그 대전환의 순간을 맞이해야 한다는 뜻이기도 합니다.