F8 행사 둘째 날인 오늘, AI와 AR/VR에서 Facebook이 장기간 투자해오고 있는 내용에 대해 발표했습니다. 오프닝 키노트에서 Mike Schroepfer CTO가 Facebook 제품에 걸친 여러 도전과제를 해결하기 위해 활용하고 있는 AI 관련 도구들과 앞으로의 긍정적인 미래에 대한 견해를 함께 나눴습니다.

이후 AI 디렉터인 Manohar Paluri와 Joaquin Quinonero Candela, 제품 디자인 부사장 Margaret Stewart, AR/VR담당 Lade Obamehinti, Lindsay Young, Ronald Mallet의 발표가 이어졌습니다.

인공지능(AI)

인공지능은 Facebook의 많은 제품군을 개선하는데 핵심적인 역할을 했습니다. 최근 몇 년간 플랫폼 정책을 위반한 유해 콘텐츠를 사전에 탐지하는 역량을 향상시킬 수 있었습니다. 또한, 문제가 있는 콘텐츠를 더 많이 발견하기 위해서는 인공지능 시스템이 최소한의 감독만으로도 콘텐츠를 이해할 수 있는 것이 중요하다고 판단했습니다. Facebook이 인공지능에 대한 투자를 통해 의미 있는 성과들을 이루어냈지만, 이러한 시도는 아직 초기단계이기 때문에 보다 장기적이고 끊임없는 노력이 요구됩니다. 향상된 자연어 이해(NLU: Natural Language Understanding) 처리 과정은 번역을 위한 공통 디지털 언어를 생성하고, 이를 통해 더욱 다양한 언어로 유해 콘텐츠를 탐지할 수 있도록 합니다. 아울러 새로운 객체인식 방법인 Panoptic FPN을 기반으로 인공지능 시스템이 특정 사진의 배경에 대한 맥락을 이해할 수 있도록 했습니다. 시각과 오디오 신호를 결합한 트레이닝 모델을 적용함으로써 앞으로도 더욱 향상된 결과물을 낼 수 있습니다.

자연어 처리와 관련된 업무는 중요하지만, 아직 많은 기술들이 대중적인 언어들에 최적화 되어 있습니다. 테스트 과정에서 참고할 수 있는 기존 자료들이 적은 언어들을 지원하는 것은 Facebook의 큰 과제였습니다. 자기지도학습(self-supervised learning)은 직원들이 방대한 양의 데이터 세트를 일일히 식별해 입력(label)하지 않더라도 시스템이 스스로 모델(models)을 학습할 수 있도록 합니다. 덕분에 각 문장을 따로 번역하지 않고도, 커뮤니티 정책을 위반한 콘텐츠를 처리하는데 배경내용과 맥락을 더욱 효과적으로 이해할 수 있습니다. 이러한 기술들은 기존에 진행해왔던 방식과 비교하여 다양한 언어를 기반으로 더 많은 유해 콘텐츠를 발견할 수 있도록 지원합니다.

인공지능이 Facebook을 더욱 안전한 공간이 될 수 있도록 기여하고 있지만, 동시에 따라오는 위험성에 대해서도 인지하고 있습니다. 예를 들어, 의도치 않게 사람들의 편견을 반영하고, 또 확산할 수 있습니다. 이러한 문제를 해결하기 위해 Facebook은 인공지능이 이용자를 차별하지 않고, 오히려 보호하는데 활용되도록 공정성을 반영한 성공사례들을 제품 개발 전 과정에서 축적해 나가고 있습니다.

인공지능에게 사람과 관련된 데이터 세트를 학습시킬 경우, 피할 수 없는 대표적인 오류들이 발생하기 마련입니다. 특히, 데이터가 한계점이나 결함 같은 다양한 문제들을 포함하고 있다면, 시스템은 결과적으로 사람마다 다르게 적용될 수도 있습니다. Facebook은 이러한 위험 요소를 관리하기 위해 포괄적 AI를 위한 새로운 개발 방식을 마련했습니다. 이 방식은 연구원들과 프로그래머들이 데이터 세트를 디자인하거나, 제품의 성능을 측정하고, 새로운 시스템을 테스트할 때 포괄성을 고려해 업무를 수행하도록 합니다. 피부색, 나이, 성별과 같은 시각적 요소들 뿐만 아니라, 청각적 요소로 지역 방언, 나이, 성별 등이 고려될 수 있습니다. 포괄적인 인공지능은 현재 Facebook 의 다양한 제품 팀에서 사용되고 있으며, 새로운 기능을 개발하는 과정에도 도입되고 있습니다.

오늘 발표된 인공지능에 대한 자세한 정보는 Facebook의 AI 블로그에서도 확인 가능합니다.

AR/VR

AR 개발은 Facebook이 포괄적인 AI 기술을 활용하는 대표적인 분야입니다. 예를 들어, Spark AR 개발자들은 AI를 이용해 모두가 즐길 수 있는 훌륭한 AR 소프트웨어 효과를 제작합니다. 손동작으로 시작되는 몇몇 효과의 경우, 개발자들은 카메라가 화면 앞의 손을 항상 올바르게 인식할 수 있도록 조명 상태에 따라 달라지는 다양한 피부색을 학습시켰습니다. Oculus 엔지니어들도 같은 방식으로 지역 언어, 연령, 성별을 대표하는 데이터를 기반으로 VR 음성 명령을 개발하고 있습니다.

또한 Facebook은 기술을 통해 사람들이 소외되지 않고 서로 연결될 수 있도록 모든 노력을 기울입니다. VR을 통해 이용자들이 물리적인 거리에 구애 받지 않고 함께 모여 소통하는 미래를 그리고자 하는 것도 이러한 이유입니다. 이를 실제로 가능케 하려면 사람들이 가상현실 세계에서도 실제로 존재하는 것처럼 느끼게 해야 하는 것이 중요합니다. 때문에 Facebook은 대화에 뉘앙스적인 요소를 더한 목소리 톤, 얼굴 표정, 다양한 몸짓을 기반으로 이용자들과 똑같은 모습의 아바타를 개발하고자 합니다.

Facebook의 코덱 아바타(Codec Avatars) 기술은 이러한 사실적인 아바타를 만들어 이용자들이 실시간으로 VR세계에서 교류할 수 있도록 합니다. 보다 자연스러운 소통을 위해서는 얼굴뿐만 아니라 전신이 필요합니다. 따라서 Facebook은 적응이 빠른 물리 기반의 모델을 개발해 제한된 개수의 센서에서 추출한 데이터만으로도 3D 아바타를 만들어 낼 수 있도록 개발 중에 있습니다. 이를 위해 인체 해부 구조를 복제하고, 아바타가 각 개인별 생김새와 개성적인 몸짓을 반영할 수 있도록 계속해서 실험하고 개선해 나가고 있습니다. 가상의 뼈대 위에 근육 구조를 덧대고, 피부와 옷을 차례로 입히는 등 내부 구조에서부터 외형까지 정교하게 개발하는 과정을 통해 근육의 움직임에서부터 옷자락의 흐름까지 사실적으로 반영한 아바타가 탄생합니다. 이러한 연구 결과를 실제 제품으로 개발하기까지는 더욱 많은 노력이 필요하겠지만, 지금까지의 성과는 매우 고무적입니다.

AR과 마찬가지로 VR도 모두에게 안전하게 적용될 수 있는 기술로 나아가기를 바랍니다. Facebook의 VR 헤드셋 이용자와 개발자 모두를 위한 행동 지침을 포함해 사전예방 관리���계를 구축한 것도 이러한 이유에서입니다. 이를 통해 상호 존중과 소통의 문화를 만들어 나가는 것이 궁극적인 목표입니다. 또한 사후 대응책의 경우 사용 가이드라인을 위반하는 이용자들을 신고하거나 차단하는 여러가지 도구를 포함하고 있습니다.

Facebook은 안전한 이용자 경험에 초점을 두고 스페이스(Spaces), 베뉴(Venues), 룸(Rooms) 등의 소셜 VR 애플리케이션을 개발하고 출시해 왔습니다. 오리엔테이션 비디오의 경우 이용자들이 VR에서 여러명의 사람들과 편안하게 교류할 수 있는 기능들을 소개하기 위해 만들어졌습니다. 예를 들어, 안전 영역(safety bubble) 기능은 애플리케이션 상에서 이용자들이 다른 사람과 사물과의 적정 거리를 어떻게 유지할 수 있는지 알려줍니다. 특정 아바타가 다른 아바타의 안전 영역을 침범하면 두 아바타는 서로를 볼 수 없습니다. 이러한 여러 가지 상황과 아바타들이 부적절하게 행동하지 않도록 상시 관리·감독하는 별도의 팀도 존재합니다.

오늘 Facebook이 발표한 새로운 도구들과 개발 과정은 다가오는 미래를 준비하는 노력의 일환입니다. 전 세계 사람들에게 자격과 기회를 제공하고 서로 긴밀하게 연결될 수 있도록 돕기 위한 것도 같은 맥락입니다. 오늘 발표된 내용은 개발자 블로그, AI 블로그, 엔지니어링 블로그, Oculus 블로그, Instagram 프레스 센터, 그리고 뉴스룸 블로그에서 자세히 확인할 수 있습니다. 개발자를 위한 페이스북 페이지에서도 F8의 모든 키노트를 시청할 수 있습니다.