No Connect do ano passado, compartilhamos a nossa visão para o futuro da realidade aumentada (AR). Entendemos  que a AR nos ajudará a deixar os dispositivos portáteis de lado e interagir mais naturalmente com o mundo digital, usando uma interface que reconhece as nossas necessidades de maneira intuitiva ao invés dede reativa.

Também apresentamos o nosso trabalho nas áreas de áudio, entrada de dados de eletromiografia (EMG) e mapeamento 3D. Essas são algumas das principais iniciativas de pesquisa e desenvolvimento que lidarão com os desafios da interação na AR. Além disso, anunciamos o Projeto Aria– um dispositivo de pesquisa em forma de óculos que registram dados de mundo real em perspectiva de primeira pessoa, o que ajudará os dispositivos de AR a entender, no futuro, a localização, o contexto e a intenção. Para que os óculos de AR possam, por exemplo, sobrepor rotas de bicicleta sobre a rua, mostrar as principais estatísticas em uma reunião de negócios ou ajudar você em praticamente qualquer tipo de tarefa, eles precisam ter uma boa noção de onde você está, o que está olhando e qual ação talvez queira realizar.

Projeto Aria: progresso em mapeamento 3D e Inteligência Artificial  contextualizada

Hoje, no Connect 2021, Michael Abrash, cientista-chefe do Facebook Reality Labs, compartilhou uma atualização o nosso progresso desde o ano passado com o Projeto Aria.

Neste vídeo do laboratório de pesquisa em Redmond, Washington,  é possível ver um modelo de como o assistente digital nos futuros óculos de AR pode não apenas reconhecer os objetos em uma sala ao seu redor, mas também prever o que você talvez queira fazer com esses objetos (como ligar uma TV ou uma luminária). Ele pode até ajudar você a encontrar chaves perdidas. O nosso pesquisador se comunica com o sistema de inteligência artificial (IA) usando um dispositivo portátil de clique. Porém, achamos que um dia isso poderá ser feito com dispositivos de entrada de dados de EMG usados no pulso. Nossa equipe de pesquisa também está explorando as interfaces de voz.

Esse futuro ainda está muito distante de nós, mas os nossos esforços de pesquisa estão nos aproximando dele.

Coleta de dados no mundo real: princípios em primeiro lugar

Para continuarmos construindo o futuro da AR, precisaremos de uma maior variedade de dados de primeira pessoa provenientes de situações reais que podemos usar para  treinar os assistentes digitais.

A fim de coletar essas informações,iniciamos com os  princípios de inovação responsável em mente. Além de “nunca pegar as pessoas de surpresa” e “fornecer controles que fazem a diferença”, fazemos questão de considerar todos, até mesmo quem apenas entra em contato com pessoas que estão usando os nossos dispositivos e produtos de pesquisa. Também sabemos que é importante priorizar as pessoas, dando ênfase àquilo que é melhor para as comunidades e, ao mesmo tempo, manipulando os dados de maneira responsável.

Como mencionamos quando o Projeto Aria foi anunciado, estabelecemos restrições para quando e onde as pessoas podem coletar dados. Por exemplo, nunca é permitido fazer gravações em áreas sensíveis como banheiros, salas de oração, vestiários ou em reuniões confidenciais e outras situações privadas. Nas casas dos usuários, as gravações serão permitidas somente com o consentimento de todos os moradores. Nós desfocamos automaticamente rostos e placas de veículos em qualquer conjunto de dados coletados em um local público. Além disso, todos os dispositivos exibem uma luz branca proeminente que indica quando estão em uso.

Para que os óculos de AR funcionem em diferentes ambientes e contextos culturais, anunciamos, no mês passado, que expandimos o uso público inicial dos EUA para Singapura. Além disso, alguns prestadores de serviços e funcionários do Facebook localizados no Reino Unido, na Irlanda, na Suíça, na Alemanha, na República Tcheca, em Singapura, no Canadá e em Israel registraram dados nas próprias casas este ano, com a concordância de todos os moradores.

Para garantir que a AR não replique as disparidades atuais no futuro, também precisamos registrar um conjunto de dados diverso de pessoas de diferentes gêneros, alturas, tipos de corpo, etnias e habilidades. A partir de novembro, ampliaremos a participação nos países onde já estamos coletando dados para um grupo mais amplo de cerca de três mil funcionários e prestadores de serviços do Facebook, bem como para participantes da pesquisa externos e remunerados.

Evidentemente, todos os participantes precisarão seguir todas as regras e realizar todos os treinamentos antes de darem um único passo usando o dispositivo. Quando estiverem coletando dados em espaços públicos, deverão usar roupas e um cordão de pulso que os identifiquem como participantes da pesquisa do Projeto Aria. Além disso, os participantes não poderão ver ou escutar diretamente os dados brutos registrados pelo dispositivo.

Disponibilização de dados de primeira pessoa para a comunidade de pesquisa

A construção de uma IA egocêntrica (em primeira pessoa) com reconhecimento de contexto é uma jornada que dura décadas. O campo acadêmico da inteligência artificial obteve avanços significativos nas últimas duas décadas. No entanto, apesar de todo esse progresso, a IA ainda não sabe realmente como é ver o mundo com os nossos olhos.

Por esse motivo, o Facebook AI recentemente anunciou o Ego4D, um projeto de longo prazo para disponibilizar publicamente dados egocêntricos à comunidade de pesquisa, além de um conjunto de desafios de referência centrados em experiências visuais de primeira pessoa para os assistentes de IA do futuro.

Para avançar na pesquisa de percepção egocêntrica, o Facebook Reality Labs também está expandindo o programa piloto do Projeto Aria que iniciamos no ano passado com a Universidade Carnegie Mellon, disponibilizando óculos para a Universidade Nacional de Singapura, bem como para outras universidades parceiras no futuro. Mesmo que a pesquisa do FRL financiará o trabalho na Universidade Carnegie Mellon e na Universidade Nacional de Singapura, essas universidades não são obrigadas a compartilhar os dados coletados conosco.

Além disso, cada universidade parceira será responsável por cumprir as normas dos comitês de ética de pesquisa ou conselhos de análise institucionais, bem como as nossas Diretrizes da Comunidade para a pesquisa do Projeto Aria. Essas diretrizes são um conjunto de requisitos e melhores práticas que espelham os requisitos de privacidade do próprio Facebook (por exemplo, garantir que esteja claro para as pessoas presentes que uma gravação está ocorrendo e desfocar informações de identificação pessoal, como rostos e placas de veículos). A conformidade com essas diretrizes é obrigatória, pois elas garantem que toda pesquisa feita com o Projeto Aria cumpra os requisitos de privacidade e segurança.

Nova parceria com a BMW

Por fim, além das nossas parcerias acadêmicas em expansão, também temos o orgulho de anunciar hoje a nossa primeira parceria industrial: a BMW. Acreditamos que os óculos de AR poderão ajudar os motoristas a navegar pelos seus arredores, estar cientes dos perigos da estrada e muito mais. Antes de chegarmos lá, precisamos ter certeza de que tudo o que estamos construindo é seguro e aprimora a experiência do motorista ou do passageiro, em vez de prejudicá-los ou distraí-los.

Essa parceria também nos ajudará a entender como os óculos de AR (que utilizarão pistas visuais para identificar a localização) podem se situar em um veículo em movimento.

Como os nossos parceiros acadêmicos, a BMW e todos os futuros parceiros industriais precisarão seguir as Diretrizes da Comunidade para a pesquisa do Projeto Aria.

As instituições de pesquisa acadêmicas e industriais interessadas em saber mais sobre como participar no Projeto Aria podem enviar propostas aqui.

Pensando na responsabilidade social

Conforme buscamos expandir o Projeto Aria no futuro, temos o dever de coletar e usar os dados de maneira responsável. Por exemplo, no mês passado, em Singapura, realizamos uma Design Jam entre pesquisadores do Facebook e 28 acadêmicos e especialistas em privacidade externos para falar sobre as implicações reais da coleta de dados no Projeto Aria.

De maneira mais ampla, trabalharemos com um especialista em ética para refletirmos sobre as implicações de privacidade e as questões de aceitação social relacionadas ao Projeto Aria.

Isso é apenas o começo. Ainda temos um longo caminho a percorrer antes que os óculos de AR se tornem realidade. Estamos trabalhando com acadêmicos, engenheiros, outras empresas e especialistas em privacidade para termos certeza de que entendemos a tecnologia e o impacto que ela terá nas pessoas que a usam e, principalmente, nas pessoas que não a usam. Essas medidas nos ajudam a garantir a proteção da privacidade e a segurança de todos.

Temos muitas outras questões a explorar. Visite o site do Projeto Aria para encontrar mais informações.