Não há nada como os momentos em que estamos na estrada. Conversas memoráveis com um amigo ou familiar em uma viagem épica, apreciar um podcast ou o álbum favorito enquanto dirige sozinho, são algumas das situações que rendem boas lembranças para todos que estão no volante ou no banco do passageiro. Mas e se pudéssemos deixar o tempo que passamos no carro ainda mais produtivo, social e divertido?

Este tema está no centro de nossa parceria com a BMW. Anunciado em 2021, este projeto de pesquisa tem como objetivo analisar como as realidades aumentada e virtual poderiam um dia ser integradas aos veículos inteligentes para aperfeiçoar com segurança a experiência do passageiro. Há muito tempo a BMW é líder em tecnologia automotiva de ponta – não é à toa que é chamada de melhor máquina de dirigir – e o BMW Research Group começou a averiguar as possibilidades de integrar AR (Realidade Aumentada, em português) em seus carros há mais de uma década. Portanto, a formação de uma equipe com a Reality Labs Research foi um processo esperado para unir esforços em busca de resolver essa questão e elevar o nível das viagens do futuro.

Oculus Insight na estrada

À primeira vista, pode não parecer óbvio o porquê de oferecer conteúdo de AR e VR (Realidade Virtual, em português) de qualidade para um passageiro de carro poderia ser um problema. Afinal, os óculos de VR modernos são equipados com diversos sensores. E desde o lançamento comercial da tecnologia Oculus Insight da Meta em 2019, que combinou visão computacional de última geração e tecnologia de estimativa de estado, conseguimos trabalhar para fornecer um sistema de rastreamento que pode acomodar toda a gama de movimentos de uma pessoa (conhecida como seis graus de liberdade, ou 6DOF) e, ao mesmo tempo, apontar a localização de dois controles portáteis, além do headset no espaço – tudo com precisão de menos de um milímetro. 

Mas os veículos em movimento representam um desafio complicado: a tecnologia de rastreamento, como a do Oculus Insight, usa sensores de movimento inercial (IMUs) e câmeras para estimar com precisão a localização e o movimento do headset. Entretanto, em um ambiente em movimento – mais especificamente, em um referencial não-inercial – essas duas modalidades entram em conflito, pois as câmeras observam o movimento em relação ao interior do carro, enquanto as IMUs medem a aceleração e a velocidade de rotação em relação ao mundo. Essa incompatibilidade significa que os óculos de VR atuais não podem exibir conteúdo virtual estável ao viajar dentro de um veículo enquanto ele faz curvas e/ou acelera.

Pelo menos, até agora. *

Desafio aceito

Para resolver esse problema, colaboramos com a BMW para incorporar dados de IMU de um conjunto sensores do carro em tempo real ao sistema de rastreamento do nosso Projeto Aria de pesquisa em óculos. Essas informações adicionais permitem que o sistema calcule a localização dos óculos em relação ao carro. Isso foi um grande feito, pois depois de transferir o sistema de rastreamento para um Quest Pro, ele nos permitiu ancorar com precisão objetos virtuais em um carro em movimento, utilizando uma espécie de ‘gêmeo digital’ do veículo. Conseguimos demonstrar algumas experiências convincentes de realidade virtual para passageiros em carros em movimento usando esse novo sistema de rastreamento e o Meta Quest Pro. A próxima etapa será adicionar a localização do carro em relação ao mundo, o que permitirá a renderização bloqueada em todo o mundo.

“Nosso protótipo de pesquisa mostra que podemos proporcionar experiências divertidas e confortáveis para os passageiros, que estão atreladas ao próprio carro, incluindo jogos de VR e MR (Realidade Mista, em português), entretenimento, produtividade e até mesmo recursos de meditação. A tecnologia tem o potencial de transformar a maneira como podemos interagir com segurança com nosso ambiente enquanto viajamos e, enquanto avançamos em conteúdo confiável bloqueado pelo mundo na estrada para óculos de AR, esperamos que seja possível para os passageiros verem coisas como marcadores de pontos de referência, restaurantes, locais de interesse e muito mais.” afirma o vice-presidente de pesquisa científica do Reality Labs Research, Richard Newcombe. 

Resultados iniciais da pesquisa

Nosso trabalho com a BMW demonstrou que, com as medições adicionais da IMU do veículo, podemos exibir conteúdo de VR e MR estável no carro para os passageiros enquanto dirigem, mesmo ao fazer curvas rápidas, passar por lombadas ou acelerar.

“É muito cedo para dizer exatamente como ou quando essa tecnologia estará disponível para os consumidores, mas prevemos uma série de casos de uso em potencial para dispositivos XR em veículos – desde ajudar o motorista a localizar seu carro em um estacionamento lotado, até alertá-lo sobre perigos na estrada e exibir informações importantes sobre a condição do veículo”, comenta Claus Dorrer, Head de tecnologia do BMW Group nos EUA, em Mountain View. “As implicações dos futuros óculos de AR e dispositivos de VR – tanto para passageiros quanto para motoristas – são promissoras. A parceria de pesquisa com a Meta nos permitirá descobrir como poderão ser as experiências imersivas de XR nos veículos no futuro e liderar a integração perfeita desses dispositivos nos carros.”

O caminho a percorrer

A longo prazo, esperamos continuar trabalhando com a BMW para aproveitar ainda mais os crescentes recursos de percepção de máquina dos carros modernos para possibilitar futuros cases. O acesso ao preciso sistema de posicionamento 6DOF do carro, poderia permitir a renderização de conteúdo virtual bloqueado no mundo fora do veículo, assim como a identificação de pontos de referência e outros pontos de interesse. Esperamos que esse recurso seja inestimável para futuros óculos de AR e assistentes de IA personalizados.

Se fizermos da forma correta, essa tecnologia poderá revolucionar as viagens com carros, trens, aviões e muito mais, revelando novas formas de comunicação, entretenimento e utilidade sem o uso das mãos – nos dando muito mais valor do que as telas e os instrumentos que estamos acostumados a ver nos veículos atualmente.

É uma visão empolgante, sem dúvida. E é um caminho que estamos comprometidos a percorrer.

<break />

O metaverso não será construído por uma única empresa. Serão necessárias empresas grandes e pequenas trabalhando em conjunto com desenvolvedores, criadores, acadêmicos e formuladores de políticas. Nossa parceria com a BMW é um exemplo disso na Europa. As instituições de pesquisa acadêmicas e industriais interessadas em participar do Projeto Aria podem enviar suas propostas aqui.

Assim como nossos parceiros acadêmicos, a BMW e todos os futuros parceiros do setor devem cumprir as Diretrizes da Comunidade de Pesquisa do Projeto Aria.

*Observação: os produtos Meta Quest não se destinam ao uso em veículos em movimento ou ao ar livre. Esta é uma pesquisa avançada que visa as possibilidades que o futuro pode oferecer.