Il n’y a rien de tel que l’appel de la route. Que ce soit une conversation enrichissante avec un proche lors d’une virée en voiture, un trajet en solitaire avec notre podcast ou notre album préféré, ou une autre expérience mémorable sur la route, nous avons à peu près tous et toutes de bons souvenirs en voiture, aussi bien au volant que sur le siège passager. Mais qu’en serait-il si l’on pouvait rendre le temps passé en voiture plus productif, plus interactif et plus divertissant que jamais ?
Cette question est au cœur de notre partenariat avec BMW. Annoncé en 2021, ce projet de recherche conjoint a pour objectif d’explorer comment la réalité augmentée et virtuelle pourrait un jour être intégrée aux véhicules intelligents afin d’améliorer en toute sécurité l’expérience des passagers et des passagères. BMW est depuis longtemps un leader en matière de technologie automobile de pointe (le slogan « Ultimate driving machine » ne vient pas de nulle part) et le groupe de recherche de BMW a commencé à s’intéresser à l’intégration de l’AR à ses voitures il y a plus de 10 ans. S’associer à l’équipe de recherche de Reality Labs et conjuguer leurs forces pour essayer de résoudre ce problème et améliorer l’avenir du voyage était donc la suite logique.
Oculus Insight vs. la route
À première vue, il n’est pas forcément évident de comprendre en quoi proposer un contenu AR et VR de qualité aux passagers et passagères d’une voiture peut poser problème. Après tout, les casques VR modernes sont équipés de multiples capteurs. Et depuis 2019, lors des débuts de la commercialisation de la technologie de Meta Oculus Insight, qui associait une vision par ordinateur de pointe à une technique d’estimation d’état, nous avons su couper le cordon et proposer un système de suivi capable de s’adapter à l’ensemble des mouvements d’une personne (connu comme les six degrés de liberté ou 6DOF) tout en localisant la position de deux manettes portables et du casque, avec une précision de moins d’un millimètre.
Mais les véhicules en mouvement représentent un défi complexe : la technologie de suivi, telle qu’Oculus Insight, utilise des centrales inertielles (IMU) et des caméras pour calculer avec précision la position et le mouvement du casque. Néanmoins, dans un environnement en mouvement (dans un cadre de référence non inertiel, plus précisément), ces deux éléments se contredisent, car les caméras observent le mouvement par rapport à l’intérieur de la voiture, alors que l’IMU mesure la vitesse d’accélération et de rotation par rapport au monde environnant. Cette divergence signifie que les casques VR actuels ne peuvent pas afficher de contenu virtuel stable lorsqu’ils se trouvent à l’intérieur d’un véhicule quand celui-ci tourne et/ou accélère.
Du moins, pour l’instant.*
Défi relevé
Pour remédier à ce problème, nous nous sommes associés à BMW pour intégrer, en temps réel, des données IMU issues du réseau de capteurs d’une voiture BMW dans le système de suivi des lunettes de recherche du projet Aria. Ces informations supplémentaires permettent au système de calculer l’emplacement des lunettes par rapport à la voiture. C’est une véritable prouesse car, après avoir transféré le système de suivi dans un Quest Pro, cela nous a permis d’ancrer, avec précision, des objets virtuels dans une voiture en mouvement grâce à un double digital de la voiture. Grâce à ce nouveau système de suivi et à Meta Quest Pro, nous avons pu tester des expériences virtuelles et de réalité mixte convaincantes auprès de passagers et passagères dans des voitures en mouvement. La prochaine étape consistera à ajouter l’emplacement de la voiture par rapport au monde environnant, ce qui permettrait un rendu ancré au monde.
« Notre prototype de recherche montre que nous pouvons offrir des expériences VR et MR confortables et amusantes qui sont ancrées dans la voiture elle-même, notamment en matière de fonctionnalités VR et MR relatives aux jeux vidéo, au divertissement, à la productivité et même à la méditation. » déclare Richard Newcombe, Vice President of Research Science chez Reality Labs Research. « Il est envisageable que cette technologie transforme la façon dont nous pouvons interagir en toute sécurité avec notre environnement tandis que nous voyageons. En avançant vers un contenu ancré au monde fiable avec les lunettes AR, nous avons bon espoir qu’il sera un jour possible pour les passagers de voir des éléments tels que des balises pour les monuments, restaurants et lieux d’intérêts, entre autres. »
Premiers résultats du projet de recherche
Notre travail avec BMW a démontré qu’avec les mesures IMU supplémentaires provenant du véhicule, nous sommes en mesure de proposer aux passagers et aux passagères un contenu VR et MR ancré à la voiture et stable lorsque le véhicule est en mouvement, même s’il tourne de manière brusque, passe sur une route accidentée ou accélère.
« Il est trop tôt pour dire exactement de quelle manière ou à quel moment cette technologie sera à la disposition de la clientèle, mais nous envisageons divers cas d’utilisation potentiels pour les appareils XR dans les véhicules. Aider le conducteur à localiser sa voiture dans un parking bondé, l’alerter des dangers sur la route et fournir des informations importantes sur l’état du véhicule en sont quelques exemples », explique Claus Dorrer, Responsable du Bureau technologique du groupe BMW à Mountain View. « Les perspectives qu’offrent les futurs lunettes AR et appareils VR, aussi bien au volant que sur les sièges passagers, sont prometteuses. Le partenariat de recherche avec Meta nous permettra de découvrir à quoi pourraient ressembler des expériences XR immersives à l’intérieur des véhicules et de diriger l’intégration fluide de ces appareils dans les voitures. »
La route qui nous attend
À long terme, nous souhaitons continuer à travailler avec BMW pour exploiter davantage les capacités grandissantes de perception artificielle des voitures modernes afin de permettre de nouveaux cas d’utilisation. L’accès au système de localisation 6DOF précis de la voiture pourrait permettre de proposer un contenu virtuel ancré au monde en dehors du véhicule, identifier des monuments et d’autres lieux d’intérêt, par exemple. Selon nous, cette fonctionnalité sera précieuse pour les futurs lunettes AR et assistants IA personnalisés.
Si nous procédons de la manière adéquate, cette technologie pourrait révolutionner les voyages en voiture, en train, en avion et bien plus encore, car elle permettra de nouvelles formes de communication, de divertissement et de fonctions pratiques en mode mains libres. Cela apportera une valeur ajoutée bien supérieure à celle des écrans et dispositifs que nous avons l’habitude de voir dans les véhicules actuels.
C’est une perspective prometteuse, cela ne fait aucun doute. Et nous sommes déterminés à avancer dans cette direction.
Le métavers ne pourra pas être développé par une entreprise à elle seule. Les institutions de recherche universitaires et les industriels souhaitant prendre part au projet Aria peuvent soumettre leurs propositions ici.
Comme nos partenaires universitaires, BMW et tout futur partenaire doivent respecter les Règles de la communauté de recherche du projet Aria.
* Remarque : les produits Meta Quest ne sont pas destinés à être utilisés dans des véhicules en mouvement ou à l’extérieur. Il s’agit d’un projet de recherche tourné vers l’avenir qui consiste à imaginer ce à quoi les déplacements de demain pourraient ressembler.