- Gemeinsam mit der BMW Group erforschen wir, wie AR- und VR-Technologien in einem sich schnell bewegenden Fahrzeug eingesetzt werden können.
- In der Zukunft könnten Technologien wie diese zu produktiveren und unterhaltsameren Fahrgasterlebnissen auf der Straße führen.
Es gibt nichts Vergleichbares als den Ruf der offenen Straße. Ob es sich um eine angeregte Unterhaltung auf einem Road-Trip, das Genießen eines Podcasts oder des Lieblingsalbums handelt – fast jeder hat schöne Erinnerungen an Autofahrten. Aber was wäre, wenn wir unsere Zeit im Auto noch produktiver, sozialer und unterhaltsamer gestalten könnten?
Diese Frage steht im Mittelpunkt der Partnerschaft zwischen Meta und BMW. Im Jahr 2021 angekündigt, zielt dieses gemeinsame Forschungsprojekt darauf ab, zu erforschen, wie Augmented und Virtual Reality (AR und VR) eines Tages in intelligente Fahrzeuge integriert werden könnten, um das Fahrgasterlebnis zu verbessern.
Wenn wir es richtig machen, könnte diese Technologie das Reisen in Autos, Zügen, Flugzeugen und darüber hinaus revolutionieren und völlig neue Formen der freihändigen Kommunikation, Unterhaltung und Nutzung ermöglichen – und uns damit weit mehr bieten als die Bildschirme und Instrumente, die wir heute in Fahrzeugen sehen.
Oculus Insight vs. die offene Straße
VR-Headsets sind mit einer Reihe von Sensoren ausgestattet, aber bewegliche Fahrzeuge stellen eine knifflige Herausforderung dar, weil Tracking-Technologien wie Oculus Insight sowohl Inertialmotionssensoren (IMUs) als auch Kameras verwenden, um die genaue Position und Bewegung des Headsets zu schätzen.
In einer bewegten Umgebung – genauer gesagt in einem nicht-inertialen Bezugssystem – stehen diese beiden Modalitäten in Konflikt, da die Kameras die Bewegung im Inneren des Autos erfassen, während die IMUs die Beschleunigung und Rotationsgeschwindigkeit relativ zur Welt messen. Diese Diskrepanz bedeutet, dass ein VR-Headset wie Meta Quest 2 derzeit keine stabilen virtuellen Inhalte anzeigen kann, wenn es sich in einem Fahrzeug bewegt und Kurven fährt oder beschleunigt.
Zumindest war das bisher so.
Herausforderung angenommen
Um dieses Problem zu lösen, haben wir mit BMW zusammengearbeitet, um die IMU-Daten aus dem Sensorsystem eines BMW-Autos in Echtzeit in das Tracking-System unserer Project Aria-Forschungsbrillen zu integrieren. Diese zusätzlichen Informationen ermöglichen es dem System, die Position der Brille relativ zum Auto zu berechnen.
Nach der Übertragung des Tracking-Systems auf Meta Quest Pro konnten wir virtuelle Objekte genau an ein fahrendes Auto anbinden, indem wir einen digitalen Zwilling des Autos nutzten. Mit diesem neuen Tracking-System und Meta Quest Pro konnten wir überzeugende virtuelle und Mixed-Reality-Fahrgasterlebnisse in bewegten Fahrzeugen demonstrieren. Der nächste Schritt wird sein, die Position des Autos relativ zur Welt hinzuzufügen, was ein weltbezogenes Rendering ermöglichen würde.
Wir hoffen, , in Zukunft weiter mit BMW zusammenzuarbeiten, um die wachsenden Fähigkeiten der Maschinenwahrnehmung moderner Autos für zukünftige Anwendungsfälle zu nutzen. Der Zugriff auf das präzise 6DOF-Positionierungssystem des Autos könnte es uns ermöglichen, weltbezogene virtuelle Inhalte außerhalb des Fahrzeugs darzustellen, wie zum Beispiel die Identifizierung von Sehenswürdigkeiten und anderen interessanten Punkten. Wir erwarten, dass diese Fähigkeit für zukünftige AR-Brillen und personalisierte KI-Assistenten von unschätzbarem Wert sein wird.
Es ist eine aufregende Vision, und es ist ein Weg, dem wir uns verpflichtet fühlen, weiterzugehen.