Auf der Connect im letzten Jahr haben wir unsere Vision für die Zukunft von AR (Augmented Reality) vorgestellt. Wir glauben, dass AR uns mit der Zeit helfen wird, ohne unsere Mobilgeräte und Controller auszukommen und natürlicher mit der digitalen Welt zu interagieren – dank einer Benutzer*innenoberfläche, die intuitiv auf unsere Bedürfnisse zugeschnitten ist, statt nur auf Eingaben zu reagieren.
Außerdem haben wir Einblicke in unsere Arbeit in den Bereichen Audio, Elektromyographie (EMG) und 3D-Mapping geteilt – einige der wichtigsten Forschungs- und Entwicklungsinitiativen, die sich mit Fragen rund um die Interaktion in AR befassen. Und wir haben Project Aria vorgestellt – ein Forschungsprojekt in Form einer Brille, die Daten aus der realen Welt aus der Ich-Perspektive erfasst. Diese Daten werden AR-Geräten in Zukunft helfen, Standort, Kontext und Absicht zu verstehen. Damit eine AR-Brille zum Beispiel eine Wegbeschreibung für Radfahrer*innen auf der Straße einblenden, wichtige Statistiken in einem Geschäftsmeeting anzeigen oder bei einer von zahllosen anderen Aufgaben helfen kann, muss das Gerät ziemlich genau wissen, wo sich die Nutzer*innen gerade befinden, was sie sehen und welche Aktion sie durchführen möchten.
Project Aria: Fortschritte beim 3D-Mapping und kontextualisierter KI
Heute, auf der Connect 2021, berichtete Michael Abrash, Chief Scientist von Facebook Reality Labs, über die Fortschritte, die wir im vergangenen Jahr mit Project Aria erzielt haben.
In diesem Video aus unserem Forschungslabor in Redmond ist ein Modell zu sehen, das zeigt, wie der digitale Assistent in einer AR-Brille in Zukunft nicht nur die Gegenstände im Raum wahrnimmt, sondern auch antizipiert, was die Nutzer*innen mit diesen tun möchten – z. B. einen Fernseher oder eine Lampe einschalten. Der Assistent könnte sogar dabei helfen, verlorene Schlüssel wiederzufinden. Hier kommuniziert unser Forscher mit dem KI-System über ein tragbares Klickgerät – aber wir gehen davon aus, dass eines Tages am Handgelenk getragene EMG-Eingabegeräte diesen Zweck erfüllen werden. Unser Forschungsteam erkundet zudem Möglichkeiten von sprachgesteuerten Interfaces. Diese Zukunft liegt zwar noch in weiter Ferne, aber unsere Forschungsaktivitäten bringen uns ihr Schritt für Schritt näher.
Datenerfassung in der realen Welt: Zunächst Grundsätze festlegen
Um die Zukunft der AR weiterzuentwickeln und unsere digitalen Assistenten zu trainieren, brauchen wir eine größere Vielfalt an erfassten Daten aus der Ich-Perspektive und dem Alltag in der realen Welt. Bei der Erhebung dieser Daten orientieren wir uns von Anfang an an unseren Grundsätzen für verantwortungsvolle Innovationen. Neben unseren Grundsätzen „Keine Überraschungen“ und „Sinnvolle Kontrollmechanismen“ ist es uns besonders wichtig, „Jede*n einzelne*n mit[zu]nehmen“ – selbst Personen, die nur mit unseren Forschungsgeräten und -produkten in Kontakt kommen, wenn andere Menschen sie verwenden. Zudem stehen bei uns „Die Menschen [..] im Mittelpunkt“, da wir das Wohl unserer Communitys in den Fokus rücken und zugleich verantwortungsvoll mit deren Daten umgehen.
Wie wir bereits bei der Ankündigung von Project Aria angemerkt haben, haben wir eingeschränkt, wann und wo Daten gesammelt werden können. So sind zum Beispiel Aufnahmen in sensiblen Bereichen wie Toiletten, Gebetsräumen, Umkleidekabinen oder in vertraulichen Meetings und anderen privaten Situationen nicht gestattet. In den Wohnungen der Nutzer*innen sind Aufnahmen nur mit dem Einverständnis aller Haushaltsmitglieder*innen erlaubt. Wir machen Gesichter und Nummernschilder in allen Datensätzen, die an einem öffentlichen Ort erfasst wurden, automatisch unkenntlich. Alle Geräte signalisieren außerdem durch ein auffälliges weißes Licht, wann sie in Betrieb sind.
Damit die AR-Brille in verschiedenen Umgebungen und kulturellen Kontexten funktioniert, haben wir im letzten Monat bekannt gegeben, dass wir die öffentliche Nutzung neben den USA auch in Singapur eingeführt haben. Darüber hinaus haben einige Vertragspartner*innen und Mitarbeiter*innen von Facebook im Vereinigten Königreich sowie in Irland, der Schweiz, Deutschland, der Tschechischen Republik, Singapur, Kanada und Israel in diesem Jahr Daten in ihren eigenen Wohnungen erfasst, sofern alle Mitglieder*innen ihres Haushalts damit einverstanden waren.
Damit heute existierende Ungleichheiten in Zukunft nicht in der AR wiederkehren, müssen wir außerdem Datensätze erfassen, die die Vielfalt in Geschlecht, Größe, Körperbau, ethnischer Abstammung und körperlicher wie geistiger Einschränkungen der Menschen widerspiegeln. Ab November werden wir daher die Teilnahme in den Ländern, in denen wir bereits Daten erfassen, für eine breit angelegte Gruppe von etwa 3.000 Mitarbeiter*innen und Vertragspartner*innen von Facebook sowie für externe, bezahlte Forschungsteilnehmer*innen ermöglichen.
Selbstverständlich müssen alle Teilnehmer*innen all unsere Regeln befolgen und unser Training absolvieren, bevor sie ihre ersten Schritte mit dem Gerät machen. Und bei der Datenerfassung im öffentlichen Raum müssen sie Kleidung und ein Umhängeband tragen, die sie als Forschungsteilnehmer*innen von Project Aria ausweisen. Die Teilnehmer*innen können die vom Gerät aufgezeichneten Rohdaten auch nicht direkt ansehen oder anhören.
Daten aus der Ich-Perspektive für die Forschungs-Community verfügbar machen
Die Entwicklung kontextbezogener egozentrischer KI (in der Ich-Perspektive) ist ein Prozess, der Jahrzehnte in Anspruch nimmt. Der akademische Bereich der künstlichen Intelligenz hat in den letzten zwanzig Jahren enorme Fortschritte gemacht. Dennoch versteht die KI noch nicht wirklich, was es heißt, die Welt mit unseren Augen zu sehen.
Aus diesem Grund hat Facebook AI vor Kurzem Ego4D angekündigt – ein Langzeitprojekt mit dem Ziel, der Forschungs-Community egozentrische Daten öffentlich zugänglich zu machen, zusammen mit einer Reihe von Benchmark-Challenges, die auf visuelle Erlebnisse aus der Ich-Perspektive für die KI-Assistenten der Zukunft abzielen.Damit sie ihre eigene Forschung zur egozentrischen Wahrnehmung vertiefen können, weitet Facebook Reality Labs das im letzten Jahr zusammen mit der Carnegie Mellon University begonnene Pilotprogramm Project Aria aus und stellt die Brille der National University of Singapore sowie bald auch anderen Universitätspartnern zur Verfügung. FRL Research unterstützt die Arbeit an der CMU und der NUS durch Sponsorenverträge, jedoch sind die Universitäten nicht dazu verpflichtet, die von ihnen erfassten Daten mit uns zu teilen.
Darüber hinaus müssen sich all unsere Universitätspartner an die Standards der institutionellen Forschungsethikausschüsse bzw. -prüfungsgremien sowie an unsere Forschungsgemeinschaftsrichtlinien für Project Aria halten. Bei diesen Richtlinien handelt es sich um eine Reihe von Anforderungen und Best Practices, die Facebooks eigene Bestimmungen zum Datenschutz widerspiegeln (z. B. die Gewährleistung, dass für Unbeteiligte deutlich wird, wenn eine Aufnahme stattfindet, und das Unkenntlichmachen von personenbezogenen Informationen wie Gesichtern oder Nummernschildern). Die Einhaltung dieser Richtlinien ist erforderlich, da sie sicherstellen, dass alle im Rahmen von Project Aria durchgeführten Forschungsarbeiten den Datenschutz- und Sicherheitsanforderungen entsprechen.
Neue Partnerschaft mit BMW
Und nicht zuletzt freuen wir uns auch, neben der stets steigenden Zahl akademischer Partner*innen heute unsere erste Branchenpartnerschaft mit BMW bekannt zu geben. Wir glauben, dass AR-Brillen Autofahrer*innen in Zukunft beim Navigieren in ihrer Umgebung helfen werden, sie auf Gefahren im Straßenverkehr aufmerksam machen können und vieles mehr. Bevor wir dieses Ziel erreichen können, müssen wir jedoch sicherstellen, dass alles, was wir bauen, sicher ist und einen Mehrwert für das Fahren bzw. Mitfahren bietet – und nicht ablenkt oder stört.
Diese Partnerschaft wird uns auch helfen zu verstehen, wie AR-Brillen, die für die Standortbestimmung ihrer Träger*innen auf visuelle Informationen angewiesen sind, dies auch in einem sich bewegenden Fahrzeug schaffen.
Wie unsere akademischen Partner*innen müssen sich auch BMW und alle zukünftigen Industriepartner an unsere Forschungsgemeinschaftsrichtlinien für Project Aria halten.
Akademische und industrielle Forschungseinrichtungen, die sich für die Teilnahme am Project Aria interessieren, können ihre Vorhaben hier einreichen.
Soziale Verantwortung weiterdenken
Mit Blick auf die künftige Erweiterung von Project Aria ist es unsere Pflicht, Daten verantwortungsvoll zu erfassen und zu verwenden. So haben wir zum Beispiel letzten Monat in Singapur einen Design Jam zwischen Facebook-Forscher*innen und 28 externen Datenschutzexpert*innen und Akademiker*innen veranstaltet, um die Auswirkungen der Datenerfassung von Project Aria in der Praxis zu erörtern. Darüber hinaus werden wir mit einem*r Ethiker*in zusammenarbeiten, der*die uns dabei helfen soll, die Auswirkungen auf den Datenschutz und die gesellschaftliche Akzeptanz von Project Aria besser zu verstehen.
All dies ist nur der Anfang. Bis zur vollständigen Realisierung der AR-Brille ist es noch ein weiter Weg. Wir arbeiten mit Wissenschaftler*innen, Ingenieur*innen, anderen Unternehmen und Datenschutzexpert*innen zusammen, um sicherzustellen, dass wir sowohl die Technologie als auch die Auswirkungen auf ihre Nutzer*innen – und vor allem auch auf ihre Nicht-Nutzer*innen – verstehen. Diese Maßnahmen dienen dem Schutz der Privatsphäre und Sicherheit aller.
Es gibt noch so viele weitere Themen, die es zu erkunden gilt. Mehr dazu erfährst du auf der Website von Project Aria.