Lors de la conférence Connect de l’année dernière, nous avons partagé notre vision de l’avenir de la réalité augmentée. À terme, nous pensons que la réalité augmentée nous permettra d’abandonner nos appareils portables et d’interagir plus naturellement avec le monde numérique grâce à une interface qui répond à nos besoins de manière intuitive, plutôt que réactive aux données que nous lui fournissons.
Nous avons présenté nos travaux sur l’audio, l’électromyographie (EMG) et la cartographie 3D, qui sont seulement quelques-unes des principales initiatives de recherche et développement qui permettront de résoudre le problème de l’interaction dans la réalité augmentée. Nous avons également dévoilé le projet Aria, un appareil de recherche sous forme de lunettes. Elles capturent les données du monde réel du point de vue de la personne qui les porte, ce qui aidera les futurs appareils de réalité augmentée à comprendre la localisation, le contexte et l’intention. Par exemple, pour que ces derniers puissent superposer des itinéraires à vélo sur une rue, vous montrer des statistiques clés lors d’une réunion d’affaires ou vous aider dans n’importe quelle tâche, elles doivent avoir une bonne idée de l’endroit où vous vous trouvez, de ce que vous regardez et de l’action que vous souhaitez entreprendre.
Projet Aria : nos progrès en cartographie 3D et en IA contextualisée
Aujourd’hui, lors de la conférence Connect 2021, Michael Abrash, Chief Scientist de Facebook Reality Labs, a fait le point sur ce que nous avons accompli avec le projet Aria au cours de l’année écoulée.
Dans cette vidéo de notre laboratoire de recherche de Redmond, nous avons modélisé la façon dont l’assistant numérique des futures lunettes de réalité augmentée pourra non seulement percevoir les objets dans une pièce autour de vous, mais aussi anticiper vos interactions avec ces objets, comme allumer un téléviseur ou une lampe. Il pourrait même vous aider à retrouver vos clés ! Ici, notre chercheur communique avec le système d’IA à l’aide d’un appareil à clics portable, mais que nous pensons voir un jour remplacés par des appareils d’entrée EMG portés au poignet. Notre équipe de recherche explore également les interfaces vocales.
Ce futur est encore lointain, mais nos efforts de recherche nous en rapprochent.
Les principes de la collecte de données dans le monde réel
Pour continuer à développer l’avenir de la réalité augmentée, nous aurons besoin de données d’utilisation plus variées, issues de situations de la vie réelle, que nous pourrons utiliser pour former les assistants numériques.
Pour recueillir ces données, nous gardons tout d’abord à l’esprit nos principes d’innovation responsable. Outre notre volonté de « ne jamais prendre les gens par surprise » et de « proposer des options de contrôle efficaces », nous mettons un point d’honneur à « prendre tout le monde en considération », même des personnes qui ne sont qu’en contact avec des utilisateurs et utilisatrices de nos appareils et produits de recherche. Et nous « donnons la priorité aux personnes » en privilégiant ce qui fait le plus de bien au niveau collectif, tout en gérant les données de façon responsable.
Comme indiqué lors de l’annonce du projet Aria, nous avons imposé des restrictions quant au moment et à l’endroit où les chercheurs pouvaient recueillir des données. Par exemple, il est formellement interdit d’enregistrer dans les zones sensibles telles que les toilettes, les salles de prière, les vestiaires, pendant des réunions confidentielles et dans d’autres situations privées. Par ailleurs, l’enregistrement n’est permis au domicile des porteurs qu’avec le consentement de tous les membres du foyer. Nous floutons automatiquement les visages et les plaques d’immatriculation dans tous les ensemble de données recueillis dans un lieu public. Chaque appareil émet également une lumière blanche bien visible indiquant quand il est en cours d’utilisation.
Pour que les lunettes de réalité augmentée fonctionnent dans différents environnements et contextes culturels, nous avons annoncé le mois dernier avoir étendu leur utilisation publique initiale des États-Unis à Singapour. En outre, certains sous-traitants et employés de Facebook basés au Royaume-Uni, en Irlande, en Suisse, en Allemagne, en République tchèque, à Singapour, au Canada et en Israël ont capturé des données chez eux cette année, toujours avec l’accord de tous les membres de leur foyer.
Nous devons également nous assurer que nous enregistrons des ensembles de données diversifiés provenant de personnes de différents genres, tailles, morphologies, origines ethniques et capacités, pour que la réalité augmentée ne reproduise pas les inégalités d’aujourd’hui. À partir de novembre, dans les pays où nous collectons déjà des données, nous ouvrirons la participation à un groupe plus large d’environ 3 000 employés et sous-traitants de Facebook, ainsi qu’à des personnes externes rémunérées pour ce projet de recherche.
Bien entendu, toutes les personnes participantes devront connaître l’ensemble des règles et suivre une formation avant toute utilisation de l’appareil. Lors de la collecte de données dans des espaces publics, elles devront porter des vêtements et un cordon les identifiant comme participant au projet Aria. Elles ne seront pas non plus en mesure de visualiser ou d’écouter directement les informations brutes capturées par leur appareil.
Mettre les données recueillies à la disposition de la recherche
Le développement d’une IA égocentrique (à la première personne) consciente de ce qui l’entoure est un travail de plusieurs décennies. Le domaine académique de l’intelligence artificielle a fait d’énormes progrès au cours des 20 dernières années, mais malgré tout, l’IA n’a pas encore vraiment compris ce que c’est que de voir le monde avec nos yeux d’humains.
C’est pourquoi Facebook AI a récemment présenté Ego4D (un projet à long terme visant à mettre les données égocentriques à la disposition des équipes de recherche), ainsi qu’un ensemble de défis de référence centrés sur les expériences visuelles de la personne qui porte les lunettes pour les assistants IA du futur.
Pour faire avancer ses propres recherches sur la perception égocentrique, Facebook Reality Labs étend également le programme pilote du projet Aria que nous avons lancé l’année dernière avec l’université Carnegie Mellon, en mettant les lunettes à la disposition de l’université nationale de Singapour, ainsi que d’autres universités partenaires à l’avenir. FRL Research financera les travaux des deux universités par le biais de contrats subventionnés, mais les universités ne sont pas tenues de partager avec nous les données qu’elles collectent.
En outre, chaque université partenaire devra se conformer aux normes des comités d’éthique de la recherche ou des comités d’examen institutionnels, ainsi qu’aux règles de la communauté de recherche du projet Aria. Ces règles sont un ensemble d’exigences et de recommandations qui reflètent les propres critères de Facebook en matière de confidentialité (par exemple, veiller à ce que les passants sachent clairement qu’un enregistrement est en cours et flouter les informations personnellement identifiables telles que les visages et les plaques d’immatriculation). Le respect de ces directives est indispensable, car elles garantissent que toute recherche effectuée dans le cadre du projet Aria répond à ces exigences en matière de confidentialité et de sécurité.
Nouveau partenariat avec BMW
Enfin, en plus de développer nos partenariats universitaires, nous avons la fierté d’annoncer aujourd’hui notre premier partenariat industriel avec BMW. Nous pensons que les lunettes de réalité augmentée aideront un jour les personnes au volant à s’orienter dans leur environnement, à avoir conscience des dangers de la route, et bien plus encore. Avant d’en arriver là, nous devons cependant nous assurer que tout ce que nous développons est sûr et que nos outils améliorent, plutôt qu’ils ne détournent ou ne distraient, le voyage au volant ou sur le siège passager.
Ce partenariat nous aidera également à comprendre comment l’appareil, qui s’appuie sur des repères visuels pour identifier son emplacement, peut se repérer dans un véhicule en mouvement.
Comme pour nos partenaires universitaires, BMW et tout futur partenaire industriel sont tenus de respecter les règles de la communauté de recherche du projet Aria.
Les institutions de recherche universitaires et les industriels souhaitant en savoir plus sur la participation au projet Aria peuvent envoyer leurs propositions ici.
Réflexion sur la responsabilité sociale
Alors que nous envisageons de continuer le développement du projet Aria, il est de notre devoir de recueillir et d’utiliser les données de manière responsable. Ainsi, le mois dernier à Singapour, nous avons organisé une Design Jam réunissant des chercheurs et chercheuses de Facebook et 28 universitaires et spécialistes externes de la protection de la vie privée, afin d’examiner les implications dans la vie réelle de la collecte de toutes ces données.
Plus largement, nous allons travailler avec un ou une spécialiste de l’éthique qui nous aidera à réfléchir aux implications en matière de vie privée et aux questions d’acceptabilité sociale liées au projet.
Ce n’est que le début. Nous avons encore un long chemin à parcourir avant que les lunettes de réalité augmentée ne soient pleinement opérationnelles. Nous collaborons avec des universitaires, des ingénieurs, d’autres entreprises et des spécialistes de la protection de la vie privée pour bien comprendre à la fois la technologie et l’impact qu’elle aura tant sur les personnes qui l’utilisent que sur celles qui ne l’utilisent pas. Ces mesures permettent de s’assurer que la vie privée et la sécurité de chacun sont protégées.
Il reste encore tant d’autres questions à explorer ! Si vous souhaitez vous tenir au courant des dernières actualités, n’hésitez pas à consulter régulièrement le site web du projet Aria.