En el evento Connect del año pasado, compartimos nuestra visión del futuro de la realidad aumentada (AR). Creemos que, con el tiempo, la realidad aumentada nos ayudará a dejar de lado los dispositivos portátiles y a interactuar de una forma más natural con el mundo digital por medio de una interfaz que intuirá nuestras necesidades en lugar de reaccionar a nuestras indicaciones.

También compartimos un vistazo de nuestro trabajo en el ámbito del audio, la electromiografía (EMG) y los mapas 3D, algunos de los frentes principales en la investigación y el desarrollo de la interacción en AR. Además, presentamos Project Aria, un dispositivo de investigación con forma de un par de lentes, que captura datos del mundo real en primera persona, y que ayudará a los dispositivos de AR del futuro a conocer la ubicación, el contexto y la intención de sus portadores. Para poder superponer en la calle las indicaciones de un recorrido en bicicleta, mostrarte estadísticas importantes durante una reunión de negocios o ayudarte con muchas otras tareas, los lentes de AR deben saber dónde estás, qué estás mirando y qué podrías querer hacer.

Project Aria: Avances en los mapas 3D y en la Inteligencia Artificial (IA) contextualizada

Hoy, en Connect 2021, Michael Abrash, director de investigaciones de Facebook Reality Labs, compartió los logros alcanzados con Project Aria durante el último año.

En este video del laboratorio de investigación Redmond de Facebook, vemos un modelo que demuestra que el asistente digital de los lentes de AR del futuro podría no solo percibir los objetos del lugar donde te encuentres, sino también prever qué podrías querer hacer tú con ellos: encender el televisor o una lámpara, por ejemplo, o ayudarte a encontrar las llaves. Aquí, nuestro investigador se comunica con el sistema de IA por medio de clics en un dispositivo portátil, pero creemos que llegará el día en que esa comunicación se dará a través de dispositivos pulsera de EMG. Nuestro equipo de investigación también está explorando interfaces de voz.

Ese futuro aún está lejos, pero nuestras investigaciones nos ayudan a acercarnos.

Recopilación de datos en el mundo real: los principios, primero

A fin de seguir construyendo el mundo de la realidad aumentada, necesitaremos una mayor variedad de datos en primera persona de situaciones del mundo real que nos permitan entrenar a los asistentes digitales.

Para generar esos datos, empezamos por tener presenten nuestros principios de innovación responsable. Además de nunca tomar por sorpresa a las personas y brindar controles eficaces, nos proponemos considerar a todos, incluso a aquellos que entran en contacto con quienes usan nuestros dispositivos y productos de investigación. Otro principio que nos rige es el de priorizar a las personas, es decir, velar por el interés de las comunidades y ser responsables como guardianes de los datos.

Como señalamos cuando anunciamos Project Aria, restringimos los momentos y lugares donde las personas pueden recopilar datos. Por ejemplo, no se puede grabar en sitios como baños, salas de oración o vestuarios, ni en reuniones sobre temas delicados y demás situaciones privadas, y solo se permite grabar en hogares de personas que llevan los dispositivos, con consentimiento de todos los integrantes del hogar. Desenfocamos automáticamente las caras y las matrículas de vehículos en los conjuntos de datos recopilados en lugares públicos. Además, todos los dispositivos muestran una luz blanca claramente visible que indica cuándo están en uso.

A fin de que los lentes de AR funcionen en distintos lugares y contextos culturales, anunciamos el mes pasado que incluimos a Singapur, además de Estados Unidos, en la zona inicial de uso en público. Además, algunos contratistas y empleados de Facebook del Reino Unido, Irlanda, Suiza, Alemania, República Checa, Singapur, Canadá e Israel recopilaron datos en su hogar este año, con el consentimiento de las personas con las que conviven.

Para procurar que, en el futuro, la realidad aumentada no replique las desigualdades del presente, también debemos asegurarnos de capturar una muestra diversa de datos provenientes de personas de géneros, alturas, tipos de cuerpo, etnias y habilidades diferentes. A partir de noviembre, abriremos la participación en los países donde ya estamos recopilando datos a un conjunto más amplio de alrededor de 3.000 empleados y contratistas de Facebook, y a participantes externos pagados.

Naturalmente, todos los participantes deberán cumplir todas las reglas y recibir la capacitación correspondiente antes de dar un solo paso con el dispositivo en uso. Y, cuando recopilen datos en espacios públicos, deberán llevar ropas y un cordón que los identifique como participantes de la investigación de Project Aria. Además, no podrán ver ni oír directamente los datos sin procesar capturados por el dispositivo.

Generar datos en primera persona para la comunidad de investigadores

Construir una IA en primera persona (egocéntrica) y contextual es una iniciativa que lleva décadas. En los últimos 20 años, el campo académico de la inteligencia artificial hizo avances gigantescos; a pesar de todo ese progreso, sin embargo, la IA aún no logra comprender cómo es ver el mundo con nuestros ojos.

Por eso, Facebook AI anunció recientemente Ego4D, un proyecto a largo plazo pensado para ofrecerle a la comunidad de investigadores datos públicos vistos en primera persona, junto con un conjunto de hitos por alcanzar, centrados en las experiencias visuales en primera persona de los asistentes de IA del futuro.

Además, Facebook Reality Labs está ampliando el programa piloto de Project Aria comenzado el año pasado con la Universidad Carnegie Mellon (CMU) ofreciendo lentes a la Universidad Nacional de Singapur. La idea es sumar a otras universidades en el futuro para permitirles llevar adelante sus propias investigaciones en materia de percepción egocéntrica. Si bien FRL Research financiará el trabajo de la CMU y la Universidad Nacional de Singapur por medio de contratos de patrocinio, estas no están obligadas a compartir con Facebook los datos que recopilen.

Por otra parte, cada universidad con la que trabajemos se hará responsable de cumplir las normas de los comités de ética de investigación o consejos de revisión institucionales y con las normas de la comunidad de investigadores de Project Aria. Estas normas son un conjunto de requisitos y prácticas recomendadas que reflejan las políticas de privacidad de Facebook (como el de asegurar que las personas cercanas sepan que se está grabando y que se desenfoca la información de identificación personal, como las caras y las matrículas). La adhesión a estas normas es fundamental, puesto que garantizan que toda investigación que se lleve a cabo en el marco de Project Aria cumpla sus requisitos de privacidad y seguridad.

Nueva colaboración con BMW

Por último, además de nuestras colaboraciones académicas en expansión, nos complace anunciar que comenzaremos a trabajar con BMW, nuestra primera colaboración industrial. Creemos que, tarde o temprano, los lentes de AR ayudarán a los conductores a encontrar el mejor camino, enterarse de cualquier peligro que haya en la ruta y demás. Sin embargo, antes de llegar allí, debemos asegurarnos de que todo lo que construyamos sea seguro y mejore el transporte en lugar de limitarlo o generar distracciones.

Esta colaboración también nos ayudará a determinar cómo pueden situarse los lentes de AR, que usarán indicios visuales para identificar su ubicación, en un vehículo en movimiento.

Tal como ocurre con nuestros socios de la academia, BMW y todo socio industrial con el que colaboremos en el futuro deberán cumplir las normas de la comunidad de investigadores de Project Aria.

Las instituciones de investigación académicas e industriales interesadas en obtener más información sobre cómo participar en Project Aria pueden enviar sus solicitudes aquí.

Analizar la responsabilidad social a fondo

Mientras buscamos ampliar Project Aria en el futuro, nuestro deber es reunir y usar los datos con responsabilidad. Por ejemplo, el mes pasado, en Singapur, organizamos una sesión de diseño con investigadores de Facebook y 28 académicos y expertos externos en privacidad para analizar las consecuencias de la recopilación de datos de Project Aria.

Además, trabajaremos con una persona especializada en ética a fin de examinar los efectos en la privacidad y los problemas de aceptabilidad social relacionados con el proyecto.

Y esto es solo el comienzo. Tenemos un largo camino por delante hasta que los lentes de AR estén desarrollados por completo. Estamos trabajando con académicos, ingenieros, otras empresas y expertos en privacidad para asegurarnos de entender la tecnología y el impacto que esta tendrá en las personas que la usen y, lo que es aún más importante, en las que no lo hagan. Estas medidas ayudan a garantizar la privacidad y la seguridad de todos.

Hay muchos más temas para explorar. Consulta el sitio web de Project Aria si quieres obtener más información.