“Estamos construyendo gafas de RA”.
Cinco simples palabras, pronunciadas hace cinco años. Con ellas, plantamos una bandera en nuestra visión de un futuro en el que ya no tengamos que elegir entre un mundo de información al alcance de la mano y el mundo físico que nos rodea.
Hoy, cinco años después, otras cinco palabras que cambiarán de nuevo las reglas del juego:
Hemos creado las gafas de RA.
En Meta, nuestra misión es sencilla: dar a la gente el poder de crear comunidad y acercar el mundo. Y en Reality Labs, creamos herramientas que ayudan a las personas a sentirse conectadas en cualquier momento y lugar. Por eso estamos trabajando para construir la próxima plataforma informática que ponga a las personas en el centro para que puedan estar más presentes, conectadas y empoderadas en el mundo.
Las gafas Ray-Ban Meta han demostrado el poder de dar a las personas acceso manos libres a partes clave de su vida digital desde la física. Podemos hablar con un asistente inteligente de IA, conectar con amigos y capturar los momentos importantes, todo ello sin tener que sacar el teléfono. Estas elegantes gafas se integran a la perfección en nuestra vida cotidiana, y a la gente le encantan.
Sin embargo, aunque Ray-Ban Meta abrió una categoría completamente nueva de gafas sin pantalla potenciadas por la IA, el sector de la realidad extendida lleva mucho tiempo soñando con unas verdaderas gafas de realidad aumentada, un producto que combine las ventajas de una gran pantalla holográfica y la asistencia personalizada de la IA en un formato cómodo, elegante y que se pueda llevar todo el día.
Y hoy, hemos acercado ese sueño a la realidad con la presentación de Orion, que creemos que son las gafas de RA más avanzadas jamás fabricadas. De hecho, puede que sea el dispositivo electrónico de consumo más desafiante fabricado desde el smartphone. Orion es el resultado de invenciones revolucionarias en prácticamente todos los campos de la informática moderna, basadas en el trabajo que hemos venido realizando en Reality Labs durante la última década. Está repleto de tecnologías completamente nuevas, como la pantalla de realidad aumentada más avanzada jamás ensamblada y un silicio personalizado que permite ejecutar potentes experiencias de realidad aumentada en unas gafas con una fracción de la potencia y el peso de un casco de realidad aumentada.
El sistema de entrada de Orion combina a la perfección la voz, la mirada y el seguimiento de la mano con una muñequera EMG que permite deslizar, hacer clic y desplazarse con el brazo cómodamente apoyado en el costado, lo que permite estar presente en el mundo y con las personas que te rodean mientras interactúas con contenidos digitales enriquecidos.
A partir de hoy en Connect y durante todo el año, vamos a abrir el acceso a nuestro prototipo de producto Orion a los empleados de Meta y a un público externo selecto para que nuestro equipo de desarrollo pueda aprender, iterar y construir nuestra línea de productos de gafas de realidad aumentada para el consumidor, que tenemos previsto empezar a comercializar en un futuro próximo.
¿Por qué unas gafas de realidad aumentada?
Hay tres razones principales por las que las gafas de realidad aumentada son la clave para dar el próximo gran salto en la informática orientada al ser humano.
- Permiten experiencias digitales que no se ven limitadas por la pantalla de un smartphone. Con las pantallas holográficas de gran tamaño, puedes utilizar el mundo físico como lienzo y colocar contenidos y experiencias en 2D y 3D donde quieras.
- Integran a la perfección IA contextual que puede percibir y comprender el mundo que te rodea con el fin de anticipar y abordar de forma proactiva tus necesidades.
- Son ligeras, elegantes y perfectas tanto para interiores como para exteriores. Las gafas de realidad aumentada son socialmente aceptables entre amigos, colegas y familiares, y permiten ver la cara, los ojos y las expresiones reales de los demás.
Esa es la estrella del norte hacia la que se ha encaminado nuestro sector: un producto que combine la comodidad y la inmediatez de los dispositivos portátiles con una gran pantalla, entrada de gran ancho de banda e inteligencia artificial contextualizada en un formato con el que la gente se sienta cómoda en su vida cotidiana.
Factor de forma compacto, retos complicados
Durante años, nos hemos enfrentado a una falsa disyuntiva: o bien auriculares de realidad virtual y mixta que permiten experiencias inmersivas profundas en un factor de forma voluminoso, o bien gafas que son ideales para su uso durante todo el día pero que no ofrecen aplicaciones y experiencias visuales enriquecidas debido a la falta de una gran pantalla y la potencia de cálculo correspondiente.
Pero lo queremos todo, sin concesiones. Llevamos años trabajando duro para conseguir las increíbles experiencias espaciales que ofrecen los cascos de RV y RM y miniaturizar la tecnología necesaria para ofrecerlas en unas gafas ligeras y elegantes. Dar en el clavo con el factor de forma, ofrecer pantallas holográficas, desarrollar atractivas experiencias de realidad aumentada y crear nuevos paradigmas de interacción persona-ordenador (HCI) -y hacerlo todo en un producto cohesionado- es uno de los retos más difíciles a los que se ha enfrentado nuestra industria. Era tan difícil que pensábamos que teníamos menos de un 10% de posibilidades de lograrlo.
Hasta ahora.
Una pantalla innovadora en un formato sin precedentes
Con aproximadamente 70 grados, Orion tiene el mayor campo de visión en el formato de gafas de realidad aumentada más pequeño hasta la fecha. Este campo de visión permite a Orion ofrecer casos de uso realmente envolventes, desde ventanas multitarea y entretenimiento en pantalla grande hasta hologramas de personas a tamaño real, todo contenido digital que puede mezclarse a la perfección con la visión del mundo físico.
Para Orion, el campo de visión era nuestro santo grial. Chocábamos con las leyes de la física y teníamos que curvar los haces de luz de formas que no son naturales, y teníamos que hacerlo con una potencia medida en milivatios.
En lugar de vidrio, fabricamos las lentes con carburo de silicio, una novedosa aplicación para las gafas de realidad aumentada. El carburo de silicio es increíblemente ligero, no produce artefactos ópticos ni luz parásita y tiene un alto índice de refracción, todas ellas propiedades ópticas fundamentales para un gran campo de visión. Las propias guías de ondas tienen estructuras tridimensionales a nanoescala realmente intrincadas y complejas para difractar o propagar la luz de la forma necesaria para lograr este campo de visión. Y los proyectores son μLED, un nuevo tipo de tecnología de visualización muy pequeña y de gran eficiencia energética.
Orion es inconfundiblemente un par de gafas, tanto por su aspecto como por su tacto, con lentes transparentes. A diferencia de los auriculares MR u otras gafas AR actuales, se pueden ver los ojos y expresiones reales de los demás, por lo que se puede estar presente y compartir la experiencia con la gente que nos rodea. Han sido necesarias docenas de innovaciones para conseguir un diseño industrial con un formato de gafas contemporáneo que resulte cómodo de llevar a diario. Orion es una hazaña de miniaturización: los componentes están empaquetados en una fracción de milímetro. Y hemos conseguido incrustar siete cámaras y sensores diminutos en los bordes de la montura.
Tuvimos que mantener la precisión óptica en una décima parte del grosor de un cabello humano. Además, el sistema puede detectar pequeños movimientos, como la dilatación o contracción de las monturas en función de la temperatura ambiente, y corregir digitalmente la alineación óptica necesaria, todo ello en milisegundos. Hemos fabricado las monturas con magnesio, el mismo material que se utiliza en los coches de carreras de F1 y en las naves espaciales, porque es ligero y rígido a la vez, mantiene los elementos ópticos alineados y evacua eficazmente el calor.
Calentamiento y refrigeración
Una vez descifrada la pantalla y superados los problemas físicos, tuvimos que afrontar el reto de combinar un sistema informático realmente potente con un consumo energético realmente bajo y la necesidad de disipar el calor. A diferencia de los visores de realidad mixta actuales, no se puede incorporar un ventilador en unas gafas. Así que tuvimos que ser creativos. Muchos de los materiales utilizados para refrigerar Orion son similares a los que emplea la NASA para refrigerar los satélites en el espacio exterior.
Construimos un silicio a medida muy especializado, extremadamente eficiente y optimizado para nuestros algoritmos de inteligencia artificial, percepción artificial y gráficos. Hemos construido varios chips personalizados y docenas de bloques IP de silicio altamente personalizados dentro de esos chips. Esto nos permite utilizar los algoritmos necesarios para el seguimiento de manos y ojos, así como la tecnología de localización y mapeo simultáneos (SLAM), que normalmente consume cientos de milivatios de energía -y genera una cantidad correspondiente de calor- y reducirla a unas pocas docenas de milivatios.
Y sí, el silicio personalizado sigue desempeñando un papel fundamental en el desarrollo de productos en Reality Labs, a pesar de lo que se pueda leer en Internet. 😎
EMG sin esfuerzo
Cada nueva plataforma informática trae consigo un cambio de paradigma en la forma en que interactuamos con nuestros dispositivos. La invención del ratón ayudó a allanar el camino para las interfaces gráficas de usuario (GUI) que dominan nuestro mundo hoy en día, y los teléfonos inteligentes no empezaron a ganar realmente tracción hasta la llegada de la pantalla táctil. Y lo mismo ocurre con los dispositivos portátiles.
Llevamos años hablando de nuestro trabajo con la electromiografía, o EMG, porque creemos que la entrada de datos para las gafas de realidad aumentada debe ser rápida, cómoda, fiable, sutil y socialmente aceptable. Y ahora, ese trabajo está listo para el prime time.
El sistema de entrada e interacción de Orion combina a la perfección la voz, la mirada y el seguimiento de la mano con una pulsera EMG que permite desplazar, hacer clic y desplazarse con facilidad.
Funciona como por arte de magia. Imagínese hacer una foto mientras corre por la mañana con un simple toque de los dedos o navegar por los menús con movimientos apenas perceptibles de las manos. Nuestra pulsera combina un tejido de alto rendimiento con sensores EMG integrados para detectar las señales eléctricas generadas incluso por los movimientos musculares más pequeños. Un procesador ML integrado en el dispositivo interpreta esas señales EMG para producir eventos de entrada que se transmiten de forma inalámbrica a las gafas. El sistema se adapta a ti y, con el tiempo, es cada vez más capaz de reconocer los gestos más sutiles. Y hoy, compartimos más información sobre nuestro apoyo a la investigación externa centrada en ampliar el potencial de equidad y accesibilidad de las pulseras EMG.
Conoce el Wireless Compute Puck
Las verdaderas gafas de realidad aumentada deben ser inalámbricas y pequeñas, por lo que hemos creado un disco de cálculo inalámbrico para Orion. Elimina parte de la carga de las gafas, lo que permite una mayor duración de la batería y un mejor factor de forma con baja latencia.
En las gafas se ejecutan todos los algoritmos de seguimiento de manos y ojos, SLAM y gráficos especializados en el mundo de la realidad aumentada, mientras que la lógica de la aplicación se ejecuta en el disco para que las gafas sean lo más ligeras y compactas posible.
El disco tiene dos procesadores, uno de ellos diseñado a medida en Meta, y proporciona la potencia de cálculo necesaria para el renderizado de gráficos de baja latencia, la IA y la percepción artificial adicional.
Y como es pequeño y elegante, puedes meterlo cómodamente en un bolso o en el bolsillo y dedicarte a tus asuntos, sin ataduras.
Experiencias de RA
Por supuesto, como ocurre con cualquier pieza de hardware, sólo es tan genial como las cosas que se pueden hacer con ella. Y aunque aún es pronto, las experiencias que ofrece Orion son un emocionante anticipo de lo que está por venir.
Tenemos nuestro asistente inteligente, Meta AI, funcionando en Orion. Entiende lo que miras en el mundo físico y puede ayudarte con visualizaciones útiles. Orion utiliza el mismo modelo Llama que impulsa las experiencias de IA que se ejecutan actualmente en las gafas inteligentes Ray-Ban Meta, además de modelos de investigación personalizados para demostrar posibles casos de uso para el futuro desarrollo de wearables.
Puedes hacer una videollamada manos libres sobre la marcha para ponerte al día con amigos y familiares en tiempo real, y puedes permanecer conectado en WhatsApp y Messenger para ver y enviar mensajes. No es necesario sacar el teléfono, desbloquearlo, buscar la aplicación adecuada y avisar a un amigo de que llegas tarde a cenar: puedes hacerlo todo a través de las gafas.
Puedes jugar a juegos de realidad aumentada compartidos con tu familia al otro lado del país o con tu amigo al otro lado del sofá. Y la gran pantalla de Orion te permite realizar múltiples tareas con varias ventanas para hacer cosas sin tener que cargar con el portátil.
Las experiencias disponibles hoy en Orion ayudarán a trazar la hoja de ruta de nuestra línea de gafas de realidad aumentada de consumo en el futuro. Nuestros equipos siguen iterando y creando nuevas experiencias sociales inmersivas, y estamos impacientes por compartir lo que vendrá después.
Un prototipo de producto con propósito
Aunque Orion no llegará a las manos de los consumidores, no se equivoque: No se trata de un prototipo de investigación. Es el prototipo de producto más pulido que hemos desarrollado nunca, y es realmente representativo de algo que podría llegar a los consumidores. En lugar de apresurarnos a ponerlo en las estanterías, decidimos centrarnos primero en el desarrollo interno, lo que significa que podemos seguir construyendo rápidamente y seguir ampliando los límites de la tecnología.
Y eso significa que llegaremos antes a un producto de consumo aún mejor».
Lo que viene después
Durante mucho tiempo, las gafas de realidad aumentada de consumo se han enfrentado a dos grandes obstáculos: los avances tecnológicos necesarios para ofrecer una gran pantalla en unas gafas compactas y la necesidad de experiencias de realidad aumentada útiles y atractivas que puedan ejecutarse en esas gafas. Orion es un gran hito, ya que por primera vez ofrece experiencias de realidad aumentada reales en un hardware razonablemente elegante.
Ahora que hemos compartido Orion con el mundo, estamos centrados en algunas cosas:
- Ajustar la calidad de la pantalla de realidad aumentada para que los efectos visuales sean aún más nítidos.
- Optimizar todo lo que podamos para que el factor de forma sea aún más pequeño.
- Construir a gran escala para que sean más asequibles
En los próximos años, es de esperar que veamos nuevos dispositivos que se basen en nuestros esfuerzos de I+D. Y varios de los productos de Orion están en fase de desarrollo. Y varias de las innovaciones de Orion se han extendido a nuestros productos de consumo actuales, así como a nuestra futura hoja de ruta de productos. Hemos optimizado algunos de nuestros algoritmos de percepción espacial, que se ejecutan tanto en Meta Quest 3S como en Orion. Aunque el sistema de mirada ocular y entrada gestual sutil se diseñó originalmente para Orion, tenemos previsto utilizarlo en futuros productos. Y estamos explorando el uso de pulseras EMG también en futuros productos de consumo.
Orion no es sólo una ventana al futuro, sino una mirada a las posibilidades reales que tenemos hoy a nuestro alcance. Lo hemos creado para conseguir lo que mejor sabemos hacer: ayudar a las personas a conectarse. Desde las gafas inteligentes Ray-Ban Meta hasta Orion, hemos visto lo bueno que puede resultar permitir a la gente estar más presente y tener más poder en el mundo físico, incluso aprovechando toda la riqueza añadida que ofrece el mundo digital.
Creemos que no hay que elegir entre las dos cosas. Y con la próxima plataforma informática, no tendrás que hacerlo.