“Estamos construindo óculos de Realidade Aumentada.”
Algumas poucas palavras simples, ditas há cinco anos. Com elas, fincamos uma bandeira na nossa visão de um futuro onde já não temos de fazer a escolha entre um mundo de informação ao nosso alcance e o mundo físico que nos rodeia.
E agora, cinco anos depois, outras poucas palavras que podem mais uma vez mudar o jogo:
“Nós construímos óculos de Realidade Aumentada.”
Na Meta, nossa missão é simples: dar às pessoas o poder de construir comunidades e aproximar o mundo. E, no Reality Labs, criamos ferramentas que ajudam as pessoas a se sentirem conectadas a qualquer hora e em qualquer lugar. É por isso que estamos trabalhando para construir a próxima plataforma de computação que coloque as pessoas no centro para que possam estar mais presentes, conectadas e capacitadas no mundo.
Os óculos Ray-Ban Meta demonstraram o poder de dar às pessoas acesso de mãos-livres a partes importantes de suas vidas digitais a partir de suas vidas físicas. Podemos conversar com um assistente inteligente de IA, conectar-nos com amigos e capturar os momentos que importam – tudo isso sem precisar pegar um telefone. Esses óculos elegantes se adaptam perfeitamente à nossa vida cotidiana e as pessoas os adoram.
No entanto, enquanto o Ray-Ban Meta abriu uma categoria inteiramente nova de óculos sem display, turbinados pela IA, a indústria há muito sonha com verdadeiros óculos de Realidade Aumentada – um produto que combina os benefícios de um grande display holográfico e assistência personalizada de IA em um formato confortável, elegante e que pode ser usado o dia todo.
E hoje, aproximamos esse sonho da realidade com o lançamento do Orion, que acreditamos ser o par de óculos de Realidade Aumentada mais avançado já feito. Na verdade, pode ser o dispositivo eletrônico de consumo mais desafiador produzido desde o smartphone. Orion é o resultado de invenções revolucionárias em praticamente todos os campos da computação moderna – com base no trabalho que temos realizado no Reality Labs na última década. Ele vem com tecnologias totalmente novas, incluindo o display de Realidade Aumentada mais avançado já montado e silício personalizado que permite que experiências poderosas de Realidade Aumentada sejam executadas em um par de óculos usando uma fração da potência e do peso de um headset de realidade mista.
O sistema de entrada do Orion combina perfeitamente voz, olhar e rastreamento manual com uma pulseira EMG que permite deslizar, clicar e rolar enquanto mantém o braço apoiado confortavelmente ao seu lado, permitindo que você permaneça presente no mundo e com as pessoas ao seu redor como você interage com conteúdo digital rico.
Começando hoje no Connect e continuando ao longo do ano, estamos abrindo o acesso ao nosso protótipo de produto Orion para funcionários da Meta e públicos externos selecionados para que nossa equipe de desenvolvimento possa aprender, iterar e desenvolver nossa linha de produtos de óculos de Realidade Aumentada de consumo, que planejamos para começar a comercializar em um futuro próximo.
Por que óculos de Realidade Aumentada?
Existem três razões principais pelas quais os óculos de Realidade Aumentada são essenciais para impulsionar o próximo grande salto na computação orientada para o ser humano.
- Eles permitem experiências digitais que não são limitadas pelos limites da tela de um smartphone. Com grandes displays holográficos, você pode usar o mundo físico como tela, colocando conteúdo e experiências 2D e 3D em qualquer lugar que desejar.
- Eles integram perfeitamente a IA contextual que pode detectar e compreender o mundo ao seu redor para antecipar e atender proativamente às suas necessidades.
- Eles são leves, elegantes e ótimos para uso interno e externo, além de permitirem que as pessoas vejam o rosto real, os olhos reais e as expressões reais umas das outras.
Esse é o norte que nossa indústria vem buscando: um produto que combina a conveniência e o imediatismo dos dispositivos vestíveis com uma tela grande, entrada de alta largura de banda e IA contextualizada em um formato que as pessoas se sintam confortáveis em usar em suas vidas diárias.
Fator de forma compacto, desafios agravados
Durante anos, enfrentamos uma escolha: headsets de realidade virtual e mista que permitem experiências profundas e imersivas em um formato volumoso ou óculos que são ideais para uso o dia todo, mas não oferecem aplicativos e experiências visuais ricos, dado a falta de uma tela grande e poder de computação correspondente.
Mas queremos tudo, sem perdas. Durante anos, temos trabalhado arduamente para aproveitar as incríveis experiências espaciais proporcionadas pelos headsets de realidade virtual e mista e miniaturizar a tecnologia necessária para oferecer essas experiências em um par de óculos leves e elegantes. Acertar o formato, fornecer exibições holográficas, desenvolver experiências atraentes de Realidade Aumentada e criar novos paradigmas de interação humano-computador (HCI) — e fazer tudo isso em um produto coeso — é um dos desafios mais difíceis que nossa indústria já enfrentou. Foi tão desafiador que pensamos que tínhamos menos de 10% de chance de realizá-lo com sucesso.
Até agora.
Uma tela inovadora em um formato incomparável
Com aproximadamente 70 graus, o Orion tem o maior campo de visão no menor formato de óculos de Realidade Aumentada até o momento. Esse campo de visão abre casos de uso verdadeiramente envolventes para o Orion, desde janelas multitarefa e entretenimento em tela grande até hologramas de pessoas em tamanho real – todo conteúdo digital que pode combinar perfeitamente com sua visão do mundo físico.
Para o Orion, o campo de visão era o nosso Santo Graal. Estávamos esbarrando nas leis da física e tivemos que curvar os feixes de luz de uma forma que eles não dobram naturalmente – e tivemos que fazer isso em um padrão de potência medido em miliwatts.
Em vez de vidro, fabricamos as lentes de carboneto de silício – uma nova aplicação para óculos de Realidade Aumentada. O carboneto de silício é incrivelmente leve, não resulta em artefatos ópticos ou luz difusa e possui um alto índice de refração – todas propriedades ópticas essenciais para um grande campo de visão. Os próprios guias de onda possuem estruturas 3D em nanoescala realmente intrincadas e complexas para difratar ou espalhar a luz nas formas necessárias para alcançar esse campo de visão. E os projetores são μLEDs – um novo tipo de tecnologia de exibição que é super pequeno e extremamente eficiente em termos de energia.
Orion é inconfundivelmente um par de óculos tanto na aparência quanto no toque – completo com lentes transparentes. Ao contrário dos headsets de realidade mista ou de outros óculos de Realidade Aumentada atuais, as pessoas ainda podem ver os olhos e expressões reais uns dos outros, para que possam estar presentes e compartilhar a experiência com todos ao redor. Dezenas de inovações foram necessárias para reduzir o design industrial a um formato de óculos contemporâneo que você se sentiria confortável em usar todos os dias. Orion é uma façanha de miniaturização – os componentes são compactados em uma fração de milímetro. E conseguimos incorporar sete pequenas câmeras e sensores nas bordas da moldura.
Tivemos que manter a precisão óptica em um décimo da espessura de um fio de cabelo humano. E o sistema pode detectar pequenas quantidades de movimento – como a expansão ou contração dos quadros em várias temperaturas ambientes – e depois corrigir digitalmente o alinhamento óptico necessário, tudo em milissegundos. Fabricamos as armações em magnésio – o mesmo material utilizado nos carros de corrida de F1 e nas naves espaciais – porque é leve mas rígido, por isso mantém os elementos ópticos alinhados e conduz o calor de forma eficiente.
Aquecimento e resfriamento
Depois que quebramos a tela (sem trocadilhos) e superamos os problemas físicos, tivemos que enfrentar o desafio de uma computação realmente poderosa, juntamente com um consumo de energia realmente baixo e a necessidade de dissipação de calor. Ao contrário dos headsets de realidade mista atuais, você não pode colocar um ventilador em um par de óculos. Então tivemos que ser criativos. Muitos dos materiais usados para resfriar o Orion são semelhantes aos usados pela NASA para resfriar satélites no espaço sideral.
Construímos silício personalizado altamente especializado, extremamente eficiente em termos de energia e otimizado para nossa IA, percepção de máquina e algoritmos gráficos. Construímos vários chips personalizados e dezenas de blocos IP de silício altamente personalizados dentro desses chips. Isso nos permite pegar os algoritmos necessários para o rastreamento das mãos e dos olhos, bem como a tecnologia de localização e mapeamento simultâneos (SLAM), que normalmente consome centenas de miliwatts de energia – e, portanto, gera uma quantidade correspondente de calor – e reduzi-la a apenas algumas dezenas de miliwatts.
E sim, o silício personalizado continua a desempenhar um papel crítico no desenvolvimento de produtos no Reality Labs, apesar do que as interwebs possam ter dito. 😎
EMG sem esforço
Cada nova plataforma de computação traz consigo uma mudança de paradigma na forma como interagimos com nossos dispositivos. A invenção do mouse ajudou a pavimentar o caminho para as interfaces gráficas de usuário (GUIs) que dominam nosso mundo hoje, e os smartphones não começaram a ganhar força até o advento da tela sensível ao toque. E a mesma regra vale para dispositivos vestíveis.
Há anos que falamos sobre o nosso trabalho com eletromiografia, ou EMG, motivados pela nossa crença de que as informações para óculos de Realidade Aumentada precisam ser rápidas, convenientes, confiáveis, sutis e socialmente aceitáveis. E agora, esse trabalho está pronto.
O sistema de entrada e interação do Orion combina perfeitamente voz, olhar e rastreamento manual com uma pulseira EMG que permite deslizar, clicar e rolar com facilidade.
Funciona – e parece – como mágica. Imagine tirar uma foto em sua corrida matinal com um simples toque das pontas dos dedos ou navegar nos menus com movimentos quase imperceptíveis das mãos. Nossa pulseira combina um tecido de alto desempenho com sensores EMG integrados para detectar os sinais elétricos gerados até mesmo pelos menores movimentos musculares. Um processador ML no dispositivo interpreta esses sinais EMG para produzir eventos de entrada que são transmitidos sem fio aos óculos. O sistema se adapta a você, por isso fica melhor e mais capaz de reconhecer os gestos mais sutis ao longo do tempo. E hoje, estamos compartilhando mais sobre nosso apoio à pesquisa externa focada na expansão do potencial de equidade e acessibilidade das pulseiras EMG.
Conheça o disco de computação sem fio
Os verdadeiros óculos de Realidade Aumentada devem ser sem fio e também devem ser pequenos. Então construímos um disco de computação sem fio para o Orion. Ele retira um pouco da carga dos óculos, permitindo maior duração da bateria e um formato melhor com baixa latência.
Os óculos executam todo o rastreamento de mão, rastreamento ocular, SLAM e algoritmos gráficos especializados de bloqueio do mundo da Realidade Aumentada, enquanto a lógica do aplicativo é executada no disco para manter os óculos o mais leves e compactos possível.
O disco tem processadores duplos, incluindo um personalizado aqui na Meta, e fornece o poder de computação necessário para renderização gráfica de baixa latência, IA e alguma percepção adicional da máquina.
E como é pequeno e elegante, você pode colocar o disco confortavelmente em uma bolsa ou no bolso e cuidar de seus negócios – sem se preocupar.
Experiências de Realidade Aumentada
Claro, como acontece com qualquer peça de hardware, é tão legal quanto as coisas que você pode fazer com ele. E embora ainda seja cedo, as experiências proporcionadas pela Orion são um vislumbre emocionante do que está por vir.
Temos nosso assistente inteligente, o Meta AI, rodando no Orion. Ele entende o que você está vendo no mundo físico e pode ajudá-lo com visualizações úteis. O Orion usa o mesmo modelo Llama que alimenta as experiências de IA executadas atualmente nos óculos inteligentes Ray-Ban Meta, além de modelos de pesquisa personalizados para demonstrar possíveis casos de uso para o desenvolvimento futuro de dispositivos vestíveis.
Você pode fazer uma videochamada com viva-voz em qualquer lugar para conversar com amigos e familiares em tempo real, e pode ficar conectado no WhatsApp e no Messenger para visualizar e enviar mensagens. Não há necessidade de pegar seu telefone, desbloqueá-lo, encontrar o aplicativo certo e avisar seu amigo que você está atrasado para o jantar – você pode fazer tudo isso com seus óculos.
Você pode jogar jogos de Realidade Aumentada compartilhados com a família do outro lado do país ou com seu amigo do outro lado do sofá. E a tela grande do Orion permite realizar multitarefas com várias janelas para realizar tarefas sem ter que carregar seu laptop.
As experiências disponíveis hoje no Orion ajudarão a traçar o roteiro para nossa linha de óculos de Realidade Aumentada de consumo no futuro. Nossas equipes continuam a iterar e a construir novas experiências sociais imersivas, e mal podemos esperar para compartilhar o que vem a seguir.
Um protótipo de produto proposital
Embora o Orion não chegue ainda às mãos dos consumidores, não se engane: este não é um protótipo de pesquisa. São os protótipos de produtos mais sofisticados que já desenvolvemos – e são verdadeiramente representativos de algo que poderia ser enviado aos consumidores. Em vez de nos apressarmos a colocá-lo nas prateleiras, decidimos concentrar-nos primeiro no desenvolvimento interno, o que significa que podemos continuar a construir rapidamente e a ultrapassar os limites da tecnologia.
E isso significa que chegaremos mais rapidamente a um produto de consumo ainda melhor.
O que vem a seguir
Dois grandes obstáculos há muito tempo impedem os óculos de Realidade Aumentada convencionais para o consumidor: os avanços tecnológicos necessários para fornecer uma tela grande em um formato de óculos compacto e a necessidade de experiências de Realidade Aumentada úteis e atraentes que possam ser executadas nesses óculos. Orion é um grande marco, oferecendo verdadeiras experiências de Realidade Aumentada rodando em hardware razoavelmente elegante pela primeira vez.
Agora que compartilhamos o Orion com o mundo, estamos focados em algumas coisas:
- Ajustando a qualidade da exibição de Realidade Aumentada para tornar o visual ainda mais nítido
- Otimizando sempre que possível para tornar o formato ainda menor
- Construindo em escala para torná-los mais acessíveis
Nos próximos anos, você pode esperar ver novos dispositivos nossos que se baseiam em nossos esforços de Pesquisa e Desenvolvimento. E uma série de inovações do Orion foram estendidas aos nossos produtos de consumo atuais, bem como ao nosso roteiro de produtos futuros. Otimizamos alguns de nossos algoritmos de percepção espacial, que estão sendo executados no Meta Quest 3S e no Orion. Embora o olhar e o sistema de entrada gestual sutil tenham sido originalmente projetados para o Orion, planejamos usá-los em produtos futuros. E também estamos explorando o uso de pulseiras EMG em futuros produtos de consumo.
O Orion não é apenas uma janela para o futuro – é uma visão das possibilidades reais ao nosso alcance hoje. Nós o construímos em busca do que fazemos de melhor: ajudar as pessoas a se conectarem. Dos óculos inteligentes Ray-Ban Meta ao Orion, vimos o bem que pode advir de permitir que as pessoas permaneçam mais presentes e capacitadas no mundo físico, mesmo enquanto aproveitam toda a riqueza adicional que o mundo digital tem a oferecer.
Acreditamos que você não deveria ter que escolher entre os dois. E com a próxima plataforma de computação, você não precisará fazer isso.