A inteligência artificial tem sido um componente crucial do sistema de anúncios da Meta. Começamos com a engenharia manual de recursos para pequenos modelos e progredimos para a construção de centenas de modelos de redes neurais com trilhões de parâmetros. Cada modelo é otimizado de forma independente para diferentes objetivos, como melhorar a qualidade do anúncio para fornecer melhores experiências para as pessoas ou aumentar as taxas de conversão para obter um maior retorno sobre o investimento em anúncios para nossos anunciantes.
A Meta continua a tomar medidas para avançar e implantar IA de última geração e oferecer uma mudança no desempenho do nosso sistema de anúncios. Estamos lançando modelos de IA mais robustos para melhorar o desempenho em todos os tipos e superfícies de anúncio. Nosso objetivo é alcançar isso através de um alinhamento mais profundo com os objetivos dos anunciantes e expandindo os recursos que estão crescendo rapidamente, como é o caso dos vídeos curtos, a fim de oferecer experiências agradáveis às pessoas – tudo isso enquanto trabalhamos para proteger a privacidade.
Recentemente, construímos e implantamos a Meta Lattice, uma nova arquitetura de modelo que aprende a prever o desempenho de um anúncio em uma variedade de conjuntos de dados e metas de otimização que antes eram suportadas por vários modelos menores e isolados. Ele aprimora o sistema de anúncios da Meta das seguintes maneiras:
- Melhor performance. A Meta Lattice é capaz de melhorar o desempenho do nosso sistema de anúncios de forma completa. Potencializamos seu desempenho com uma arquitetura de alta capacidade que permite que nosso sistema de anúncios compreenda de maneira mais ampla e profunda novos conceitos e relações em dados e beneficie os anunciantes por meio da otimização conjunta de um grande número de metas. Os primeiros resultados de nossa implantação no Instagram mostram que o compartilhamento de conhecimento em diferentes superfícies (por exemplo, Feed, Stories e Reels) e em vários objetivos de anunciantes (por exemplo, cliques, exibições de vídeo e conversões) aumentou o desempenho dos anunciantes. A otimização conjunta de valor para pessoas e anunciantes resultou em melhores experiências de anúncios para as pessoas, mostrando uma melhoria de aproximadamente 8% na qualidade dos anúncios.
- Eficiência de inteligência artificial aprimorada. Manter e desenvolver menos modelos mais robustos tornam nosso sistema geral de anúncios mais ágil na adoção de futuras inovações de IA, gerando maior valor para nossos anunciantes. Também esperamos que a transição para Meta Lattice permita que nossa frota melhore a eficiência computacional, liberando recursos para explorar novas fronteiras em IA.
- Adaptabilidade mais rápida ao cenário de mercado em constante mudança. À medida que as expectativas das pessoas sobre como seus dados são usados continuam a evoluir, os regulamentos e políticas de governos e players do setor também estão mudando. A evolução dos regulamentos de uso de dados e das práticas de plataforma altera o tipo e a quantidade de dados disponíveis para os modelos de aprendizado de máquina. Projetamos o Meta Lattice para impulsionar o desempenho dos anunciantes no novo ambiente de publicidade digital, onde temos acesso a dados menos granulares. Além disso, o Lattice é capaz de generalizar aprendizados entre domínios e objetivos, o que é especialmente crucial quando o modelo tem dados limitados para treinar. Menos modelos também significa que podemos atualizar nossos modelos de forma proativa e eficiente e adaptá-los ao cenário de mercado em rápida evolução.
Meta Lattice: Uma arquitetura de modelo maior que a soma de suas partes
Antes do uso dessa arquitetura de modelo, o espaço do modelo Meta Ads foi projetado para crescer substancialmente nos próximos anos, à medida que surgem novas superfícies, produtos de anunciantes e práticas de privacidade. A manutenção de um grande espaço de modelo geralmente leva a uma proliferação mais lenta de inovações de IA e à ineficiência de computação.
Construímos uma arquitetura de modelo holístico que incorpora sinais díspares e equilibra o desempenho entre domínios e objetivos. Além disso, equilibrar o desempenho do modelo com a eficiência de computação é um desafio técnico complexo e atraente.
Para superar esses desafios, construímos os seguintes componentes principais:
- Compreensão holística dos objetivos dos anunciantes e das pessoas. O Meta Lattice pode entender os padrões de uso comuns e os padrões de engajamento de anunciantes únicos e latentes de fontes de dados heterogêneas, por meio de aprendizado multidomínio e multitarefa e armado por técnicas de ativação esparsas. Esse mecanismo é particularmente útil para o problema de “inicialização a frio” – as pessoas podem receber recomendações de anúncios mais relevantes sobre produtos e superfícies emergentes, mesmo que haja poucos dados para aprender, por meio de uma melhor generalização.
- Lidando com feedback atrasado. O engajamento entre um anúncio e uma pessoa que o visualiza pode durar de segundos (por exemplo, clicar, curtir) a dias (por exemplo, considerar uma compra, adicionar a um carrinho e, posteriormente, fazer a compra em um site ou aplicativo). Por meio da modelagem multi distribuição com consciência temporal, o Meta Lattice pode capturar não apenas a intenção em tempo real de uma pessoa a partir de novos sinais, mas também o interesse de longo prazo de sinais lentos, esparsos e atrasados.
- Equilibrar vários domínios e objetivos. Meta Lattice é capaz de equilibrar o desempenho em vários domínios e objetivos e atingir um status em que nenhum objetivo pode ser melhorado sem prejudicar o resto (também conhecido como otimização de Pareto). Técnicas como a seleção de recursos Pareto-front, Meta Balance, ajudam a evitar o ajuste manual do desempenho de milhares de domínios diferentes e dezenas de objetivos diferentes.
- Caminhando em direção à otimização global. Meta Lattice reduz o número de previsões e hiperparâmetros, aproveitando os relacionamentos de tarefas subjacentes no modelo. Em vez de ajustar manualmente um conjunto de hiperparâmetros no sistema de anúncios, o Meta Lattice aprende automaticamente seu valor ideal.
- Dimensionamento de modelo avançado. A Meta Lattice tem trilhões de parâmetros com centenas de bilhões de exemplos de milhares de domínios de dados, incluindo as superfícies da plataforma Meta e nossos produtos voltados para anunciantes. Nosso modelo personalizado de Deep and Hierarchical Ensemble Network, construído sobre um backbone Transformers, é altamente escalável em GPUs.
- Maximizando a eficiência do Capex de IA. Anteriormente, centenas de modelos eram treinados, servidos e otimizados separadamente. Agora introduzimos dois níveis de compartilhamento de recursos: (1) compartilhamento horizontal entre domínios, objetivos e estágios de classificação por meio de otimização conjunta; e (2) compartilhamento hierárquico entre modelos upstream grandes e de alta capacidade para modelos verticais downstream leves. Por meio do aprimoramento do compartilhamento de recursos, podemos reduzir significativamente a quantidade de necessidades computacionais.
Inaugurando uma nova era de anúncios baseados em IA
Conforme as empresas enfrentam mudanças contínuas no comportamento do consumidor, desacelerações econômicas e outras modificações nas práticas e restrições de uso de dados do setor, precisamos de sistemas de IA mais inteligentes e flexíveis que possam enfrentar esses desafios com rapidez e eficiência.
Meta Lattice é uma maneira de usar a IA de forma mais ampla e profunda para aprimorar o sistema de anúncios da Meta. O sistema aprenderá continuamente as características essenciais que melhoram o desempenho do anúncio em várias superfícies, objetivos e tipos de anúncios simultaneamente. No futuro, continuaremos a iterar no Meta Lattice. Essa nova arquitetura de modelo cria um sistema mais ágil — mais adaptável a mudanças de mercado mais amplas, que pode utilizar rapidamente as inovações de IA e que opera com mais eficiência para fornecer os resultados que ajudam as empresas a crescer.