Meta

O Ecossistema Llama: Passado, Presente e Futuro

Já se passaram cerca de sete meses desde que lançamos o Llama 1 e apenas alguns meses desde que  o Llama 2 foi apresentado, seguido pelo lançamento de Code Llama. Em suma, a resposta da comunidade tem sido surpreendente. Vimos muito impulso e inovação, com mais de 30 milhões de downloads de modelos baseados em Llama através do Hugging Face e mais de 10 milhões deles apenas nos últimos 30 dias. Assim como o PyTorch, o Llama evoluiu para se tornar uma plataforma que o mundo usa para construir, e não poderíamos estar mais animados.

Impacto até o momento

Vários desenvolvimentos notáveis destacam o crescimento da comunidade Llama:

O ecossistema é vibrante com participantes em todas as camadas, de servidores e hardware móvel a plataformas de nuvem, startups e empresas.

Com o lançamento mais recente do Code Llama, esses modelos ficaram disponíveis em muitas dessas plataformas em poucas horas, criando um nível incrível de velocidade para a comunidade.

Começou como um projeto de pesquisa em rápida evolução…

Nos últimos anos, grandes modelos de linguagem (LLMs) — sistemas de processamento de linguagem natural (NLP) com bilhões de parâmetros — demonstraram novas capacidades, como gerar texto criativo, resolver teoremas matemáticos, prever estruturas de proteínas, responder a perguntas de compreensão de leitura e muito mais. Esses projetos representam exemplos claros dos benefícios potenciais significativos que a IA pode oferecer a bilhões de pessoas em escala.

O projeto original, LLaMA, ou Llama 1 como denotamos mais recentemente, foi desenvolvido na FAIR por uma equipe focada principalmente em matemática formal,  mas em paralelo viu o poder dos LLMs e como um modelo relativamente menor treinado com as leis de escala corretas e dados altamente curados poderia ser uma base poderosa para novas aplicações em pesquisa. Portanto, a primeira geração de Llama nasceu e, desde então, despertou a inovação em toda a academia e no mundo. Na verdade, em questão de dias, pesquisadores em várias instituições acadêmicas foram capazes de ajustar versões muito melhoradas do Llama 1 que poderiam seguir instruções ou lidar com tarefas adicionais. E a partir daí a comunidade começou a inovar de várias formas e em várias direções. 

Mas queríamos tornar a tecnologia disponível de forma mais ampla. Foi aí que surgiu o Llama 2.

Por que lançamos nossos modelos?

Como nossa história mostra, acreditamos profundamente no poder da comunidade de código aberto. Acreditamos que a tecnologia de IA de última geração é mais segura e melhor alinhada quando está aberta e acessível a todos.

Além disso, onde há áreas de alta entropia, é vantajoso construir pontes e alavancar a inovação que inevitavelmente surge. Isso foi verdade para o PyTorch, onde avanços como Stable Diffusion, GPT 3 e GPT 4 continuamente interromperam o mundo da IA, e é verdade para o Llama também. Para nós da Meta, podemos resumir o valor em três eixos:

Pesquisa: Novas técnicas, otimizações de desempenho, ferramentas e métodos de avaliação, incluindo o trabalho em segurança, fornecem à Meta alavancagem da comunidade de pesquisa para incorporar aprendizados mais rapidamente. Muitas dessas comunidades também são emergentes, e colaborar abertamente torna muito mais fácil progredir; 

Empresa e comercialização: Quanto mais empresas e startups se baseiam em nossa tecnologia, mais podemos aprender sobre o seu uso, sua implementação segura de modelos e oportunidades em potencial;

Ecossistema de desenvolvedores: os LLMs mudaram fundamentalmente o desenvolvimento de IA, e novas ferramentas e abordagens estão surgindo diariamente para manipular, gerenciar e avaliar modelos. Ter uma comunicação aberta e franca com a comunidade nos permite alavancar rapidamente essas tecnologias, acelerando nossa estrutura interna.

Mas isso não é novidade para a Meta. Assim como acontece com o PyTorch e dezenas de outros projetos lançados publicamente ou de código aberto, essa filosofia está profundamente enraizada no DNA da nossa empresa.

O caminho a seguir

Uma coisa é certa: o espaço de IA generativa se move rapidamente, e todos estamos aprendendo juntos sobre as capacidades e aplicações dessa tecnologia. A Meta continua comprometida com uma abordagem aberta para a IA de hoje. Aqui estão algumas das áreas de foco para nós enquanto continuamos nesta jornada juntos:

Multimodal: Assim como o mundo não é feito inteiramente de texto, a IA pode abraçar novas modalidades para permitir experiências generativas ainda mais imersivas;

Segurança e responsabilidade: A IA generativa revitalizou o mundo da IA responsável. Colocaremos ainda mais ênfase na segurança e responsabilidade, desenvolvendo novas ferramentas, construindo parcerias e utilizando o Llama como um veículo para nossa comunidade continuar a aprender sobre como construir com segurança e responsabilidade; e

Foco na comunidade: Assim como o PyTorch, vemos isso como uma comunidade de desenvolvedores que têm voz, e queremos dar a eles agência e um veículo para promover sua inovação. Nosso objetivo é fornecer novas maneiras para a comunidade mostrar trabalho, contribuir e contar suas histórias.

Quer saber mais sobre a família Llama?

Durante a apresentação do Meta Connect, falamos muito sobre nossos modelos Llama e o futuro do acesso aberto. De nossas sessões a workshops práticos, estamos entusiasmados em compartilhar nossos últimos desenvolvimentos com você.

 Aqui estão algumas maneiras de se aprofundar e aprender mais:

  1. Baixe o modelo e interaja com o Llama 2.
  2. Participe das Sessões Connect, incluindo nossos workshops sobre construção com modelos Llama.
  3. Visite ai.meta.com/llama para ler o documento, conhecer nosso guia de uso responsável e política de uso aceitável, além de saber mais sobre os parceiros que ajudam a apoiar o ecossistema Llama.