Já se passaram cerca de sete meses desde que lançamos o Llama 1 e apenas alguns meses desde que o Llama 2 foi apresentado, seguido pelo lançamento de Code Llama. Em suma, a resposta da comunidade tem sido surpreendente. Vimos muito impulso e inovação, com mais de 30 milhões de downloads de modelos baseados em Llama através do Hugging Face e mais de 10 milhões deles apenas nos últimos 30 dias. Assim como o PyTorch, o Llama evoluiu para se tornar uma plataforma que o mundo usa para construir, e não poderíamos estar mais animados.
Impacto até o momento
Vários desenvolvimentos notáveis destacam o crescimento da comunidade Llama:
- Uso da nuvem: as principais plataformas, como AWS, Google Cloud e Microsoft Azure, adotaram os modelos Llama, e a presença do Llama 2 na nuvem está se expandindo. Hoje anunciamos a AWS como nosso primeiro parceiro de API gerenciado para o Llama 2. Agora, organizações de todos os tamanhos podem acessar os modelos Llama 2 no Amazon Bedrock sem precisar gerenciar a infraestrutura subjacente. Trata-se de uma mudança radical na acessibilidade. Além disso, até o momento, o uso final tem sido incrível, com o Google Cloud e a AWS juntos vendo mais de 3.500 projetos corporativos iniciados com base nos modelos Llama 2.
- Inovadores: Inovadores e startups estão fazendo do Llama a base para sua inovação de produtos com base em IA generativa. Dezenas de milhares de startups estão usando ou avaliando Llama 2, incluindo Anyscale, Replicate, Snowflake, LangSmith, Scale AI e tantos outros. E empresas inovadoras como o DoorDash estão usando a linguagem para experimentar em escala antes de lançar novos recursos com tecnologia LLM.
- Otimização de crowdsourcing: A comunidade de código aberto realmente abraçou nossos modelos. Até o momento, a comunidade ajustou e lançou mais de 7.000 derivados no Hugging Face. Em média, em todos os benchmarks padrão, eles melhoraram o desempenho em benchmarks comuns em quase 10%, com melhorias notáveis de até 46% para conjuntos de dados de benchmark como o TruthQA.
- Comunidade de desenvolvedores: Existem agora mais de 7.000 projetos no GitHub construídos ou mencionando o Llama. Novas ferramentas, bibliotecas de implantação, métodos para avaliação de modelos e até mesmo versões “reduzidas” do Llama estão sendo desenvolvidas para levá-lo a dispositivos de ponta e plataformas móveis. Além disso, a comunidade expandiu o Llama para suportar janelas de contexto maiores, adicionou suporte para outros idiomas e muito mais.
- Suporte de hardware: A comunidade de hardware abraçou totalmente o Llama como uma arquitetura de modelo chave. Grandes plataformas de hardware como AMD, Intel, Nvidia e Google aumentaram o desempenho do Llama 2 por meio de otimizações de hardware e software.
O ecossistema é vibrante com participantes em todas as camadas, de servidores e hardware móvel a plataformas de nuvem, startups e empresas.
Com o lançamento mais recente do Code Llama, esses modelos ficaram disponíveis em muitas dessas plataformas em poucas horas, criando um nível incrível de velocidade para a comunidade.
Começou como um projeto de pesquisa em rápida evolução…
Nos últimos anos, grandes modelos de linguagem (LLMs) — sistemas de processamento de linguagem natural (NLP) com bilhões de parâmetros — demonstraram novas capacidades, como gerar texto criativo, resolver teoremas matemáticos, prever estruturas de proteínas, responder a perguntas de compreensão de leitura e muito mais. Esses projetos representam exemplos claros dos benefícios potenciais significativos que a IA pode oferecer a bilhões de pessoas em escala.
O projeto original, LLaMA, ou Llama 1 como denotamos mais recentemente, foi desenvolvido na FAIR por uma equipe focada principalmente em matemática formal, mas em paralelo viu o poder dos LLMs e como um modelo relativamente menor treinado com as leis de escala corretas e dados altamente curados poderia ser uma base poderosa para novas aplicações em pesquisa. Portanto, a primeira geração de Llama nasceu e, desde então, despertou a inovação em toda a academia e no mundo. Na verdade, em questão de dias, pesquisadores em várias instituições acadêmicas foram capazes de ajustar versões muito melhoradas do Llama 1 que poderiam seguir instruções ou lidar com tarefas adicionais. E a partir daí a comunidade começou a inovar de várias formas e em várias direções.
Mas queríamos tornar a tecnologia disponível de forma mais ampla. Foi aí que surgiu o Llama 2.
Por que lançamos nossos modelos?
Como nossa história mostra, acreditamos profundamente no poder da comunidade de código aberto. Acreditamos que a tecnologia de IA de última geração é mais segura e melhor alinhada quando está aberta e acessível a todos.
Além disso, onde há áreas de alta entropia, é vantajoso construir pontes e alavancar a inovação que inevitavelmente surge. Isso foi verdade para o PyTorch, onde avanços como Stable Diffusion, GPT 3 e GPT 4 continuamente interromperam o mundo da IA, e é verdade para o Llama também. Para nós da Meta, podemos resumir o valor em três eixos:
Pesquisa: Novas técnicas, otimizações de desempenho, ferramentas e métodos de avaliação, incluindo o trabalho em segurança, fornecem à Meta alavancagem da comunidade de pesquisa para incorporar aprendizados mais rapidamente. Muitas dessas comunidades também são emergentes, e colaborar abertamente torna muito mais fácil progredir;
Empresa e comercialização: Quanto mais empresas e startups se baseiam em nossa tecnologia, mais podemos aprender sobre o seu uso, sua implementação segura de modelos e oportunidades em potencial;
Ecossistema de desenvolvedores: os LLMs mudaram fundamentalmente o desenvolvimento de IA, e novas ferramentas e abordagens estão surgindo diariamente para manipular, gerenciar e avaliar modelos. Ter uma comunicação aberta e franca com a comunidade nos permite alavancar rapidamente essas tecnologias, acelerando nossa estrutura interna.
Mas isso não é novidade para a Meta. Assim como acontece com o PyTorch e dezenas de outros projetos lançados publicamente ou de código aberto, essa filosofia está profundamente enraizada no DNA da nossa empresa.
O caminho a seguir
Uma coisa é certa: o espaço de IA generativa se move rapidamente, e todos estamos aprendendo juntos sobre as capacidades e aplicações dessa tecnologia. A Meta continua comprometida com uma abordagem aberta para a IA de hoje. Aqui estão algumas das áreas de foco para nós enquanto continuamos nesta jornada juntos:
Multimodal: Assim como o mundo não é feito inteiramente de texto, a IA pode abraçar novas modalidades para permitir experiências generativas ainda mais imersivas;
Segurança e responsabilidade: A IA generativa revitalizou o mundo da IA responsável. Colocaremos ainda mais ênfase na segurança e responsabilidade, desenvolvendo novas ferramentas, construindo parcerias e utilizando o Llama como um veículo para nossa comunidade continuar a aprender sobre como construir com segurança e responsabilidade; e
Foco na comunidade: Assim como o PyTorch, vemos isso como uma comunidade de desenvolvedores que têm voz, e queremos dar a eles agência e um veículo para promover sua inovação. Nosso objetivo é fornecer novas maneiras para a comunidade mostrar trabalho, contribuir e contar suas histórias.
Quer saber mais sobre a família Llama?
Durante a apresentação do Meta Connect, falamos muito sobre nossos modelos Llama e o futuro do acesso aberto. De nossas sessões a workshops práticos, estamos entusiasmados em compartilhar nossos últimos desenvolvimentos com você.
Aqui estão algumas maneiras de se aprofundar e aprender mais:
- Baixe o modelo e interaja com o Llama 2.
- Participe das Sessões Connect, incluindo nossos workshops sobre construção com modelos Llama.
- Visite ai.meta.com/llama para ler o documento, conhecer nosso guia de uso responsável e política de uso aceitável, além de saber mais sobre os parceiros que ajudam a apoiar o ecossistema Llama.