{"id":25525,"date":"2024-04-18T13:35:46","date_gmt":"2024-04-18T16:35:46","guid":{"rendered":"https:\/\/about.fb.com\/br\/?p=25525"},"modified":"2024-06-05T17:04:24","modified_gmt":"2024-06-05T20:04:24","slug":"apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje","status":"publish","type":"post","link":"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/","title":{"rendered":"Apresentando Meta Llama 3: o grande modelo de linguagem de c\u00f3digo aberto mais capaz at\u00e9 hoje"},"content":{"rendered":"

Hoje, temos o prazer de compartilhar os dois primeiros modelos da pr\u00f3xima gera\u00e7\u00e3o do Llama, Meta Llama 3, dispon\u00edveis para amplo uso. Esta vers\u00e3o apresenta modelos de linguagem pr\u00e9-treinados e ajustados por instru\u00e7\u00e3o com par\u00e2metros 8B e 70B, que podem suportar uma grande variedade de casos de usabilidade. Esta pr\u00f3xima gera\u00e7\u00e3o do Llama demonstra desempenho de \u00faltima gera\u00e7\u00e3o em uma vasta gama de benchmarks do setor e oferece novos recursos, incluindo racioc\u00ednio aprimorado. Acreditamos que esses s\u00e3o os melhores modelos de c\u00f3digo aberto de sua classe – ponto final. E em apoio \u00e0 nossa abordagem de c\u00f3digo aberto de longa data, estamos colocando o Llama 3 nas m\u00e3os da comunidade. Queremos dar in\u00edcio \u00e0 pr\u00f3xima onda de inova\u00e7\u00e3o em IA em todos os aspectos \u2013 desde aplicativos at\u00e9 ferramentas para desenvolvedores, avalia\u00e7\u00f5es, otimiza\u00e7\u00f5es de infer\u00eancia e muito mais. Mal podemos esperar para ver o que voc\u00ea construir\u00e1 – e aguardamos o seu feedback!<\/span><\/p>\n

Nossos objetivos para o Llama 3<\/b><\/p>\n

Com o Llama 3, pretendemos construir os melhores modelos abertos que estejam no mesmo n\u00edvel dos melhores modelos propriet\u00e1rios dispon\u00edveis atualmente. Quisemos considerar o feedback dos desenvolvedores para aumentar a utilidade geral do Llama 3 e estamos fazendo isso enquanto continuamos desempenhando um papel de lideran\u00e7a no uso respons\u00e1vel e na implementa\u00e7\u00e3o de LLMs (grandes modelos de linguagem). Estamos adotando o \u2018esp\u00edrito\u2019 do c\u00f3digo aberto ao lan\u00e7ar de forma antecipada e frequente para permitir que a comunidade tenha acesso a esses modelos enquanto eles ainda est\u00e3o em desenvolvimento. Os modelos baseados em texto que lan\u00e7amos hoje s\u00e3o os primeiros da cole\u00e7\u00e3o de modelos Llama 3. O nosso objetivo num futuro pr\u00f3ximo \u00e9 tornar o Llama 3 multil\u00edngue e multimodal, ter um contexto mais longo e continuar melhorando o desempenho geral em todos os principais recursos do LLM, como racioc\u00ednio e codifica\u00e7\u00e3o.<\/span><\/p>\n

Desempenho de \u00faltima gera\u00e7\u00e3o<\/b><\/p>\n

Os nossos novos modelos Llama 3 de par\u00e2metros 8B e 70B s\u00e3o um grande salto em rela\u00e7\u00e3o ao Llama 2 e estabelecem um novo par\u00e2metro para modelos LLM nessas escalas. Gra\u00e7as \u00e0s melhorias no pr\u00e9 e p\u00f3s-treinamento, os nossos modelos pr\u00e9-treinados e ajustados por instru\u00e7\u00e3o s\u00e3o os melhores modelos existentes hoje na escala de par\u00e2metros 8B e 70B. As melhorias nos nossos procedimentos p\u00f3s-treinamento reduziram substancialmente as taxas de falsas recusas, melhoraram o alinhamento e aumentaram a diversidade nas respostas dos modelos. Tamb\u00e9m vimos recursos bastante aprimorados, como racioc\u00ednio, gera\u00e7\u00e3o de c\u00f3digo e instru\u00e7\u00f5es a seguir, tornando o Llama 3 mais orient\u00e1vel.<\/span><\/p>\n

\"\"<\/p>\n

* Consulte os <\/span>detalhes da avalia\u00e7\u00e3o<\/span><\/a> para conhecer as configura\u00e7\u00f5es e os par\u00e2metros com os quais essas avalia\u00e7\u00f5es s\u00e3o calculadas.<\/span><\/h5>\n

No desenvolvimento do Llama 3, analisamos o desempenho do modelo em benchmarks padr\u00e3o e tamb\u00e9m procuramos otimizar o desempenho para cen\u00e1rios do mundo real. Para este fim, desenvolvemos um novo conjunto de avalia\u00e7\u00e3o humana de alta qualidade. Este conjunto cont\u00e9m 1.800 prompts, que cobrem 12 casos de uso principais: solicita\u00e7\u00e3o de conselhos, brainstorming, classifica\u00e7\u00e3o, resposta a perguntas fechadas, codifica\u00e7\u00e3o, escrita criativa, extra\u00e7\u00e3o, habitar um personagem\/persona, resposta a perguntas abertas, racioc\u00ednio, reescrita e resumo. Para evitar overfitting (ajuste excessivo) acidental de nossos modelos neste conjunto de avalia\u00e7\u00e3o, mesmo as nossas pr\u00f3prias equipes de modelagem n\u00e3o t\u00eam acesso a ele. O gr\u00e1fico abaixo mostra resultados agregados de nossas avalia\u00e7\u00f5es humanas nessas categorias e solicita\u00e7\u00f5es em rela\u00e7\u00e3o a Claude Sonnet, Mistral Medium e GPT-3.5.<\/span><\/p>\n

\"\"<\/p>\n

As classifica\u00e7\u00f5es de prefer\u00eancia feitas por humanos com base neste conjunto de avalia\u00e7\u00e3o destacam o forte desempenho do nosso modelo de seguimento de instru\u00e7\u00f5es 70B em compara\u00e7\u00e3o com modelos concorrentes de tamanho compar\u00e1vel em cen\u00e1rios do mundo real.<\/span><\/p>\n

Nosso modelo pr\u00e9-treinado tamb\u00e9m estabelece um novo par\u00e2metro para modelos LLM nessas escalas.<\/span><\/p>\n

\"\"<\/p>\n

*Consulte os <\/span>detalhes da avalia\u00e7\u00e3o<\/span><\/a> para conhecer as configura\u00e7\u00f5es e os par\u00e2metros com os quais essas avalia\u00e7\u00f5es s\u00e3o calculadas.<\/span><\/h5>\n

Para desenvolver um excelente modelo de linguagem, acreditamos que \u00e9 importante inovar, dimensionar e otimizar para simplificar. Adotamos essa filosofia de design em todo o projeto Llama 3, com foco em quatro \u2018ingredientes principais\u2019: a arquitetura do modelo, os dados de pr\u00e9-treinamento, amplia\u00e7\u00e3o do pr\u00e9-treinamento e ajuste fino das instru\u00e7\u00f5es.<\/span><\/p>\n

Arquitetura do modelo<\/b><\/p>\n

Em linha com a nossa filosofia de design, optamos por uma arquitetura de transformador decoder-only relativamente padr\u00e3o no Llama 3. Em compara\u00e7\u00e3o com o Llama 2, fizemos v\u00e1rias melhorias importantes. O Llama 3 usa uma tokeniza\u00e7\u00e3o (an\u00e1lise l\u00e9xica) com um vocabul\u00e1rio de 128 mil tokens, que codifica a linguagem com muito mais efici\u00eancia, o que leva a um desempenho do modelo substancialmente melhorado. Para aprimorar a efici\u00eancia de infer\u00eancia dos modelos Llama 3, adotamos aten\u00e7\u00e3o de consulta agrupada (GQA) nos tamanhos 8B e 70B. Treinamos os modelos em sequ\u00eancias de 8.192 tokens, usando uma m\u00e1scara para garantir que a autoaten\u00e7\u00e3o n\u00e3o ultrapasse os limites do documento.<\/span><\/p>\n

Dados de treinamento<\/b><\/p>\n

Para treinar o melhor modelo de linguagem, a curadoria de um conjunto de dados de treinamento grande e de alta qualidade \u00e9 fundamental. Em linha com os nossos princ\u00edpios de design, investimos pesadamente em dados de pr\u00e9-treinamento. O Llama 3 \u00e9 pr\u00e9-treinado em mais de 15T de tokens, todos coletados de fontes dispon\u00edveis publicamente. Nosso conjunto de dados de treinamento \u00e9 sete vezes maior que o usado para o Llama 2 e inclui quatro vezes mais c\u00f3digo. Para estarmos preparados para os pr\u00f3ximos casos de uso multil\u00edngue, mais de 5% do conjunto de dados de pr\u00e9-treinamento do Llama 3 consistem em dados de alta qualidade em idiomas diferentes do ingl\u00eas, abrangendo mais de 30 idiomas. Contudo, n\u00e3o esperamos o mesmo n\u00edvel de desempenho nestas l\u00ednguas do que em ingl\u00eas.<\/span><\/p>\n

Para garantir que o Llama 3 seja treinado com dados da mais alta qualidade, desenvolvemos uma s\u00e9rie de pipelines de filtragem de dados. Esses pipelines incluem o uso de filtros heur\u00edsticos, filtros NSFW, abordagens de desduplica\u00e7\u00e3o sem\u00e2ntica e classificadores de texto para prever a qualidade dos dados. Descobrimos que as gera\u00e7\u00f5es anteriores do Llama s\u00e3o surpreendentemente boas na identifica\u00e7\u00e3o de dados de alta qualidade, por isso usamos o Llama 2 para gerar os dados de treinamento para os classificadores de qualidade de texto que alimentam o Llama 3.<\/span><\/p>\n

Tamb\u00e9m realizamos extensos experimentos para avaliar as melhores maneiras de misturar dados de diferentes fontes em nosso conjunto de dados final de pr\u00e9-treinamento. Esses experimentos nos permitiram selecionar um mix de dados que garante que o Llama 3 tenha um bom desempenho em todos os casos de uso, incluindo perguntas triviais, STEM, codifica\u00e7\u00e3o, conhecimento hist\u00f3rico, etc.<\/span><\/p>\n

Ampliando o pr\u00e9-treinamento<\/b><\/p>\n

Para aproveitar efetivamente nossos dados de pr\u00e9-treinamento nos modelos Llama 3, colocamos um esfor\u00e7o substancial na amplia\u00e7\u00e3o do pr\u00e9-treinamento. Especificamente, desenvolvemos uma s\u00e9rie de leis de escala detalhadas para avalia\u00e7\u00f5es de benchmark posteriores. Essas leis de escalabilidade nos permitem selecionar um mix de dados ideal e tomar decis\u00f5es informadas sobre como usar melhor nossa computa\u00e7\u00e3o de treinamento. \u00c9 importante ressaltar que as leis de escalonamento nos permitem prever o desempenho de nossos maiores modelos em tarefas principais (por exemplo, gera\u00e7\u00e3o de c\u00f3digo avaliada no benchmark HumanEval \u2013 veja acima) antes de realmente treinarmos os modelos. Isso nos ajuda a garantir um forte desempenho de nossos modelos finais em uma variedade de casos de uso e recursos.<\/span><\/p>\n

Fizemos v\u00e1rias novas observa\u00e7\u00f5es sobre o comportamento de escalonamento durante o desenvolvimento do Llama 3. Por exemplo, embora a quantidade ideal de computa\u00e7\u00e3o de treinamento do Chinchilla para um modelo de par\u00e2metro de 8B corresponda a aproximadamente 200B de tokens, descobrimos que o desempenho do modelo continua melhorando mesmo ap\u00f3s ele ser treinado em duas ordens de magnitude a mais de dados. Nossos modelos de par\u00e2metros 8B e 70B continuaram melhorando log-linearmente depois que os treinamos em tokens de at\u00e9 15T. Modelos maiores podem igualar o desempenho desses modelos menores com menos treinamento de computa\u00e7\u00e3o, mas modelos menores s\u00e3o geralmente preferidos porque s\u00e3o muito mais eficientes durante a infer\u00eancia.<\/span><\/p>\n

Para treinar nossos maiores modelos do Llama 3, combinamos tr\u00eas tipos de paraleliza\u00e7\u00e3o: paraleliza\u00e7\u00e3o de dados, paraleliza\u00e7\u00e3o de modelo e paraleliza\u00e7\u00e3o de pipeline. Nossa implementa\u00e7\u00e3o mais eficiente atinge uma utiliza\u00e7\u00e3o computacional de mais de 400 TFLOPS por GPU quando treinada em GPUs de 16K simultaneamente. Realizamos execu\u00e7\u00f5es de treinamento em <\/span>dois clusters de GPU de 24K<\/span><\/a> personalizados. Para maximizar o tempo de atividade da GPU, desenvolvemos uma nova amostra de treinamento avan\u00e7ada que automatiza a detec\u00e7\u00e3o, o tratamento e a manuten\u00e7\u00e3o de erros. Tamb\u00e9m melhoramos bastante a confiabilidade do nosso hardware e os mecanismos de detec\u00e7\u00e3o de corrup\u00e7\u00e3o silenciosa de dados, e desenvolvemos novos sistemas de armazenamento escal\u00e1veis que reduzem as despesas gerais de verifica\u00e7\u00e3o e revers\u00e3o. Essas melhorias resultaram em um tempo de treinamento eficaz geral de mais de 95%. Combinadas, as melhorias aumentaram a efici\u00eancia do treinamento do Llama 3 em aproximadamente 3x em compara\u00e7\u00e3o com o Llama 2.<\/span><\/p>\n

Ajuste fino de instru\u00e7\u00e3o<\/b><\/p>\n

Para desbloquear totalmente o potencial de nossos modelos pr\u00e9-treinados em casos de uso de chat, inovamos tamb\u00e9m em nossa abordagem de ajuste de instru\u00e7\u00e3o. Nossa abordagem ao p\u00f3s-treinamento \u00e9 uma combina\u00e7\u00e3o de ajuste fino supervisionado (SFT), amostragem de rejei\u00e7\u00e3o, otimiza\u00e7\u00e3o de pol\u00edtica proximal (PPO) e otimiza\u00e7\u00e3o de pol\u00edtica direta (DPO). A qualidade dos prompts usados em OFVM e as classifica\u00e7\u00f5es de prefer\u00eancia usadas em PPO e DPO t\u00eam uma influ\u00eancia descomunal no desempenho de modelos alinhados. Algumas de nossas maiores melhorias na qualidade do modelo vieram da curadoria cuidadosa desses dados e da realiza\u00e7\u00e3o de diversas rodadas de garantia de qualidade em anota\u00e7\u00f5es fornecidas por profissionais humanos.<\/span><\/p>\n

Aprender com as classifica\u00e7\u00f5es de prefer\u00eancia via PPO e DPO tamb\u00e9m melhorou muito o desempenho do Llama 3 em tarefas de racioc\u00ednio e codifica\u00e7\u00e3o. Descobrimos que se fizermos a um modelo uma pergunta de racioc\u00ednio que ele se esfor\u00e7a para responder, o modelo produzir\u00e1 por vezes o tra\u00e7o de racioc\u00ednio correto: ele sabe como produzir a resposta certa, mas n\u00e3o sabe como selecion\u00e1-la. O treinamento em classifica\u00e7\u00f5es de prefer\u00eancia permite que o modelo aprenda como selecion\u00e1-la.<\/span><\/p>\n

Construindo com o Llama 3<\/b><\/p>\n

A nossa vis\u00e3o \u00e9 permitir que os desenvolvedores personalizem o Llama 3 para oferecer suporte a casos de uso relevantes e facilitar a ado\u00e7\u00e3o de melhores pr\u00e1ticas e a melhoria do ecossistema aberto. Com este lan\u00e7amento, estamos fornecendo novas ferramentas de confian\u00e7a e seguran\u00e7a, incluindo <\/span>componentes<\/span><\/a> atualizados com Llama Guard 2 e Cybersec Eval 2, e a introdu\u00e7\u00e3o do Code Shield \u2013 uma prote\u00e7\u00e3o de tempo de infer\u00eancia para filtrar c\u00f3digo inseguro produzido por LLMs.<\/span><\/p>\n

Tamb\u00e9m co-desenvolvemos o Llama 3 com <\/span>torchtune<\/span><\/a>, a nova biblioteca nativa do PyTorch para f\u00e1cil cria\u00e7\u00e3o, ajuste fino e experimenta\u00e7\u00e3o com LLMs. O torchtune fornece receitas de treinamento hacke\u00e1veis com efici\u00eancia de mem\u00f3ria, escritas inteiramente em PyTorch. A biblioteca \u00e9 integrada a plataformas populares, como Hugging Face, Weights & Biases e EleutherAI, e ainda oferece suporte ao Executorch para permitir que infer\u00eancias eficientes sejam executadas em uma ampla variedade de dispositivos m\u00f3veis e edge. Para tudo que vai desde a engenharia imediata at\u00e9 o uso do Llama 3 com LangChain, temos um <\/span>guia de primeiros passos<\/span><\/a> abrangente, que vai te orientar desde o download do Llama 3 at\u00e9 a implanta\u00e7\u00e3o em escala dentro de seu aplicativo de IA generativo.<\/span><\/p>\n

Uma abordagem respons\u00e1vel sist\u00eamica<\/b><\/p>\n

Projetamos os modelos Llama 3 para serem extremamente \u00fateis e, ao mesmo tempo, garantir uma abordagem l\u00edder do setor para implement\u00e1-los com responsabilidade. Para conseguir isso, adotamos uma nova abordagem sist\u00eamica para o desenvolvimento e implementa\u00e7\u00e3o respons\u00e1vel do Llama. Imaginamos os modelos Llama como parte de um sistema mais amplo, que coloca o desenvolvedor no comando. Os modelos Llama servir\u00e3o como pe\u00e7a fundamental de um sistema que os desenvolvedores projetam com seus objetivos finais exclusivos em mente.<\/span><\/p>\n

\"\"<\/p>\n

O ajuste fino das instru\u00e7\u00f5es tamb\u00e9m desempenha um papel importante na garantia da seguran\u00e7a de nossos modelos. Nossos modelos aprimorados de instru\u00e7\u00e3o foram reunidos (testados) em termos de seguran\u00e7a por meio de esfor\u00e7os internos e externos. \u200b\u200bNossa abordagem de red teaming utiliza especialistas humanos e m\u00e9todos de automa\u00e7\u00e3o para gerar prompts advers\u00e1rios que tentam obter respostas problem\u00e1ticas. Por exemplo, aplicamos testes abrangentes para avaliar os riscos de uso indevido relacionados \u00e0s \u00e1reas de risco qu\u00edmico, biol\u00f3gico, cibern\u00e9tico, entre outras \u00e1reas. Todos esses esfor\u00e7os s\u00e3o iterativos e usados para informar o ajuste fino de seguran\u00e7a dos modelos que est\u00e3o sendo lan\u00e7ados. Voc\u00ea pode ler mais sobre nossos esfor\u00e7os no <\/span>cart\u00e3o modelo<\/span><\/a>.<\/span><\/p>\n

Os modelos Llama Guard destinam-se a ser uma base para a seguran\u00e7a imediata e de resposta e podem ser facilmente ajustados para criar uma nova taxonomia dependendo das necessidades da aplica\u00e7\u00e3o. Como ponto de partida, o novo Llama Guard 2 utiliza a <\/span>recentemente anunciada<\/span><\/a> taxonomia MLCommons, num esfor\u00e7o para apoiar o surgimento de padr\u00f5es da ind\u00fastria nesta importante \u00e1rea. Al\u00e9m disso, o CyberSecEval 2 expande seu antecessor, adicionando medidas de propens\u00e3o de um LLM para permitir o abuso de seu interpretador de c\u00f3digo, capacidades ofensivas de seguran\u00e7a cibern\u00e9tica e suscetibilidade a ataques de inje\u00e7\u00e3o imediata (saiba mais em <\/span>nosso artigo t\u00e9cnico<\/span><\/a>). Por fim, estamos apresentando o Code Shield, que adiciona suporte para filtragem em tempo de infer\u00eancia de c\u00f3digo inseguro produzido por LLMs. Isso oferece mitiga\u00e7\u00e3o de riscos relacionados a sugest\u00f5es de c\u00f3digo inseguro, preven\u00e7\u00e3o de abuso de int\u00e9rpretes de c\u00f3digo e execu\u00e7\u00e3o segura de comandos.<\/span><\/p>\n

Com a velocidade em que o espa\u00e7o da IA generativa est\u00e1 se movendo, acreditamos que uma abordagem aberta \u00e9 uma forma importante de unir o ecossistema e mitigar estes potenciais danos. Como parte disso, estamos atualizando o nosso <\/span>Guia de Uso Respons\u00e1vel<\/span><\/a> (RUG), que fornece um guia abrangente para o desenvolvimento respons\u00e1vel com LLMs. Conforme descrito no RUG, recomendamos que todas as entradas e sa\u00eddas sejam verificadas e filtradas de acordo com as diretrizes de conte\u00fado apropriadas \u00e0 aplica\u00e7\u00e3o. Al\u00e9m disso, muitos provedores de servi\u00e7os em nuvem oferecem APIs de modera\u00e7\u00e3o de conte\u00fado e outras ferramentas para implanta\u00e7\u00e3o respons\u00e1vel, e incentivamos os desenvolvedores a tamb\u00e9m considerarem o uso dessas op\u00e7\u00f5es.<\/span><\/p>\n

Implementando o Llama 3 em escala<\/b><\/p>\n

Em breve, o Llama 3 estar\u00e1 dispon\u00edvel em todas as principais plataformas, incluindo provedores de nuvem, provedores de modelo de API e muito mais. O Llama 3 <\/span>estar\u00e1 em toda parte<\/span><\/a>.<\/span><\/p>\n

Nossos benchmarks mostram que a tokeniza\u00e7\u00e3o oferece maior efici\u00eancia de token, rendendo at\u00e9 15% menos tokens em compara\u00e7\u00e3o com o Llama 2. Al\u00e9m disso, o Group Query Attention (GQA) agora tamb\u00e9m foi adicionado ao Llama 3 8B. Como resultado, observamos que, apesar do modelo ter 1B a mais de par\u00e2metros em compara\u00e7\u00e3o ao Llama 2 7B, a efici\u00eancia aprimorada de tokeniza\u00e7\u00e3o e o GQA contribuem para manter a efici\u00eancia de infer\u00eancia no mesmo n\u00edvel do Llama 2 7B.<\/span><\/p>\n

Para obter exemplos de como aproveitar todos esses recursos, acesse <\/span>Llama Recipes<\/span><\/a>, que cont\u00e9m todo o nosso c\u00f3digo-fonte aberto que pode ser aproveitado para tudo, desde o ajuste fino at\u00e9 a implementa\u00e7\u00e3o e a avalia\u00e7\u00e3o do modelo.<\/span><\/p>\n

O que vem por a\u00ed para o Llama 3?<\/b><\/p>\n

Os modelos Llama 3 8B e 70B marcam o in\u00edcio do que planejamos lan\u00e7ar para o Llama 3. E tem muito mais por vir.<\/span><\/p>\n

Nossos maiores modelos t\u00eam par\u00e2metros acima de 400B e, enquanto esses modelos ainda est\u00e3o em treinamento, nossa equipe est\u00e1 animada com a forma como est\u00e3o performando. Nos pr\u00f3ximos meses, lan\u00e7aremos v\u00e1rios modelos com novos recursos, incluindo multimodalidade, capacidade de conversar em v\u00e1rios idiomas, uma janela de contexto muito mais longa e recursos gerais mais fortes. Tamb\u00e9m publicaremos um artigo de pesquisa detalhado assim que terminarmos de treinar o Llama 3.<\/span><\/p>\n

Para dar uma pr\u00e9via de onde esses modelos est\u00e3o hoje \u00e0 medida que continuam o treinamento, pensamos em compartilhar alguns snapshots de como o nosso maior modelo LLM est\u00e1 performando. Observe que esses dados s\u00e3o baseados em um ponto de verifica\u00e7\u00e3o inicial do Llama 3, que ainda est\u00e1 em treinamento, e esses recursos n\u00e3o s\u00e3o suportados como parte dos modelos lan\u00e7ados hoje.<\/span><\/p>\n

\"\"<\/p>\n

*Consulte os <\/span>detalhes da avalia\u00e7\u00e3o<\/span><\/a> para conhecer as configura\u00e7\u00f5es e os par\u00e2metros com os quais essas avalia\u00e7\u00f5es s\u00e3o calculadas.<\/span><\/h5>\n

Estamos comprometidos com o crescimento e desenvolvimento cont\u00ednuos de um ecossistema aberto de IA para lan\u00e7ar os nossos modelos de forma respons\u00e1vel. H\u00e1 muito tempo acreditamos que a abertura conduz a produtos melhores e mais seguros, a inova\u00e7\u00f5es mais r\u00e1pidas e a um mercado global mais saud\u00e1vel. Isso \u00e9 bom para Meta e \u00e9 bom para a sociedade. Estamos adotando uma abordagem que prioriza a comunidade com o Llama 3 e, a partir de hoje, esses modelos est\u00e3o dispon\u00edveis nas principais plataformas de nuvem, hospedagem e hardware, com muito mais por vir.<\/span><\/p>\n

Meta Llama 3 hoje<\/b><\/p>\n

Gra\u00e7as aos nossos \u00faltimos avan\u00e7os com o Meta Llama 3, tamb\u00e9m estamos anunciando a expans\u00e3o internacional da IA da Meta, permitindo que mais pessoas usem esta tecnologia gratuita no Facebook, Instagram, WhatsApp e Messenger na Austr\u00e1lia, Canad\u00e1, Gana, Jamaica, Malawi, Nova Zel\u00e2ndia , Nig\u00e9ria, Paquist\u00e3o, Singapura, \u00c1frica do Sul, Uganda, Z\u00e2mbia e Zimb\u00e1bue \u2014 e estamos apenas a come\u00e7ar! Voc\u00ea pode ler mais sobre a experi\u00eancia da IA da Meta aqui<\/a>.<\/span><\/p>\n

Visite o <\/span>site do Llama 3<\/span><\/a> para baixar os modelos e consulte o <\/span>Guia de primeiros passos<\/span><\/a> para obter a lista mais recente de todas as plataformas dispon\u00edveis.<\/span><\/p>\n","protected":false},"excerpt":{"rendered":"Hoje, temos o prazer de compartilhar os dois primeiros modelos da pr\u00f3xima gera\u00e7\u00e3o do Llama, Meta Llama 3, dispon\u00edveis para amplo uso. Esta vers\u00e3o apresenta modelos de linguagem pr\u00e9-treinados e ajustados por instru\u00e7\u00e3o com par\u00e2metros 8B e 70B, que podem suportar uma grande variedade de casos de usabilidade. Esta pr\u00f3xima gera\u00e7\u00e3o do Llama demonstra desempenho de \u00faltima gera\u00e7\u00e3o em uma vasta gama de benchmarks do setor e oferece novos recursos, incluindo racioc\u00ednio aprimorado. Acreditamos que esses s\u00e3o os melhores modelos de c\u00f3digo aberto de sua classe – ponto final. E em apoio \u00e0 nossa abordagem de c\u00f3digo aberto de longa data, estamos colocando o Llama 3 nas m\u00e3os da comunidade. Queremos dar in\u00edcio \u00e0 pr\u00f3xima onda de inova\u00e7\u00e3o em IA em todos os aspectos \u2013 desde aplicativos at\u00e9 ferramentas para desenvolvedores, avalia\u00e7\u00f5es, otimiza\u00e7\u00f5es de infer\u00eancia e muito mais. Mal podemos esperar para ver o que voc\u00ea construir\u00e1 – e aguardamos o seu feedback! Nossos objetivos para o Llama 3 Com o Llama 3, pretendemos construir os melhores modelos abertos que estejam no mesmo n\u00edvel dos melhores modelos propriet\u00e1rios dispon\u00edveis atualmente. Quisemos considerar o feedback dos desenvolvedores para aumentar a utilidade geral do Llama 3 e estamos fazendo isso enquanto continuamos desempenhando um papel de lideran\u00e7a no uso respons\u00e1vel e na implementa\u00e7\u00e3o de LLMs (grandes modelos de linguagem). Estamos adotando o \u2018esp\u00edrito\u2019 do c\u00f3digo aberto ao lan\u00e7ar de forma antecipada e frequente para permitir que a comunidade tenha acesso a esses modelos enquanto eles ainda est\u00e3o em desenvolvimento. Os modelos baseados em texto que lan\u00e7amos hoje s\u00e3o os primeiros da cole\u00e7\u00e3o de modelos Llama 3. O nosso objetivo num futuro pr\u00f3ximo \u00e9 tornar o Llama 3 multil\u00edngue e multimodal, ter um contexto mais longo e continuar melhorando o desempenho geral em todos os principais recursos do LLM, como racioc\u00ednio e codifica\u00e7\u00e3o. Desempenho de \u00faltima gera\u00e7\u00e3o Os nossos novos modelos Llama 3 de par\u00e2metros 8B e 70B s\u00e3o um grande salto em rela\u00e7\u00e3o ao Llama 2 e estabelecem um novo par\u00e2metro para modelos LLM nessas escalas. Gra\u00e7as \u00e0s melhorias no pr\u00e9 e p\u00f3s-treinamento, os nossos modelos pr\u00e9-treinados e ajustados por instru\u00e7\u00e3o s\u00e3o os melhores modelos existentes hoje na escala de par\u00e2metros 8B e 70B. As melhorias nos nossos procedimentos p\u00f3s-treinamento reduziram substancialmente as taxas de falsas recusas, melhoraram o alinhamento e aumentaram a diversidade nas respostas dos modelos. Tamb\u00e9m vimos recursos bastante aprimorados, como racioc\u00ednio, gera\u00e7\u00e3o de c\u00f3digo e instru\u00e7\u00f5es a seguir, tornando o Llama 3 mais orient\u00e1vel. * Consulte os detalhes da avalia\u00e7\u00e3o para conhecer as configura\u00e7\u00f5es e os par\u00e2metros com os quais essas avalia\u00e7\u00f5es s\u00e3o calculadas. No desenvolvimento do Llama 3, analisamos o desempenho do modelo em benchmarks padr\u00e3o e tamb\u00e9m procuramos otimizar o desempenho para cen\u00e1rios do mundo real. Para este fim, desenvolvemos um novo conjunto de avalia\u00e7\u00e3o humana de alta qualidade. Este conjunto cont\u00e9m 1.800 prompts, que cobrem 12 casos de uso principais: solicita\u00e7\u00e3o de conselhos, brainstorming, classifica\u00e7\u00e3o, resposta a perguntas fechadas, codifica\u00e7\u00e3o, escrita criativa, extra\u00e7\u00e3o, habitar um personagem\/persona, resposta a perguntas abertas, racioc\u00ednio, reescrita e resumo. Para evitar overfitting (ajuste excessivo) acidental de nossos modelos neste conjunto de avalia\u00e7\u00e3o, mesmo as nossas pr\u00f3prias equipes de modelagem n\u00e3o t\u00eam acesso a ele. O gr\u00e1fico abaixo mostra resultados agregados de nossas avalia\u00e7\u00f5es humanas nessas categorias e solicita\u00e7\u00f5es em rela\u00e7\u00e3o a Claude Sonnet, Mistral Medium e GPT-3.5. As classifica\u00e7\u00f5es de prefer\u00eancia feitas por humanos com base neste conjunto de avalia\u00e7\u00e3o destacam o forte desempenho do nosso modelo de seguimento de instru\u00e7\u00f5es 70B em compara\u00e7\u00e3o com modelos concorrentes de tamanho compar\u00e1vel em cen\u00e1rios do mundo real. Nosso modelo pr\u00e9-treinado tamb\u00e9m estabelece um novo par\u00e2metro para modelos LLM nessas escalas. *Consulte os detalhes da avalia\u00e7\u00e3o para conhecer as configura\u00e7\u00f5es e os par\u00e2metros com os quais essas avalia\u00e7\u00f5es s\u00e3o calculadas. Para desenvolver um excelente modelo de linguagem, acreditamos que \u00e9 importante inovar, dimensionar e otimizar para simplificar. Adotamos essa filosofia de design em todo o projeto Llama 3, com foco em quatro \u2018ingredientes principais\u2019: a arquitetura do modelo, os dados de pr\u00e9-treinamento, amplia\u00e7\u00e3o do pr\u00e9-treinamento e ajuste fino das instru\u00e7\u00f5es. Arquitetura do modelo Em linha com a nossa filosofia de design, optamos por uma arquitetura de transformador decoder-only relativamente padr\u00e3o no Llama 3. Em compara\u00e7\u00e3o com o Llama 2, fizemos v\u00e1rias melhorias importantes. O Llama 3 usa uma tokeniza\u00e7\u00e3o (an\u00e1lise l\u00e9xica) com um vocabul\u00e1rio de 128 mil tokens, que codifica a linguagem com muito mais efici\u00eancia, o que leva a um desempenho do modelo substancialmente melhorado. Para aprimorar a efici\u00eancia de infer\u00eancia dos modelos Llama 3, adotamos aten\u00e7\u00e3o de consulta agrupada (GQA) nos tamanhos 8B e 70B. Treinamos os modelos em sequ\u00eancias de 8.192 tokens, usando uma m\u00e1scara para garantir que a autoaten\u00e7\u00e3o n\u00e3o ultrapasse os limites do documento. Dados de treinamento Para treinar o melhor modelo de linguagem, a curadoria de um conjunto de dados de treinamento grande e de alta qualidade \u00e9 fundamental. Em linha com os nossos princ\u00edpios de design, investimos pesadamente em dados de pr\u00e9-treinamento. O Llama 3 \u00e9 pr\u00e9-treinado em mais de 15T de tokens, todos coletados de fontes dispon\u00edveis publicamente. Nosso conjunto de dados de treinamento \u00e9 sete vezes maior que o usado para o Llama 2 e inclui quatro vezes mais c\u00f3digo. Para estarmos preparados para os pr\u00f3ximos casos de uso multil\u00edngue, mais de 5% do conjunto de dados de pr\u00e9-treinamento do Llama 3 consistem em dados de alta qualidade em idiomas diferentes do ingl\u00eas, abrangendo mais de 30 idiomas. Contudo, n\u00e3o esperamos o mesmo n\u00edvel de desempenho nestas l\u00ednguas do que em ingl\u00eas. Para garantir que o Llama 3 seja treinado com dados da mais alta qualidade, desenvolvemos uma s\u00e9rie de pipelines de filtragem de dados. Esses pipelines incluem o uso de filtros heur\u00edsticos, filtros NSFW, abordagens de desduplica\u00e7\u00e3o sem\u00e2ntica e classificadores de texto para prever a qualidade dos dados. Descobrimos que as gera\u00e7\u00f5es anteriores do Llama s\u00e3o surpreendentemente boas na identifica\u00e7\u00e3o de dados de alta qualidade, por isso usamos o Llama 2 para gerar os dados de treinamento para os classificadores de qualidade de texto que alimentam o Llama 3. Tamb\u00e9m realizamos extensos experimentos para avaliar as melhores maneiras de misturar dados de diferentes fontes em nosso conjunto de dados final de pr\u00e9-treinamento. Esses experimentos nos permitiram selecionar um mix de dados que garante que o Llama 3 tenha um bom desempenho em todos os casos de uso, incluindo perguntas triviais, STEM, codifica\u00e7\u00e3o, conhecimento hist\u00f3rico, etc. Ampliando o pr\u00e9-treinamento Para aproveitar efetivamente nossos dados de pr\u00e9-treinamento nos modelos Llama 3, colocamos um esfor\u00e7o substancial na amplia\u00e7\u00e3o do pr\u00e9-treinamento. Especificamente, desenvolvemos uma s\u00e9rie de leis de escala detalhadas para avalia\u00e7\u00f5es de benchmark posteriores. Essas leis de escalabilidade nos permitem selecionar um mix de dados ideal e tomar decis\u00f5es informadas sobre como usar melhor nossa computa\u00e7\u00e3o de treinamento. \u00c9 importante ressaltar que as leis de escalonamento nos permitem prever o desempenho de nossos maiores modelos em tarefas principais (por exemplo, gera\u00e7\u00e3o de c\u00f3digo avaliada no benchmark HumanEval \u2013 veja acima) antes de realmente treinarmos os modelos. Isso nos ajuda a garantir um forte desempenho de nossos modelos finais em uma variedade de casos de uso e recursos. Fizemos v\u00e1rias novas observa\u00e7\u00f5es sobre o comportamento de escalonamento durante o desenvolvimento do Llama 3. Por exemplo, embora a quantidade ideal de computa\u00e7\u00e3o de treinamento do Chinchilla para um modelo de par\u00e2metro de 8B corresponda a aproximadamente 200B de tokens, descobrimos que o desempenho do modelo continua melhorando mesmo ap\u00f3s ele ser treinado em duas ordens de magnitude a mais de dados. Nossos modelos de par\u00e2metros 8B e 70B continuaram melhorando log-linearmente depois que os treinamos em tokens de at\u00e9 15T. Modelos maiores podem igualar o desempenho desses modelos menores com menos treinamento de computa\u00e7\u00e3o, mas modelos menores s\u00e3o geralmente preferidos porque s\u00e3o muito mais eficientes durante a infer\u00eancia. Para treinar nossos maiores modelos do Llama 3, combinamos tr\u00eas tipos de paraleliza\u00e7\u00e3o: paraleliza\u00e7\u00e3o de dados, paraleliza\u00e7\u00e3o de modelo e paraleliza\u00e7\u00e3o de pipeline. Nossa implementa\u00e7\u00e3o mais eficiente atinge uma utiliza\u00e7\u00e3o computacional de mais de 400 TFLOPS por GPU quando treinada em GPUs de 16K simultaneamente. Realizamos execu\u00e7\u00f5es de treinamento em dois clusters de GPU de 24K personalizados. Para maximizar o tempo de atividade da GPU, desenvolvemos uma nova amostra de treinamento avan\u00e7ada que automatiza a detec\u00e7\u00e3o, o tratamento e a manuten\u00e7\u00e3o de erros. Tamb\u00e9m melhoramos bastante a confiabilidade do nosso hardware e os mecanismos de detec\u00e7\u00e3o de corrup\u00e7\u00e3o silenciosa de dados, e desenvolvemos novos sistemas de armazenamento escal\u00e1veis que reduzem as despesas gerais de verifica\u00e7\u00e3o e revers\u00e3o. Essas melhorias resultaram em um tempo de treinamento eficaz geral de mais de 95%. Combinadas, as melhorias aumentaram a efici\u00eancia do treinamento do Llama 3 em aproximadamente 3x em compara\u00e7\u00e3o com o Llama 2. Ajuste fino de instru\u00e7\u00e3o Para desbloquear totalmente o potencial de nossos modelos pr\u00e9-treinados em casos de uso de chat, inovamos tamb\u00e9m em nossa abordagem de ajuste de instru\u00e7\u00e3o. Nossa abordagem ao p\u00f3s-treinamento \u00e9 uma combina\u00e7\u00e3o de ajuste fino supervisionado (SFT), amostragem de rejei\u00e7\u00e3o, otimiza\u00e7\u00e3o de pol\u00edtica proximal (PPO) e otimiza\u00e7\u00e3o de pol\u00edtica direta (DPO). A qualidade dos prompts usados em OFVM e as classifica\u00e7\u00f5es de prefer\u00eancia usadas em PPO e DPO t\u00eam uma influ\u00eancia descomunal no desempenho de modelos alinhados. Algumas de nossas maiores melhorias na qualidade do modelo vieram da curadoria cuidadosa desses dados e da realiza\u00e7\u00e3o de diversas rodadas de garantia de qualidade em anota\u00e7\u00f5es fornecidas por profissionais humanos. Aprender com as classifica\u00e7\u00f5es de prefer\u00eancia via PPO e DPO tamb\u00e9m melhorou muito o desempenho do Llama 3 em tarefas de racioc\u00ednio e codifica\u00e7\u00e3o. Descobrimos que se fizermos a um modelo uma pergunta de racioc\u00ednio que ele se esfor\u00e7a para responder, o modelo produzir\u00e1 por vezes o tra\u00e7o de racioc\u00ednio correto: ele sabe como produzir a resposta certa, mas n\u00e3o sabe como selecion\u00e1-la. O treinamento em classifica\u00e7\u00f5es de prefer\u00eancia permite que o modelo aprenda como selecion\u00e1-la. Construindo com o Llama 3 A nossa vis\u00e3o \u00e9 permitir que os desenvolvedores personalizem o Llama 3 para oferecer suporte a casos de uso relevantes e facilitar a ado\u00e7\u00e3o de melhores pr\u00e1ticas e a melhoria do ecossistema aberto. Com este lan\u00e7amento, estamos fornecendo novas ferramentas de confian\u00e7a e seguran\u00e7a, incluindo componentes atualizados com Llama Guard 2 e Cybersec Eval 2, e a introdu\u00e7\u00e3o do Code Shield \u2013 uma prote\u00e7\u00e3o de tempo de infer\u00eancia para filtrar c\u00f3digo inseguro produzido por LLMs. Tamb\u00e9m co-desenvolvemos o Llama 3 com torchtune, a nova biblioteca nativa do PyTorch para f\u00e1cil cria\u00e7\u00e3o, ajuste fino e experimenta\u00e7\u00e3o com LLMs. O torchtune fornece receitas de treinamento hacke\u00e1veis com efici\u00eancia de mem\u00f3ria, escritas inteiramente em PyTorch. A biblioteca \u00e9 integrada a plataformas populares, como Hugging Face, Weights & Biases e EleutherAI, e ainda oferece suporte ao Executorch para permitir que infer\u00eancias eficientes sejam executadas em uma ampla variedade de dispositivos m\u00f3veis e edge. Para tudo que vai desde a engenharia imediata at\u00e9 o uso do Llama 3 com LangChain, temos um guia de primeiros passos abrangente, que vai te orientar desde o download do Llama 3 at\u00e9 a implanta\u00e7\u00e3o em escala dentro de seu aplicativo de IA generativo. Uma abordagem respons\u00e1vel sist\u00eamica Projetamos os modelos Llama 3 para serem extremamente \u00fateis e, ao mesmo tempo, garantir uma abordagem l\u00edder do setor para implement\u00e1-los com responsabilidade. Para conseguir isso, adotamos uma nova abordagem sist\u00eamica para o desenvolvimento e implementa\u00e7\u00e3o respons\u00e1vel do Llama. Imaginamos os modelos Llama como parte de um sistema mais amplo, que coloca o desenvolvedor no comando. Os modelos Llama servir\u00e3o como pe\u00e7a fundamental de um sistema que os desenvolvedores projetam com seus objetivos finais exclusivos em mente. O ajuste fino das instru\u00e7\u00f5es tamb\u00e9m desempenha um papel importante na garantia da seguran\u00e7a de nossos modelos. Nossos modelos aprimorados de instru\u00e7\u00e3o foram reunidos (testados) em termos de seguran\u00e7a por meio de esfor\u00e7os internos e externos. \u200b\u200bNossa abordagem de red teaming utiliza especialistas humanos e m\u00e9todos de automa\u00e7\u00e3o para gerar prompts advers\u00e1rios que tentam obter respostas problem\u00e1ticas. Por exemplo, aplicamos testes abrangentes para avaliar os riscos de uso indevido relacionados \u00e0s \u00e1reas de risco qu\u00edmico, biol\u00f3gico, cibern\u00e9tico, entre outras \u00e1reas. Todos esses esfor\u00e7os s\u00e3o iterativos e usados para informar o ajuste fino de seguran\u00e7a dos modelos que est\u00e3o sendo lan\u00e7ados. Voc\u00ea pode ler mais sobre nossos esfor\u00e7os no cart\u00e3o modelo. Os modelos Llama Guard destinam-se a ser uma base para a seguran\u00e7a imediata e de resposta e podem ser facilmente ajustados para criar uma nova taxonomia dependendo das necessidades da aplica\u00e7\u00e3o. Como ponto de partida, o novo Llama Guard 2 utiliza a recentemente anunciada taxonomia MLCommons, num esfor\u00e7o para apoiar o surgimento de padr\u00f5es da ind\u00fastria nesta importante \u00e1rea. Al\u00e9m disso, o CyberSecEval 2 expande seu antecessor, adicionando medidas de propens\u00e3o de um LLM para permitir o abuso de seu interpretador de c\u00f3digo, capacidades ofensivas de seguran\u00e7a cibern\u00e9tica e suscetibilidade a ataques de inje\u00e7\u00e3o imediata (saiba mais em nosso artigo t\u00e9cnico). Por fim, estamos apresentando o Code Shield, que adiciona suporte para filtragem em tempo de infer\u00eancia de c\u00f3digo inseguro produzido por LLMs. Isso oferece mitiga\u00e7\u00e3o de riscos relacionados a sugest\u00f5es de c\u00f3digo inseguro, preven\u00e7\u00e3o de abuso de int\u00e9rpretes de c\u00f3digo e execu\u00e7\u00e3o segura de comandos. Com a velocidade em que o espa\u00e7o da IA generativa est\u00e1 se movendo, acreditamos que uma abordagem aberta \u00e9 uma forma importante de unir o ecossistema e mitigar estes potenciais danos. Como parte disso, estamos atualizando o nosso Guia de Uso Respons\u00e1vel (RUG), que fornece um guia abrangente para o desenvolvimento respons\u00e1vel com LLMs. Conforme descrito no RUG, recomendamos que todas as entradas e sa\u00eddas sejam verificadas e filtradas de acordo com as diretrizes de conte\u00fado apropriadas \u00e0 aplica\u00e7\u00e3o. Al\u00e9m disso, muitos provedores de servi\u00e7os em nuvem oferecem APIs de modera\u00e7\u00e3o de conte\u00fado e outras ferramentas para implanta\u00e7\u00e3o respons\u00e1vel, e incentivamos os desenvolvedores a tamb\u00e9m considerarem o uso dessas op\u00e7\u00f5es. Implementando o Llama 3 em escala Em breve, o Llama 3 estar\u00e1 dispon\u00edvel em todas as principais plataformas, incluindo provedores de nuvem, provedores de modelo de API e muito mais. O Llama 3 estar\u00e1 em toda parte. Nossos benchmarks mostram que a tokeniza\u00e7\u00e3o oferece maior efici\u00eancia de token, rendendo at\u00e9 15% menos tokens em compara\u00e7\u00e3o com o Llama 2. Al\u00e9m disso, o Group Query Attention (GQA) agora tamb\u00e9m foi adicionado ao Llama 3 8B. Como resultado, observamos que, apesar do modelo ter 1B a mais de par\u00e2metros em compara\u00e7\u00e3o ao Llama 2 7B, a efici\u00eancia aprimorada de tokeniza\u00e7\u00e3o e o GQA contribuem para manter a efici\u00eancia de infer\u00eancia no mesmo n\u00edvel do Llama 2 7B. Para obter exemplos de como aproveitar todos esses recursos, acesse Llama Recipes, que cont\u00e9m todo o nosso c\u00f3digo-fonte aberto que pode ser aproveitado para tudo, desde o ajuste fino at\u00e9 a implementa\u00e7\u00e3o e a avalia\u00e7\u00e3o do modelo. O que vem por a\u00ed para o Llama 3? Os modelos Llama 3 8B e 70B marcam o in\u00edcio do que planejamos lan\u00e7ar para o Llama 3. E tem muito mais por vir. Nossos maiores modelos t\u00eam par\u00e2metros acima de 400B e, enquanto esses modelos ainda est\u00e3o em treinamento, nossa equipe est\u00e1 animada com a forma como est\u00e3o performando. Nos pr\u00f3ximos meses, lan\u00e7aremos v\u00e1rios modelos com novos recursos, incluindo multimodalidade, capacidade de conversar em v\u00e1rios idiomas, uma janela de contexto muito mais longa e recursos gerais mais fortes. Tamb\u00e9m publicaremos um artigo de pesquisa detalhado assim que terminarmos de treinar o Llama 3. Para dar uma pr\u00e9via de onde esses modelos est\u00e3o hoje \u00e0 medida que continuam o treinamento, pensamos em compartilhar alguns snapshots de como o nosso maior modelo LLM est\u00e1 performando. Observe que esses dados s\u00e3o baseados em um ponto de verifica\u00e7\u00e3o inicial do Llama 3, que ainda est\u00e1 em treinamento, e esses recursos n\u00e3o s\u00e3o suportados como parte dos modelos lan\u00e7ados hoje. *Consulte os detalhes da avalia\u00e7\u00e3o para conhecer as configura\u00e7\u00f5es e os par\u00e2metros com os quais essas avalia\u00e7\u00f5es s\u00e3o calculadas. Estamos comprometidos com o crescimento e desenvolvimento cont\u00ednuos de um ecossistema aberto de IA para lan\u00e7ar os nossos modelos de forma respons\u00e1vel. H\u00e1 muito tempo acreditamos que a abertura conduz a produtos melhores e mais seguros, a inova\u00e7\u00f5es mais r\u00e1pidas e a um mercado global mais saud\u00e1vel. Isso \u00e9 bom para Meta e \u00e9 bom para a sociedade. Estamos adotando uma abordagem que prioriza a comunidade com o Llama 3 e, a partir de hoje, esses modelos est\u00e3o dispon\u00edveis nas principais plataformas de nuvem, hospedagem e hardware, com muito mais por vir. Meta Llama 3 hoje Gra\u00e7as aos nossos \u00faltimos avan\u00e7os com o Meta Llama 3, tamb\u00e9m estamos anunciando a expans\u00e3o internacional da IA da Meta, permitindo que mais pessoas usem esta tecnologia gratuita no Facebook, Instagram, WhatsApp e Messenger na Austr\u00e1lia, Canad\u00e1, Gana, Jamaica, Malawi, Nova Zel\u00e2ndia , Nig\u00e9ria, Paquist\u00e3o, Singapura, \u00c1frica do Sul, Uganda, Z\u00e2mbia e Zimb\u00e1bue \u2014 e estamos apenas a come\u00e7ar! Voc\u00ea pode ler mais sobre a experi\u00eancia da IA da Meta aqui. Visite o site do Llama 3 para baixar os modelos e consulte o Guia de primeiros passos para obter a lista mais recente de todas as plataformas dispon\u00edveis.","protected":false},"author":164097234,"featured_media":25553,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[396542114,1,396542170],"tags":[],"class_list":["post-25525","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-meta","category-recent-news","category-tecnologia-e-inovacao"],"yoast_head":"\nApresentando Meta Llama 3: o grande modelo de linguagem de c\u00f3digo aberto mais capaz at\u00e9 hoje | Sobre a Meta<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/\" \/>\n<meta property=\"og:locale\" content=\"pt_BR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Apresentando Meta Llama 3: o grande modelo de linguagem de c\u00f3digo aberto mais capaz at\u00e9 hoje | Sobre a Meta\" \/>\n<meta property=\"og:description\" content=\"Hoje, temos o prazer de compartilhar os dois primeiros modelos da pr\u00f3xima gera\u00e7\u00e3o do Llama, Meta Llama 3, dispon\u00edveis para amplo uso. Esta vers\u00e3o apresenta modelos de linguagem pr\u00e9-treinados e ajustados por instru\u00e7\u00e3o com par\u00e2metros 8B e 70B, que podem suportar uma grande variedade de casos de usabilidade. Esta pr\u00f3xima gera\u00e7\u00e3o do Llama demonstra desempenho de \u00faltima gera\u00e7\u00e3o em uma vasta gama de benchmarks do setor e oferece novos recursos, incluindo racioc\u00ednio aprimorado. Acreditamos que esses s\u00e3o os melhores modelos de c\u00f3digo aberto de sua classe – ponto final. E em apoio \u00e0 nossa abordagem de c\u00f3digo aberto de longa data, estamos colocando o Llama 3 nas m\u00e3os da comunidade. Queremos dar in\u00edcio \u00e0 pr\u00f3xima onda de inova\u00e7\u00e3o em IA em todos os aspectos \u2013 desde aplicativos at\u00e9 ferramentas para desenvolvedores, avalia\u00e7\u00f5es, otimiza\u00e7\u00f5es de infer\u00eancia e muito mais. Mal podemos esperar para ver o que voc\u00ea construir\u00e1 – e aguardamos o seu feedback! Nossos objetivos para o Llama 3 Com o Llama 3, pretendemos construir os melhores modelos abertos que estejam no mesmo n\u00edvel dos melhores modelos propriet\u00e1rios dispon\u00edveis atualmente. Quisemos considerar o feedback dos desenvolvedores para aumentar a utilidade geral do Llama 3 e estamos fazendo isso enquanto continuamos desempenhando um papel de lideran\u00e7a no uso respons\u00e1vel e na implementa\u00e7\u00e3o de LLMs (grandes modelos de linguagem). Estamos adotando o \u2018esp\u00edrito\u2019 do c\u00f3digo aberto ao lan\u00e7ar de forma antecipada e frequente para permitir que a comunidade tenha acesso a esses modelos enquanto eles ainda est\u00e3o em desenvolvimento. Os modelos baseados em texto que lan\u00e7amos hoje s\u00e3o os primeiros da cole\u00e7\u00e3o de modelos Llama 3. O nosso objetivo num futuro pr\u00f3ximo \u00e9 tornar o Llama 3 multil\u00edngue e multimodal, ter um contexto mais longo e continuar melhorando o desempenho geral em todos os principais recursos do LLM, como racioc\u00ednio e codifica\u00e7\u00e3o. Desempenho de \u00faltima gera\u00e7\u00e3o Os nossos novos modelos Llama 3 de par\u00e2metros 8B e 70B s\u00e3o um grande salto em rela\u00e7\u00e3o ao Llama 2 e estabelecem um novo par\u00e2metro para modelos LLM nessas escalas. Gra\u00e7as \u00e0s melhorias no pr\u00e9 e p\u00f3s-treinamento, os nossos modelos pr\u00e9-treinados e ajustados por instru\u00e7\u00e3o s\u00e3o os melhores modelos existentes hoje na escala de par\u00e2metros 8B e 70B. As melhorias nos nossos procedimentos p\u00f3s-treinamento reduziram substancialmente as taxas de falsas recusas, melhoraram o alinhamento e aumentaram a diversidade nas respostas dos modelos. Tamb\u00e9m vimos recursos bastante aprimorados, como racioc\u00ednio, gera\u00e7\u00e3o de c\u00f3digo e instru\u00e7\u00f5es a seguir, tornando o Llama 3 mais orient\u00e1vel. * Consulte os detalhes da avalia\u00e7\u00e3o para conhecer as configura\u00e7\u00f5es e os par\u00e2metros com os quais essas avalia\u00e7\u00f5es s\u00e3o calculadas. No desenvolvimento do Llama 3, analisamos o desempenho do modelo em benchmarks padr\u00e3o e tamb\u00e9m procuramos otimizar o desempenho para cen\u00e1rios do mundo real. Para este fim, desenvolvemos um novo conjunto de avalia\u00e7\u00e3o humana de alta qualidade. Este conjunto cont\u00e9m 1.800 prompts, que cobrem 12 casos de uso principais: solicita\u00e7\u00e3o de conselhos, brainstorming, classifica\u00e7\u00e3o, resposta a perguntas fechadas, codifica\u00e7\u00e3o, escrita criativa, extra\u00e7\u00e3o, habitar um personagem\/persona, resposta a perguntas abertas, racioc\u00ednio, reescrita e resumo. Para evitar overfitting (ajuste excessivo) acidental de nossos modelos neste conjunto de avalia\u00e7\u00e3o, mesmo as nossas pr\u00f3prias equipes de modelagem n\u00e3o t\u00eam acesso a ele. O gr\u00e1fico abaixo mostra resultados agregados de nossas avalia\u00e7\u00f5es humanas nessas categorias e solicita\u00e7\u00f5es em rela\u00e7\u00e3o a Claude Sonnet, Mistral Medium e GPT-3.5. As classifica\u00e7\u00f5es de prefer\u00eancia feitas por humanos com base neste conjunto de avalia\u00e7\u00e3o destacam o forte desempenho do nosso modelo de seguimento de instru\u00e7\u00f5es 70B em compara\u00e7\u00e3o com modelos concorrentes de tamanho compar\u00e1vel em cen\u00e1rios do mundo real. Nosso modelo pr\u00e9-treinado tamb\u00e9m estabelece um novo par\u00e2metro para modelos LLM nessas escalas. *Consulte os detalhes da avalia\u00e7\u00e3o para conhecer as configura\u00e7\u00f5es e os par\u00e2metros com os quais essas avalia\u00e7\u00f5es s\u00e3o calculadas. Para desenvolver um excelente modelo de linguagem, acreditamos que \u00e9 importante inovar, dimensionar e otimizar para simplificar. Adotamos essa filosofia de design em todo o projeto Llama 3, com foco em quatro \u2018ingredientes principais\u2019: a arquitetura do modelo, os dados de pr\u00e9-treinamento, amplia\u00e7\u00e3o do pr\u00e9-treinamento e ajuste fino das instru\u00e7\u00f5es. Arquitetura do modelo Em linha com a nossa filosofia de design, optamos por uma arquitetura de transformador decoder-only relativamente padr\u00e3o no Llama 3. Em compara\u00e7\u00e3o com o Llama 2, fizemos v\u00e1rias melhorias importantes. O Llama 3 usa uma tokeniza\u00e7\u00e3o (an\u00e1lise l\u00e9xica) com um vocabul\u00e1rio de 128 mil tokens, que codifica a linguagem com muito mais efici\u00eancia, o que leva a um desempenho do modelo substancialmente melhorado. Para aprimorar a efici\u00eancia de infer\u00eancia dos modelos Llama 3, adotamos aten\u00e7\u00e3o de consulta agrupada (GQA) nos tamanhos 8B e 70B. Treinamos os modelos em sequ\u00eancias de 8.192 tokens, usando uma m\u00e1scara para garantir que a autoaten\u00e7\u00e3o n\u00e3o ultrapasse os limites do documento. Dados de treinamento Para treinar o melhor modelo de linguagem, a curadoria de um conjunto de dados de treinamento grande e de alta qualidade \u00e9 fundamental. Em linha com os nossos princ\u00edpios de design, investimos pesadamente em dados de pr\u00e9-treinamento. O Llama 3 \u00e9 pr\u00e9-treinado em mais de 15T de tokens, todos coletados de fontes dispon\u00edveis publicamente. Nosso conjunto de dados de treinamento \u00e9 sete vezes maior que o usado para o Llama 2 e inclui quatro vezes mais c\u00f3digo. Para estarmos preparados para os pr\u00f3ximos casos de uso multil\u00edngue, mais de 5% do conjunto de dados de pr\u00e9-treinamento do Llama 3 consistem em dados de alta qualidade em idiomas diferentes do ingl\u00eas, abrangendo mais de 30 idiomas. Contudo, n\u00e3o esperamos o mesmo n\u00edvel de desempenho nestas l\u00ednguas do que em ingl\u00eas. Para garantir que o Llama 3 seja treinado com dados da mais alta qualidade, desenvolvemos uma s\u00e9rie de pipelines de filtragem de dados. Esses pipelines incluem o uso de filtros heur\u00edsticos, filtros NSFW, abordagens de desduplica\u00e7\u00e3o sem\u00e2ntica e classificadores de texto para prever a qualidade dos dados. Descobrimos que as gera\u00e7\u00f5es anteriores do Llama s\u00e3o surpreendentemente boas na identifica\u00e7\u00e3o de dados de alta qualidade, por isso usamos o Llama 2 para gerar os dados de treinamento para os classificadores de qualidade de texto que alimentam o Llama 3. Tamb\u00e9m realizamos extensos experimentos para avaliar as melhores maneiras de misturar dados de diferentes fontes em nosso conjunto de dados final de pr\u00e9-treinamento. Esses experimentos nos permitiram selecionar um mix de dados que garante que o Llama 3 tenha um bom desempenho em todos os casos de uso, incluindo perguntas triviais, STEM, codifica\u00e7\u00e3o, conhecimento hist\u00f3rico, etc. Ampliando o pr\u00e9-treinamento Para aproveitar efetivamente nossos dados de pr\u00e9-treinamento nos modelos Llama 3, colocamos um esfor\u00e7o substancial na amplia\u00e7\u00e3o do pr\u00e9-treinamento. Especificamente, desenvolvemos uma s\u00e9rie de leis de escala detalhadas para avalia\u00e7\u00f5es de benchmark posteriores. Essas leis de escalabilidade nos permitem selecionar um mix de dados ideal e tomar decis\u00f5es informadas sobre como usar melhor nossa computa\u00e7\u00e3o de treinamento. \u00c9 importante ressaltar que as leis de escalonamento nos permitem prever o desempenho de nossos maiores modelos em tarefas principais (por exemplo, gera\u00e7\u00e3o de c\u00f3digo avaliada no benchmark HumanEval \u2013 veja acima) antes de realmente treinarmos os modelos. Isso nos ajuda a garantir um forte desempenho de nossos modelos finais em uma variedade de casos de uso e recursos. Fizemos v\u00e1rias novas observa\u00e7\u00f5es sobre o comportamento de escalonamento durante o desenvolvimento do Llama 3. Por exemplo, embora a quantidade ideal de computa\u00e7\u00e3o de treinamento do Chinchilla para um modelo de par\u00e2metro de 8B corresponda a aproximadamente 200B de tokens, descobrimos que o desempenho do modelo continua melhorando mesmo ap\u00f3s ele ser treinado em duas ordens de magnitude a mais de dados. Nossos modelos de par\u00e2metros 8B e 70B continuaram melhorando log-linearmente depois que os treinamos em tokens de at\u00e9 15T. Modelos maiores podem igualar o desempenho desses modelos menores com menos treinamento de computa\u00e7\u00e3o, mas modelos menores s\u00e3o geralmente preferidos porque s\u00e3o muito mais eficientes durante a infer\u00eancia. Para treinar nossos maiores modelos do Llama 3, combinamos tr\u00eas tipos de paraleliza\u00e7\u00e3o: paraleliza\u00e7\u00e3o de dados, paraleliza\u00e7\u00e3o de modelo e paraleliza\u00e7\u00e3o de pipeline. Nossa implementa\u00e7\u00e3o mais eficiente atinge uma utiliza\u00e7\u00e3o computacional de mais de 400 TFLOPS por GPU quando treinada em GPUs de 16K simultaneamente. Realizamos execu\u00e7\u00f5es de treinamento em dois clusters de GPU de 24K personalizados. Para maximizar o tempo de atividade da GPU, desenvolvemos uma nova amostra de treinamento avan\u00e7ada que automatiza a detec\u00e7\u00e3o, o tratamento e a manuten\u00e7\u00e3o de erros. Tamb\u00e9m melhoramos bastante a confiabilidade do nosso hardware e os mecanismos de detec\u00e7\u00e3o de corrup\u00e7\u00e3o silenciosa de dados, e desenvolvemos novos sistemas de armazenamento escal\u00e1veis que reduzem as despesas gerais de verifica\u00e7\u00e3o e revers\u00e3o. Essas melhorias resultaram em um tempo de treinamento eficaz geral de mais de 95%. Combinadas, as melhorias aumentaram a efici\u00eancia do treinamento do Llama 3 em aproximadamente 3x em compara\u00e7\u00e3o com o Llama 2. Ajuste fino de instru\u00e7\u00e3o Para desbloquear totalmente o potencial de nossos modelos pr\u00e9-treinados em casos de uso de chat, inovamos tamb\u00e9m em nossa abordagem de ajuste de instru\u00e7\u00e3o. Nossa abordagem ao p\u00f3s-treinamento \u00e9 uma combina\u00e7\u00e3o de ajuste fino supervisionado (SFT), amostragem de rejei\u00e7\u00e3o, otimiza\u00e7\u00e3o de pol\u00edtica proximal (PPO) e otimiza\u00e7\u00e3o de pol\u00edtica direta (DPO). A qualidade dos prompts usados em OFVM e as classifica\u00e7\u00f5es de prefer\u00eancia usadas em PPO e DPO t\u00eam uma influ\u00eancia descomunal no desempenho de modelos alinhados. Algumas de nossas maiores melhorias na qualidade do modelo vieram da curadoria cuidadosa desses dados e da realiza\u00e7\u00e3o de diversas rodadas de garantia de qualidade em anota\u00e7\u00f5es fornecidas por profissionais humanos. Aprender com as classifica\u00e7\u00f5es de prefer\u00eancia via PPO e DPO tamb\u00e9m melhorou muito o desempenho do Llama 3 em tarefas de racioc\u00ednio e codifica\u00e7\u00e3o. Descobrimos que se fizermos a um modelo uma pergunta de racioc\u00ednio que ele se esfor\u00e7a para responder, o modelo produzir\u00e1 por vezes o tra\u00e7o de racioc\u00ednio correto: ele sabe como produzir a resposta certa, mas n\u00e3o sabe como selecion\u00e1-la. O treinamento em classifica\u00e7\u00f5es de prefer\u00eancia permite que o modelo aprenda como selecion\u00e1-la. Construindo com o Llama 3 A nossa vis\u00e3o \u00e9 permitir que os desenvolvedores personalizem o Llama 3 para oferecer suporte a casos de uso relevantes e facilitar a ado\u00e7\u00e3o de melhores pr\u00e1ticas e a melhoria do ecossistema aberto. Com este lan\u00e7amento, estamos fornecendo novas ferramentas de confian\u00e7a e seguran\u00e7a, incluindo componentes atualizados com Llama Guard 2 e Cybersec Eval 2, e a introdu\u00e7\u00e3o do Code Shield \u2013 uma prote\u00e7\u00e3o de tempo de infer\u00eancia para filtrar c\u00f3digo inseguro produzido por LLMs. Tamb\u00e9m co-desenvolvemos o Llama 3 com torchtune, a nova biblioteca nativa do PyTorch para f\u00e1cil cria\u00e7\u00e3o, ajuste fino e experimenta\u00e7\u00e3o com LLMs. O torchtune fornece receitas de treinamento hacke\u00e1veis com efici\u00eancia de mem\u00f3ria, escritas inteiramente em PyTorch. A biblioteca \u00e9 integrada a plataformas populares, como Hugging Face, Weights & Biases e EleutherAI, e ainda oferece suporte ao Executorch para permitir que infer\u00eancias eficientes sejam executadas em uma ampla variedade de dispositivos m\u00f3veis e edge. Para tudo que vai desde a engenharia imediata at\u00e9 o uso do Llama 3 com LangChain, temos um guia de primeiros passos abrangente, que vai te orientar desde o download do Llama 3 at\u00e9 a implanta\u00e7\u00e3o em escala dentro de seu aplicativo de IA generativo. Uma abordagem respons\u00e1vel sist\u00eamica Projetamos os modelos Llama 3 para serem extremamente \u00fateis e, ao mesmo tempo, garantir uma abordagem l\u00edder do setor para implement\u00e1-los com responsabilidade. Para conseguir isso, adotamos uma nova abordagem sist\u00eamica para o desenvolvimento e implementa\u00e7\u00e3o respons\u00e1vel do Llama. Imaginamos os modelos Llama como parte de um sistema mais amplo, que coloca o desenvolvedor no comando. Os modelos Llama servir\u00e3o como pe\u00e7a fundamental de um sistema que os desenvolvedores projetam com seus objetivos finais exclusivos em mente. O ajuste fino das instru\u00e7\u00f5es tamb\u00e9m desempenha um papel importante na garantia da seguran\u00e7a de nossos modelos. Nossos modelos aprimorados de instru\u00e7\u00e3o foram reunidos (testados) em termos de seguran\u00e7a por meio de esfor\u00e7os internos e externos. \u200b\u200bNossa abordagem de red teaming utiliza especialistas humanos e m\u00e9todos de automa\u00e7\u00e3o para gerar prompts advers\u00e1rios que tentam obter respostas problem\u00e1ticas. Por exemplo, aplicamos testes abrangentes para avaliar os riscos de uso indevido relacionados \u00e0s \u00e1reas de risco qu\u00edmico, biol\u00f3gico, cibern\u00e9tico, entre outras \u00e1reas. Todos esses esfor\u00e7os s\u00e3o iterativos e usados para informar o ajuste fino de seguran\u00e7a dos modelos que est\u00e3o sendo lan\u00e7ados. Voc\u00ea pode ler mais sobre nossos esfor\u00e7os no cart\u00e3o modelo. Os modelos Llama Guard destinam-se a ser uma base para a seguran\u00e7a imediata e de resposta e podem ser facilmente ajustados para criar uma nova taxonomia dependendo das necessidades da aplica\u00e7\u00e3o. Como ponto de partida, o novo Llama Guard 2 utiliza a recentemente anunciada taxonomia MLCommons, num esfor\u00e7o para apoiar o surgimento de padr\u00f5es da ind\u00fastria nesta importante \u00e1rea. Al\u00e9m disso, o CyberSecEval 2 expande seu antecessor, adicionando medidas de propens\u00e3o de um LLM para permitir o abuso de seu interpretador de c\u00f3digo, capacidades ofensivas de seguran\u00e7a cibern\u00e9tica e suscetibilidade a ataques de inje\u00e7\u00e3o imediata (saiba mais em nosso artigo t\u00e9cnico). Por fim, estamos apresentando o Code Shield, que adiciona suporte para filtragem em tempo de infer\u00eancia de c\u00f3digo inseguro produzido por LLMs. Isso oferece mitiga\u00e7\u00e3o de riscos relacionados a sugest\u00f5es de c\u00f3digo inseguro, preven\u00e7\u00e3o de abuso de int\u00e9rpretes de c\u00f3digo e execu\u00e7\u00e3o segura de comandos. Com a velocidade em que o espa\u00e7o da IA generativa est\u00e1 se movendo, acreditamos que uma abordagem aberta \u00e9 uma forma importante de unir o ecossistema e mitigar estes potenciais danos. Como parte disso, estamos atualizando o nosso Guia de Uso Respons\u00e1vel (RUG), que fornece um guia abrangente para o desenvolvimento respons\u00e1vel com LLMs. Conforme descrito no RUG, recomendamos que todas as entradas e sa\u00eddas sejam verificadas e filtradas de acordo com as diretrizes de conte\u00fado apropriadas \u00e0 aplica\u00e7\u00e3o. Al\u00e9m disso, muitos provedores de servi\u00e7os em nuvem oferecem APIs de modera\u00e7\u00e3o de conte\u00fado e outras ferramentas para implanta\u00e7\u00e3o respons\u00e1vel, e incentivamos os desenvolvedores a tamb\u00e9m considerarem o uso dessas op\u00e7\u00f5es. Implementando o Llama 3 em escala Em breve, o Llama 3 estar\u00e1 dispon\u00edvel em todas as principais plataformas, incluindo provedores de nuvem, provedores de modelo de API e muito mais. O Llama 3 estar\u00e1 em toda parte. Nossos benchmarks mostram que a tokeniza\u00e7\u00e3o oferece maior efici\u00eancia de token, rendendo at\u00e9 15% menos tokens em compara\u00e7\u00e3o com o Llama 2. Al\u00e9m disso, o Group Query Attention (GQA) agora tamb\u00e9m foi adicionado ao Llama 3 8B. Como resultado, observamos que, apesar do modelo ter 1B a mais de par\u00e2metros em compara\u00e7\u00e3o ao Llama 2 7B, a efici\u00eancia aprimorada de tokeniza\u00e7\u00e3o e o GQA contribuem para manter a efici\u00eancia de infer\u00eancia no mesmo n\u00edvel do Llama 2 7B. Para obter exemplos de como aproveitar todos esses recursos, acesse Llama Recipes, que cont\u00e9m todo o nosso c\u00f3digo-fonte aberto que pode ser aproveitado para tudo, desde o ajuste fino at\u00e9 a implementa\u00e7\u00e3o e a avalia\u00e7\u00e3o do modelo. O que vem por a\u00ed para o Llama 3? Os modelos Llama 3 8B e 70B marcam o in\u00edcio do que planejamos lan\u00e7ar para o Llama 3. E tem muito mais por vir. Nossos maiores modelos t\u00eam par\u00e2metros acima de 400B e, enquanto esses modelos ainda est\u00e3o em treinamento, nossa equipe est\u00e1 animada com a forma como est\u00e3o performando. Nos pr\u00f3ximos meses, lan\u00e7aremos v\u00e1rios modelos com novos recursos, incluindo multimodalidade, capacidade de conversar em v\u00e1rios idiomas, uma janela de contexto muito mais longa e recursos gerais mais fortes. Tamb\u00e9m publicaremos um artigo de pesquisa detalhado assim que terminarmos de treinar o Llama 3. Para dar uma pr\u00e9via de onde esses modelos est\u00e3o hoje \u00e0 medida que continuam o treinamento, pensamos em compartilhar alguns snapshots de como o nosso maior modelo LLM est\u00e1 performando. Observe que esses dados s\u00e3o baseados em um ponto de verifica\u00e7\u00e3o inicial do Llama 3, que ainda est\u00e1 em treinamento, e esses recursos n\u00e3o s\u00e3o suportados como parte dos modelos lan\u00e7ados hoje. *Consulte os detalhes da avalia\u00e7\u00e3o para conhecer as configura\u00e7\u00f5es e os par\u00e2metros com os quais essas avalia\u00e7\u00f5es s\u00e3o calculadas. Estamos comprometidos com o crescimento e desenvolvimento cont\u00ednuos de um ecossistema aberto de IA para lan\u00e7ar os nossos modelos de forma respons\u00e1vel. H\u00e1 muito tempo acreditamos que a abertura conduz a produtos melhores e mais seguros, a inova\u00e7\u00f5es mais r\u00e1pidas e a um mercado global mais saud\u00e1vel. Isso \u00e9 bom para Meta e \u00e9 bom para a sociedade. Estamos adotando uma abordagem que prioriza a comunidade com o Llama 3 e, a partir de hoje, esses modelos est\u00e3o dispon\u00edveis nas principais plataformas de nuvem, hospedagem e hardware, com muito mais por vir. Meta Llama 3 hoje Gra\u00e7as aos nossos \u00faltimos avan\u00e7os com o Meta Llama 3, tamb\u00e9m estamos anunciando a expans\u00e3o internacional da IA da Meta, permitindo que mais pessoas usem esta tecnologia gratuita no Facebook, Instagram, WhatsApp e Messenger na Austr\u00e1lia, Canad\u00e1, Gana, Jamaica, Malawi, Nova Zel\u00e2ndia , Nig\u00e9ria, Paquist\u00e3o, Singapura, \u00c1frica do Sul, Uganda, Z\u00e2mbia e Zimb\u00e1bue \u2014 e estamos apenas a come\u00e7ar! Voc\u00ea pode ler mais sobre a experi\u00eancia da IA da Meta aqui. Visite o site do Llama 3 para baixar os modelos e consulte o Guia de primeiros passos para obter a lista mais recente de todas as plataformas dispon\u00edveis.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/\" \/>\n<meta property=\"og:site_name\" content=\"Sobre a Meta\" \/>\n<meta property=\"article:published_time\" content=\"2024-04-18T16:35:46+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2024-06-05T20:04:24+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2024\/04\/llama-3-1.png?resize=1024,565\" \/>\n\t<meta property=\"og:image:width\" content=\"1024\" \/>\n\t<meta property=\"og:image:height\" content=\"565\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"vivilusor\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Written by\" \/>\n\t<meta name=\"twitter:data1\" content=\"Meta\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. reading time\" \/>\n\t<meta name=\"twitter:data2\" content=\"14 minutos\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/#article\",\"isPartOf\":{\"@id\":\"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/\"},\"author\":\"Facebook company\",\"headline\":\"Apresentando Meta Llama 3: o grande modelo de linguagem de c\u00f3digo aberto mais capaz at\u00e9 hoje\",\"datePublished\":\"2024-04-18T16:35:46+00:00\",\"dateModified\":\"2024-06-05T20:04:24+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/\"},\"wordCount\":3079,\"publisher\":{\"@id\":\"https:\/\/about.fb.com\/br\/#organization\"},\"image\":{\"@id\":\"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2024\/04\/llama-3-1.png?fit=1904%2C1050\",\"articleSection\":[\"Meta\",\"Recent News\",\"Tecnologia e Inova\u00e7\u00e3o\"],\"inLanguage\":\"pt-BR\"},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/\",\"url\":\"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/\",\"name\":\"Apresentando Meta Llama 3: o grande modelo de linguagem de c\u00f3digo aberto mais capaz at\u00e9 hoje | Sobre a Meta\",\"isPartOf\":{\"@id\":\"https:\/\/about.fb.com\/br\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2024\/04\/llama-3-1.png?fit=1904%2C1050\",\"datePublished\":\"2024-04-18T16:35:46+00:00\",\"dateModified\":\"2024-06-05T20:04:24+00:00\",\"breadcrumb\":{\"@id\":\"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/#breadcrumb\"},\"inLanguage\":\"pt-BR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/\"]}],\"author\":\"Sobre a Meta\"},{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/#primaryimage\",\"url\":\"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2024\/04\/llama-3-1.png?fit=1904%2C1050\",\"contentUrl\":\"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2024\/04\/llama-3-1.png?fit=1904%2C1050\",\"width\":1904,\"height\":1050},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\/\/about.fb.com\/br\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Apresentando Meta Llama 3: o grande modelo de linguagem de c\u00f3digo aberto mais capaz at\u00e9 hoje\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/about.fb.com\/br\/#website\",\"url\":\"https:\/\/about.fb.com\/news\/\",\"name\":\"Sobre a Meta\",\"description\":\"\",\"publisher\":{\"@id\":\"https:\/\/about.fb.com\/br\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/about.fb.com\/br\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"pt-BR\",\"alternateName\":[\"Meta Newsroom\",\"Meta\"]},{\"@type\":\"Organization\",\"@id\":\"https:\/\/about.fb.com\/br\/#organization\",\"name\":\"Meta\",\"url\":\"https:\/\/about.fb.com\/br\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\/\/about.fb.com\/br\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2021\/10\/meta-social-16x9-1.jpg?fit=8000%2C4500\",\"contentUrl\":\"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2021\/10\/meta-social-16x9-1.jpg?fit=8000%2C4500\",\"width\":8000,\"height\":4500,\"caption\":\"Meta\"},\"image\":{\"@id\":\"https:\/\/about.fb.com\/br\/#\/schema\/logo\/image\/\"}}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Apresentando Meta Llama 3: o grande modelo de linguagem de c\u00f3digo aberto mais capaz at\u00e9 hoje | Sobre a Meta","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/","og_locale":"pt_BR","og_type":"article","og_title":"Apresentando Meta Llama 3: o grande modelo de linguagem de c\u00f3digo aberto mais capaz at\u00e9 hoje | Sobre a Meta","og_description":"Hoje, temos o prazer de compartilhar os dois primeiros modelos da pr\u00f3xima gera\u00e7\u00e3o do Llama, Meta Llama 3, dispon\u00edveis para amplo uso. Esta vers\u00e3o apresenta modelos de linguagem pr\u00e9-treinados e ajustados por instru\u00e7\u00e3o com par\u00e2metros 8B e 70B, que podem suportar uma grande variedade de casos de usabilidade. Esta pr\u00f3xima gera\u00e7\u00e3o do Llama demonstra desempenho de \u00faltima gera\u00e7\u00e3o em uma vasta gama de benchmarks do setor e oferece novos recursos, incluindo racioc\u00ednio aprimorado. Acreditamos que esses s\u00e3o os melhores modelos de c\u00f3digo aberto de sua classe – ponto final. E em apoio \u00e0 nossa abordagem de c\u00f3digo aberto de longa data, estamos colocando o Llama 3 nas m\u00e3os da comunidade. Queremos dar in\u00edcio \u00e0 pr\u00f3xima onda de inova\u00e7\u00e3o em IA em todos os aspectos \u2013 desde aplicativos at\u00e9 ferramentas para desenvolvedores, avalia\u00e7\u00f5es, otimiza\u00e7\u00f5es de infer\u00eancia e muito mais. Mal podemos esperar para ver o que voc\u00ea construir\u00e1 – e aguardamos o seu feedback! Nossos objetivos para o Llama 3 Com o Llama 3, pretendemos construir os melhores modelos abertos que estejam no mesmo n\u00edvel dos melhores modelos propriet\u00e1rios dispon\u00edveis atualmente. Quisemos considerar o feedback dos desenvolvedores para aumentar a utilidade geral do Llama 3 e estamos fazendo isso enquanto continuamos desempenhando um papel de lideran\u00e7a no uso respons\u00e1vel e na implementa\u00e7\u00e3o de LLMs (grandes modelos de linguagem). Estamos adotando o \u2018esp\u00edrito\u2019 do c\u00f3digo aberto ao lan\u00e7ar de forma antecipada e frequente para permitir que a comunidade tenha acesso a esses modelos enquanto eles ainda est\u00e3o em desenvolvimento. Os modelos baseados em texto que lan\u00e7amos hoje s\u00e3o os primeiros da cole\u00e7\u00e3o de modelos Llama 3. O nosso objetivo num futuro pr\u00f3ximo \u00e9 tornar o Llama 3 multil\u00edngue e multimodal, ter um contexto mais longo e continuar melhorando o desempenho geral em todos os principais recursos do LLM, como racioc\u00ednio e codifica\u00e7\u00e3o. Desempenho de \u00faltima gera\u00e7\u00e3o Os nossos novos modelos Llama 3 de par\u00e2metros 8B e 70B s\u00e3o um grande salto em rela\u00e7\u00e3o ao Llama 2 e estabelecem um novo par\u00e2metro para modelos LLM nessas escalas. Gra\u00e7as \u00e0s melhorias no pr\u00e9 e p\u00f3s-treinamento, os nossos modelos pr\u00e9-treinados e ajustados por instru\u00e7\u00e3o s\u00e3o os melhores modelos existentes hoje na escala de par\u00e2metros 8B e 70B. As melhorias nos nossos procedimentos p\u00f3s-treinamento reduziram substancialmente as taxas de falsas recusas, melhoraram o alinhamento e aumentaram a diversidade nas respostas dos modelos. Tamb\u00e9m vimos recursos bastante aprimorados, como racioc\u00ednio, gera\u00e7\u00e3o de c\u00f3digo e instru\u00e7\u00f5es a seguir, tornando o Llama 3 mais orient\u00e1vel. * Consulte os detalhes da avalia\u00e7\u00e3o para conhecer as configura\u00e7\u00f5es e os par\u00e2metros com os quais essas avalia\u00e7\u00f5es s\u00e3o calculadas. No desenvolvimento do Llama 3, analisamos o desempenho do modelo em benchmarks padr\u00e3o e tamb\u00e9m procuramos otimizar o desempenho para cen\u00e1rios do mundo real. Para este fim, desenvolvemos um novo conjunto de avalia\u00e7\u00e3o humana de alta qualidade. Este conjunto cont\u00e9m 1.800 prompts, que cobrem 12 casos de uso principais: solicita\u00e7\u00e3o de conselhos, brainstorming, classifica\u00e7\u00e3o, resposta a perguntas fechadas, codifica\u00e7\u00e3o, escrita criativa, extra\u00e7\u00e3o, habitar um personagem\/persona, resposta a perguntas abertas, racioc\u00ednio, reescrita e resumo. Para evitar overfitting (ajuste excessivo) acidental de nossos modelos neste conjunto de avalia\u00e7\u00e3o, mesmo as nossas pr\u00f3prias equipes de modelagem n\u00e3o t\u00eam acesso a ele. O gr\u00e1fico abaixo mostra resultados agregados de nossas avalia\u00e7\u00f5es humanas nessas categorias e solicita\u00e7\u00f5es em rela\u00e7\u00e3o a Claude Sonnet, Mistral Medium e GPT-3.5. As classifica\u00e7\u00f5es de prefer\u00eancia feitas por humanos com base neste conjunto de avalia\u00e7\u00e3o destacam o forte desempenho do nosso modelo de seguimento de instru\u00e7\u00f5es 70B em compara\u00e7\u00e3o com modelos concorrentes de tamanho compar\u00e1vel em cen\u00e1rios do mundo real. Nosso modelo pr\u00e9-treinado tamb\u00e9m estabelece um novo par\u00e2metro para modelos LLM nessas escalas. *Consulte os detalhes da avalia\u00e7\u00e3o para conhecer as configura\u00e7\u00f5es e os par\u00e2metros com os quais essas avalia\u00e7\u00f5es s\u00e3o calculadas. Para desenvolver um excelente modelo de linguagem, acreditamos que \u00e9 importante inovar, dimensionar e otimizar para simplificar. Adotamos essa filosofia de design em todo o projeto Llama 3, com foco em quatro \u2018ingredientes principais\u2019: a arquitetura do modelo, os dados de pr\u00e9-treinamento, amplia\u00e7\u00e3o do pr\u00e9-treinamento e ajuste fino das instru\u00e7\u00f5es. Arquitetura do modelo Em linha com a nossa filosofia de design, optamos por uma arquitetura de transformador decoder-only relativamente padr\u00e3o no Llama 3. Em compara\u00e7\u00e3o com o Llama 2, fizemos v\u00e1rias melhorias importantes. O Llama 3 usa uma tokeniza\u00e7\u00e3o (an\u00e1lise l\u00e9xica) com um vocabul\u00e1rio de 128 mil tokens, que codifica a linguagem com muito mais efici\u00eancia, o que leva a um desempenho do modelo substancialmente melhorado. Para aprimorar a efici\u00eancia de infer\u00eancia dos modelos Llama 3, adotamos aten\u00e7\u00e3o de consulta agrupada (GQA) nos tamanhos 8B e 70B. Treinamos os modelos em sequ\u00eancias de 8.192 tokens, usando uma m\u00e1scara para garantir que a autoaten\u00e7\u00e3o n\u00e3o ultrapasse os limites do documento. Dados de treinamento Para treinar o melhor modelo de linguagem, a curadoria de um conjunto de dados de treinamento grande e de alta qualidade \u00e9 fundamental. Em linha com os nossos princ\u00edpios de design, investimos pesadamente em dados de pr\u00e9-treinamento. O Llama 3 \u00e9 pr\u00e9-treinado em mais de 15T de tokens, todos coletados de fontes dispon\u00edveis publicamente. Nosso conjunto de dados de treinamento \u00e9 sete vezes maior que o usado para o Llama 2 e inclui quatro vezes mais c\u00f3digo. Para estarmos preparados para os pr\u00f3ximos casos de uso multil\u00edngue, mais de 5% do conjunto de dados de pr\u00e9-treinamento do Llama 3 consistem em dados de alta qualidade em idiomas diferentes do ingl\u00eas, abrangendo mais de 30 idiomas. Contudo, n\u00e3o esperamos o mesmo n\u00edvel de desempenho nestas l\u00ednguas do que em ingl\u00eas. Para garantir que o Llama 3 seja treinado com dados da mais alta qualidade, desenvolvemos uma s\u00e9rie de pipelines de filtragem de dados. Esses pipelines incluem o uso de filtros heur\u00edsticos, filtros NSFW, abordagens de desduplica\u00e7\u00e3o sem\u00e2ntica e classificadores de texto para prever a qualidade dos dados. Descobrimos que as gera\u00e7\u00f5es anteriores do Llama s\u00e3o surpreendentemente boas na identifica\u00e7\u00e3o de dados de alta qualidade, por isso usamos o Llama 2 para gerar os dados de treinamento para os classificadores de qualidade de texto que alimentam o Llama 3. Tamb\u00e9m realizamos extensos experimentos para avaliar as melhores maneiras de misturar dados de diferentes fontes em nosso conjunto de dados final de pr\u00e9-treinamento. Esses experimentos nos permitiram selecionar um mix de dados que garante que o Llama 3 tenha um bom desempenho em todos os casos de uso, incluindo perguntas triviais, STEM, codifica\u00e7\u00e3o, conhecimento hist\u00f3rico, etc. Ampliando o pr\u00e9-treinamento Para aproveitar efetivamente nossos dados de pr\u00e9-treinamento nos modelos Llama 3, colocamos um esfor\u00e7o substancial na amplia\u00e7\u00e3o do pr\u00e9-treinamento. Especificamente, desenvolvemos uma s\u00e9rie de leis de escala detalhadas para avalia\u00e7\u00f5es de benchmark posteriores. Essas leis de escalabilidade nos permitem selecionar um mix de dados ideal e tomar decis\u00f5es informadas sobre como usar melhor nossa computa\u00e7\u00e3o de treinamento. \u00c9 importante ressaltar que as leis de escalonamento nos permitem prever o desempenho de nossos maiores modelos em tarefas principais (por exemplo, gera\u00e7\u00e3o de c\u00f3digo avaliada no benchmark HumanEval \u2013 veja acima) antes de realmente treinarmos os modelos. Isso nos ajuda a garantir um forte desempenho de nossos modelos finais em uma variedade de casos de uso e recursos. Fizemos v\u00e1rias novas observa\u00e7\u00f5es sobre o comportamento de escalonamento durante o desenvolvimento do Llama 3. Por exemplo, embora a quantidade ideal de computa\u00e7\u00e3o de treinamento do Chinchilla para um modelo de par\u00e2metro de 8B corresponda a aproximadamente 200B de tokens, descobrimos que o desempenho do modelo continua melhorando mesmo ap\u00f3s ele ser treinado em duas ordens de magnitude a mais de dados. Nossos modelos de par\u00e2metros 8B e 70B continuaram melhorando log-linearmente depois que os treinamos em tokens de at\u00e9 15T. Modelos maiores podem igualar o desempenho desses modelos menores com menos treinamento de computa\u00e7\u00e3o, mas modelos menores s\u00e3o geralmente preferidos porque s\u00e3o muito mais eficientes durante a infer\u00eancia. Para treinar nossos maiores modelos do Llama 3, combinamos tr\u00eas tipos de paraleliza\u00e7\u00e3o: paraleliza\u00e7\u00e3o de dados, paraleliza\u00e7\u00e3o de modelo e paraleliza\u00e7\u00e3o de pipeline. Nossa implementa\u00e7\u00e3o mais eficiente atinge uma utiliza\u00e7\u00e3o computacional de mais de 400 TFLOPS por GPU quando treinada em GPUs de 16K simultaneamente. Realizamos execu\u00e7\u00f5es de treinamento em dois clusters de GPU de 24K personalizados. Para maximizar o tempo de atividade da GPU, desenvolvemos uma nova amostra de treinamento avan\u00e7ada que automatiza a detec\u00e7\u00e3o, o tratamento e a manuten\u00e7\u00e3o de erros. Tamb\u00e9m melhoramos bastante a confiabilidade do nosso hardware e os mecanismos de detec\u00e7\u00e3o de corrup\u00e7\u00e3o silenciosa de dados, e desenvolvemos novos sistemas de armazenamento escal\u00e1veis que reduzem as despesas gerais de verifica\u00e7\u00e3o e revers\u00e3o. Essas melhorias resultaram em um tempo de treinamento eficaz geral de mais de 95%. Combinadas, as melhorias aumentaram a efici\u00eancia do treinamento do Llama 3 em aproximadamente 3x em compara\u00e7\u00e3o com o Llama 2. Ajuste fino de instru\u00e7\u00e3o Para desbloquear totalmente o potencial de nossos modelos pr\u00e9-treinados em casos de uso de chat, inovamos tamb\u00e9m em nossa abordagem de ajuste de instru\u00e7\u00e3o. Nossa abordagem ao p\u00f3s-treinamento \u00e9 uma combina\u00e7\u00e3o de ajuste fino supervisionado (SFT), amostragem de rejei\u00e7\u00e3o, otimiza\u00e7\u00e3o de pol\u00edtica proximal (PPO) e otimiza\u00e7\u00e3o de pol\u00edtica direta (DPO). A qualidade dos prompts usados em OFVM e as classifica\u00e7\u00f5es de prefer\u00eancia usadas em PPO e DPO t\u00eam uma influ\u00eancia descomunal no desempenho de modelos alinhados. Algumas de nossas maiores melhorias na qualidade do modelo vieram da curadoria cuidadosa desses dados e da realiza\u00e7\u00e3o de diversas rodadas de garantia de qualidade em anota\u00e7\u00f5es fornecidas por profissionais humanos. Aprender com as classifica\u00e7\u00f5es de prefer\u00eancia via PPO e DPO tamb\u00e9m melhorou muito o desempenho do Llama 3 em tarefas de racioc\u00ednio e codifica\u00e7\u00e3o. Descobrimos que se fizermos a um modelo uma pergunta de racioc\u00ednio que ele se esfor\u00e7a para responder, o modelo produzir\u00e1 por vezes o tra\u00e7o de racioc\u00ednio correto: ele sabe como produzir a resposta certa, mas n\u00e3o sabe como selecion\u00e1-la. O treinamento em classifica\u00e7\u00f5es de prefer\u00eancia permite que o modelo aprenda como selecion\u00e1-la. Construindo com o Llama 3 A nossa vis\u00e3o \u00e9 permitir que os desenvolvedores personalizem o Llama 3 para oferecer suporte a casos de uso relevantes e facilitar a ado\u00e7\u00e3o de melhores pr\u00e1ticas e a melhoria do ecossistema aberto. Com este lan\u00e7amento, estamos fornecendo novas ferramentas de confian\u00e7a e seguran\u00e7a, incluindo componentes atualizados com Llama Guard 2 e Cybersec Eval 2, e a introdu\u00e7\u00e3o do Code Shield \u2013 uma prote\u00e7\u00e3o de tempo de infer\u00eancia para filtrar c\u00f3digo inseguro produzido por LLMs. Tamb\u00e9m co-desenvolvemos o Llama 3 com torchtune, a nova biblioteca nativa do PyTorch para f\u00e1cil cria\u00e7\u00e3o, ajuste fino e experimenta\u00e7\u00e3o com LLMs. O torchtune fornece receitas de treinamento hacke\u00e1veis com efici\u00eancia de mem\u00f3ria, escritas inteiramente em PyTorch. A biblioteca \u00e9 integrada a plataformas populares, como Hugging Face, Weights & Biases e EleutherAI, e ainda oferece suporte ao Executorch para permitir que infer\u00eancias eficientes sejam executadas em uma ampla variedade de dispositivos m\u00f3veis e edge. Para tudo que vai desde a engenharia imediata at\u00e9 o uso do Llama 3 com LangChain, temos um guia de primeiros passos abrangente, que vai te orientar desde o download do Llama 3 at\u00e9 a implanta\u00e7\u00e3o em escala dentro de seu aplicativo de IA generativo. Uma abordagem respons\u00e1vel sist\u00eamica Projetamos os modelos Llama 3 para serem extremamente \u00fateis e, ao mesmo tempo, garantir uma abordagem l\u00edder do setor para implement\u00e1-los com responsabilidade. Para conseguir isso, adotamos uma nova abordagem sist\u00eamica para o desenvolvimento e implementa\u00e7\u00e3o respons\u00e1vel do Llama. Imaginamos os modelos Llama como parte de um sistema mais amplo, que coloca o desenvolvedor no comando. Os modelos Llama servir\u00e3o como pe\u00e7a fundamental de um sistema que os desenvolvedores projetam com seus objetivos finais exclusivos em mente. O ajuste fino das instru\u00e7\u00f5es tamb\u00e9m desempenha um papel importante na garantia da seguran\u00e7a de nossos modelos. Nossos modelos aprimorados de instru\u00e7\u00e3o foram reunidos (testados) em termos de seguran\u00e7a por meio de esfor\u00e7os internos e externos. \u200b\u200bNossa abordagem de red teaming utiliza especialistas humanos e m\u00e9todos de automa\u00e7\u00e3o para gerar prompts advers\u00e1rios que tentam obter respostas problem\u00e1ticas. Por exemplo, aplicamos testes abrangentes para avaliar os riscos de uso indevido relacionados \u00e0s \u00e1reas de risco qu\u00edmico, biol\u00f3gico, cibern\u00e9tico, entre outras \u00e1reas. Todos esses esfor\u00e7os s\u00e3o iterativos e usados para informar o ajuste fino de seguran\u00e7a dos modelos que est\u00e3o sendo lan\u00e7ados. Voc\u00ea pode ler mais sobre nossos esfor\u00e7os no cart\u00e3o modelo. Os modelos Llama Guard destinam-se a ser uma base para a seguran\u00e7a imediata e de resposta e podem ser facilmente ajustados para criar uma nova taxonomia dependendo das necessidades da aplica\u00e7\u00e3o. Como ponto de partida, o novo Llama Guard 2 utiliza a recentemente anunciada taxonomia MLCommons, num esfor\u00e7o para apoiar o surgimento de padr\u00f5es da ind\u00fastria nesta importante \u00e1rea. Al\u00e9m disso, o CyberSecEval 2 expande seu antecessor, adicionando medidas de propens\u00e3o de um LLM para permitir o abuso de seu interpretador de c\u00f3digo, capacidades ofensivas de seguran\u00e7a cibern\u00e9tica e suscetibilidade a ataques de inje\u00e7\u00e3o imediata (saiba mais em nosso artigo t\u00e9cnico). Por fim, estamos apresentando o Code Shield, que adiciona suporte para filtragem em tempo de infer\u00eancia de c\u00f3digo inseguro produzido por LLMs. Isso oferece mitiga\u00e7\u00e3o de riscos relacionados a sugest\u00f5es de c\u00f3digo inseguro, preven\u00e7\u00e3o de abuso de int\u00e9rpretes de c\u00f3digo e execu\u00e7\u00e3o segura de comandos. Com a velocidade em que o espa\u00e7o da IA generativa est\u00e1 se movendo, acreditamos que uma abordagem aberta \u00e9 uma forma importante de unir o ecossistema e mitigar estes potenciais danos. Como parte disso, estamos atualizando o nosso Guia de Uso Respons\u00e1vel (RUG), que fornece um guia abrangente para o desenvolvimento respons\u00e1vel com LLMs. Conforme descrito no RUG, recomendamos que todas as entradas e sa\u00eddas sejam verificadas e filtradas de acordo com as diretrizes de conte\u00fado apropriadas \u00e0 aplica\u00e7\u00e3o. Al\u00e9m disso, muitos provedores de servi\u00e7os em nuvem oferecem APIs de modera\u00e7\u00e3o de conte\u00fado e outras ferramentas para implanta\u00e7\u00e3o respons\u00e1vel, e incentivamos os desenvolvedores a tamb\u00e9m considerarem o uso dessas op\u00e7\u00f5es. Implementando o Llama 3 em escala Em breve, o Llama 3 estar\u00e1 dispon\u00edvel em todas as principais plataformas, incluindo provedores de nuvem, provedores de modelo de API e muito mais. O Llama 3 estar\u00e1 em toda parte. Nossos benchmarks mostram que a tokeniza\u00e7\u00e3o oferece maior efici\u00eancia de token, rendendo at\u00e9 15% menos tokens em compara\u00e7\u00e3o com o Llama 2. Al\u00e9m disso, o Group Query Attention (GQA) agora tamb\u00e9m foi adicionado ao Llama 3 8B. Como resultado, observamos que, apesar do modelo ter 1B a mais de par\u00e2metros em compara\u00e7\u00e3o ao Llama 2 7B, a efici\u00eancia aprimorada de tokeniza\u00e7\u00e3o e o GQA contribuem para manter a efici\u00eancia de infer\u00eancia no mesmo n\u00edvel do Llama 2 7B. Para obter exemplos de como aproveitar todos esses recursos, acesse Llama Recipes, que cont\u00e9m todo o nosso c\u00f3digo-fonte aberto que pode ser aproveitado para tudo, desde o ajuste fino at\u00e9 a implementa\u00e7\u00e3o e a avalia\u00e7\u00e3o do modelo. O que vem por a\u00ed para o Llama 3? Os modelos Llama 3 8B e 70B marcam o in\u00edcio do que planejamos lan\u00e7ar para o Llama 3. E tem muito mais por vir. Nossos maiores modelos t\u00eam par\u00e2metros acima de 400B e, enquanto esses modelos ainda est\u00e3o em treinamento, nossa equipe est\u00e1 animada com a forma como est\u00e3o performando. Nos pr\u00f3ximos meses, lan\u00e7aremos v\u00e1rios modelos com novos recursos, incluindo multimodalidade, capacidade de conversar em v\u00e1rios idiomas, uma janela de contexto muito mais longa e recursos gerais mais fortes. Tamb\u00e9m publicaremos um artigo de pesquisa detalhado assim que terminarmos de treinar o Llama 3. Para dar uma pr\u00e9via de onde esses modelos est\u00e3o hoje \u00e0 medida que continuam o treinamento, pensamos em compartilhar alguns snapshots de como o nosso maior modelo LLM est\u00e1 performando. Observe que esses dados s\u00e3o baseados em um ponto de verifica\u00e7\u00e3o inicial do Llama 3, que ainda est\u00e1 em treinamento, e esses recursos n\u00e3o s\u00e3o suportados como parte dos modelos lan\u00e7ados hoje. *Consulte os detalhes da avalia\u00e7\u00e3o para conhecer as configura\u00e7\u00f5es e os par\u00e2metros com os quais essas avalia\u00e7\u00f5es s\u00e3o calculadas. Estamos comprometidos com o crescimento e desenvolvimento cont\u00ednuos de um ecossistema aberto de IA para lan\u00e7ar os nossos modelos de forma respons\u00e1vel. H\u00e1 muito tempo acreditamos que a abertura conduz a produtos melhores e mais seguros, a inova\u00e7\u00f5es mais r\u00e1pidas e a um mercado global mais saud\u00e1vel. Isso \u00e9 bom para Meta e \u00e9 bom para a sociedade. Estamos adotando uma abordagem que prioriza a comunidade com o Llama 3 e, a partir de hoje, esses modelos est\u00e3o dispon\u00edveis nas principais plataformas de nuvem, hospedagem e hardware, com muito mais por vir. Meta Llama 3 hoje Gra\u00e7as aos nossos \u00faltimos avan\u00e7os com o Meta Llama 3, tamb\u00e9m estamos anunciando a expans\u00e3o internacional da IA da Meta, permitindo que mais pessoas usem esta tecnologia gratuita no Facebook, Instagram, WhatsApp e Messenger na Austr\u00e1lia, Canad\u00e1, Gana, Jamaica, Malawi, Nova Zel\u00e2ndia , Nig\u00e9ria, Paquist\u00e3o, Singapura, \u00c1frica do Sul, Uganda, Z\u00e2mbia e Zimb\u00e1bue \u2014 e estamos apenas a come\u00e7ar! Voc\u00ea pode ler mais sobre a experi\u00eancia da IA da Meta aqui. Visite o site do Llama 3 para baixar os modelos e consulte o Guia de primeiros passos para obter a lista mais recente de todas as plataformas dispon\u00edveis.","og_url":"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/","og_site_name":"Sobre a Meta","article_published_time":"2024-04-18T16:35:46+00:00","article_modified_time":"2024-06-05T20:04:24+00:00","og_image":[{"width":1024,"height":565,"url":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2024\/04\/llama-3-1.png?resize=1024,565","type":"image\/png"}],"author":"vivilusor","twitter_card":"summary_large_image","twitter_misc":{"Written by":"Meta","Est. reading time":"14 minutos"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/#article","isPartOf":{"@id":"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/"},"author":"Facebook company","headline":"Apresentando Meta Llama 3: o grande modelo de linguagem de c\u00f3digo aberto mais capaz at\u00e9 hoje","datePublished":"2024-04-18T16:35:46+00:00","dateModified":"2024-06-05T20:04:24+00:00","mainEntityOfPage":{"@id":"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/"},"wordCount":3079,"publisher":{"@id":"https:\/\/about.fb.com\/br\/#organization"},"image":{"@id":"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/#primaryimage"},"thumbnailUrl":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2024\/04\/llama-3-1.png?fit=1904%2C1050","articleSection":["Meta","Recent News","Tecnologia e Inova\u00e7\u00e3o"],"inLanguage":"pt-BR"},{"@type":"WebPage","@id":"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/","url":"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/","name":"Apresentando Meta Llama 3: o grande modelo de linguagem de c\u00f3digo aberto mais capaz at\u00e9 hoje | Sobre a Meta","isPartOf":{"@id":"https:\/\/about.fb.com\/br\/#website"},"primaryImageOfPage":{"@id":"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/#primaryimage"},"image":{"@id":"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/#primaryimage"},"thumbnailUrl":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2024\/04\/llama-3-1.png?fit=1904%2C1050","datePublished":"2024-04-18T16:35:46+00:00","dateModified":"2024-06-05T20:04:24+00:00","breadcrumb":{"@id":"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/#breadcrumb"},"inLanguage":"pt-BR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/"]}],"author":"Sobre a Meta"},{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/#primaryimage","url":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2024\/04\/llama-3-1.png?fit=1904%2C1050","contentUrl":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2024\/04\/llama-3-1.png?fit=1904%2C1050","width":1904,"height":1050},{"@type":"BreadcrumbList","@id":"https:\/\/about.fb.com\/br\/news\/2024\/04\/apresentando-meta-llama-3-o-grande-modelo-de-linguagem-de-codigo-aberto-mais-capaz-ate-hoje\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/about.fb.com\/br\/"},{"@type":"ListItem","position":2,"name":"Apresentando Meta Llama 3: o grande modelo de linguagem de c\u00f3digo aberto mais capaz at\u00e9 hoje"}]},{"@type":"WebSite","@id":"https:\/\/about.fb.com\/br\/#website","url":"https:\/\/about.fb.com\/news\/","name":"Sobre a Meta","description":"","publisher":{"@id":"https:\/\/about.fb.com\/br\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/about.fb.com\/br\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"pt-BR","alternateName":["Meta Newsroom","Meta"]},{"@type":"Organization","@id":"https:\/\/about.fb.com\/br\/#organization","name":"Meta","url":"https:\/\/about.fb.com\/br\/","logo":{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/about.fb.com\/br\/#\/schema\/logo\/image\/","url":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2021\/10\/meta-social-16x9-1.jpg?fit=8000%2C4500","contentUrl":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2021\/10\/meta-social-16x9-1.jpg?fit=8000%2C4500","width":8000,"height":4500,"caption":"Meta"},"image":{"@id":"https:\/\/about.fb.com\/br\/#\/schema\/logo\/image\/"}}]}},"jetpack_featured_media_url":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2024\/04\/llama-3-1.png?fit=1904%2C1050","jetpack-related-posts":[{"id":26290,"url":"https:\/\/about.fb.com\/br\/news\/2025\/04\/modelos-llama-4\/","url_meta":{"origin":25525,"position":0},"title":"A Cole\u00e7\u00e3o de Modelos Llama 4: o In\u00edcio de uma nova era de inova\u00e7\u00e3o em IA multimodal nativa","author":"Meta","date":"05\/04\/2025","format":false,"excerpt":"\u00c0 medida que mais pessoas continuam a usar a intelig\u00eancia artificial para melhorar suas vidas di\u00e1rias, \u00e9 importante que os modelos e sistemas l\u00edderes estejam dispon\u00edveis abertamente para que todos possam construir o futuro das experi\u00eancias personalizadas. Hoje, estamos entusiasmados em anunciar a su\u00edte de modelos mais avan\u00e7ada que suporta\u2026","rel":"","context":"In "Meta"","block_context":{"text":"Meta","link":"https:\/\/about.fb.com\/br\/news\/category\/temas-home\/meta\/"},"img":{"alt_text":"","src":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/Llama4.png?fit=1920%2C1080&resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/Llama4.png?fit=1920%2C1080&resize=350%2C200 1x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/Llama4.png?fit=1920%2C1080&resize=525%2C300 1.5x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/Llama4.png?fit=1920%2C1080&resize=700%2C400 2x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/Llama4.png?fit=1920%2C1080&resize=1050%2C600 3x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/Llama4.png?fit=1920%2C1080&resize=1400%2C800 4x"},"classes":[]},{"id":26363,"url":"https:\/\/about.fb.com\/br\/news\/2025\/04\/nova-escola-esta-entre-os-vencedores-do-llama-impact-grants-usando-ia-para-impulsionar-educacao-publica-no-brasil\/","url_meta":{"origin":25525,"position":1},"title":"Nova Escola est\u00e1 entre os vencedores do Llama Impact Grants, usando IA para impulsionar educa\u00e7\u00e3o p\u00fablica no Brasil","author":"Meta","date":"29\/04\/2025","format":false,"excerpt":"Estamos animados em anunciar os 10 vencedores internacionais da segunda edi\u00e7\u00e3o do Llama Impact Grants. As bolsas somam mais de US$ 1,5 milh\u00e3o em premia\u00e7\u00f5es e t\u00eam como objetivo impulsionar a inova\u00e7\u00e3o em empresas, startups e universidades que utilizam o Llama para gerar valor econ\u00f4mico e social. Representando o Brasil\u2026","rel":"","context":"In "Recent News"","block_context":{"text":"Recent News","link":"https:\/\/about.fb.com\/br\/news\/category\/recent-news\/"},"img":{"alt_text":"","src":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/Llama-Grant-Winners_Header.png?fit=1920%2C1080&resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/Llama-Grant-Winners_Header.png?fit=1920%2C1080&resize=350%2C200 1x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/Llama-Grant-Winners_Header.png?fit=1920%2C1080&resize=525%2C300 1.5x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/Llama-Grant-Winners_Header.png?fit=1920%2C1080&resize=700%2C400 2x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/Llama-Grant-Winners_Header.png?fit=1920%2C1080&resize=1050%2C600 3x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/Llama-Grant-Winners_Header.png?fit=1920%2C1080&resize=1400%2C800 4x"},"classes":[]},{"id":26358,"url":"https:\/\/about.fb.com\/br\/news\/2025\/04\/tudo-o-que-anunciamos-no-nosso-primeiro-llamacon\/","url_meta":{"origin":25525,"position":2},"title":"Tudo o que anunciamos no nosso primeiro LlamaCon","author":"Meta","date":"29\/04\/2025","format":false,"excerpt":"O LlamaCon come\u00e7ou oficialmente. Nosso evento inaugural integra desenvolvedores do mundo todo que t\u00eam algo em comum: a paix\u00e3o por construir com o Llama. J\u00e1 se passaram pouco mais de dois anos desde o lan\u00e7amento do Llama. Nesse per\u00edodo, ultrapassamos a marca de um bilh\u00e3o de downloads e, o mais\u2026","rel":"","context":"In "Recent News"","block_context":{"text":"Recent News","link":"https:\/\/about.fb.com\/br\/news\/category\/recent-news\/"},"img":{"alt_text":"","src":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/493340882_1363289474727356_6058337847885698893_n.png?fit=1920%2C1080&resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/493340882_1363289474727356_6058337847885698893_n.png?fit=1920%2C1080&resize=350%2C200 1x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/493340882_1363289474727356_6058337847885698893_n.png?fit=1920%2C1080&resize=525%2C300 1.5x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/493340882_1363289474727356_6058337847885698893_n.png?fit=1920%2C1080&resize=700%2C400 2x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/493340882_1363289474727356_6058337847885698893_n.png?fit=1920%2C1080&resize=1050%2C600 3x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/04\/493340882_1363289474727356_6058337847885698893_n.png?fit=1920%2C1080&resize=1400%2C800 4x"},"classes":[]},{"id":26252,"url":"https:\/\/about.fb.com\/br\/news\/2025\/03\/celebrando-1-bilhao-de-downloads-do-llama\/","url_meta":{"origin":25525,"position":3},"title":"Celebrando 1 bilh\u00e3o de downloads do Llama","author":"Meta","date":"18\/03\/2025","format":false,"excerpt":"Llama, a nossa cole\u00e7\u00e3o de modelos de Intelig\u00eancia Artificial (IA) com enfoque aberto, acaba de atingir 1 bilh\u00e3o de downloads. A IA de enfoque aberto \u00e9 crucial para garantir que pessoas em todos os lugares tenham acesso aos benef\u00edcios da IA, e cada download do Llama nos aproxima dessa meta.\u2026","rel":"","context":"In "Meta"","block_context":{"text":"Meta","link":"https:\/\/about.fb.com\/br\/news\/category\/temas-home\/meta\/"},"img":{"alt_text":"","src":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/03\/Imagem-Llama.gif?fit=853%2C480&resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/03\/Imagem-Llama.gif?fit=853%2C480&resize=350%2C200 1x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/03\/Imagem-Llama.gif?fit=853%2C480&resize=525%2C300 1.5x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/03\/Imagem-Llama.gif?fit=853%2C480&resize=700%2C400 2x"},"classes":[]},{"id":26421,"url":"https:\/\/about.fb.com\/br\/news\/2025\/05\/novo-estudo-mostra-que-a-ia-de-modelo-aberto-e-catalisadora-do-crescimento-economico\/","url_meta":{"origin":25525,"position":4},"title":"Novo estudo mostra que a IA open source \u00e9 catalisadora do crescimento econ\u00f4mico","author":"Meta","date":"21\/05\/2025","format":false,"excerpt":"O novo estudo, \u201cOs impactos econ\u00f4micos e no mercado de trabalho da IA open source\u201d, divulgado hoje pela Linux Foundation (LF) Research e encomendado pela Meta, mostra que muitas organiza\u00e7\u00f5es adotam modelos de IA open source por serem mais econ\u00f4micos. Dois ter\u00e7os das organiza\u00e7\u00f5es entrevistadas acreditam que a IA open\u2026","rel":"","context":"In "Meta"","block_context":{"text":"Meta","link":"https:\/\/about.fb.com\/br\/news\/category\/temas-home\/meta\/"},"img":{"alt_text":"","src":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/05\/Economic-and-Workforce-Impacts-of-OS-AI-Linux-Foundation-paper.jpg?fit=1920%2C1080&resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/05\/Economic-and-Workforce-Impacts-of-OS-AI-Linux-Foundation-paper.jpg?fit=1920%2C1080&resize=350%2C200 1x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/05\/Economic-and-Workforce-Impacts-of-OS-AI-Linux-Foundation-paper.jpg?fit=1920%2C1080&resize=525%2C300 1.5x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/05\/Economic-and-Workforce-Impacts-of-OS-AI-Linux-Foundation-paper.jpg?fit=1920%2C1080&resize=700%2C400 2x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/05\/Economic-and-Workforce-Impacts-of-OS-AI-Linux-Foundation-paper.jpg?fit=1920%2C1080&resize=1050%2C600 3x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/05\/Economic-and-Workforce-Impacts-of-OS-AI-Linux-Foundation-paper.jpg?fit=1920%2C1080&resize=1400%2C800 4x"},"classes":[]},{"id":26185,"url":"https:\/\/about.fb.com\/br\/news\/2025\/02\/save-the-date-meta-connect-2025-e-nosso-primeiro-llamacon\/","url_meta":{"origin":25525,"position":5},"title":"Save The Date: Meta Connect 2025 e nosso primeiro LlamaCon","author":"Meta","date":"18\/02\/2025","format":false,"excerpt":"O ano passado foi repleto de acontecimentos importantes, com a apresenta\u00e7\u00e3o do Meta Horizon OS, o lan\u00e7amento do Meta Quest 3S e a expans\u00e3o da Meta AI \u2014 e 2025 promete ser ainda mais incr\u00edvel. E, como os meses passam rapidamente, estamos aqui para compartilhar algumas datas importantes para voc\u00ea\u2026","rel":"","context":"In "Meta"","block_context":{"text":"Meta","link":"https:\/\/about.fb.com\/br\/news\/category\/temas-home\/meta\/"},"img":{"alt_text":"","src":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/02\/480461641_643359561502511_2536366497879774915_n_b2cb9b.gif?fit=1920%2C1080&resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/02\/480461641_643359561502511_2536366497879774915_n_b2cb9b.gif?fit=1920%2C1080&resize=350%2C200 1x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/02\/480461641_643359561502511_2536366497879774915_n_b2cb9b.gif?fit=1920%2C1080&resize=525%2C300 1.5x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/02\/480461641_643359561502511_2536366497879774915_n_b2cb9b.gif?fit=1920%2C1080&resize=700%2C400 2x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/02\/480461641_643359561502511_2536366497879774915_n_b2cb9b.gif?fit=1920%2C1080&resize=1050%2C600 3x, https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2025\/02\/480461641_643359561502511_2536366497879774915_n_b2cb9b.gif?fit=1920%2C1080&resize=1400%2C800 4x"},"classes":[]}],"jetpack_sharing_enabled":true,"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/about.fb.com\/br\/wp-json\/wp\/v2\/posts\/25525","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/about.fb.com\/br\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/about.fb.com\/br\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/about.fb.com\/br\/wp-json\/wp\/v2\/users\/164097234"}],"replies":[{"embeddable":true,"href":"https:\/\/about.fb.com\/br\/wp-json\/wp\/v2\/comments?post=25525"}],"version-history":[{"count":6,"href":"https:\/\/about.fb.com\/br\/wp-json\/wp\/v2\/posts\/25525\/revisions"}],"predecessor-version":[{"id":25641,"href":"https:\/\/about.fb.com\/br\/wp-json\/wp\/v2\/posts\/25525\/revisions\/25641"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/about.fb.com\/br\/wp-json\/wp\/v2\/media\/25553"}],"wp:attachment":[{"href":"https:\/\/about.fb.com\/br\/wp-json\/wp\/v2\/media?parent=25525"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/about.fb.com\/br\/wp-json\/wp\/v2\/categories?post=25525"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/about.fb.com\/br\/wp-json\/wp\/v2\/tags?post=25525"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}