{"id":25688,"date":"2024-07-23T12:30:03","date_gmt":"2024-07-23T15:30:03","guid":{"rendered":"https:\/\/about.fb.com\/br\/?p=25688"},"modified":"2024-07-23T12:30:03","modified_gmt":"2024-07-23T15:30:03","slug":"apresentando-o-llama-3-1-nossos-modelos-mais-capazes-ate-o-momento","status":"publish","type":"post","link":"https:\/\/about.fb.com\/br\/news\/2024\/07\/apresentando-o-llama-3-1-nossos-modelos-mais-capazes-ate-o-momento\/","title":{"rendered":"Apresentando o Llama 3.1: nossos modelos mais capazes at\u00e9 o momento"},"content":{"rendered":"

At\u00e9 hoje, os grandes modelos de linguagem de c\u00f3digo aberto ficavam atr\u00e1s de seus equivalentes fechados quando se trata de recursos e desempenho. Agora, estamos inaugurando uma nova era com o c\u00f3digo aberto liderando o caminho. Estamos lan\u00e7ando publicamente o Llama 3.1 405B, que acreditamos ser o maior e mais capaz modelo de base dispon\u00edvel abertamente no mundo. Com mais de 300 milh\u00f5es de downloads totais de todas as vers\u00f5es do Llama at\u00e9 o momento, estamos apenas come\u00e7ando.<\/span><\/p>\n

Apresentando o Llama 3.1<\/b><\/p>\n

O Llama 3.1 405B \u00e9 o primeiro modelo dispon\u00edvel abertamente que rivaliza com os principais modelos de IA quando se trata de recursos de \u00faltima gera\u00e7\u00e3o em conhecimento geral, capacidade de dire\u00e7\u00e3o, matem\u00e1tica, uso de ferramentas e tradu\u00e7\u00e3o multil\u00edngue. Com o lan\u00e7amento do modelo 405B, estamos preparados para impulsionar a inova\u00e7\u00e3o \u2013 com oportunidades sem precedentes de crescimento e explora\u00e7\u00e3o. Acreditamos que a \u00faltima gera\u00e7\u00e3o do Llama ir\u00e1 desencadear novas aplica\u00e7\u00f5es e paradigmas de modelagem, incluindo a gera\u00e7\u00e3o de dados sint\u00e9ticos para permitir a melhoria e o treinamento de modelos menores, bem como a destila\u00e7\u00e3o de modelos \u2013 uma capacidade que nunca foi alcan\u00e7ada nesta escala em c\u00f3digo aberto.<\/span><\/p>\n

Como parte deste \u00faltimo lan\u00e7amento, apresentamos vers\u00f5es atualizadas dos modelos 8B e 70B. Eles s\u00e3o multil\u00edngues e t\u00eam um comprimento de contexto significativamente maior, de 128K, uso de ferramentas de \u00faltima gera\u00e7\u00e3o e recursos de racioc\u00ednio mais fortes em geral. Isso permite que nossos modelos mais recentes ofere\u00e7am suporte a casos de uso avan\u00e7ados, como resumo de textos longos, agentes de conversa\u00e7\u00e3o multil\u00edngues e assistentes de codifica\u00e7\u00e3o. Tamb\u00e9m fizemos altera\u00e7\u00f5es em nossa licen\u00e7a, permitindo que os desenvolvedores usem os resultados dos modelos Llama \u2013 incluindo o 405B \u2013 para melhorar outros modelos. Fi\u00e9is ao nosso compromisso com o c\u00f3digo aberto, a partir de hoje estamos disponibilizando esses modelos para a comunidade para download em <\/span>llama.meta.com<\/span><\/a> e <\/span>Hugging Face<\/span><\/a>, al\u00e9m de estarem dispon\u00edveis para desenvolvimento imediato em nosso amplo ecossistema de plataformas parceiras.<\/span><\/p>\n

Avalia\u00e7\u00f5es do modelo\u00a0<\/b><\/p>\n

Para esta vers\u00e3o, avaliamos o desempenho em mais de 150 conjuntos de dados de refer\u00eancia que abrangem uma ampla variedade de idiomas. Al\u00e9m disso, realizamos extensas avalia\u00e7\u00f5es humanas que comparam o Llama 3.1 com modelos concorrentes em cen\u00e1rios do mundo real. Nossa avalia\u00e7\u00e3o experimental sugere que nosso modelo principal \u00e9 competitivo com os principais modelos de base em uma s\u00e9rie de tarefas, incluindo GPT-4, GPT-4o e Claude 3.5 Sonnet. Al\u00e9m disso, nossos modelos menores s\u00e3o competitivos com modelos fechados e abertos que possuem um n\u00famero semelhante de par\u00e2metros.<\/span><\/p>\n

\"\"<\/p>\n

\"\"<\/p>\n

\"\"<\/p>\n

Arquitetura do modelo<\/b><\/p>\n

Como nosso maior modelo at\u00e9 agora, treinar o Llama 3.1 405B em mais de 15 trilh\u00f5es de tokens foi um grande desafio. Para permitir execu\u00e7\u00f5es de treinamento nesta escala e alcan\u00e7ar os resultados que temos em um per\u00edodo de tempo razo\u00e1vel, otimizamos significativamente toda a nossa estrutura de treinamento e aumentamos o treinamento do nosso modelo para mais de 16 mil GPUs H100, tornando o 405B o primeiro modelo Llama treinado nesta escala.<\/span><\/p>\n

\"\"<\/p>\n

Para resolver isso, fizemos escolhas de design que se concentram em manter o processo de desenvolvimento do modelo escal\u00e1vel e direto.\u00a0<\/span><\/p>\n