{"id":25811,"date":"2024-09-25T14:38:49","date_gmt":"2024-09-25T17:38:49","guid":{"rendered":"https:\/\/about.fb.com\/br\/?p=25811"},"modified":"2024-09-25T15:46:24","modified_gmt":"2024-09-25T18:46:24","slug":"conheca-o-llama-3-2-da-nuvem-para-a-borda-e-agora-com-visao","status":"publish","type":"post","link":"https:\/\/about.fb.com\/br\/news\/2024\/09\/conheca-o-llama-3-2-da-nuvem-para-a-borda-e-agora-com-visao\/","title":{"rendered":"Llama 3.2: Revolucionando a IA de borda e vis\u00e3o com modelos abertos e personaliz\u00e1veis"},"content":{"rendered":"

Estamos animados com o <\/span>impacto que o grupo de modelos Llama 3.1 causou<\/span><\/a> nos dois meses desde que os anunciamos, incluindo o <\/span>405B<\/span><\/a>, o primeiro modelo de IA de c\u00f3digo aberto de n\u00edvel de fronteira. Embora esses modelos sejam incrivelmente poderosos, reconhecemos que construir com eles requer recursos de computa\u00e7\u00e3o e experi\u00eancia significativos. Tamb\u00e9m ouvimos desenvolvedores que n\u00e3o t\u00eam acesso a esses recursos e ainda querem a oportunidade de construir com o Llama. Como Mark Zuckerberg compartilhou hoje no Connect, eles n\u00e3o ter\u00e3o que esperar mais. Hoje, estamos lan\u00e7ando o Llama 3.2, que inclui LLMs de vis\u00e3o de pequeno e m\u00e9dio porte (11B e 90B) e modelos leves somente de texto (1B e 3B), que se encaixam em dispositivos m\u00f3veis e de ponta selecionados.<\/span><\/p>\n

Faz apenas um ano e meio desde que anunciamos o Llama pela primeira vez, e fizemos um progresso incr\u00edvel em t\u00e3o pouco tempo. Este ano, o <\/span>Llama alcan\u00e7ou um crescimento de 10x<\/span><\/a> e se tornou o padr\u00e3o para inova\u00e7\u00e3o respons\u00e1vel. O Llama tamb\u00e9m continua a liderar em abertura, modificabilidade e efici\u00eancia de custos, sendo competitivo com modelos fechados \u2014 at\u00e9 mesmo liderando em algumas \u00e1reas. Acreditamos que a abertura impulsiona a inova\u00e7\u00e3o e \u00e9 o caminho certo a seguir, e \u00e9 por isso que continuamos a compartilhar nossa pesquisa e a colaborar com nossos parceiros e a comunidade de desenvolvedores.<\/span><\/p>\n

Estamos disponibilizando modelos Llama 3.2 para download em <\/span>llama.com<\/span><\/a> e <\/span>Hugging Face<\/span><\/a>, e tamb\u00e9m est\u00e3o dispon\u00edveis para desenvolvimento imediato em nosso amplo ecossistema de plataformas de parceiros. Os parceiros s\u00e3o uma parte importante deste trabalho, e trabalhamos com mais de 25 empresas, incluindo AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA NIM, Oracle Cloud e Snowflake, para habilitar servi\u00e7os desde o in\u00edcio. Para o lan\u00e7amento do Llama 3.2, tamb\u00e9m estamos trabalhando com os parceiros <\/span>on-device<\/span><\/i> Arm, MediaTek e Qualcomm para oferecer uma ampla gama de servi\u00e7os no lan\u00e7amento. A partir de hoje, tamb\u00e9m estamos disponibilizando o <\/span>Llama Stack<\/span><\/a> para a comunidade. Mais detalhes sobre o lan\u00e7amento mais recente, incluindo informa\u00e7\u00f5es sobre a <\/span>disponibilidade multimodal<\/span><\/a> na Europa, podem ser encontrados em <\/span>nossa pol\u00edtica de uso aceit\u00e1vel<\/span><\/a>.<\/span><\/p>\n

Conhe\u00e7a o Llama 3.2<\/b><\/p>\n

Os dois maiores modelos da cole\u00e7\u00e3o Llama 3.2, 11B e 90B, oferecem suporte a casos de uso de racioc\u00ednio de imagem, como compreens\u00e3o em n\u00edvel de documento, incluindo tabelas e gr\u00e1ficos, legendas de imagens e tarefas de aterramento visual, como apontar objetos direcionalmente em imagens com base em descri\u00e7\u00f5es de linguagem natural. Por exemplo, uma pessoa pode fazer uma pergunta sobre qual m\u00eas do ano anterior sua pequena empresa teve as melhores vendas, e o Llama 3.2 pode ent\u00e3o raciocinar com base em um gr\u00e1fico dispon\u00edvel e fornecer a resposta rapidamente. Em outro exemplo, o modelo pode raciocinar com um mapa e ajudar a responder perguntas como quando uma caminhada pode se tornar mais \u00edngreme ou a dist\u00e2ncia de uma trilha espec\u00edfica marcada no mapa. Os modelos 11B e 90B tamb\u00e9m podem preencher a lacuna entre vis\u00e3o e linguagem extraindo detalhes de uma imagem, entendendo a cena e, em seguida, elaborando uma ou duas frases que podem ser usadas como legenda de imagem para ajudar a contar a hist\u00f3ria.<\/span><\/p>\n

Os modelos leves 1B e 3B s\u00e3o altamente capazes com gera\u00e7\u00e3o de texto multil\u00edngue e habilidades de chamada de ferramentas. Esses modelos capacitam os desenvolvedores a criar aplicativos agentes\u00a0 <\/span>on-device<\/span><\/i> personalizados com forte privacidade, onde os dados nunca saem do dispositivo. Por exemplo, esses aplicativos podem ajudar a resumir as \u00faltimas 10 mensagens recebidas, extrair itens de a\u00e7\u00e3o e aproveitar a chamada de ferramentas para enviar diretamente convites de calend\u00e1rio para acompanhamento.<\/span><\/p>\n

Executar esses modelos localmente traz duas grandes vantagens. Primeiro, os prompts e respostas podem parecer instant\u00e2neos, uma vez que o processamento \u00e9 feito localmente. Segundo, executar modelos localmente preserva a privacidade ao n\u00e3o enviar dados, como mensagens e informa\u00e7\u00f5es de calend\u00e1rio, para a nuvem, tornando o aplicativo mais privado em geral. Como o processamento \u00e9 feito localmente, o aplicativo pode controlar claramente quais consultas permanecem no dispositivo e quais podem precisar ser processadas por um modelo maior na nuvem.<\/span><\/p>\n

Avalia\u00e7\u00f5es de modelos<\/b><\/p>\n

Nossa avalia\u00e7\u00e3o sugere que os modelos de vis\u00e3o Llama 3.2 s\u00e3o competitivos com os principais modelos de base, como Claude 3 Haiku e GPT4o-mini, em reconhecimento de imagem e uma variedade de tarefas de compreens\u00e3o visual. O modelo 3B supera os modelos Gemma 2 2.6B e Phi 3.5-mini em tarefas como seguir instru\u00e7\u00f5es, resumir, reescrever prompts e uso de ferramentas, enquanto o 1B \u00e9 competitivo com o Gemma nessas tarefas.<\/span><\/p>\n

Avaliamos o desempenho em mais de 150 conjuntos de dados de refer\u00eancia que abrangem uma ampla variedade de idiomas. Para os LLMs de vis\u00e3o, avaliamos o desempenho em benchmarks de compreens\u00e3o de imagem e racioc\u00ednio visual. Al\u00e9m disso, realizamos extensivas avalia\u00e7\u00f5es humanas que comparam o Llama 3.2 com modelos concorrentes em cen\u00e1rios do mundo real.<\/span><\/p>\n

 <\/p>\n

 <\/p>\n

\"\"<\/p>\n

\"\"<\/p>\n

Modelos de vis\u00e3o<\/b><\/p>\n

Como os primeiros modelos Llama a oferecer suporte a tarefas de vis\u00e3o, os modelos 11B e 90B exigiram uma arquitetura de modelo totalmente nova, que possibilita o racioc\u00ednio de imagem.<\/span><\/p>\n

Para adicionar suporte \u00e0 entrada de imagem, treinamos um conjunto de pesos de adaptador que integram o codificador de imagem pr\u00e9-treinado ao modelo de linguagem pr\u00e9-treinado. O adaptador consiste em uma s\u00e9rie de camadas de aten\u00e7\u00e3o cruzada que alimentam as representa\u00e7\u00f5es do codificador de imagem no modelo de linguagem. Treinamos o adaptador em pares de texto-imagem para alinhar as representa\u00e7\u00f5es de imagem com as representa\u00e7\u00f5es de linguagem. Durante o treinamento do adaptador, tamb\u00e9m atualizamos os par\u00e2metros do codificador de imagem, mas intencionalmente n\u00e3o atualizamos os par\u00e2metros do modelo de linguagem. Ao fazer isso, mantemos todos os recursos somente de texto intactos, oferecendo aos desenvolvedores uma substitui\u00e7\u00e3o imediata para os modelos Llama 3.1.<\/span><\/p>\n

Nosso pipeline de treinamento consiste em v\u00e1rios est\u00e1gios, come\u00e7ando com modelos de texto Llama 3.1 pr\u00e9-treinados. Primeiro, adicionamos adaptadores e codificadores de imagem; depois, pr\u00e9-treinamos em dados de pares (imagem, texto) ruidosos de grande escala. Em seguida, treinamos em dados de pares (imagem, texto) de alta qualidade e aprimorados por conhecimento, de escala m\u00e9dia.<\/span><\/p>\n

No p\u00f3s-treinamento, usamos uma abordagem semelhante \u00e0 dos modelos de texto, realizando v\u00e1rias rodadas de alinhamento em ajuste fino supervisionado, amostragem de rejei\u00e7\u00e3o e otimiza\u00e7\u00e3o de prefer\u00eancia direta. Aproveitamos a gera\u00e7\u00e3o de dados sint\u00e9ticos utilizando o modelo Llama 3.1 para filtrar e aumentar perguntas e respostas sobre imagens do dom\u00ednio e usamos um modelo de recompensa para classificar todas as respostas candidatas, a fim de fornecer dados de ajuste fino de alta qualidade. Tamb\u00e9m adicionamos dados de mitiga\u00e7\u00e3o de seguran\u00e7a para produzir um modelo com alto n\u00edvel de seguran\u00e7a, mantendo a utilidade do modo.<\/span><\/p>\n

O resultado final \u00e9 um conjunto de modelos que podem receber prompts de imagem e texto e entender e raciocinar profundamente sobre a combina\u00e7\u00e3o. Este \u00e9 mais um passo em dire\u00e7\u00e3o aos modelos Llama com capacidades de agente ainda mais ricas.<\/span><\/p>\n

https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2024\/09\/AQMWa-qHzyhc9oiqLbpYJyshnwMlIKn0Vicr5vjikwD0Wd_bYR2tlSLFe_hN4Zo9hEcgmPxo4GOGSidprO2FUvra.mp4<\/a><\/video><\/div>\n

Modelos leves<\/b><\/p>\n

Como dissemos sobre o Llama 3.1, modelos professores poderosos podem ser utilizados para criar modelos menores com desempenho aprimorado. Usamos dois m\u00e9todos \u2014 poda e destila\u00e7\u00e3o \u2014 nos modelos 1B e 3B, tornando-os os primeiros modelos Llama leves e altamente capazes que podem ser implantados de forma eficiente em dispositivos.<\/span><\/p>\n

A poda nos permitiu reduzir o tamanho dos modelos existentes no grupo Llama enquanto recuper\u00e1vamos o m\u00e1ximo de conhecimento e desempenho poss\u00edvel. Para os modelos 1B e 3B, adotamos a abordagem de usar uma poda estruturada de forma \u00fanica do Llama 3.2 8B. Isso envolveu remover sistematicamente partes da rede e ajustar a magnitude dos pesos e gradientes, para criar um modelo menor e mais eficiente que retenha o desempenho da rede original.<\/span><\/p>\n

A destila\u00e7\u00e3o de conhecimento usa uma rede maior para transmitir conhecimento em uma rede menor, com a ideia de que um modelo menor pode atingir melhor desempenho usando um professor do que se o fizesse do zero. Para o 1B e 3B no Llama 3.2, incorporamos os logits dos modelos 8B e 70B do Llama 3.1 no est\u00e1gio de pr\u00e9-treinamento do desenvolvimento do modelo, onde as sa\u00eddas (logits) desses modelos maiores foram usadas como alvos de n\u00edvel de token. A destila\u00e7\u00e3o de conhecimento foi usada ap\u00f3s a poda, para recuperar o desempenho.<\/span><\/p>\n

\"\"<\/p>\n

No p\u00f3s-treinamento, usamos uma receita semelhante \u00e0 do Llama 3.1 e produzimos modelos de bate-papo finais, fazendo v\u00e1rias rodadas de alinhamento sobre o modelo pr\u00e9-treinado. Cada rodada envolve ajuste fino supervisionado (SFT), amostragem de rejei\u00e7\u00e3o (RS) e otimiza\u00e7\u00e3o de prefer\u00eancia direta (DPO).<\/span><\/p>\n

Ampliamos o suporte ao comprimento do contexto para 128 mil tokens, mantendo a mesma qualidade do modelo pr\u00e9-treinado. Tamb\u00e9m nos dedicamos \u00e0 gera\u00e7\u00e3o de dados sint\u00e9ticos, que passam por um rigoroso processamento e filtragem para garantir alta qualidade. Misturamos cuidadosamente os dados para otimizar a qualidade em v\u00e1rias capacidades, como resumo, reescrita, acompanhamento de instru\u00e7\u00f5es, racioc\u00ednio lingu\u00edstico e uso de ferramentas.<\/span><\/p>\n

Para permitir que a comunidade inovasse nesses modelos, trabalhamos em estreita colabora\u00e7\u00e3o com a Qualcomm e a Mediatek, as duas maiores empresas de sistemas m\u00f3veis em um chip (SoC) do mundo, e a ARM, que fornece o IP de computa\u00e7\u00e3o principal para <\/span>99%<\/span><\/a> dos dispositivos m\u00f3veis. Os pesos divulgados hoje s\u00e3o baseados em n\u00fameros BFloat16. Nossas equipes est\u00e3o explorando ativamente variantes quantizadas, que ser\u00e3o executadas ainda mais r\u00e1pido, e esperamos compartilhar mais sobre isso em breve.<\/span><\/p>\n

https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2024\/09\/AQOsEY2WxZMd0Kqq-0Jsmv6PtQfVoce3QG0XLpyspB9U8M4VdncjzvSu4PfmnnB4cdOwMajGsG5W2V0Nvx1i7CQR.mp4<\/a><\/video><\/div>\n

 <\/p>\n

https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2024\/09\/AQPejAkmWiZ9YbHtOOqFZP7IhwDvi-wk7X2Up85igRBWy_5Bpgn7Q4n3Yp5LyLufdLgARBAO2_YK8ZovA2Bks3l6.mp4<\/a><\/video><\/div>\n