{"id":25669,"date":"2024-06-18T13:09:55","date_gmt":"2024-06-18T16:09:55","guid":{"rendered":"https:\/\/about.fb.com\/br\/?p=25669"},"modified":"2024-06-18T13:18:25","modified_gmt":"2024-06-18T16:18:25","slug":"compartilhando-novas-pesquisas-modelos-e-conjuntos-de-dados-da-meta-fair","status":"publish","type":"post","link":"https:\/\/about.fb.com\/br\/news\/2024\/06\/compartilhando-novas-pesquisas-modelos-e-conjuntos-de-dados-da-meta-fair\/","title":{"rendered":"Compartilhando novas pesquisas, modelos e conjuntos de dados da Meta FAIR"},"content":{"rendered":"

H\u00e1 mais de uma d\u00e9cada<\/span><\/a> a equipe de Fundamental AI Research (FAIR) da Meta tem se concentrado no avan\u00e7o da IA por meio de pesquisa aberta. Como a inova\u00e7\u00e3o no campo continua evoluindo em um ritmo acelerado, acreditamos que a colabora\u00e7\u00e3o com a comunidade global de IA \u00e9 mais importante do que nunca. Manter uma abordagem de ci\u00eancia aberta e compartilhar nosso trabalho com a comunidade nos ajuda a permanecer fi\u00e9is ao nosso objetivo de criar sistemas de IA que funcionem bem para todos e que aproximem o mundo.<\/span><\/p>\n

Hoje, estamos animados em compartilhar alguns dos modelos de pesquisa da FAIR mais recentes com a comunidade global. Estamos lan\u00e7ando publicamente seis m\u00f3dulos de pesquisa que se concentram em temas fundamentais do nosso trabalho: inova\u00e7\u00e3o, criatividade, efici\u00eancia e responsabilidade. Esses lan\u00e7amentos incluem modelos de gera\u00e7\u00e3o de imagem para texto e de texto para m\u00fasica, um modelo de previs\u00e3o de m\u00faltiplos tokens e uma t\u00e9cnica para detectar fala gerada por IA. Ao compartilhar publicamente nosso trabalho de pesquisa inicial, esperamos inspirar itera\u00e7\u00f5es e, por fim, ajudar a promover a IA de forma respons\u00e1vel. Estamos ansiosos para ver o que a comunidade desenvolver\u00e1 com essas vers\u00f5es mais recentes e seguir com as conversas importantes que estamos tendo com a comunidade de c\u00f3digo aberto.<\/span><\/p>\n

Meta Chameleon\u00a0<\/strong><\/h3>\n

Conforme compartilhamos em nosso<\/span> artigo de pesquisa<\/span><\/a> no m\u00eas passado, o Meta Chameleon \u00e9 uma fam\u00edlia de modelos que pode combinar texto e imagens na entrada e na sa\u00edda de qualquer combina\u00e7\u00e3o de texto, bem como imagens com uma \u00fanica arquitetura unificada para codifica\u00e7\u00e3o e decodifica\u00e7\u00e3o. Enquanto a maioria dos modelos de fus\u00e3o tardia atuais utilizam aprendizado baseado em difus\u00e3o, o Meta Chameleon usa tokeniza\u00e7\u00e3o para texto e imagens. Isso permite uma abordagem mais unificada e torna o modelo mais f\u00e1cil de projetar, manter e dimensionar. As possibilidades s\u00e3o infinitas – imagine a gera\u00e7\u00e3o de legendas criativas para imagens ou o uso de uma combina\u00e7\u00e3o de prompts de texto e imagens para criar uma cena totalmente nova.<\/span><\/p>\n

https:\/\/about.fb.com\/br\/wp-content\/uploads\/sites\/11\/2024\/06\/An_LX71-jgAsdPRBadNxUjUGNaLoVts_pCskTay9WdjNJV8nU6Am-OoszOWP2sDcBK5BCMx_yIHuTgIXRwYqs7c.mp4<\/a><\/video><\/div>\n

Hoje, estamos lan\u00e7ando publicamente os principais componentes dos nossos modelos Chameleon 7B e 34B sob uma licen\u00e7a exclusiva para pesquisa. Os modelos que estamos disponibilizando foram ajustados com seguran\u00e7a e s\u00e3o compat\u00edveis com entradas de modalidades mistas e sa\u00edda somente de texto para serem usados para fins de pesquisa. Embora tenhamos tomado medidas para desenvolver esses modelos de forma respons\u00e1vel, reconhecemos que ainda existem riscos, portanto, n\u00e3o estamos liberando o modelo de gera\u00e7\u00e3o de imagens do Chameleon no momento. Com os modelos existentes que estamos compartilhando hoje, esperamos incentivar a comunidade de pesquisa a criar novas estrat\u00e9gias de detec\u00e7\u00e3o e mitiga\u00e7\u00e3o que ajudar\u00e3o a dimensionar a pesquisa de modelos generativos de forma respons\u00e1vel.<\/span><\/p>\n

Obtenha os modelos<\/span><\/a><\/p>\n

Previs\u00e3o de m\u00faltiplos tokens<\/strong><\/h3>\n

A maioria dos LLMs (grandes modelos de linguagem) modernos apresentam um objetivo de treinamento simples: prever a pr\u00f3xima palavra. Embora essa abordagem seja simples e escalon\u00e1vel, ela tamb\u00e9m \u00e9 ineficiente, pois requer muitas ordens de magnitude a mais de texto do que as crian\u00e7as precisam para aprender o mesmo grau de flu\u00eancia no idioma.<\/span><\/p>\n

Em abril, propusemos uma nova abordagem para criar LLMs melhores e mais r\u00e1pidos usando a<\/span> previs\u00e3o de m\u00faltiplos tokens<\/span><\/a>. Com essa abordagem, treinamos modelos de linguagem para prever diversas palavras futuras de uma s\u00f3 vez, ao inv\u00e9s da antiga abordagem de uma por vez. Isso melhora os recursos do modelo e a efici\u00eancia do treinamento, al\u00e9m de permitir velocidades mais r\u00e1pidas. No contexto da ci\u00eancia aberta respons\u00e1vel, estamos liberando os modelos pr\u00e9-treinados para o preenchimento de c\u00f3digo sob uma licen\u00e7a n\u00e3o comercial\/apenas para pesquisa. Esperamos que essa medida permita que a comunidade de pesquisa investigue nosso m\u00e9todo e os comportamentos dos modelos treinados de forma independente.<\/span><\/p>\n

Obtenha os modelos<\/span><\/a><\/p>\n

Condicionamento Conjunto Simb\u00f3lico e de \u00c1udio para Gera\u00e7\u00e3o de Texto para M\u00fasica com Controle Temporal\u00a0<\/strong><\/h3>\n

A IA generativa permitiu que as pessoas explorassem sua criatividade de novas maneiras, como, por exemplo, transformando um prompt de texto em um trecho de m\u00fasica. Embora os modelos existentes de texto para m\u00fasica, como o<\/span> MusicGen<\/span><\/a>, dependam principalmente de entradas de texto para a gera\u00e7\u00e3o de m\u00fasica, nosso novo modelo, o Condicionamento Conjunto Simb\u00f3lico e de \u00c1udio para Gera\u00e7\u00e3o de Texto para M\u00fasica com Controle Temporal (JASCO na sigla em ingl\u00eas), \u00e9 capaz de aceitar variadas entradas de condicionamento, como acordes ou batidas espec\u00edficas, para melhorar o controle sobre os resultados musicais gerados. Especificamente, aplicamos camadas de gargalo de informa\u00e7\u00e3o em conjunto com desfoque temporal para extrair informa\u00e7\u00f5es relevantes em rela\u00e7\u00e3o a controles espec\u00edficos. Isso permite a incorpora\u00e7\u00e3o de condi\u00e7\u00f5es baseadas tanto em s\u00edmbolos quanto em \u00e1udio no mesmo modelo de gera\u00e7\u00e3o de texto para m\u00fasica.<\/span><\/p>\n

Os resultados sugerem que o JASCO \u00e9 equivalente aos modelos de base avaliados em termos de qualidade de gera\u00e7\u00e3o, enquanto permite controles significativamente melhores e mais vers\u00e1teis sobre a m\u00fasica gerada. Hoje, estamos lan\u00e7ando o artigo de pesquisa junto com uma p\u00e1gina de amostras. Ainda este m\u00eas, vamos lan\u00e7ar o c\u00f3digo de infer\u00eancia como parte do reposit\u00f3rio<\/span> AudioCraft<\/span><\/a> sob a licen\u00e7a MIT e o modelo pr\u00e9-treinado sob a licen\u00e7a CC-BY-NC. Estamos ansiosos para disponibilizar o c\u00f3digo e os modelos no futuro.<\/span><\/p>\n

Ou\u00e7a amostras de nosso trabalho<\/span><\/a><\/p>\n

AudioSeal<\/strong><\/h3>\n

Ferramentas de IA generativa est\u00e3o inspirando as pessoas a compartilhar suas cria\u00e7\u00f5es com amigos, familiares e seguidores nas redes sociais. Como em todas as inova\u00e7\u00f5es em IA, \u00e9 importante que fa\u00e7amos nossa parte para garantir o uso respons\u00e1vel dessas ferramentas. Hoje, estamos lan\u00e7ando o AudioSeal, que acreditamos ser a primeira t\u00e9cnica de marca d’\u00e1gua de \u00e1udio projetada especificamente para a detec\u00e7\u00e3o localizada de fala gerada por IA, possibilitando identificar segmentos gerados por IA dentro de um trecho de \u00e1udio mais longo. O AudioSeal renova a marca d’\u00e1gua de \u00e1udio cl\u00e1ssica ao focar na detec\u00e7\u00e3o de conte\u00fado gerado por IA em vez de esteganografia. Diferente dos m\u00e9todos tradicionais que dependem de algoritmos de decodifica\u00e7\u00e3o complexos, a abordagem de detec\u00e7\u00e3o localizada do AudioSeal permite uma detec\u00e7\u00e3o mais r\u00e1pida e eficiente. Esse design aumenta a velocidade de detec\u00e7\u00e3o em at\u00e9 485 vezes em compara\u00e7\u00e3o com os m\u00e9todos anteriores, tornando-o altamente adequado para aplica\u00e7\u00f5es em grande escala e em tempo real. Nossa abordagem atinge desempenho de ponta em marca d’\u00e1gua de \u00e1udio em termos de robustez e imperceptibilidade.<\/span><\/p>\n

O AudioSeal est\u00e1 sendo lan\u00e7ado sob uma licen\u00e7a comercial. \u00c9 apenas uma das v\u00e1rias iniciativas de pesquisa respons\u00e1vel que compartilhamos para ajudar a prevenir o uso indevido de ferramentas de IA generativa. Inclu\u00edmos marcas d’\u00e1gua semelhantes em amostras de fala geradas pelo<\/span> SeamlessM4T v2<\/span><\/a>,<\/span> nosso modelo fundamental de tradu\u00e7\u00e3o para texto e fala, e pelo<\/span> Audiobox<\/span><\/a>. <\/span>Detalhamos ainda mais nossa abordagem de marca\u00e7\u00e3o d’\u00e1gua para modelos de<\/span> imagens<\/span><\/a>,<\/span> fala<\/span><\/a> e<\/span> texto<\/span><\/a> em lan\u00e7amentos recentes.<\/span><\/p>\n

Obtenha o modelo e o c\u00f3digo de treinamento<\/span><\/a><\/p>\n

Parceria para apoiar o lan\u00e7amento do conjunto de dados PRISM<\/strong><\/h3>\n

Obter feedback de um grupo diversificado de pessoas \u00e9 importante para melhorar os LLMs, no entanto, quest\u00f5es abertas t\u00eam surgido na comunidade de pesquisa sobre m\u00e9todos, dom\u00ednios e objetivos em torno do processo de feedback. Trabalhamos com nossos<\/span> parceiros externos<\/span><\/a> para lidar com essas quest\u00f5es, apoiando o lan\u00e7amento do conjunto de dados PRISM, que mapeia as caracter\u00edsticas sociodemogr\u00e1ficas e as prefer\u00eancias declaradas de 1.500 participantes diversos de 75 pa\u00edses. O conjunto de dados mapeia as prefer\u00eancias de cada pessoa e o feedback detalhado para 8.011 conversas ao vivo com 21 LLMs diferentes.<\/span><\/p>\n

A Meta prestou consultoria sobre a compila\u00e7\u00e3o do conjunto de dados PRISM de nossos parceiros externos, concentrando as conversas que centralizam perspectivas subjetivas e multiculturais em t\u00f3picos em que \u00e9 prov\u00e1vel que haja discord\u00e2ncia interpessoal e transcultural. Nosso artigo demonstra a utilidade do PRISM por meio de tr\u00eas estudos de caso de diversidade de di\u00e1logos, diversidade de prefer\u00eancias e resultados de bem-estar, mostrando que \u00e9 importante que os seres humanos definem normas de alinhamento. Embora esperemos que este documento sirva como um recurso da comunidade, tamb\u00e9m queremos que ele inspire uma participa\u00e7\u00e3o mais ampla no desenvolvimento de IA e promova uma abordagem mais inclusiva para o design de tecnologia.<\/span><\/p>\n

Obtenha o conjunto de dados dos parceiros externos<\/a><\/p>\n

Leia o relat\u00f3rio t\u00e9cnico<\/span><\/a><\/p>\n

Mensura\u00e7\u00e3o e aprimoramento de disparidades geogr\u00e1ficas em sistemas de gera\u00e7\u00e3o de texto para imagem<\/strong><\/h3>\n

\u00c9 importante que os modelos de texto para imagem funcionem bem para todos e reflitam a diversidade geogr\u00e1fica e cultural do mundo. Para aprimorar esses modelos, s\u00e3o necess\u00e1rias novas ferramentas que possibilitem aos pesquisadores compreender melhor onde os modelos existentes podem ser insuficientes. Para atingir esse objetivo, estamos detalhando nossos esfor\u00e7os e progressos recentes em pesquisa:<\/span><\/p>\n