Estamos animados em compartilhar hoje mais informações sobre a abordagem adotada da equipe Fundamental AI Research (FAIR) da Meta para criar uma pesquisa de inteligência artificial (IA) socialmente responsável. Os modelos de IA não existem de forma isolada – eles fazem parte de um ecossistema com o qual os seres humanos interagem todos os dias. Também se tornou cada vez mais crucial tornar nossos modelos não apenas justos e robustos, mas também transparentes, para que juntos possamos contribuir com a criação de uma IA que funcione bem para todos.
Estamos compartilhando atualizações de três categorias de pesquisa de IA socialmente responsável na FAIR: compreensão técnica, compreensão contextual e avaliação e benchmarking. O aumento da compreensão técnica ajuda a deduzir quando, por que e como os modelos demonstram preocupações com a responsabilidade. A criação de modelos inclusivos e conscientes do contexto pode aprofundar a compreensão em diversos contextos sociais. Já a criação de benchmarks holísticos e ferramentas de avaliação permite que a área mensure e acompanhe o progresso.
Construção de ferramentas e testes para imparcialidade
Os aprimoramentos na pesquisa sobre imparcialidade podem ajudar a construir inovações em IA que funcionem bem para todos, independentemente das características demográficas. É por isso que a FAIR está criando testes e ferramentas que visam minimizar possíveis vieses e ajudar a permitir a inclusão e a acessibilidade da IA.
Continuamos nosso trabalho para criar e distribuir conjuntos de dados mais diversificados, que representam uma ampla gama de pessoas e experiências. Lançamos o conjunto de dados Casual Conversations v2, um recurso orientado por consentimento e disponível publicamente, que permite aos pesquisadores avaliar melhor a imparcialidade e a robustez de determinados tipos de modelos de IA. Também apresentamos o FACET (FAirness in Computer Vision EvaluaTion), um novo tipo de benchmark abrangente para avaliar a imparcialidade dos modelos de visão computacional em tarefas de classificação, detecção, segmentação de instâncias e aterramento visual.
Na crescente subárea dos grandes modelos de linguagem (LLMs), as métricas de viés e toxicidade abrangem diferentes eixos demográficos e domínios de texto. O uso de apenas uma métrica não fornece um panorama completo, por isso desenvolvemos o Robust Bias Evaluation of Large Generative Language Models (ROBBIE), uma ferramenta que compara seis métricas diferentes de viés e toxicidade baseadas em solicitações em 12 eixos demográficos e cinco LLMs distintos. A combinação dessas métricas permite uma melhor compreensão de viés e da toxicidade nos modelos que estão sendo comparados. Ela também nos permite explorar a frequência dos termos demográficos nos textos em que um LLM é treinado e fornece informações sobre como isso pode afetar os possíveis vieses do modelo.
A IA generativa representativa ajudaria a permitir a geração consistente e realista de conteúdos diversificados e inclusivos. O DIG In se concentra na avaliação de lacunas existentes na qualidade e na diversidade do conteúdo gerado a partir de modelos de texto para imagem entre regiões geográficas. Depois de auditar cinco modelos de texto para imagem de última geração usando o DIG In, nossos resultados sugerem que o progresso na qualidade da geração de imagens ocorreu a partir da representação geográfica do mundo real. Os insights que reunimos ajudaram a identificar áreas importantes para aprimoramento, como a redução de estereótipos de fundo ou a garantia de que a solicitação de diversidade não prejudique a consistência da imagem.
A imparcialidade e a privacidade muitas vezes podem ser consideradas conflitantes, pois a maioria dos métodos de imparcialidade precisam de acesso a informações confidenciais. Desenvolvemos um novo paradigma para avaliar a imparcialidade do grupo que usa redes sociais para amenizar esse problema. A principal observação desse trabalho é que a homofilia, enquanto tendência de se vincular a semelhantes, nos permite, nas redes sociais, definir a imparcialidade do grupo sem acesso a nenhuma informação do mesmo. Isso nos permite reduzir os resultados injustos do aprendizado de máquina, ajustando os resultados de acordo com a semelhança dos usuários induzida pela estrutura da rede. É importante ressaltar que essa abordagem funciona sem acesso às informações do grupo e sem nunca inferir informações confidenciais. Dessa forma, as informações da rede social ajudam a respeitar a privacidade dos usuários e, ao mesmo tempo, permitem um aprendizado de máquina justo.
Promovendo transparência, segurança e responsabilidade
A IA generativa está capacitando as pessoas a criarem rapidamente vídeos, imagens, áudios, textos vibrantes e muito mais – tudo com base em um prompt inserido. Essas novas ferramentas criativas também estão inspirando as pessoas a compartilhar suas criações com amigos, familiares e seguidores nas redes sociais. Embora haja muito com que se entusiasmar, é importante que façamos nossa parte para reduzir a possibilidade de as pessoas utilizarem essas ferramentas de forma errada.
Desenvolvemos o Stable Signature, um novo método de marca d’água para distinguir quando as imagens são geradas por IA de código aberto. Apesar da marca d’água ser invisível a olho nu, ela pode ser detectada por algoritmos mesmo que o conteúdo tenha sido editado. Incluímos marcas d’água semelhantes em amostras de fala geradas pelo SeamlessM4T v2, nosso modelo de tradução fundamental para texto e fala. A marca d’água permite identificar com precisão os segmentos gerados pela IA em um trecho de áudio mais longo. Essa precisão é particularmente importante para a fala, tendo em vista que a modificação de uma única palavra pode alterar todo o significado de uma frase. Detalhamos mais nossa abordagem de marca d’água para imagens, fala e modelos de texto em versões recentes.
O que vem a seguir
Nossos esforços de IA socialmente responsáveis são impulsionados por uma equipe interdisciplinar cuja missão é ajudar a garantir que a pesquisa na FAIR beneficie as pessoas e a sociedade. O objetivo é colaborar com toda a comunidade de IA, desde empresas até o meio acadêmico, para compartilhar e alinhar consistentemente métricas e considerações de referência. Até mesmo a melhor pesquisa de IA responsável não teria impacto se não fosse adotada e apoiada pela comunidade de IA mais ampla. É por isso que fizemos uma parceria com a MLCommons para colaborar com o Grupo de Trabalho de Segurança de IA, pois trabalhamos em conjunto com líderes do setor e de universidades para desenvolver testes de segurança de IA e definir ainda mais as referências de segurança de IA padrão.
Também estamos trabalhando com a Partnership on AI (PAI) e apoiamos o Framework for Collective Action on Synthetic Media e o Guidance for Safe Foundation Model Deployment. Como a área continua a evoluir, sabemos que não podemos fazer isso sozinhos. Uma maior colaboração será essencial para fornecer a pesquisa de IA mais segura e responsável.