Compartimos más información sobre el enfoque que adoptamos en el equipo de Investigación sobre Inteligencia Artificial Fundamental (FAIR) de Meta para construir una IA socialmente responsable. Los modelos de IA no existen de forma aislada: forman parte de un ecosistema con el que las personas interactúan cada día. También se ha vuelto cada vez más crucial hacer que nuestros modelos no sólo sean justos y sólidos, sino también transparentes, para que juntos contribuyamos a construir una IA que funcione bien para todas las personas.
En FAIR compartimos actualizaciones de tres categorías de investigación sobre IA socialmente responsable: comprensión técnica, comprensión contextual y evaluación comparativa. Aumentar la comprensión técnica ayuda a deducir cuándo, por qué y cómo los modelos muestran problemas de responsabilidad. La creación de modelos inclusivos y conscientes del contexto puede ayudar a comprender mejor los diversos contextos sociales. Y la creación de puntos de referencia holísticos y herramientas de evaluación permite medir y seguir los avances.
Creación de herramientas y pruebas de equidad
Las mejoras en la investigación de la equidad pueden ayudar a producir innovaciones en IA que funcionen bien para todos, independientemente de las características demográficas. Por este motivo, FAIR está creando pruebas y herramientas destinadas a minimizar los posibles sesgos y a facilitar la inclusión y la accesibilidad de la IA.
Seguimos trabajando para crear y distribuir conjuntos de datos más diversos que representen a un amplio abanico de personas y experiencias. Hemos publicado el conjunto de datos Casual Conversations v2, un recurso público basado en el consentimiento que permite a los investigadores evaluar mejor la imparcialidad y solidez de determinados tipos de modelos de IA. También presentamos FACET (FAirness in Computer Vision EvaluaTion), un nuevo parámetro de referencia para evaluar la imparcialidad de los modelos de visión por ordenador en tareas de clasificación, detección, segmentación de instancias y fundamentación visual.
En el creciente subcampo de los grandes modelos del lenguaje (LLM), las métricas de sesgo y toxicidad abarcan diferentes ejes demográficos y dominios textuales. El uso de una sola métrica no proporciona una imagen completa, por lo que hemos desarrollado Evaluación robusta del sesgo de grandes modelos generativos del lenguaje (ROBBIE), una herramienta que compara seis métricas diferentes de sesgo y toxicidad basadas en preguntas en 12 ejes demográficos y cinco LLM diferentes. La combinación de estas métricas permite comprender mejor el sesgo y la toxicidad de los modelos que se comparan. También nos permite explorar la frecuencia de los términos demográficos en los textos en los que se entrena un LLM y nos da una idea de cómo esto podría afectar a los posibles sesgos del modelo.
Una IA generativa representativa ayudaría a generar de forma coherente y realista contenidos diversos e inclusivos. DIG In se centra en evaluar las diferencias de calidad y diversidad de los contenidos generados a partir de modelos texto-imagen entre regiones geográficas. Tras auditar cinco modelos de texto a imagen de última generación mediante DIG In, nuestros resultados sugieren que los avances en la calidad de la generación de imágenes se han producido a costa de la representación geográfica en el mundo real. La información obtenida nos ha ayudado a identificar importantes áreas de mejora, como la reducción de los estereotipos de fondo o la garantía de que las indicaciones de diversidad no afecten a la coherencia de la imagen.
A menudo se considera que la equidad y la privacidad entran en conflicto, ya que la mayoría de los métodos de equidad necesitan acceder a información sensible. Hemos desarrollado un nuevo paradigma para evaluar la equidad de grupo que utiliza las redes sociales para paliar este problema. La observación clave de este trabajo es que la homofilia en las redes sociales nos permite definir la equidad de grupo sin acceder a ninguna información del grupo. Esto nos permite mitigar los resultados injustos del aprendizaje automático ajustando los resultados en función de la similitud de los usuarios inducida por la estructura de la red. Y lo que es más importante, este enfoque funciona sin acceso a información de grupo y sin inferir nunca información sensible. De este modo, la información de la red social ayuda a respetar la privacidad de los usuarios al tiempo que permite un aprendizaje automático justo.
Fomentar la transparencia, la seguridad y la responsabilidad
La IA generativa está permitiendo a las personas crear rápidamente vídeos, imágenes, audio, texto y mucho más, todo ello a partir de una sugerencia. Estas nuevas herramientas creativas también están inspirando a las personas a compartir sus creaciones con amigos, familiares y seguidores en las redes sociales. Aunque hay mucho por lo que entusiasmarse, es importante que pongamos de nuestra parte para reducir la posibilidad de que las personas abusen de estas herramientas.
Hemos desarrollado Stable Signature, un nuevo método de marca de agua para distinguir cuando las imágenes son generadas por IA de código abierto. Aunque la marca de agua es invisible a simple vista, puede ser detectada por algoritmos, incluso si el contenido ha sido editado. Incluimos marcas de agua similares en muestras de voz generadas por SeamlessM4T v2, nuestro modelo fundacional de traducción de texto y voz. La marca de agua permite identificar segmentos generados por la IA dentro de un fragmento de audio más largo. Esta precisión es especialmente importante en el habla, donde la modificación de una sola palabra puede cambiar todo el significado de una frase. En las últimas versiones detallamos más nuestro enfoque de marcas de agua para imágenes, voz y modelos de texto.
Próximos pasos
Nuestros esfuerzos de IA socialmente responsable están impulsados por un equipo interdisciplinar cuya misión es ayudar a garantizar que la investigación en FAIR beneficie a las personas y a la sociedad. La clave aquí es colaborar con toda la comunidad de la IA, desde las empresas hasta el mundo académico, para compartir y alinear de forma coherente las métricas y las consideraciones de referencia. Incluso la mejor investigación responsable sobre IA carecería de impacto a menos que fuera adoptada y apoyada por la comunidad de IA en general. Por eso nos hemos asociado con MLCommons para colaborar en el Grupo de Trabajo sobre Seguridad de la IA, en el que trabajamos conjuntamente con líderes de la industria y la universidad para desarrollar pruebas de seguridad de la IA y seguir definiendo puntos de referencia estándar de seguridad de la IA.
También colaboramos con la Asociación sobre Inteligencia Artificial (PAI) y apoyamos el Marco para la Acción Colectiva sobre Medios Sintéticos y la Guía para el Despliegue Seguro de Modelos de Fundación. A medida que el campo sigue evolucionando, sabemos que no podemos hacerlo solos. Una mayor colaboración será esencial para ofrecer la investigación sobre IA más segura y responsable.