Información clave:
- Hoy anunciamos la disponibilidad de Llama 2, la próxima generación de nuestro modelo de lenguaje grande de código abierto.
- Llama 2 no tiene costo para propósitos de investigación y uso comercial.
- Microsoft y Meta amplían su larga colaboración, convirtiendo a Microsoft en el socio preferente de Llama 2.
- Estamos abriendo el acceso a Llama 2 con el apoyo de un amplio conjunto de empresas y personas de los ámbitos tecnológico, académico y político que también creen en un enfoque de innovación abierto para las tecnologías de IA de hoy.
- Nos comprometemos a construir de forma responsable y proporcionar recursos para ayudar a quienes utilicen Llama 2 a hacerlo también.
Los reciente avances en inteligencia artificial (IA), y en particular los de la IA generativa, han cautivado la imaginación del público y han demostrado lo que los desarrolladores de estas tecnologías sabían desde hace tiempo: que tienen el potencial de ayudar a la gente a hacer cosas increíbles, crear una nueva era de oportunidades económicas y sociales, y dar la individuos, creadores y empresas nuevas formas de expresarse y conectar con la gente.
Creemos que un enfoque abierto es el adecuado para el desarrollo de los modelos de IA de hoy, especialmente los del espacio generativo, donde la tecnología avanza rápidamente. Al hacer que los modelos de IA estén disponibles abiertamente, estos pueden beneficiar a todos. Dar a las empresas, emprendedores e investigadores acceso a herramientas desarrolladas a una escala que les resultaría difícil construir por sí mismos y con el respaldo de un poder informático al que posiblemente no podrían acceder de otro modo, les abrirá un mundo de oportunidades para experimentar, innovar de forma apasionante y, en última instancia, beneficiarse económica y socialmente.
Y creemos que es más seguro. Abrir el acceso a los modelos de IA actuales significa que una generación de desarrolladores e investigadores puedan someterlos a pruebas de resistencia, identificando y resolviendo problemas rápidamente, como comunidad. Al ver cómo estas herramientas son utilizadas por los demás, nuestros propios equipos pueden aprender de ellos, mejorar estas herramientas y corregir vulnerabilidades.
Meta lleva más de una década concentrando sus esfuerzos en la investigación exploratoria, el código abierto y la colaboración con socios académicos e industriales. Hemos visto de primera mano cómo la innovación abierta puede conducir a tecnologías que beneficien a más personas. Ya se han publicado docenas de modelos de lenguaje grandes, que están impulsando el progreso de desarrolladores e investigadores. Las empresas los utilizan como ingredientes básicos de nuevas experiencias generativas basadas en IA. Nos ha sorprendido la enorme demanda de Llama 1 por parte de los investigadores (más de 100,00 solicitudes de acceso al modelo de lenguaje grande) y las increíbles cosas que han conseguido construyendo sobre este.
Ahora estamos listos para abrir la próxima versión de Llama 2 y ponerla a disposición para la investigación y uso comercial. Incluimos los valores del modelo, el código de inicio para el modelo pre entrenado y las versiones conversacionales perfeccionadas. Como Satya Nadella anunció en el escenario de Microsoft Inspire, estamos llevando nuestra colaboración con Microsoft al siguiente nivel, como nuestro socio preferente para Llama 2 y ampliando nuestros esfuerzos en IA generativa. A partir de hoy, Llama 2 estará disponible en el catálogo de modelos de IA de Azure, lo que permitirá a los desarrolladores que utilicen Microsoft Azure construir con ella y aprovechar sus herramientas nativas en la nube para el filtrado de contenidos y funciones de seguridad. También está optimizada para ejecutarse localmente en Windows, ofreciendo a los desarrolladores un flujo de trabajo sencillo a medida que llevan experiencias de IA generativa a los clientes a través de diferentes plataformas. Llama 2 estará disponible a través de Amazon Web Services (AWS), Hugging Face y otros proveedores.
Las personas y las empresas se han beneficiado de la larga colaboración entre Microsoft y Meta. Juntos hemos desarrollado un ecosistema abierto para marcos de IA intercambiables, y hemos sido coautores de artículos de investigación para avanzar en el desarrollo de IA. Hemos colaborado para ampliar la adopción de PyTorch, el marco de IA líder en la actualidad creado por Meta y la comunidad de IA, en Azure, y somos parte de los miembros fundadores de la PyTorch Foundation. Microsoft y Meta se unieron recientemente a una cohorte de partidarios que respaldan el marco “Partnership en AI” para la acción colectiva en la creación y el intercambio de medios sintéticos. Nuestra colaboración se extiende más allá de la IA y se adentra también en el metaverso para ofrecer experiencias inmersivas para el futuro del trabajo y el juego.
Ahora, con esta asociación, Microsoft y Meta apoyan un enfoque de innovación abierta para proporcionar un mayor acceso a las tecnologías fundacionales de IA en beneficio de las empresas de todo el mundo. No solo Meta y Microsoft creen en la democratización del acceso a los modelos de AI actuales. Tenemos una amplia gama de diversos partidarios en todo el mundo que también creen en este enfoque abierto —incluyendo las empresas que nos han dado retroalimentación temprana y están entusiasmados con la construcción de nuevos productos con Llama 2, proveedores de la nube que incluirán Llama 2 en sus ofertas para los clientes, instituciones de investigación que están colaborando con nosotros en el despliegue seguro y responsable de grandes modelos generativos, y personas en tecnología, academia, y política que ven los beneficios como nosotros.
Foco en responsabilidad
Nuestro enfoque de código abierto fomenta la transparencia y el acceso. Sabemos que, si bien la IA ha aportado enormes avances a la sociedad, también conlleva riesgos. Nos comprometemos a construir de forma responsable y ofrecemos una serie de recursos para ayudar a quienes utilicen Llama 2 a hacerlo también.
- Ejercicios de Red-Teaming: Nuestros modelos perfeccionados se han sometido a pruebas de seguridad internas y externas. El equipo ha trabajado en la generación de mensajes adversarios para perfeccionar los modelos. Además, encargamos a terceros que realizaran pruebas adversarias externas con nuestros modelos perfeccionados para identificar las deficiencias de rendimiento. Estos procesos de perfeccionamiento de la seguridad son iterativos; seguiremos invirtiendo en la seguridad mediante el perfeccionamiento y la evaluación comparativa, y tenemos previsto publicar modelos perfeccionados actualizados basados en estos esfuerzos.
- Esquema de transparencia: Explicamos nuestros métodos de ajuste y evaluación del modelo e identificamos sus deficiencias. Nuestro esquema de transparencia, presente en nuestra investigación, revela los retos y problemas conocidos que hemos experimentado y ofrece información sobre las medidas de mitigación adoptadas y las que tenemos intención de explorar en el futuro.
- Guía de uso responsable: Hemos creado esta guía como recurso para ayudar a los desarrolladores con las mejores prácticas de desarrollo responsable y evaluaciones de seguridad. En ella se describen las mejores prácticas que reflejan el estado actual de la investigación sobre IA generativa responsable que se debate en el sector y en la comunidad de investigación de IA.
- Política de uso aceptable: Hemos establecido una política que prohíbe determinados casos de uso para ayudar a garantizar que estos modelos se utilicen de forma justa y responsable.
Meta también ha creado nuevas iniciativas para aprovechar la perspicacia y la creatividad de personas, investigadores y desarrolladores de todo el mundo con el fin de obtener información sobre el rendimiento de los modelos y cómo mejorarlos.
- Comunidad de investigación en IA de innovación abierta: Hoy también hemos puesto en marcha un nuevo programa de colaboración para investigadores académicos cuyo objetivo es profundizar en nuestra comprensión del desarrollo responsable y el intercambio de grandes modelos lingüísticos. Los investigadores pueden solicitar unirse a una comunidad de profesionales para compartir conocimientos sobre este importante tema, y la comunidad elaborará una agenda de investigación para el futuro.
- Llama Impact Change: Queremos activar la comunidad de innovadores que aspiran a utilizar Llama para resolver problemas difíciles. Estamos lanzando un reto para animar a un conjunto diverso de entidades públicas, organizaciones sin fines de lucro y privadas a utilizar Llama 2 para abordar retos medioambientales, educativos y otros retos importantes. Las reglas del desafío estarán disponibles antes de su inicio.
Conclusión
A lo largo de la historia de nuestra empresa, hemos experimentado los beneficios de un enfoque abierto al innovar en otras áreas del negocio. Nuestros ingenieros desarrollaron y compartieron marcos que ahora son estándares de la industria como React, un marco líder para crear aplicaciones web y móviles, y PyTorch, que ahora es el marco líder para la IA. Estos se convirtieron en infraestructura de uso común para toda la industria tecnológica. Creemos que compartir abiertamente modelos de lenguaje grandes contribuirá también al desarrollo de una IA generativa más útil y segura.
Estamos deseando ver lo que el mundo construye con Llama 2.