Han pasado aproximadamente siete meses desde que lanzamos Llama 1 y solo unos meses desde que presentamos Llama 2, seguido del lanzamiento de Code Llama. En resumen, la respuesta de la comunidad ha sido asombrosa. Hemos visto un gran impulso e innovación, con más de 30 millones de descargas de modelos basados en Llama a través de Hugging Face y más de 10 millones de ellas solo en los últimos 30 días. Al igual que PyTorch, Llama se ha convertido en una plataforma sobre la que todo el mundo puede construir, y no podríamos estar más satisfechos.
Impacto al día de hoy
Varios avances notables que marcan el crecimiento de la comunidad Llama:
- Uso de la nube: Las principales plataformas como AWS, Google Cloud y Microsoft Azure han adoptado los modelos de Llama en sus plataformas, y la presencia de Llama 2 en la nube se está expandiendo. Hoy, hemos anunciado que AWS es nuestro primer socio de API gestionado por Llama 2. Ahora, organizaciones de todos los tamaños pueden acceder a los modelos de Llama 2 en Amazon Bedrock sin tener que gestionar la infraestructura subyacente. Esto supone un cambio radical en la accesibilidad. Además, hasta la fecha, el uso ha sido increíble, ya que Google Cloud y AWS han sido testigos de más de 3,500 proyectos empresariales basados en los modelos de Llama 2.
- Innovadores: Los innovadores y los startups están haciendo de Llama la base de su innovación en productos de IA generativa. Decenas de miles de startups están utilizando o evaluando Llama 2, incluidas Anyscale, Replicate, Snowflake, LangSmith, Scale AI y muchas otras. E innovadores como DoorDash lo están utilizando para experimentar a escala antes de lanzar nuevas funciones impulsadas por LLM.
- Optimización de código abierto: La comunidad de código abierto ha adoptado nuestros modelos. Hasta la fecha, la comunidad ha perfeccionado y publicado más de 7,000 derivados de Hugging Face. En promedio, en las pruebas de referencia estándar, han mejorado el rendimiento en casi un 10%, con mejoras notables de hasta el 46% en conjuntos de datos de referencia como TruthQA.
- Comunidad de desarrolladores: Ya hay más de 7,000 proyectos en GitHub basados en Llama o que lo mencionan. Se están desarrollando nuevas herramientas, bibliotecas de desarrollo, métodos para la evaluación de modelos e incluso versiones «diminutas» de Llama para llevar Llama a dispositivos periféricos y plataformas móviles. Además, la comunidad ha ampliado Llama para que admita ventanas contextuales más grandes, ha añadido compatibilidad con idiomas adicionales y mucho más.
- Compatibilidad con hardware: La comunidad de hardware ha adoptado plenamente Llama como modelo clave de arquitectura. Grandes plataformas de hardware como AMD, Intel, Nvidia y Google han mejorado el rendimiento de Llama 2 mediante optimizaciones de hardware y software.
El ecosistema es muy dinámico y cuenta con participantes en todas las capas de la cadena, desde servidores y hardware móvil hasta plataformas en la nube, startups y empresas.
Con la última versión de Code Llama, estos modelos estuvieron disponibles en muchas de estas plataformas en cuestión de horas, creando un increíble nivel de velocidad para la comunidad.
Comenzó como un proyecto de investigación de rápida evolución….
En los últimos años, los grandes modelos lingüísticos (LLM) — sistemas de procesamiento del lenguaje natural (PLN) con miles de millones de parámetros —, han demostrado nuevas capacidades como la generación de textos creativos, la resolución de teoremas matemáticos, la predicción de estructuras de proteínas, la respuesta a preguntas de comprensión lectora, etc. Estos proyectos representan claros ejemplos de los importantes beneficios potenciales que la IA puede ofrecer a escala a miles de millones de personas.
El proyecto original, LLaMA o Llama 1, como lo hemos denominado más recientemente, fue desarrollado en FAIR por un equipo centrado principalmente en las matemáticas formales, pero que paralelamente vio el poder de los LLM y cómo un modelo relativamente pequeño entrenado con las leyes de escalado adecuadas y datos altamente curados podía ser una base poderosa para nuevas aplicaciones en investigación. Así nació la primera generación de Llama, que desde entonces ha impulsado la innovación en el mundo académico y en todo el mundo. De hecho, en cuestión de días, investigadores de varias instituciones académicas fueron capaces de mejorar versiones de Llama 1 que podían seguir instrucciones o manejar tareas adicionales. A partir de ahí, la comunidad empezó a innovar en muchas direcciones.
Pero queríamos ampliar el alcance de la tecnología. De ahí surgió Llama 2.
¿Por qué publicamos nuestros modelos?
Como demuestra nuestra historia, creemos profundamente en el poder de la comunidad de código abierto. Creemos que la tecnología de IA más avanzada es más segura y está mejor alineada cuando es abierta y accesible a todo el mundo.
Además, donde hay áreas de alta entropía, es ventajoso crear puentes y aprovechar la innovación que inevitablemente surge. Esto fue cierto para PyTorch, donde avances como Stable Diffusion, GPT 3 y GPT 4 cambiaron continuamente el mundo de la IA, y también lo es para Llama. Para nosotros en Meta, podemos resumir el valor de vuelta a lo largo de tres ejes:
- Investigación: Las nuevas técnicas, optimizaciones de rendimiento, herramientas y métodos de evaluación, incluidos los trabajos sobre seguridad, permiten a la comunidad investigadora aprovechar Meta para incorporar más rápidamente los conocimientos adquiridos. Muchas de estas comunidades son también incipientes, y colaborar en abierto facilita mucho los avances;
- Empresa y comercialización: Cuantas más empresas y startups construyan sobre nuestra tecnología, más podremos aprender sobre casos de uso, desarrollo de modelos seguros y oportunidades potenciales; y
- Ecosistema de desarrolladores: Los LLM han cambiado fundamentalmente el desarrollo de la IA, y cada día surgen nuevas herramientas y enfoques para manipular, gestionar y evaluar modelos. Disponer de una lengua franca para la comunidad nos permite aprovechar rápidamente estas tecnologías, acelerando nuestra capacidad interna.
Pero esto no es nuevo para Meta. Al igual que con PyTorch y docenas de otros proyectos públicos o de código abierto, esta filosofía está profundamente arraigada en el ADN de nuestra empresa.
El camino a seguir
Una cosa es segura: El espacio de la IA generativa se mueve rápidamente, y todos estamos aprendiendo juntos sobre las capacidades y aplicaciones de esta tecnología. Meta sigue comprometida con un enfoque abierto para la IA actual. Estas son algunas de las áreas en las que nos centramos a medida que avanzamos juntos en este viaje:
- Multimodal: al igual que el mundo no está compuesto únicamente de texto, la IA puede adoptar nuevas modalidades para permitir experiencias generativas aún más inmersivas;
- Seguridad y responsabilidad: La IA generativa ha revitalizado el mundo de la IA responsable. Haremos aún más hincapié en la seguridad y la responsabilidad, desarrollando nuevas herramientas, creando asociaciones y utilizando Llama como vehículo para que nuestra comunidad siga aprendiendo a construir de forma segura y responsable.
- Centrarnos en la comunidad: Al igual que en PyTorch, vemos esto como una comunidad de desarrolladores que tienen voz y queremos darles agencia y un vehículo para promover su innovación. Queremos ofrecer a la comunidad nuevas formas de mostrar su trabajo, contribuir y contar sus historias.
¿Quieres saber más sobre la familia Llama?
Durante la keynote de Meta Connect, hablamos mucho de nuestros modelos Llama y del futuro del acceso abierto. Desde nuestras sesiones hasta los talleres prácticos, estamos encantados de compartir nuestros últimos avances con usted.
Aquí tienes algunas formas de profundizar y aprender más:
- Descargar el modelo e interactuar con Llama 2.
- Asista a las Sesiones Connect, incluidos nuestros talleres sobre construcción con modelos Llama.
- Visita ai.meta.com/llama para leer el documento, revisar nuestra guía de uso responsable y la política de uso aceptable, y obtener más información sobre los socios que ayudan a apoyar el ecosistema Llama.