{"id":25337,"date":"2024-07-23T09:05:28","date_gmt":"2024-07-23T15:05:28","guid":{"rendered":"https:\/\/about.fb.com\/ltam\/?p=25337"},"modified":"2024-07-23T10:05:45","modified_gmt":"2024-07-23T16:05:45","slug":"presentamos-llama-3-1-nuestro-modelo-de-lenguaje-a-gran-escala-mas-capaz-hasta-la-fecha","status":"publish","type":"post","link":"https:\/\/about.fb.com\/ltam\/news\/2024\/07\/presentamos-llama-3-1-nuestro-modelo-de-lenguaje-a-gran-escala-mas-capaz-hasta-la-fecha\/","title":{"rendered":"Presentamos Llama 3.1: nuestro modelo de lenguaje a gran escala m\u00e1s capaz hasta la fecha"},"content":{"rendered":"

Hasta hoy, los grandes modelos de lenguaje de c\u00f3digo abierto no alcanzaban el nivel de sus contrapartes de c\u00f3digo cerrado en t\u00e9rminos de caracter\u00edsticas y rendimiento. Hoy, damos inicio a una nueva era con el c\u00f3digo abierto liderando el camino presentando Llama 3.1 405B, que creemos que es el modelo de lenguaje a gran escala de c\u00f3digo abierto m\u00e1s potente hasta la fecha. Con m\u00e1s de 300 millones de descargas totales de todas las versiones de Llama hasta el momento, apenas estamos comenzando.<\/span><\/p>\n

Presentamos Llama 3.1<\/b><\/p>\n

Llama 3.1 405B es el primer modelo de c\u00f3digo abierto que compite con los principales modelos de IA en lo que respecta a las funciones m\u00e1s avanzadas de conocimientos generales, capacidad de conducci\u00f3n, matem\u00e1ticas, uso de herramientas y traducci\u00f3n multiling\u00fce. Con el lanzamiento del modelo 405B, estamos impulsando la innovaci\u00f3n, con oportunidades de crecimiento y explotaci\u00f3n sin precedentes. Creemos que la \u00faltima generaci\u00f3n de Llama dar\u00e1 rienda suelta a nuevas aplicaciones y paradigmas de modelizaci\u00f3n, incluida la generaci\u00f3n de datos sint\u00e9ticos para permitir la mejora y el entrenamiento de modelos m\u00e1s peque\u00f1os, as\u00ed como la destilaci\u00f3n de modelos, una capacidad que nunca se ha logrado a esta escala en c\u00f3digo abierto.<\/span><\/p>\n

Como parte de este \u00faltimo lanzamiento, presentamos versiones actualizadas de los modelos 8B y 70B. Son multiling\u00fces y tienen una longitud de contexto significativamente mayor, de 128K, un uso de herramientas de \u00faltima generaci\u00f3n y capacidades de razonamiento m\u00e1s potentes en general. Esto permite que nuestros \u00faltimos modelos sean compatibles con casos de uso avanzados, como el resumen de textos largos, los agentes conversacionales multiling\u00fces y los asistentes de codificaci\u00f3n. Tambi\u00e9n hemos introducido cambios en nuestra licencia, lo que permite a los desarrolladores utilizar los resultados de los modelos Llama -incluido el 405B- para mejorar otros modelos. Fieles a nuestro compromiso con el c\u00f3digo abierto, a partir de hoy ponemos estos modelos a disposici\u00f3n de la comunidad para su descarga en <\/span>llama.meta.com<\/span><\/a> y <\/span>Hugging Face<\/span><\/a>, adem\u00e1s de estar disponibles para su desarrollo inmediato en nuestro amplio ecosistema de plataformas asociadas.<\/span><\/p>\n

Evaluaci\u00f3n de modelos<\/b><\/p>\n

Para esta versi\u00f3n, hemos evaluado el rendimiento en m\u00e1s de 150 conjuntos de datos de referencia que abarcan una amplia variedad de idiomas. Adem\u00e1s, hemos llevado a cabo evaluaciones humanas exhaustivas que comparan Llama 3.1 con modelos de la competencia en escenarios reales. Nuestra evaluaci\u00f3n experimental sugiere que nuestro modelo b\u00e1sico es competitivo con los principales modelos de base en una serie de tareas, como GPT-4, GPT-4o y Claude 3.5 Sonnet. Adem\u00e1s, nuestros modelos m\u00e1s peque\u00f1os son competitivos con modelos cerrados y abiertos que tienen un n\u00famero similar de par\u00e1metros.<\/span><\/p>\n

\"\"<\/p>\n

\"\"<\/p>\n

\"\"<\/p>\n

Arquitectura del modelo<\/b><\/p>\n

El entrenamiento de Llama 3.1 405B con m\u00e1s de 15 billones de tokens, nuestro mayor modelo hasta la fecha, supuso un gran reto. Para poder entrenar a esta escala y conseguir los resultados que hemos obtenido en un tiempo razonable, hemos optimizado de forma significativa toda nuestra estructura de entrenamiento y hemos aumentado el entrenamiento de nuestro modelo a m\u00e1s de 16.000 GPU H100, lo que convierte a la 405B en el primer modelo Llama entrenado a esta escala.<\/span><\/p>\n

\"\"<\/p>\n

Para solucionarlo, tomamos decisiones de dise\u00f1o centradas en mantener el proceso de desarrollo del modelo escalable y sencillo.<\/span><\/p>\n