{"id":25441,"date":"2024-09-25T11:30:09","date_gmt":"2024-09-25T17:30:09","guid":{"rendered":"https:\/\/about.fb.com\/ltam\/?p=25441"},"modified":"2024-09-25T11:30:09","modified_gmt":"2024-09-25T17:30:09","slug":"llama-3-2-revolucionando-la-ia-y-la-vision-de-vanguardia-con-modelos-abiertos-y-personalizables","status":"publish","type":"post","link":"https:\/\/about.fb.com\/ltam\/news\/2024\/09\/llama-3-2-revolucionando-la-ia-y-la-vision-de-vanguardia-con-modelos-abiertos-y-personalizables\/","title":{"rendered":"Llama 3.2: revolucionando la IA y la visi\u00f3n de vanguardia con modelos abiertos y personalizables"},"content":{"rendered":"

Estamos entusiasmados con el <\/span>impacto que ha tenido el grupo de modelos Llama 3.1<\/span><\/a> en los dos meses transcurridos desde su lanzamiento, incluido el <\/span>405B<\/span><\/a>, el primer modelo de IA abierta a nivel de frontera. Aunque estos modelos son incre\u00edblemente potentes, somos conscientes de que su implementaci\u00f3n requiere recursos inform\u00e1ticos y experiencia significativos. Tambi\u00e9n hemos recibido comentarios de desarrolladores que no tienen acceso a estos recursos, pero que a\u00fan as\u00ed desean la oportunidad de trabajar con Llama. Como ha compartido hoy Mark Zuckerberg en Connect, ya no tendr\u00e1n que esperar m\u00e1s. Hoy lanzamos Llama 3.2, que incluye LLM de visi\u00f3n peque\u00f1os y medianos (11B y 90B) y modelos ligeros solo de texto (1B y 3B) que se adaptan a determinados dispositivos m\u00f3viles y de borde.<\/span><\/p>\n

S\u00f3lo ha pasado un a\u00f1o y medio desde que anunciamos Llama por primera vez, y hemos hecho progresos incre\u00edbles en tan poco tiempo. Este a\u00f1o,<\/span> Llama ha multiplicado por 10 su crecimiento<\/span><\/a> y se ha convertido en el est\u00e1ndar de la innovaci\u00f3n responsable. Adem\u00e1s, Llama sigue siendo l\u00edder en apertura, modificabilidad y rentabilidad, y compite con los modelos cerrados, incluso a la cabeza en algunas \u00e1reas. Creemos que la apertura impulsa la innovaci\u00f3n y es el camino correcto, por eso seguimos compartiendo nuestra investigaci\u00f3n y colaborando con nuestros socios y la comunidad de desarrolladores.<\/span>
\n<\/span><\/p>\n

Los modelos de Llama 3.2 se pueden descargar en<\/span> llama.com<\/span><\/a> y<\/span> Hugging Face<\/span><\/a>, y est\u00e1n disponibles para su desarrollo inmediato en nuestro amplio ecosistema de plataformas asociadas. Los socios son una parte importante de este trabajo, y hemos trabajado con m\u00e1s de 25 empresas, entre ellas AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud y Snowflake, para habilitar los servicios desde el primer d\u00eda. Para la versi\u00f3n Llama 3.2, tambi\u00e9n estamos trabajando con los socios de dispositivos Arm, MediaTek y Qualcomm para ofrecer una amplia gama de servicios en el lanzamiento. A partir de hoy, tambi\u00e9n pondremos<\/span> Llama Stack<\/span><\/a> a disposici\u00f3n de la comunidad. Para m\u00e1s detalles sobre la \u00faltima versi\u00f3n, incluida informaci\u00f3n sobre la<\/span> disponibilidad multimodal<\/span><\/a> en Europa, consulta<\/span> nuestra pol\u00edtica de uso aceptable<\/span><\/a>.<\/span><\/p>\n

Conoce Llama 3.2<\/b><\/p>\n

Los dos modelos m\u00e1s grandes de la colecci\u00f3n Llama 3.2, el 11B y el 90B, admiten casos de uso de razonamiento de im\u00e1genes, como la comprensi\u00f3n a nivel de documentos, incluidos cuadros y gr\u00e1ficos, el subtitulado de im\u00e1genes y tareas de fundamentaci\u00f3n visual, como la localizaci\u00f3n direccional de objetos en im\u00e1genes a partir de descripciones en lenguaje natural. Por ejemplo, una persona podr\u00eda preguntar en qu\u00e9 mes del a\u00f1o anterior su peque\u00f1a empresa tuvo las mejores ventas, y Llama 3.2 podr\u00eda razonar bas\u00e1ndose en un gr\u00e1fico disponible y proporcionar r\u00e1pidamente la respuesta. En otro ejemplo, el modelo podr\u00eda razonar con un mapa y ayudar a responder preguntas como cu\u00e1ndo una caminata puede volverse m\u00e1s empinada o la distancia de un sendero concreto marcada en el mapa. Los modelos 11B y 90B tambi\u00e9n pueden tender un puente entre la visi\u00f3n y el lenguaje extrayendo detalles de una imagen, comprendiendo la escena y, a continuaci\u00f3n, elaborando una o dos frases que podr\u00edan utilizarse como pie de foto para ayudar a contar la historia.<\/span>
\n<\/span><\/p>\n

Los modelos ligeros 1B y 3B tienen una gran capacidad de generaci\u00f3n de texto multiling\u00fce y de llamada a herramientas. Estos modelos permiten a los desarrolladores crear aplicaciones personalizadas, con una gran privacidad y en las que los datos nunca salen del dispositivo. Por ejemplo, una aplicaci\u00f3n de este tipo podr\u00eda ayudar a resumir los 10 \u00faltimos mensajes recibidos, extraer elementos de acci\u00f3n y aprovechar la llamada a herramientas para enviar directamente invitaciones de calendario para reuniones de seguimiento.<\/span>
\n<\/span><\/p>\n

Ejecutar estos modelos localmente tiene dos grandes ventajas. En primer lugar, las solicitudes y respuestas pueden parecer instant\u00e1neas, ya que el procesamiento se realiza localmente. En segundo lugar, al ejecutar los modelos localmente se mantiene la privacidad, ya que no se env\u00edan datos como mensajes e informaci\u00f3n del calendario a la nube, lo que hace que la aplicaci\u00f3n en general sea m\u00e1s privada. Dado que el procesamiento se realiza localmente, la aplicaci\u00f3n puede controlar claramente qu\u00e9 consultas permanecen en el dispositivo y cu\u00e1les pueden tener que ser procesadas por un modelo mayor en la nube.<\/span><\/p>\n

Evaluaci\u00f3n de los modelos<\/b><\/p>\n

Nuestra evaluaci\u00f3n sugiere que los modelos de visi\u00f3n Llama 3.2 son competitivos con los principales modelos de base, Claude 3 Haiku y GPT4o-mini en el reconocimiento de im\u00e1genes y en una serie de tareas de comprensi\u00f3n visual. El modelo 3B supera a los modelos Gemma 2 2.6B y Phi 3.5-mini en tareas como el seguimiento de instrucciones, el resumen, la reescritura de instrucciones y el uso de herramientas, mientras que el 1B es competitivo con Gemma.<\/span><\/p>\n

Evaluamos el rendimiento en m\u00e1s de 150 conjuntos de datos de referencia que abarcan una amplia gama de lenguajes. En el caso de los LLM de visi\u00f3n, evaluamos el rendimiento en pruebas de comprensi\u00f3n de im\u00e1genes y razonamiento visual. Adem\u00e1s, hemos realizado evaluaciones humanas exhaustivas que comparan Llama 3.2 con modelos de la competencia en situaciones reales.\u00a0<\/span><\/p>\n

\"\"<\/p>\n

\"\"<\/p>\n

\"\"<\/p>\n

\"\"<\/p>\n

Modelos de visi\u00f3n<\/b><\/p>\n

Al ser los primeros modelos Llama que admiten tareas de visi\u00f3n, los modelos 11B y 90B requer\u00edan una arquitectura de modelo completamente nueva que admitiera el razonamiento por im\u00e1genes.\u00a0<\/span><\/p>\n

Para a\u00f1adir soporte de entrada de im\u00e1genes, entrenamos un conjunto de pesos adaptadores que integran el codificador de im\u00e1genes preentrenado en el modelo de lenguaje preentrenado. El adaptador consiste en una serie de capas de atenci\u00f3n cruzada que introducen las representaciones del codificador de im\u00e1genes en el modelo de lenguaje. Entrenamos el adaptador en pares texto-imagen para alinear las representaciones de la imagen con las del lenguaje. Durante el entrenamiento del adaptador, tambi\u00e9n actualizamos los par\u00e1metros del codificador de im\u00e1genes, pero intencionadamente no actualizamos los par\u00e1metros del modelo ling\u00fc\u00edstico. De este modo, mantenemos intactas todas las funciones de s\u00f3lo texto y proporcionamos a los desarrolladores un sustituto directo para los modelos Llama 3.1.\u00a0\u00a0<\/span><\/p>\n

Nuestro proceso de formaci\u00f3n consta de varias etapas, partiendo de modelos de texto Llama 3.1 preformados. En primer lugar, a\u00f1adimos adaptadores y codificadores de im\u00e1genes y, a continuaci\u00f3n, realizamos un preentrenamiento con datos de pares ruidosos (imagen, texto) a gran escala. A continuaci\u00f3n, realizamos el entrenamiento con datos de pares (imagen, texto) a media escala de alta calidad en el dominio y mejorados por el conocimiento.<\/span><\/p>\n

En el postentrenamiento, utilizamos una receta similar a la de los modelos de texto, realizando varias rondas de alineaci\u00f3n sobre ajuste fino supervisado, muestreo de rechazo y optimizaci\u00f3n directa de preferencias. Aprovechamos la generaci\u00f3n de datos sint\u00e9ticos mediante el modelo Llama 3.1 para filtrar y aumentar las preguntas y respuestas sobre im\u00e1genes del dominio, y utilizamos un modelo de recompensa para clasificar todas las respuestas candidatas con el fin de proporcionar datos de ajuste de alta calidad. Tambi\u00e9n a\u00f1adimos datos de mitigaci\u00f3n de la seguridad para producir un modelo con un alto nivel de seguridad al tiempo que se conserva la utilidad del modo.\u00a0<\/span><\/p>\n

El resultado final es un conjunto de modelos que pueden aceptar tanto mensajes de imagen como de texto, y que comprenden y razonan profundamente sobre la combinaci\u00f3n. Se trata de un paso m\u00e1s para que los modelos Llama tengan capacidades agenticas a\u00fan m\u00e1s ricas.\u00a0<\/span><\/p>\n

\"\"<\/p>\n

Modelos ligeros<\/b>
\n<\/b><\/p>\n

Como hemos compartido sobre Llama 3.1, los potentes modelos de profesores pueden aprovecharse para crear modelos m\u00e1s peque\u00f1os con un rendimiento mejorado. Hemos utilizado dos m\u00e9todos -la poda y la destilaci\u00f3n- en los modelos 1B y 3B, convirti\u00e9ndolos en los primeros modelos Llama ligeros de gran capacidad que caben en dispositivos de forma eficiente.\u00a0<\/span><\/p>\n

La poda nos ha permitido reducir el tama\u00f1o de los modelos existentes en la manada Llama, recuperando al mismo tiempo todo el conocimiento y el rendimiento posibles. Para los modelos 1B y 3B, adoptamos el enfoque de utilizar la poda estructurada de una sola vez a partir del Llama 3.1 8B. Esto implic\u00f3 eliminar sistem\u00e1ticamente partes de la red y ajustar la magnitud de los pesos y gradientes para crear un modelo m\u00e1s peque\u00f1o y eficiente que conserve el rendimiento de la red original.<\/span><\/p>\n

La destilaci\u00f3n de conocimientos utiliza una red m\u00e1s grande para impartir conocimientos en una red m\u00e1s peque\u00f1a, con la idea de que un modelo m\u00e1s peque\u00f1o puede lograr un mejor rendimiento utilizando un maestro que el que podr\u00eda lograr partiendo de cero. Para los modelos 1B y 3B de Llama 3.2, incorporamos logits de los modelos 8B y 70B de Llama 3.1 en la fase de preentrenamiento del desarrollo del modelo, en la que los resultados (logits) de estos modelos m\u00e1s grandes se utilizaron como objetivos a nivel de token. La destilaci\u00f3n de conocimientos se utiliz\u00f3 despu\u00e9s de la poda para recuperar el rendimiento.<\/span><\/p>\n

\"\"<\/p>\n

En el post-entrenamiento, utilizamos una receta similar a la de Llama 3.1 y producimos modelos de chat finales realizando varias rondas de alineaci\u00f3n sobre el modelo pre-entrenado. Cada ronda implica un ajuste fino supervisado (SFT), un muestreo de rechazo (RS) y una optimizaci\u00f3n directa de preferencias (DPO).<\/span>
\n<\/span><\/p>\n

En el postentrenamiento, ampliamos el soporte de longitud de contexto a 128.000 tokens, manteniendo la misma calidad que el modelo preentrenado. Tambi\u00e9n generamos datos sint\u00e9ticos que procesamos y filtramos cuidadosamente para garantizar una alta calidad. Mezclamos cuidadosamente los datos para optimizar la alta calidad en m\u00faltiples capacidades como el resumen, la reescritura, el seguimiento de instrucciones, el razonamiento ling\u00fc\u00edstico y el uso de herramientas.<\/span><\/p>\n

Para que la comunidad pueda innovar en estos modelos, hemos trabajado en estrecha colaboraci\u00f3n con Qualcomm y Mediatek, las dos principales empresas de sistemas m\u00f3viles en un chip (SoC) del mundo, y Arm, que proporciona la plataforma inform\u00e1tica fundamental para<\/span> el 99%<\/span><\/a> de los dispositivos m\u00f3viles. Las ponderaciones que se publican hoy se basan en n\u00fameros BFloat16. Nuestros equipos est\u00e1n explorando variantes cuantizadas que funcionen a\u00fan m\u00e1s r\u00e1pido, y esperamos compartir m\u00e1s sobre esto pronto.<\/span><\/p>\n

\"\"<\/p>\n

\"\"<\/p>\n

\"\"<\/p>\n

Distribuciones Llama Stack<\/b><\/p>\n

En julio, lanzamos una <\/span>solicitud de comentarios<\/span><\/a> sobre la API Llama Stack, una interfaz estandarizada para componentes can\u00f3nicos de la cadena de herramientas (ajuste fino, generaci\u00f3n de datos sint\u00e9ticos) para personalizar los modelos Llama y construir aplicaciones ag\u00e9nticas.<\/span><\/p>\n

Desde entonces, hemos estado trabajando duro para hacer realidad la API. Hemos creado una implementaci\u00f3n de referencia de las API para inferencia, uso de herramientas y GAR. Adem\u00e1s, hemos estado trabajando con socios para adaptarlos y convertirlos en proveedores de las API. Por \u00faltimo, hemos introducido Llama Stack Distribution como forma de empaquetar varios proveedores de API que funcionan bien juntos para ofrecer un \u00fanico punto final a los desarrolladores. Ahora compartimos con la comunidad una experiencia simplificada y coherente que les permitir\u00e1 trabajar con modelos Llama en m\u00faltiples entornos, incluidos on-prem, cloud, single-node y on-device.<\/span><\/p>\n

\"\"<\/p>\n

El conjunto completo de versiones incluye:<\/span><\/p>\n

    \n
  1. Llama CLI (interfaz de l\u00ednea de comandos) para construir, configurar y ejecutar distribuciones Llama Stack.<\/span><\/li>\n
  2. C\u00f3digo cliente en varios lenguajes, incluidos python, node, kotlin y swift<\/span><\/li>\n
  3. Contenedores Docker para Llama Stack Distribution Server y Agents API Provider<\/span><\/li>\n
  4. M\u00faltiples distribuciones<\/span>\n
      \n
    1. Distribuci\u00f3n Llama Stack de nodo \u00fanico a trav\u00e9s de la implementaci\u00f3n interna de Meta y Ollama<\/span><\/li>\n
    2. Distribuciones de Llama Stack en la nube a trav\u00e9s de AWS, Databricks, Fireworks y Together<\/span><\/li>\n
    3. Distribuci\u00f3n de Llama Stack en dispositivos iOS implementada a trav\u00e9s de PyTorch ExecuTorch<\/span><\/li>\n
    4. Distribuci\u00f3n Llama Stack on-prem respaldada por Dell<\/span><\/li>\n<\/ol>\n<\/li>\n<\/ol>\n

      Queremos trabajar con desarrolladores y socios para simplificar todos los aspectos de la construcci\u00f3n con modelos Llama y agradecemos sus comentarios.<\/span><\/p>\n

      \"\"<\/p>\n

      Adoptar un enfoque abierto tiene muchas ventajas. Ayuda a garantizar que m\u00e1s personas de todo el mundo puedan acceder a las oportunidades que ofrece la IA, evita la concentraci\u00f3n de poder en manos de unos pocos y despliega la tecnolog\u00eda de forma m\u00e1s equitativa y segura en toda la sociedad. A medida que seguimos innovando, tambi\u00e9n queremos asegurarnos de que capacitamos a los desarrolladores para crear sistemas seguros y responsables.<\/span><\/p>\n

      Bas\u00e1ndonos en nuestra anterior publicaci\u00f3n y en nuestro esfuerzo continuo por apoyar la innovaci\u00f3n responsable, hoy a\u00f1adimos nuevas actualizaciones a nuestra familia de salvaguardas:<\/span><\/p>\n