Meta

Meta et Microsoft présentent la nouvelle génération de Llama

A retenir

Les récentes percées de l’IA, et de l’IA générative en particulier, ont captivé l’imagination du public et démontré ce que ceux qui développent ces technologies savent depuis longtemps : elles ont le potentiel d’aider les gens à faire des choses incroyables, de créer une nouvelle ère d’opportunités économiques et sociales, et de donner aux individus, aux créateurs et aux entreprises de nouveaux moyens de s’exprimer et de se connecter avec les gens. 

Nous pensons qu’une approche ouverte est la bonne approche pour le développement des modèles d’IA d’aujourd’hui, en particulier ceux de l’espace génératif où la technologie progresse rapidement. En mettant les modèles d’IA à la disposition de tous, ils peuvent profiter à tout le monde. En donnant aux entreprises, aux startups, aux entrepreneurs et aux chercheurs l’accès à des outils développés à une échelle qu’il leur serait difficile de construire eux-mêmes, avec l’appui d’une puissance de calcul à laquelle ils n’auraient pas accès autrement, nous leur ouvrons un monde d’opportunités pour expérimenter, innover de manière passionnante et, en fin de compte, en tirer des avantages économiques et sociaux. 

Et nous pensons que c’est plus sûr. Ouvrir l’accès aux modèles d’IA actuels signifie qu’une génération de développeurs et de chercheurs peut les tester, identifier et résoudre les problèmes rapidement, en tant que communauté. En voyant la manière dont ces outils sont utilisés par d’autres, nos propres équipes peuvent en tirer des enseignements, améliorer ces outils et corriger les vulnérabilités.

Depuis plus d’une décennie, Meta place la recherche exploratoire, l’open source et la collaboration avec des partenaires universitaires et industriels au cœur de ses efforts en matière d’IA. Nous avons pu constater en premier lieu que l’innovation ouverte peut déboucher sur des technologies qui profitent à un plus grand nombre de personnes. Des dizaines de grands modèles de langage ont déjà été publiés et permettent aux développeurs et aux chercheurs de progresser. Ils sont utilisés par les entreprises comme ingrédients de base pour de nouvelles expériences génératives alimentées par l’IA. Nous avons été époustouflés par l’énorme demande des chercheurs pour Llama 1 – avec plus de 100 000 demandes d’accès au grand modèle de langage – et par les choses étonnantes qu’ils ont réalisées en construisant à partir de ce modèle.

Nous sommes maintenant prêts à mettre en open source la prochaine version de Llama 2 et à la rendre disponible gratuitement pour la recherche et l’utilisation commerciale. Nous incluons les poids du modèle et le code source pour le modèle pré-entraîné et les versions fine-tunées. Comme Satya Nadella l’a annoncé sur scène lors de la conférence Microsoft Inspire, nous passons à la vitesse supérieure en faisant de Microsoft notre partenaire privilégié pour Llama 2 et en développant nos efforts dans le domaine de l’IA générative. À partir d’aujourd’hui, Llama 2 sera disponible dans le catalogue de modèles d’IA Azure, ce qui permettra aux développeurs utilisant Microsoft Azure de construire avec lui et d’exploiter leurs outils cloud-native pour le filtrage de contenus et les fonctions de sécurité. Il est également optimisé pour fonctionner localement sur Windows, offrant aux développeurs un flux de travail transparent lorsqu’ils proposent des expériences d’IA générative à leurs clients sur différentes plateformes. Llama 2 sera disponible via Amazon Web Services (AWS), Hugging Face et d’autres fournisseurs également. 

Les personnalités, décideurs et entreprises ont bénéficié du partenariat de longue date entre Microsoft et Meta. Ensemble, nous avons introduit un écosystème ouvert pour des frameworks d’IA interchangeables, et nous avons coécrit des documents de recherche pour faire progresser l’état de l’art en matière d’IA. Nous avons collaboré à l’adoption de PyTorch – le principal framework d’IA créé par Meta et la communauté de l’IA – sur Azure, et nous faisons partie des membres fondateurs de la PyTorch Foundation. Microsoft et Meta ont récemment rejoint une cohorte de soutiens qui approuvent la structure du Partenariat sur l’IA pour une action collective dans la création et le partage de médias synthétiques. Notre partenariat s’étend au-delà de l’IA et s’étend également au métavers afin d‘offrir des expériences immersives pour l’avenir du travail et du jeu.

Aujourd’hui, avec ce partenariat élargi, Microsoft et Meta soutiennent une approche ouverte visant à accroître l’accès aux technologies fondamentales de l’IA au profit des entreprises du monde entier. Meta et Microsoft ne sont pas les seuls à croire en la démocratisation de l’accès aux modèles d’IA d’aujourd’hui. Nous avons de nombreux et divers soutiens dans le monde entier qui croient également en cette approche – y compris des entreprises qui nous ont fait part de leurs premières réactions et qui sont enthousiastes à l’idée de construire de nouveaux produits avec Llama 2, des fournisseurs de cloud qui incluront Llama 2 dans leurs offres pour les clients, des institutions de recherche qui collaborent avec nous sur le déploiement sûr et responsable de grands modèles génératifs, et des personnalités dans les domaines de la technologie, du monde universitaire et des décideurs publics qui en voient les avantages comme nous.

La responsabilité au cœur des enjeux

Notre approche « open source » favorise la transparence et l’accessibilité. Nous savons que l’IA a apporté d’énormes progrès à la société, mais qu’elle comporte aussi des risques. Nous nous engageons à construire de manière responsable et fournissons un certain nombre de ressources pour aider ceux qui utilisent Llama 2 à faire de même.

Tests de sécurité : Nos modèles fine-tunés ont été soumis à des tests de sécurité par des équipes internes et externes. L’équipe a travaillé à la création de messages contradictoires pour faciliter la mise au point des modèles. En outre, nous avons demandé à des tiers d’effectuer des tests contradictoires externes sur nos modèles perfectionnés afin d’identifier les lacunes en matière de performance. Ces processus de mise au point de la sécurité sont itératifs ; nous continuerons à investir dans la sécurité par le biais de la mise au point et de l’analyse comparative et nous prévoyons de publier des modèles mis au point sur la base de ces efforts.

Schéma de transparence : Nous expliquons nos méthodes de mise au point et d’évaluation du modèle et identifions ses lacunes. Notre schéma de transparence, qui se trouve dans l’article de recherche, révèle les défis et les problèmes connus que nous avons rencontrés et donne un aperçu des mesures d’atténuation prises et de celles que nous avons l’intention d’explorer à l’avenir.

Guide d’utilisation responsable : Nous avons créé ce guide pour aider les développeurs à appliquer les meilleures pratiques en matière de développement responsable et d’évaluation de la sécurité. Il présente les meilleures pratiques qui reflètent les recherches actuelles sur l’IA générative responsable, discutées par l’industrie et la communauté des chercheurs en IA.

Politique d’utilisation acceptable : Nous avons mis en place une politique interdisant certains cas d’utilisation afin de garantir que ces modèles sont utilisés de manière équitable et responsable.

Meta a également créé de nouvelles initiatives pour exploiter la perspicacité et la créativité des individus, des chercheurs et des développeurs du monde entier afin d’obtenir un retour d’information sur les performances des modèles et sur la manière dont ils pourraient être améliorés.

Communauté de recherche sur l’innovation ouverte en matière d’IA : Aujourd’hui, nous avons également lancé un nouveau programme de partenariat pour les chercheurs universitaires qui vise à approfondir notre compréhension du développement et du partage responsables de grands modèles de langage. Les chercheurs peuvent demander à rejoindre une communauté de praticiens afin de partager leurs connaissances sur ce sujet important, et la communauté établira un programme de recherche à poursuivre à l’avenir.

Llama Impact Challenge : Nous voulons activer la communauté des innovateurs qui aspirent à utiliser le Llama pour résoudre des problèmes difficiles. Nous lançons un défi pour encourager un ensemble diversifié d’entités publiques, à but non lucratif et à but lucratif, à utiliser Llama 2 pour relever des défis environnementaux, éducatifs et autres défis importants. Les règles du challenge seront disponibles avant le début de celui-ci.

Conclusion

Tout au long de l’histoire de notre entreprise, nous avons pu constater les avantages d’une approche open source lorsque nous avons innové dans d’autres domaines d’activité. Nos ingénieurs ont développé et partagé des frameworks qui sont aujourd’hui des standards de l’industrie – comme React, un framework de premier plan pour la création d’applications web et mobiles, et PyTorch, qui est aujourd’hui le principal framework pour l’IA. Ces frameworks sont devenus des infrastructures couramment utilisées par l’ensemble de l’industrie technologique. Nous pensons que le partage ouvert des grands modèles de langage d’aujourd’hui favorisera également le développement d’une IA générative utile et plus sûre.

Nous sommes impatients de voir ce que le monde construira avec Llama 2.

Site web de Llama: http://ai.meta.com/llama

Signataires de la déclaration de soutien : https://about.fb.com/news/2023/07/llama-2-statement-of-support

Papier de recherche https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/