Meta und Microsoft stellen die nächste Generation von Llama vor

• Heute stellen wir die Verfügbarkeit von Llama 2 vor, der nächsten Generation unseres Open-Source-Modells für maschinelles Lernen. 
• Llama 2 steht sowohl für Forschungszwecke als auch für kommerzielle Nutzung kostenlos zur Verfügung. 
• Microsoft und Meta erweitern ihre langjährige Partnerschaft, mit Microsoft als bevorzugter Partner für Llama 2. 
• Wir öffnen den Zugang zu Llama 2 in Zusammenarbeit mit einer Vielzahl an Unternehmen und Personen aus Technologie, Wissenschaft und Politik, die ebenso an einem offenen Innovationsansatz für die heutigen KI-Technologien interessiert sind.
• Wir verpflichten uns verantwortungsbewusst zu handeln und stellen Ressourcen für jene zur Verfügung, die Llama 2 ebenfalls verantwortungsvoll nutzen möchten.

Die jüngsten Fortschritte in der Künstlichen Intelligenz, insbesondere im Bereich der generativen KI, haben die Vorstellungskraft der Öffentlichkeit erobert und gezeigt, was die Entwickler*innen dieser Technologien schon lange wissen:sie haben das Potenzial, den Menschen dabei zu helfen, Unglaubliches zu vollbringen, eine neue Ära wirtschaftlicher und sozialer Chancen zu schaffen und Einzelpersonen, Kreativen und Unternehmen neue Möglichkeiten zu bieten, sich auszudrücken und mit anderen in Verbindung zu treten.

Wir sind der Meinung, dass ein offener Ansatz für die Entwicklung heutiger KI-Modelle der richtige Weg ist, insbesondere im Bereich der generativen KI, in dem die Technologie rasant voranschreitet. Indem wir KI-Modelle offen zugänglich machen, kommen sie allen zugute. Die Bereitstellung von Tools, die in einem Umfang entwickelt wurden, der für Firmen, Startups, Unternehmer und Forscher alleine schwer zu realisieren wäre, ermöglicht es ihnen, von der zugrunde liegenden Rechenleistung zu profitieren und eine Vielzahl von Möglichkeiten zu entdecken, zu experimentieren, innovative Wege einzuschlagen und letztendlich wirtschaftlich und sozial zu profitieren.

Und wir sind der Meinung, dass es sicherer ist. Durch den offenen Zugang zu heutigen KI-Modellen kann eine Generation von Entwickler*innen und Forscher*innen diese Modelle gemeinsam testen, Probleme identifizieren und schnell lösen. Indem wir sehen, wie andere diese Tools nutzen, können unsere eigenen Teams von ihnen lernen, die Tools verbessern und Sicherheitslücken beheben.

Seit über einem Jahrzehnt hat Meta explorative Forschung, Open Source und Zusammenarbeit mit akademischen und industriellen Partnern in den Mittelpunkt unserer KI-Bemühungen gestellt. Wir haben aus erster Hand erlebt, wie Innovationen im offenen Rahmen dazu führen können, dass Technologien mehr Menschen zugutekommen. Dutzende großer Sprachmodelle wurden bereits veröffentlicht und treiben den Fortschritt von Entwickler*innen und Forscher*innen voran. Unternehmen nutzen sie als Grundlage für neue, generative KI-gesteuerte Erfahrungen. Wir sind begeistert von der enormen Nachfrage zu Llama 1 seitens der Forscher*innen – mit mehr als 100.000 Anfragen für den Zugriff auf das Sprachmodell und den erstaunlichen Ergebnissen, die sie durch dessen Weiterentwicklung erzielt haben.

Nun sind wir bereit, die nächste Version von Llama 2 als Open Source freizugeben und sie kostenlos für Forschung und kommerzielle Nutzung anzubieten. Wir stellen sowohl die Modellgewichte als auch den Ausgangscode für das vortrainierte Modell und die speziell auf Konversation abgestimmten Versionen zur Verfügung. Wie Satya Nadella auf der Microsoft Inspire bekannt gab, gehen wir mit Microsoft als unserem bevorzugten Partner für Llama 2 noch einen Schritt weiter und intensivieren unsere Bemühungen im Bereich der generativen KI. Ab heute ist Llama 2 im AzureKI-Modellkatalog verfügbar, sodass Entwickler*innen, die Microsoft Azure nutzen, es verwenden und die cloudbasierten Tools für Inhaltsfilterung und Sicherheitsfunktionen nutzen können. Es ist auch für die lokale Ausführung unter Windows optimiert, wodurch Entwickler*innen nahtlos generative KI-Erlebnisse auf verschiedenen Plattformen für Kund*innen entwickeln können. Llama 2 ist auch über Amazon Web Services (AWS), Hugging Face und andere Anbieter verfügbar.

Menschen und Unternehmen haben von derie langjährigen Partnerschaft zwischen Microsoft und Meta bereits stark profitieren können. Gemeinsam haben wir ein offenes Ökosystem für austauschbare KI-Frameworks geschaffen und Forschungsarbeiten veröffentlicht, um den Stand der Technik in der KI voranzutreiben. Wir haben zusammengearbeitet, um die Verbreitung von PyTorch – dem führenden KI-Framework von Meta und der KI-Community – auf Azure zu fördern, und wir gehören zu den Gründungsmitgliedern der PyTorch Foundation. Microsoft und Meta haben sich kürzlich einer Gruppe von Unterstützer*innen angeschlossen, die das Framework der Partnership on AI für gemeinsame Maßnahmen bei der Erstellung und Weitergabe synthetischer Medien befürworten. Unsere Partnerschaft erstreckt sich auch außerhalb der KI und in den Bereich des Metaversums, um immersive Erfahrungen für die Zukunft der Arbeit und des Gamings zu schaffen.

Mit dieser erweiterten Partnerschaft unterstützen Microsoft und Meta einen offenen Ansatz, um Unternehmen weltweit einen verbesserten Zugang zu grundlegenden KI-Technologien zu ermöglichen. Denn nicht nur Meta und Microsoft glauben an die Demokratisierung des Zugangs zu heutigen KI-Modellen. Wir haben eine Vielzahl anUnterstützer*innen auf der ganzen Welt, die diesen Ansatz ebenfalls befürworten – darunter Unternehmen, die uns frühzeitig Feedback gegeben haben und begeistert sind, neue Produkte mit Llama 2 zu entwickeln; Cloud-Anbieter*innen, die Llama 2 in ihre Angebote für Kund*innen aufnehmen werden; Forschungseinrichtungen, die mit uns an der sicheren und verantwortungsbewussten Bereitstellung großer generativer Modelle zusammenarbeiten; und Menschen aus den Bereichen Technologie, Akademie und Politik, die die Vorteile genauso sehen wie wir.

Ein Fokus auf Verantwortung

Unser Open-Source-Ansatz fördert Transparenz und Zugänglichkeit. Wir wissen, dass KI der Gesellschaft enorme Fortschritte gebracht hat, aber auch Risiken birgt. Wir sind verpflichtet, verantwortungsbewusst zu handeln, und bieten zahlreiche Ressourcen, die denen helfen, die Llama 2 nutzen möchten, dies ebenfalls verantwortungsvoll zu tun.

• Red-Teaming-Übungen: Unsere speziell angepassten Modelle wurden intern und extern auf Sicherheit getestet. Das Team hat versucht, gegnerische Auslöser zu generieren, um das Modell zu feintunen. Außerdem haben wir externe Tests von Drittanbietern über unsere feinabgestimmten Modelle durchgeführt, um mögliche Leistungslücken zu identifizieren. Diese Sicherheitsfeinabstimmungen erfolgen iterativ, und wir werden weiterhin in die Sicherheit investieren, indem wir das Modell feintunen und benchmarken. Wir planen aktualisierte, feinabgestimmte Modelle auf Basis dieser Bemühungen zu veröffentlichen.
• Transparenz-Schema: In unserem Forschungspapier erläutern wir unsere Feinabstimmungs- und Evaluierungsmethoden für das Modell und identifizieren seine Schwachstellen. Unser Transparenz-Schema zeigt, welche Herausforderungen und Probleme wir kennen und welche Maßnahmen wir ergriffen haben und zukünftig noch erkunden wollen.
• Leitfaden für verantwortungsbewussten Einsatz: Wir haben diesen Leitfaden als Ressource erstellt, um Entwickler*innen bei der verantwortungsbewussten Entwicklung und Sicherheitsbewertung zu unterstützen. Er umreißt bewährte Praktiken, die auf dem aktuellen Stand der Forschung zur verantwortungsbewussten generativen KI basieren und sowohl von der Industrie als auch der KI-Forschungsgemeinschaft diskutiert werden.
• Nutzungsrichtlinie: Wir haben eine Richtlinie erstellt, die bestimmte Anwendungsfälle untersagt, um sicherzustellen, dass diese Modelle fair und verantwortungsvoll genutzt werden.

Meta hat auch neue Initiativen ins Leben gerufen, die das Wissen und die Kreativität von Einzelpersonen, Forscher*innen und Entwickler*innen auf der ganzen Welt nutzen, um Feedback darüber zu erhalten, wie die Modelle funktionieren und wie sie verbessert werden können.

• AI-Forschungsgemeinschaft für offene Innovation: Heute haben wir auch ein neues Partnerschaftsprogramm für akademische Forscher*innen gestartet, das unser Verständnis für die verantwortungsbewusste Entwicklung und Weitergabe großer Sprachmodelle vertiefen soll. Forscher*innen können sich für eine Gemeinschaft von Praktiker*innen bewerben, um Erkenntnisse zu diesem wichtigen Thema auszutauschen. Auch wird die Gemeinschaft eine Forschungsagenda festlegen, die in Zukunft verfolgt werden soll.
• Llama Impact Challenge: Wir wollen die Gemeinschaft der Innovator*innen aktivieren, die Llama nutzen möchten, um schwierige Probleme zu lösen. Wir starten eine Challenge, um verschiedene öffentliche, gemeinnützige und gewinnorientierte Organisationen dazu zu ermutigen, um sich mit Hilfe von Llama 2 mit Umwelt-, Bildungs- und anderen wichtigen Herausforderungen auseinanderzusetzen. Die Regeln für diese Challenge werden vor ihrem Start verfügbar gemacht.

Fazit

Im Laufe unserer Unternehmensgeschichte haben wir die Vorteile eines Open-Source-Ansatzes bei der Innovation in anderen Geschäftsbereichen erfahren. Unsere Ingenieur*innen haben Frameworks entwickelt und geteilt, die mittlerweile Branchenstandards sind – wie React, ein führendes Framework für die Erstellung von Web- und Mobilanwendungen und PyTorch, das jetzt das führende Framework für KI ist. Diese wurden zu einer allgemein verwendeten Infrastruktur für die gesamte Technologiebranche. Wir sind der Meinung, dass das offene Teilen heutiger großer Sprachmodelle auch die Entwicklung hilfreicherer und sichererer generativer KI unterstützen wird.

Wir sind gespannt darauf zu sehen, was die Welt mit Llama 2 erschaffen wird.