Os recentes avanços em inteligência artificial, principalmente na área de IA generativa, capturaram a imaginação do público e revelaram o que os especialistas que desenvolvem essas tecnologias já sabiam há muito tempo: elas têm o potencial de ajudar as pessoas a fazer coisas incríveis, seja para criar uma era de oportunidades econômicas e sociais ou oferecer aos indivíduos, criadores e empresas novas maneiras de se expressar e conectar-se com as pessoas.
Acreditamos que uma abordagem aberta é o caminho certo para o desenvolvimento dos modelos de IA atuais, especialmente aqueles que estão inseridos no contexto generativo, área em que a tecnologia está avançando rapidamente. Ao disponibilizar os modelos de IA de forma aberta, eles podem beneficiar diversos grupos. Conceder às empresas, às startups, aos empreendedores e aos pesquisadores acesso a ferramentas desenvolvidas em uma escala que seria um desafio construir por conta própria – com o apoio do poder de computação que, de outra forma, eles não teriam acesso -, abrirá um mundo de oportunidades para que experimentem, inovem de maneiras empolgantes e, por fim, se beneficiem econômica e socialmente.
Acreditamos que esse é o meio mais seguro. Promover acesso aos modelos atuais de IA significa que uma geração de desenvolvedores e pesquisadores poderá testá-los, identificando e solucionando questões rapidamente, como uma comunidade. Ao analisar como essas ferramentas são utilizadas por outras pessoas, nossas próprias equipes poderão aprender com elas para aprimorá-las e consertar vulnerabilidades.
Há mais de uma década, a Meta tem colocado a pesquisa exploratória, o código aberto e a colaboração com parceiros acadêmicos e do setor no centro de seus esforços de IA. Pudemos notar, previamente, como a inovação aberta pode propagar tecnologias que beneficiam mais pessoas. Dezenas de modelos de linguagem já foram lançados e estão impulsionando a evolução de desenvolvedores e pesquisadores. Os modelos estão sendo utilizados pelas empresas como componentes essenciais para novas experiências geradoras baseadas em IA. Ficamos impressionados com a enorme demanda pelo Llama 1 por parte dos pesquisadores – registramos mais de 100.000 solicitações de acesso ao modelo de linguagem – e com as coisas incríveis que a comunidade alcançou ao construir a partir dele.
Agora, estamos prontos para abrir o código da próxima versão do Llama 2 e disponibilizá-lo para pesquisas e uso comercial. Estamos incluindo parâmetros do modelo e código inicial para o modelo pré-treinado, bem como versões de conversação com ajustes finos. Conforme Satya Nadella, CEO da Microsoft, anunciou no palco do Microsoft Inspire, estamos levando nossa parceria para o próximo nível, tendo a Microsoft como nossa parceira preferencial para a comercialização do Llama 2 e expansão de nossos esforços em IA generativa. A partir de hoje, o Llama 2 estará disponível no catálogo de modelos de IA do Azure, permitindo que os desenvolvedores que usam o Microsoft Azure criem com ele e aproveitem suas ferramentas nativas da nuvem para filtragem de conteúdo e recursos de segurança. A tecnologia também é otimizada para ser executada localmente no Windows, oferecendo aos desenvolvedores um fluxo de trabalho contínuo à medida que levam experiências de IA generativa aos clientes em diferentes plataformas. O Llama 2 estará disponível na Amazon Web Services (AWS), na Hugging Face e também em outros provedores.
Pessoas e empresas têm se beneficiado da parceria de longa data entre a Microsoft e a Meta, pois, juntos, apresentamos um ecossistema aberto para estruturas de IA interoperáveis e escrevemos artigos de pesquisa em coautoria para alavancar a IA de última geração. Colaboramos para ampliar a adoção do PyTorch – a principal estrutura de IA atual criada pela Meta e pela comunidade de IA – no Azure, além de estarmos entre os membros fundadores da PyTorch Foundation. A Microsoft e a Meta recentemente juntaram-se a um grupo de apoiadores que endossam a estrutura da Partnership on AI, organização sem fins lucrativos comprometida com o uso responsável da inteligência artificial, para viabilizar um movimento coletivo na criação e no compartilhamento de mídia sintética. Nossa parceria se estende para além da IA, compreendendo também o metaverso, a fim de proporcionar experiências imersivas para o futuro do trabalho e do lazer.
Com a expansão dessa parceria, a Microsoft e a Meta estão apoiando uma abordagem de inovação aberta para fornecer mais acesso a tecnologias de IA fundamentais, que beneficiam empresas ao redor do mundo. Não só a Meta e a Microsoft acreditam na democratização do acesso a modelos atuais de IA, mas também uma ampla gama de diversos apoiadores em todo o mundo, incluindo empresas que nos deram feedback inicial e estão animadas para criar novos produtos a partir do Llama 2, como provedores de nuvem que irão incorporar o Llama 2 em suas ofertas para os clientes, instituições de pesquisa que estão colaborando conosco na implantação segura e responsável de grandes modelos generativos e pessoas da área tecnológica, acadêmica e política que, assim como nós, enxergam benefícios neste processo.
Foco na Responsabilidade
Nossa abordagem de código aberto promove a transparência e o livre acesso. Sabemos que, embora a IA tenha conduzido enormes avanços na sociedade, ela também oferece riscos. Estamos comprometidos com a construção responsável, fornecendo diversos recursos para ajudar aqueles que usam o Llama 2 a fazer o mesmo.
- Ações do time de riscos: Os nossos modelos ajustados tiveram a segurança testada por meio de esforços internos e externos. A equipe trabalhou para gerar comandos contraditórios para facilitar o ajuste fino do modelo. Além disso, uma equipe terceirizada foi contratada para realizar testes contraditórios externos em nossos modelos ajustados, para identificar, de forma semelhante, lacunas no desempenho. Esses processos de ajuste fino de segurança são iterativos e, em vista disso, continuaremos investindo em segurança por meio de ajustes finos e avaliações comparativas, além do nosso plano de lançar modelos atualizados com base nesses esforços.
- Esquema de transparência: Explicamos os nossos métodos de ajuste fino e avaliação do modelo e identificamos suas deficiências. Nosso esquema de transparência, que se encontra no documento de pesquisa, revela os desafios e problemas conhecidos que enfrentamos, além de fornecer informações sobre as atenuações adotadas e as que pretendemos explorar no futuro.
- Guia de uso responsável: Criamos este guia como um recurso para apoiar os desenvolvedores com as práticas recomendadas de desenvolvimento responsável e avaliações de segurança. O guia descreve as práticas que refletem as pesquisas atuais e de ponta sobre a IA generativa responsável, discutidas no setor e na comunidade de pesquisa de IA.
- Política de uso aceitável: Implementamos uma política que proíbe determinados tipos de uso, para ajudar a garantir que esses modelos estejam sendo usados de forma justa e responsável.
A Meta também criou novas iniciativas para aproveitar a percepção e a criatividade de indivíduos, pesquisadores e desenvolvedores de todo o mundo, a fim de obter feedback sobre o desempenho dos modelos e como eles podem ser aprimorados.
- Comunidade de pesquisa em IA de inovação aberta: Hoje também lançamos um novo programa de parceria para pesquisadores acadêmicos com o objetivo de aprofundar nosso entendimento sobre o desenvolvimento responsável e o compartilhamento de grandes modelos de linguagem. Os pesquisadores podem se inscrever para participar de uma comunidade de profissionais para compartilhar aprendizados sobre esse importante tema, visando que esta comunidade forme uma agenda de pesquisa a ser seguida no futuro.
- Desafio Llama para Impacto Social: Queremos estimular a comunidade de inovação que deseja usar o Llama para resolver problemas difíceis. Estamos lançando um desafio para incentivar um conjunto diversificado de entidades públicas, sem fins lucrativos e com fins lucrativos a usar o Llama 2 para enfrentar desafios ambientais, educacionais e outras questões importantes. As regras estarão disponíveis antes do início do desafio.
Conclusão
Ao longo da história da nossa empresa, vivenciamos os benefícios de uma abordagem de ciência aberta ao inovar em outras áreas de negócio. Nossos engenheiros desenvolveram e compartilharam estruturas que agora são padrões do setor, como o React, uma estrutura líder para a criação de aplicativos móveis e websites, e o PyTorch, que agora é a estrutura líder para IA. Essas estruturas se tornaram bases comumente usadas por todo o setor de tecnologia, e acreditamos que o compartilhamento aberto de grandes modelos atuais de linguagem também dará suporte ao desenvolvimento de IA generativa com mais utilidade e segurança.
Estamos ansiosos para ver o que o mundo construirá com o Llama 2!