Llama 1을 선보인 지 약 7개월이 지났고, 이어 Llama 2와 Code Llama를 공개한 지는 불과 몇 달밖에 지나지 않았지만, 그간 커뮤니티의 반응은 놀라웠습니다. Hugging Face를 통해 Llama 기반 모델이 3천만 건 이상 다운로드되었고, 그중 1천만 건 이상의 다운로드는 지난 30일 간 이루어지는 등 엄청난 기록을 세웠습니다. PyTorch처럼, Llama도 전 세계가 기반으로 삼을 수 있는 플랫폼으로 발전했으며 우리는 이에 대해 흥분을 감출 수 없습니다.
지금까지의 성과
Llama 커뮤니티의 성장을 보여주는 몇 가지 주목할 만한 사례가 있습니다:
- 클라우드 플랫폼: AWS, Google Cloud, Microsoft Azure와 같은 주요 클라우드 플랫폼이 Llama 모델을 채택했으며, 이러한 클라우드 서비스에서 Llama 2의 입지는 점차 확대되고 있습니다. 오늘 Meta는 AWS를 Llama2의 첫 번째 관리형 API 파트너로 발표했습니다. 이제 모든 조직은 규모에 상관없이, 또 기본 인프라를 관리할 필요 없이, Amazon Bedrock에서 Llama 2 모델에 접근할 수 있습니다. 접근성이 획기적으로 확대된 것입니다. 게다가, Google Cloud와 AWS를 통해 3,500개 이상의 엔터프라이즈 프로젝트가 Llama 2 모델을 기반으로 새롭게 생성되는 등 최종 사용률 역시 놀라운 수준으로 증가하고 있습니다.
- 혁신 기업: 스타트업을 포함한 혁신적인 기업들은 Llama를 자사 생성형 AI 제품의 기반으로 삼고 있습니다. 수만 개의 스타트업이 Llama 2를 사용하거나 테스트하고 있으며, Anyscale, Replicate, Snowflake, LangSmith, Scale AI 등 수많은 스타트업이 이에 포함됩니다. 또한, DoorDash와 같은 혁신 기업들 역시 새로운 LLM 기반 기능을 출시하기에 앞서, Llama를 활용해 대규모 테스트를 진행하고 있습니다.
- 크라우드 소싱 최적화: 오픈 소스 커뮤니티는 Meta의 모델을 적극 수용했습니다. 이들은 Meta 모델을 미세조정하여 지금까지 약 7,000개 파생 모델을 Hugging Face에 출시했습니다. 이는 평균적으로 일반 벤치마크의 성능을 10% 가까이 향상시켰으며, TruthQA와 같은 벤치마크 데이터 세트의 경우 최대 46%의 놀라운 개선이 이루어졌습니다.
- 개발자 커뮤니티: 현재 GitHub에는 Llama를 기반으로 구축되었거나, Llama를 언급하는 프로젝트가 7,000건이 넘습니다. 새로운 도구, 배포 라이브러리, 모델 평가 방법, 심지어 “초소형” 버전의 Llama까지 개발돼 엣지 디바이스 및 모바일 플랫폼에 제공되고 있습니다. 또한 커뮤니티는 더 큰 컨텍스트 창을 지원하고, 추가 언어를 지원하는 등 Llama의 활용 범위를 확장해 왔습니다.
- 하드웨어 지원: 하드웨어 커뮤니티는 Llama를 핵심 모델 아키텍처로 완전히 받아들였습니다. 하드웨어 시스템 제공업체인 AMD, Intel, Nvidia, Google은 하드웨어 및 소프트웨어 최적화를 통해 Llama 2의 성능을 향상시켰습니다.
서버 및 모바일 하드웨어부터 클라우드 플랫폼, 스타트업, 기업에 이르기까지 각계각층의 사람들이 활용하며 Llama 생태계는 활기차게 돌아가고 있습니다.
최근 Code Llama 공개와 함께, 이러한 모델은 몇 시간 내 다양한 플랫폼에서 사용할 수 있게 되었고, 커뮤니티의 속도를 놀라울 정도로 향상시켰습니다.
급행 연구 프로젝트로 시작했지만…
지난 몇 년 동안, 수십억 개의 매개변수를 가진 자연어 처리(Natural Language Processing, NLP) 시스템인 대규모 언어 모델은 창의적인 텍스트 생성, 독해 및 수학 문제 풀이, 단백질 분자구조 예측 등 새로운 능력들을 지속적으로 선보여 왔습니다. 이는 AI가 수십억 명의 사람들에게 잠재적으로 제공할 수 있는 이점을 보여주었습니다.
우리가 가장 먼저 공개한 LLaMa, 혹은 Llama 1은 수학을 주로 연구하는 FAIR라는 팀에서 개발했습니다. 이 과정에서 팀은 LLM의 능력과, 올바른 스케일링 법칙과 잘 선별된 데이터로 훈련된 상대적으로 규모가 작은 모델이 어떻게 새로운 연구 애플리케이션의 강력한 기반이 될 수 있는지를 확인했습니다. 그렇게 1세대 라마가 탄생했고, 이는 학계와 전 세계에 혁신을 불러일으켰습니다. 실제로 여러 학술 기관의 연구원들은 단 며칠 만에 지침을 따르거나 추가 작업을 처리할 수 있는 훨씬 개선된 버전의 Llama 1를 선보일 수 있었습니다. 그리고 거기서부터 커뮤니티는 다양한 방법과 방향으로 혁신하기 시작했습니다.
하지만 Meta는 보다 폭넓게 이 기술이 활용되기를 원했습니다. 그래서 탄생한 것이 바로 Llama 2입니다.
우리가 이 모델들을 출시한 이유
저희 과거에서 나타나듯, Meta는 오픈 소스 커뮤니티가 가진 힘을 믿습니다. 최첨단 AI 기술은 누구나 접근이 가능하도록 개방되었을 때 보다 안전하게 사용될 수 있습니다.
또한, 예측이 어려운 영역에서는 필연적으로 발생하는 혁신을 활용해 불확실성을 메우는 것이 오히려 유리합니다. 이는 Stable Diffusion, GPT 3, GPT 4 등 AI 세계를 지속 변화시킨 PyTorch뿐만 아니라 Llama도 마찬가지입니다. Meta의 경우, 이러한 가치를 아래와 같은 세 가지 축으로 요약할 수 있습니다.
연구: Meta는 연구 커뮤니티에서 개발한 새로운 기술, 성능 최적화, 도구 및 평가 방법 등을 활용해 모델을 고도화합니다. 이러한 커뮤니티 중 상당수는 현재 개발 초기 단계에 있으며, 이들과 공개적으로 협업하면 더욱 쉽게 진전을 이룰 수 있습니다.
기업 및 상용화: Meta의 기술을 활용하는 기업과 스타트업이 많아질수록, 기술 활용 사례, 보다 안전한 모델 배포 및 잠재적 기회에 대해 더 자세히 알 수 있습니다.
개발자 생태계: LLM은 AI 개발 영역을 근본적으로 변화시켰으며, 모델을 조작, 관리, 및 평가하기 위한 도구와 접근 방식이 매일 새롭게 등장하고 있습니다. 커뮤니티에 통용되는 공용어가 있다면 이러한 기술을 빠르게 활용해 내부 스택을 가속화할 수 있습니다.
그러나 이 모든 것은 Meta에게 새로운 개념이 아닙니다. PyTorch를 비롯한 여러 공개 또는 오픈 소스 프로젝트와 마찬가지로, 이러한 철학은 Meta의 DNA에 깊게 자리 잡고 있습니다.
앞으로 나아갈 길
한 가지 확실한 것은 생성형 AI 분야는 빠르게 발전하고 있으며, 우리는 모두 이 기술의 능력과 활용 범위에 대해 알아가는 과정에 있다는 것입니다. Meta는 오늘날의 AI에 대해 개방적인 접근 방식을 유지하고 있습니다. 이 여정을 함께 계속해나가면서 Meta가 집중하고 있는 몇 가지 영역을 소개합니다:
멀티모달: 세상은 온전히 텍스트로만 구성되어 있지 않기 때문에, AI는 새로운 양식들을 수용하며 더욱 몰입도 높은 생성형 경험을 제공할 수 있습니다.
안전과 책임: 생성형 AI는 책임감 있는 AI의 세계를 활성화했습니다. Meta는 안전 및 책임에 보다 큰 중점을 두며 새로운 도구를 개발하고, 파트너십을 구축하며, 우리 커뮤니티가 안전과 책임에 대해 계속 학습할 수 있는 수단으로 Llama를 활용할 것입니다.
커뮤니티에 대한 초점: PyTorch와 마찬가지로, Meta는 이 커뮤니티를 자아를 갖고 있는 개발자 커뮤니티로 보고 있으며, 이들의 혁신을 촉진할 수 있는 권한과 수단으로서 모델을 제공합니다. Meta의 목표는 커뮤니티가 작업을 공유하고, 자신만의 이야기를 전할 수 있는 새로운 방법을 제공하는 것입니다.
Llama 가족에 대해 더 자세한 정보
Meta Connect 기조연설에서 우리는 Llama 모델과 오픈 액세스의 미래에 대해 많은 이야기를 나눴습니다. 세션부터 실습 워크숍까지, 최근까지의 혁신 현황을 여러분과 공유하게 되어 기쁩니다.
더 자세히 알아보 수 있는 몇 가지 방법을 소개합니다:
- 모델을 다운로드하고 Llama 2와 상호작용해 보세요.
- Llama 모델을 이용한 제작 워크숍을 포함한 Connect 세션에 참여해 보세요.
ai.meta.com/llama을 방문하여 관련 설명을 읽고, 책임감 있는 사용 가이드와 사용 제한 정책을 검토하고, Llama 생태계를 지원하는 파트너에 대해 자세히 알아보세요.