Llama 4 시리즈: 멀티모달 AI 혁신의 새로운 시대를 열다

*영어 원문 보기

주요 내용

Meta는 더욱 개인화된 멀티모달 경험을 구축할 수 있는 Llama 4 시리즈의 첫 번째 모델들을 공개합니다.
Llama 4 Scout는 170억 개의 활성 매개변수(파라미터)와 16개의 전문가로 구성된 모델로, 동급 모델 중 최고의 멀티모달 모델입니다. 이전 세대의 Llama 모델보다 더 강력하면서도 단일 NVDIA H100 GPU에서 실행이 가능합니다. 또한, Llama 4 Scout는 업계 최고 수준인 1,000만 토큰 규모의 컨텍스트 윈도우(Context window)를 제공하며, 다양한 벤치마크에서 Gemma 3, Gemini 2.0 Flash-Lite, Mistral 3.1보다 더 뛰어난 성능을 보여줍니다.
Llama 4 Maverick은 170억 개의 활성 매개변수와 128개의 전문가를 갖춘 모델로, 다양한 벤치마크에서 GPT-4o 및 Gemini 2.0 Flash를 능가하고, DeepSeek v3와 유사한 수준의 추론 및 코딩 성능을 절반 이하의 활성 매개변수로 달성하는 동급 최고의 멀티모달 모델입니다. 또한, 비용 대비 업계 최고 수준의 성능을 제공하며, 이 모델의 실험용 챗 버전은 LMArena에서 ELO 1417점을 기록했습니다.
이 모델들은 Llama 4 Behemoth에서 증류(distillation)를 통해 탄생했습니다. Llama 4 Behemoth는 2880억 개의 활성 매개변수와 16개의 전문가로 구성된, 현존하는 Meta의 가장 강력한, 그리고 세계적으로도 가장 지능적인 대규모 언어 모델(LLM) 중 하나입니다. Llama 4 Behemoth는 여러 STEM(과학, 기술, 공학, 수학) 벤치마크에서 GPT-4.5, Claude Sonnet 3.7, Gemini 2.0 Pro를 능가하는 성능을 보입니다. 현재 Llama 4 Behemoth는 훈련 중이며, 이에 대한 더 많은 정보를 추후 공유할 예정입니다.
Llama 4 Scout와 Llama 4 Maverick 모델은 오늘부터 llama.com과 Hugging Face에서 다운로드할 수 있습니다. 또한, Llama 4로 구축된 Meta AI를 WhatsApp, Messenger, Instagram DM, 그리고 웹에서 직접 체험해 보세요.

점점 더 많은 사람들이 일상 속에서 인공지능을 활용하게 되면서, 누구나 개인화된 경험을 구축할 수 있도록 선도적인 모델과 시스템을 개방하는 것이 중요해졌습니다. 오늘, Meta는 Llama 생태계를 전반적으로 지원하는 가장 진보된 모델 제품군을 발표하게 되어 기쁩니다. 저희는 전례 없는 컨텍스트 길이를 지원하는 최초의 오픈 웨이트(open-weight) 기반 멀티모달 모델이자, 처음으로 전문가 혼합(Mixture-of-Experts, MoE) 아키텍처로 구축된 모델인 Llama 4 Scout와 Llama 4 Maverick을 소개합니다. 또한, 세계에서 가장 똑똑한 대규모 언어 모델 중 하나이자 지금까지 Meta가 개발한 모델 중 가장 강력한 Llama 4 Behemoth의 프리뷰도 함께 공개합니다. 이 모델은 신규 Llama 4 모델들의 교사 역할을 수행합니다.

이 Llama 4 모델들은 Llama 생태계의 새로운 시대를 여는 신호탄입니다. Meta는 Llama 4 시리즈에서 두 가지 고효율 모델, Llama 4 Scout와 Llama 4 Maverick을 설계했습니다. Llama 4 Scout는 170억 개의 활성 매개변수와 16개의 전문가로 구성된 모델이며, Int4 양자화를 통해 단일 H100 GPU에서도 구동 가능합니다. Llama 4 Maverick은 170억 개의 활성 매개변수와 128개의 전문가를 갖춘 모델이며, 단일 H100 호스트에서 실행됩니다. 또한, Meta는 이들의 교사 역할을 하는 Llama 4 Behemoth라는 모델도 훈련했습니다. 이 모델은 MATH-500, GPQA Diamond와 같은 STEM 중심 벤치마크에서 GPT-4.5, Claude Sonnet 3.7, Gemini 2.0 Pro를 능가하는 성능을 보입니다. Llama 4 Behemoth는 아직 훈련 중이기 때문에 출시하지 않았지만, Meta의 기술적 접근 방식에 대한 더 많은 정보를 공유할 수 있게 되어 기쁩니다.

저희는 여전히 개방성이 혁신을 이끌고, 이는 개발자, Meta, 그리고 세상 모두에게도 이로운 방향이라고 믿습니다. 누구나 최신 기술을 활용해 새로운 경험을 계속 구축해나갈 수 있도록 돕기 위해 오늘부터 llama.com과 Hugging Face에서 Llama 4 Scout와 Llama 4 Maverick을 다운로드할 수 있습니다. 앞으로 며칠 내에 Meta의 주요 파트너들을 통해서도 이 두 가지 모델들을 제공할 예정입니다. 또한, 오늘부터 WhatsApp, Messenger, Instagram DM, Meta.AI 웹사이트에서 Llama 4 기반의 Meta AI를 직접 체험해 볼 수 있습니다.

이는 Llama 4 컬렉션의 시작에 불과합니다. Meta는 가장 지능적인 시스템은 일반화된 행동을 수행하고, 사람들과 자연스럽게 대화하며, 이전에 본 적 없는 어려운 문제도 해결할 수 있어야 한다고 믿습니다. Llama 모델에 이러한 능력을 부여하면 Meta의 플랫폼을 사용하는 사람들에게 더 나은 제품을 제공하고, 개발자들에게는 차세대 소비자 및 비즈니스 활용 사례를 혁신할 수 있는 더 많은 기회를 열어줄 것입니다. 저희는 계속해서 두 모델과 제품에 대한 연구 및 프로토타이핑을 진행하고 있으며, 저희의 비전을 오는 4월 29일에 열리는 라마콘(LlamaCon)에서 더 자세히 공유할 예정입니다. 지금 라마콘 알림 설정을 신청하고 더 많은 정보를 확인하세요.

여러분이 저희 모델을 기반으로 개발하는 개발자이든, 업무 프로세스에 Meta의 모델을 통합하려는 기업이든, 혹은 단순히 AI의 잠재적인 활용과 이점에 대해 궁금한 사람이든, Llama 4 Scout와 Llama 4 Maverick은 제품에 차세대 지능을 더 할 수 있는 가장 최고의 선택입니다. 오늘, 저희는 이 모델들의 개발 과정에서 핵심이 되는 4가지 주요 요소와 연구 및 설계 과정에 대한 인사이트를 공유하게 되어 기쁩니다. 또한, 커뮤니티가 새로운 Llama 4 모델을 활용해 어떤 놀라운 경험을 만들어낼지 벌써부터 기대가 됩니다.

사전 학습

이번 Llama 4 모델들은 Llama 시리즈의 정수를 보여주며, 크기가 훨씬 큰 모델들을 능가하는 뛰어난 멀티모달 성능을 경쟁력 있는 비용에 제공합니다. 차세대 Llama 모델을 구축하기 위해 Meta는 사전 학습(pre-training) 과정에서 여러 가지 새로운 접근 방식을 도입해야 했습니다.

새롭게 선보이는 Llama 4 모델은 Meta가 처음으로 전문가 혼합(MoE) 아키텍처를 적용한 모델입니다. MoE 구조에서는 하나의 토큰이 전체 매개변수 중 일부만을 활성화합니다. 덕분에 MoE 아키텍처는 학습과 추론 측면에서 보다 효율적인 연산이 가능하며, 동일한 학습 플롭스(FLoating point OPerations, FLOPs) 예산 내에서 밀집형(dense) 모델에 비해 더 높은 품질을 제공합니다.

예를 들어, Llama 4 Maverick 모델은 170억 개의 활성 매개변수와 총 4,000억 개의 매개변수를 가지고 있습니다. 이 모델은 추론 효율성을 높이기 위해 밀집형(dense) 계층과 전문가 혼합형(MoE) 계층을 번갈아 사용합니다. MoE 계층은 128개의 라우팅 전문가와 하나의 공유 전문가를 사용하며, 각 토큰은 공유 전문가와 128개의 라우팅 전문가 중 하나에 전달됩니다. 결과적으로 모든 매개변수가 메모리에 저장되지만, 실제 모델을 사용하는 동안에는 전체 매개변수 중 일부만이 활성화됩니다. 이로 인해 모델 서비스 비용과 지연 시간이 줄어들어, 추론 효율성이 향상됩니다. Llama 4 Maverick은 단일 NVIDIA H100 DGX 호스트에서 쉽게 배포할 수 있으며, 분산 추론을 통해 최대의 효율성을 달성할 수 있습니다.

Llama 4 모델은 기본적으로 멀티모달 기능을 고려해 설계되었으며, 초기 융합(early fusion) 방식을 통해 텍스트와 비전 토큰을 하나의 통합된 모델 백본에 자연스럽게 통합합니다. 초기 융합은 중요한 진전으로, 이를 통해 라벨이 없는 대량의 텍스트, 이미지, 영상 데이터를 함께 사전 학습할 수 있게 해줍니다. 또한 Meta는 Llama 4의 비전 인코더도 개선했습니다. 이 인코더는 MetaCLIP을 기반으로 하지만, LLM에 더 잘 적응할 수 있도록 고정된(frozen) Llama 모델과 함께 별도로 학습되었습니다.

Meta는 MetaP라는 새로운 학습 기법을 개발했습니다. 이 기법은 계층별 학습률이나 초기화 척도 등 주요 모델 하이퍼 파라미터(hyper-parameter)를 안정적으로 설정할 수 있도록 해줍니다. 또한, 이렇게 설정한 하이퍼 파라미터들은 배치 크기(batch size), 모델의 폭과 깊이, 학습 토큰 수가 달라져도 잘 작동한다는 것을 확인했습니다. Llama 4는 200개 언어로 사전 학습되었으며, 이 중 100개 이상의 언어는 각각 10억 개 이상의 토큰을 포함하고 있습니다. 전체적으로 Llama 3보다 10배 이상 많은 다국어 토큰을 기반으로 해, 더 효과적인 오픈소스 파인튜닝을 가능하게 합니다.

추가로, Meta는 FP8 정밀도(FP8 precision)를 사용해 품질 저하 없이 높은 FLOPs 활용률을 달성하며 모델 학습의 효율을 높였습니다. FP8과 32K GPU를 활용해 Llama 4 Behemoth 모델을 사전 학습할 때, 저희는 GPU당 390 TFLOPs의 성능을 달성했습니다. 학습에 사용된 전체 데이터 믹스는 30조 개 이상의 토큰으로 구성되어 있으며, 이는 Llama 3의 사전 학습 데이터 구성보다 두 배 이상 많은 양입니다. 이 데이터에는 다양한 텍스트, 이미지, 영상 데이터셋이 포함되어 있습니다.

Meta는 모델의 핵심 역량을 더욱 강화하기 위해 “중간 학습(mid-training)”이라 부르는 단계를 도입했습니다. 이 단계에서는 긴 문맥 처리를 위한 특수 데이터셋을 활용한 새로운 학습 레시피를 적용했습니다. 이를 통해 모델의 전반적인 품질을 높이는 동시에, Llama 4 Scout가 업계 최고 수준인 1,000만 토큰의 입력 컨텍스트 길이를 지원할 수 있도록 만들 수 있었습니다.

신규 모델에 대한 사후 학습

이번에 공개된 최신 모델들은 다양한 활용 사례와 개발자의 요구를 충족할 수 있도록, 작은 모델부터 대형 모델까지 폭넓은 옵션을 제공합니다. Llama 4 Maverick은 이미지와 텍스트 이해에서 업계 최고 수준의 성능을 제공하며, 언어 장벽을 넘어서는 정교한 AI 애플리케이션 개발을 가능하게 합니다. 이 모델은 범용 어시스턴트와 챗봇 활용 사례에서 핵심 역할을 수행할 수 있는 주력 모델로, 정밀한 이미지 이해와 창의적인 글쓰기 작업에도 탁월한 성능을 발휘합니다.

Llama 4 Maverick 모델의 사후 학습 단계에서 가장 어려웠던 점은 다양한 입력 모달리티(input modalities)와 추론 능력 및 대화 능력의 균형을 맞추는 것이었습니다. 이를 위해 저희는 개별 모달리티 전문가 모델에 비해 성능을 손해 보지 않으면서 이들을 통합하기 위해 정교하게 구성된 교육 커리큘럼 전략을 개발했습니다. Llama 4의 사후 학습 파이프라인은 기존과 다른 방식으로 구성되어 있으며, 경량화된 감독 미세조정(supervised fine-tuning, SFT) → 온라인 강화 학습(reinforcement learning, RL) → 경량화된 직접 선호 최적화(direct preference optimization, DPO)의 단계로 이루어집니다. 이 과정에서 얻은 중요한 인사이트 중 하나는, SFT와 DPO가 모델의 탐색 능력을 과도하게 제약해, 특히 추론, 코딩, 수학 영역에서 정확도가 떨어질 수 있다는 점이었습니다. 이를 해결하기 위해, 저희는 Llama 모델을 평가자로 활용해, 쉬운 데이터로 분류된 데이터의 50% 이상을 제거하고, 나머지 더 어려운 데이터만을 대상으로 SFT를 수행했습니다. 이후 멀티모달 온라인 강화 학습(RL) 단계에서는 어려운 프롬프트를 선별함으로써 성능을 비약적으로 향상시킬 수 있었습니다.

또한, 지속적인 온라인 강화 학습 전략을 도입했습니다. 이 전략은 모델을 학습시키는 단계와, 학습된 모델을 활용해 중간에서 고난도 수준의 프롬프트만을 지속적으로 필터링 및 유지하는 단계를 번갈아 수행하는 방식입니다. 이러한 접근은 컴퓨팅 자원과 정확도 간의 균형 측면에서 매우 효과적임을 입증하였습니다. 이후에는 모델 응답 품질과 관련된 극단적인 사례들(corner cases)을 다루기 위해 경량화된 DPO 절차를 적용했습니다. 그 결과, 모델의 지능과 대화 능력 사이에서 균형 잡힌 성능을 이끌어낼 수 있었습니다. 이러한 파이프라인 구조와 적응형 데이터 필터링을 적용한 지속적인 온라인 강화 학습 전략은 최종적으로 업계 최고 수준의 지능과 이미지 이해 능력을 갖춘 범용 챗 모델을 완성하는데 기여했습니다.

범용 LLM인 Llama 4 Maverick은 170억 개의 활성 매개변수, 128개의 전문가, 총 4,000억 개의 매개변수로 구성되며, Llama 3.3 70B 모델 대비 더 낮은 비용으로 더 높은 품질을 제공합니다. 또한, 코딩, 추론, 다국어, 장문 컨텍스트, 이미지 벤치마크에서 GPT-4o, Gemini 2.0 등 비교할 만한 주요 모델들을 뛰어넘는 성능을 보여주는 동급 최고 수준의 멀티모달 모델이며, 코딩과 추론 영역에서는 훨씬 큰 규모의 DeepSeek v3.1과 비교해도 경쟁력 있는 성능을 자랑합니다.

한편, 비교적 작고 가벼운 범용 모델인 Llama 4 Scout는 170억 개의 활성 매개변수, 16개의 전문가, 총 1억 900만 개의 매개변수로 구성됐으며 동급 최고 수준의 성능을 자랑합니다. Llama 3가 128K 토큰을 지원했던 것에 비해, Llama 4 Scout는 컨텍스트 길이를 대폭 확대해, 업계 최고 수준인 1,000만 토큰의 컨텍스트 길이를 처리할 수 있습니다. 덕분에 다중 문서 요약, 개인화를 위한 광범위한 사용자 활동 분석, 대규모 코드 베이스에 대한 추론 등 다양한 작업의 가능성이 열렸습니다.

Llama 4 Scout는 256K 토큰의 컨텍스트 길이로 사전 학습과 사후 학습을 모두 수행했으며, 이를 통해 기본 모델이 매우 높은 수준의 문맥 길이 일반화(length generalization) 능력을 갖추게 되었습니다. 저희는 장문에서 중요한 정보를 찾아내는 “건초 더미 속 바늘 찾기(Retrieval needle in haystack)” 와 같은 텍스트 기반의 검색 관련 과제나, 1,000만 토큰 분량의 코드에 대한 누적 음의 로그우도(negative log-likelihoods, NLLs) 계산과 같은 과제에서 Llama 4 Scout가 인상적인 결과를 보여준 것을 확인했습니다. Llama 4 아키텍처의 핵심 혁신 중 하나는 위치 임베딩(Position Embedding)을 사용하지 않고 교차 배치된 attention 계층(interleaved attention layers)을 적용한 점입니다. 또한 추론 단계에서 attention의 온도를 조정하는 방식(temperature scaling)을 적용해 문맥 길이 일반화 성능을 향상시켰습니다. Meta는 이러한 구조를 iRoPE 아키텍처라고 부릅니다. 여기서 “i”는 interleaved attention layers, 즉 교차 배치된 attention 계층을 의미하며 이는 사실상 무한에 가까운 문맥 길이를 지원하겠다는 장기적인 목표를 반영합니다. “RoPE”는 대부분의 계층에서 사용된 회전 위치 임베딩(rotary position embeddings)을 뜻합니다.

Meta는 두 모델 모두 다양한 이미지 및 영상 프레임 스틸컷(정지 샷)으로 학습시켜, 시간 흐름이 있는 활동이나 연관된 이미지에 대한 이해를 포함한 폭넓은 시각적 이해 능력을 갖추도록 했습니다. 이를 통해 텍스트 프롬프트와 함께 여러 이미지를 입력받아 시각적 추론과 이해 과제를 자연스럽고 손쉽게 수행할 수 있습니다. 모델은 최대 48장의 이미지로 사전 학습되었으며, 사후 학습에서는 최대 8장의 이미지 입력에 대해 우수한 성능을 보여주었습니다.

또한 Llama 4 Scout는 이미지 그라운딩(image grounding) 분야에서도 동급 최고 수준의 성능을 자랑합니다. 사용자의 프롬프트를 관련된 시각적 개념과 정밀하게 연결하고, 모델의 응답을 이미지 내 특정 영역에 고정할 수 있습니다. 이를 통해 LLM이 사용자 의도를 더 정확히 이해하고, 관심 객체를 이미지에서 정확히 찾아내는 시각적 질문 응답(visual question answering)이 가능해집니다. 또한 Llama 4 Scout는 코딩, 추론, 장문 컨텍스트, 이미지 벤치마크 분야에서 유사 모델들을 능가하며, 이전의 모든 Llama 모델보다 더 강력한 성능을 자랑합니다.

이 새로운 모델들은 미래의 새로운 상호 작용 방식을 가능하게 할 핵심 기반 요소입니다. 오픈 소스에 대한 Meta의 약속에 따라, Llama 4 Maverick과 Llama 4 Scout는 llama.com과 Hugging Face에서 누구나 다운로드할 수 있도록 공개되어 있습니다. 또한, 이 모델들은 조만간 가장 널리 사용되는 주요 클라우드 및 데이터 플랫폼, 엣지 실리콘, 글로벌 서비스 통합 업체를 통해서도 제공될 예정입니다.

Llama의 스케일 확장: 2조 매개변수의 Behemoth

저희는 Llama 4 Behemoth의 프리뷰를 공유할 수 있게 되어 기쁩니다. 이 모델은 동급 모델 중에서도 가장 뛰어난 지능을 보여주는 교사 모델(teacher model)입니다. Llama 4 Behemoth는 멀티모달 전문가 혼합(MoE) 아키텍처를 기반으로 하며, 2,880억 개의 활성 매개변수, 16개의 전문가, 총 2조 개에 가까운 매개변수를 갖추고 있습니다. 수학, 다국어, 이미지 벤치마크에서 비추론(non-reasoning) 모델 중 최고 수준의 성능을 제공하며, 더 작은 Llama 4 모델들을 학습시키기에 이상적인 교사 모델이었습니다. 저희는 Llama 4 Maverick 모델을 Llama 4 Behemoth를 교사로 삼아 공동 증류(codistilled)했으며, 그 결과 여러 최종 과제 평가 지표에서 현저한 품질 개선을 이끌어냈습니다. 그리고 학습 과정에서 소프트 타깃과 하드 타깃의 가중치를 동적으로 조절하는 새로운 증류 손실 함수(distillation loss function)를 개발했습니다. 사전 학습 단계에서 Llama 4 Behemoth로부터의 공동 증류는 학생 모델 훈련에 사용되는 대부분의 학습 데이터에 대해 증류 타깃을 생성하는 데 필요한 고비용 정방향 연산의 계산 부담을 효과적으로 분산시켜주었습니다. 또한 학생 모델의 훈련 과정에서 새롭게 포함된 데이터에 대해서는 Behemoth 모델을 통해 직접 정방향 연산을 수행해 증류 타깃을 생성했습니다.

2조 개의 매개변수를 가진 모델의 사후 학습 또한 상당한 도전이었으며, 이를 위해 데이터 규모부터 전체 학습 레시피를 완전히 재구성하고 개편해야 했습니다. 최대 성능을 이끌어내기 위해, 소형 모델에서는 50%만 줄였던 SFT 데이터를 이 모델에서는 무려 95%까지 선별해 줄여 품질과 효율성에 집중할 수 있도록 했습니다. 또한, 경량화된 SFT 수행 이후 대규모 강화 학습을 적용하는 방식이 모델의 추론 및 코딩 능력을 더욱 크게 향상시킨다는 점도 발견했습니다. 강화 학습 레시피는 정책 모델(policy model)을 활용해 pass@k 분석을 수행하고, 점점 더 난이도 높은 프롬프트로 구성된 학습 커리큘럼을 설계해 어려운 프롬프트를 샘플링하는 데 초점을 맞췄습니다. 또한, 학습 중 성능 향상에 기여하지 않는 프롬프트(zero advantage prompts)를 동적으로 걸러내고, 다양한 능력 영역의 프롬프트를 혼합해 학습 배치(batch)를 구성하는 방식이 수학, 추론, 코딩 성능 향상에 핵심적인 역할을 했다는 것을 발견했습니다. 마지막으로, 다양한 시스템 명령어(system instructions)를 샘플링하는 것도 매우 중요했습니다. 이를 통해 모델이 추론 및 코딩 관련 과제에서 명령어를 따르는 능력을 유지하며, 다양한 작업에서도 우수한 성능을 낼 수 있도록 만들 수 있었습니다.

매개변수가 2조 개에 달하는 모델에 대한 강화 학습을 확장하기 위해서는 기존의 강화 학습 인프라를 전면적으로 개편해야 했습니다. 저희는 속도를 높이기 위해 전문가 혼합(MoE) 병렬화 구조를 최적화했고, 이를 통해 반복 속도를 높일 수 있었습니다. 또한 완전히 비동기적인 온라인 강화 학습 프레임워크를 개발해 유연성을 극대화했습니다. 기존의 분산 학습 프레임워크는 모든 모델을 메모리에 적재하면서 연산 메모리를 희생해야 했던 반면, 새로운 인프라는 다양한 모델을 개별 GPU에 유연하게 배치하고, 연산 속도에 따라 리소스를 균형 있게 분배할 수 있도록 설계되었습니다. 이러한 혁신 덕분에 이전 세대 대비 약 10배 향상된 학습 효율성을 달성할 수 있었습니다.

안전 및 보호 장치

Meta는 가장 유용한 모델을 개발하는 동시에 심각한 위험에 대비하고 이를 완화하는 것을 목표로 합니다. 저희는 Llama 4를 개발할 때 Meta의 ‘개발자 활용 가이드: AI 보호(Developer Use Guide: AI Protections)’에 명시된 모범 사례를 따랐습니다. 이는 사전 학습부터 사후 학습, 그리고 악의적인 사용자를 방어할 수 있도록 조정 가능한 시스템 수준의 보호 조치를 각 개발 단계에 통합하는 방식으로 구성되어 있습니다. 이를 통해 개발자들이 유용하고 안전하며 다양한 상황에 유연하게 대응할 수 있는 Llama 기반 애플리케이션을 개발할 수 있도록 지원합니다.

사전 및 사후 학습 완화 조치

Meta는 사전 학습 단계에서 모델을 안전하게 보호하기 위해 다른 데이터 완화 기법들과 함께 데이터 필터링을 사용합니다. 사후 학습 단계에서는 모델이 사용자와 개발자 모두에게 도움이 되는 정책에 부합하도록 다양한 기술을 적용하며, 각 단계에서 적절한 수준의 안전 데이터를 반영합니다.

시스템 차원의 접근 방식

시스템 차원에서 Meta는 잠재적으로 유해한 입력 및 출력을 식별하고 이에 대응할 수 있도록 여러 안전 장치를 오픈소스로 제공합니다. 이러한 도구들은 Llama 모델에 통합하거나, 다른 서드파티 도구들과 함께 사용할 수 있습니다.

Llama Guard: MLCommons와 함께 개발한 위험 요소 분류 체계(hazards taxonomy)를 기반으로 설계된 입출력 안전성을 위한 LLM입니다. 개발자들은 이를 활용해 각자의 애플리케이션에 설정한 정책을 위반하는 입출력이 있는지 감지할 수 있습니다.
Prompt Guard: 대규모 공격 데이터셋을 기반으로 학습된 분류 모델로, 악의적인 프롬프트(탈옥 프롬프트)는 물론, 프롬프트 인젝션 공격까지 탐지할 수 있습니다.
CyberSecEval: 생성형 AI의 사이버 보안 위험을 이해하고 줄이는 데 도움을 주는 평가 도구로, AI 모델 및 제품 개발자를 지원합니다.

개발자들은 이러한 도구들이 각자의 애플리케이션에 맞게 조정할 수 있을 때 가장 효과적이고 유용하다고 전했습니다. 이에 따라, Meta는 개발자들이 각자의 필요에 따라 가장 안전하고 효과적인 경험을 구축할 수 있도록 개방형 솔루션을 제공합니다. 또한, 오픈소스 커뮤니티에 도움이 되는 업계 전반의 시스템 표준을 만들기 위해 전 세계 파트너들과 협력해 나갈 계획입니다.

평가 및 레드팀 테스트

Meta는 다양한 시나리오와 활용 사례 전반에 걸쳐 모델을 체계적으로 테스트하며, 이를 통제 가능하고 반복 가능한 방식으로 수행합니다. 이렇게 얻어진 데이터는 사후 학습에 반영되어 모델을 지속적으로 개선하는 데 활용됩니다.

Meta는 자동화 및 수동 테스트를 병행하여, 다양한 주제에 걸쳐 모델을 스트레스 테스트합니다. 이때 ‘적대적 동적 탐색(adversarial dynamic probing)’ 기법을 활용해 위협적인 상황에 대한 모델의 반응을 점검하고 있습니다. 이를 통해 모델의 잠재적 위험 요소를 더 잘 파악하고, 정밀하게 평가할 수 있는 기반을 마련했습니다. 그 대표적인 예가 새롭게 개발한 생성형 공격 에이전트 테스트(Generative Offensive Agent Testing, GOAT)입니다. GOAT는 기존 레드팀 테스트의 한계를 보완하며, 중급 수준의 공격자가 참여하는 다중 턴 상호작용을 시뮬레이션함으로써 테스트 범위를 확장하고 취약점을 조기에 식별할 수 있도록 지원합니다. GOAT는 테스트 도구에 자동화를 도입함으로써, 알려진 위험 영역은 자동화가 처리하고, 전문 레드팀 인력은 보다 새로운 유형의 공격 시나리오에 집중할 수 있도록 해줍니다. 이러한 방식은 테스트 과정을 보다 효율적이고 효과적으로 만들 뿐만 아니라, 위험에 대한 정량적·정성적 통찰력을 더욱 정교하게 구축할 수 있도록 돕습니다.

대규모 언어 모델의 편향성 문제 해결

주요 대규모 언어 모델들이 편향성 문제를 안고 있다는 것은 널리 알려진 사실입니다. 특히 정치적·사회적 논쟁이 있는 주제에서는 진보적으로 기울어졌다는 평가를 받아왔습니다. 이는 인터넷에 공개된 학습 데이터의 특성에 기인합니다.

Meta는 AI 모델의 편향을 제거하고, Llama가 논쟁이 있는 이슈에 대해 양측의 입장을 균형 있게 이해하고 설명할 수 있도록 만드는 것을 목표로 하고 있습니다. 이러한 노력의 일환으로, Llama가 질문에 균형 있게 반응하고, 다양한 관점을 판단 없이 수용하며, 특정 입장을 편들지 않도록 지속적으로 개선하고 있습니다.

Meta는 이번 출시를 통해 이러한 노력의 성과를 입증했습니다. Llama 4는 Llama 3보다 성능이 크게 향상되었으며, Grok과도 견줄 수 있는 수준입니다.

Llama 4는 정치적·사회적으로 논쟁이 있는 주제에 대한 응답 거부율이 전반적으로 감소했습니다. Llama 3.3에서는 약 7%였던 거부율이 Llama 4에서는 2% 미만으로 낮아졌습니다.
또한 Llama 4는 응답을 거부하는 기준에서도 훨씬 더 균형 잡힌 양상을 보입니다. 논쟁이 있는 주제에서 특정 관점에만 편향되게 거부하는 비율은 1% 미만으로 낮아졌습니다.
내부 테스트 결과, Llama 4는 정치적 또는 사회적으로 논쟁의 여지가 있는 주제에 대해 정치적 편향이 드러나는 응답 비율이 Grok과 유사한 수준이며, Llama 3.3에 비해서는 절반 이하로 낮아졌습니다. 진전은 분명하지만, 여전히 개선의 여지가 있으며 이 비율을 더욱 낮추기 위한 노력을 지속할 계획입니다.

Meta는 지금까지 이뤄낸 성과에 자부심을 가지며, 모델 전반의 편향을 제거하기 위한 목표에 지속적으로 전념할 것입니다.

Llama 생태계

모델의 지능도 중요하지만, 사람들은 모델이 인간처럼 빠르게 반응하고, 개인화된 방식으로 응답해 주기를 원합니다. 가장 고도화된 모델인 Llama 4는 이러한 사용자 요구를 충족하도록 최적화되어 있습니다.

물론, 모델은 이러한 경험을 가능하게 하는 더 큰 생태계의 한 부분입니다. 이를 뒷받침하기 위해, 저희는 새로운 제품 통합을 포함한 전체 기술 스택에 집중하고 있습니다. Meta는 파트너사 및 오픈소스 커뮤니티와의 협업을 지속적으로 이어가고 있으며, 새로운 Llama 생태계에서 사용자들이 만들어갈 풍부한 경험을 기대하고 있습니다.

Llama 4 Scout와 Llama 4 Maverick 모델은 오늘 llama.com과 Hugging Face에서 다운로드하실 수 있습니다. Llama 4 기반 Meta AI는 WhatsApp, Messenger, Instagram Direct, Meta.AI 웹사이트에서 직접 경험하실 수 있습니다.

이번 프로젝트는 AI 커뮤니티 전반에 걸친 파트너사들의 지원 덕분에 가능했습니다. 이 자리를 빌려 깊은 감사의 말씀을 전합니다. (알파벳 순서로 나열): Accenture, Amazon Web Services, AMD, Arm, CentML, Cerebras, Cloudflare, Databricks, Deepinfra, DeepLearning.AI, Dell, Deloitte, Fireworks AI, Google Cloud, Groq, Hugging Face, IBM Watsonx, Infosys, Intel, Kaggle, Mediatek, Microsoft Azure, Nebius, NVIDIA, ollama, Oracle Cloud, PwC, Qualcomm, Red Hat, SambaNova, Sarvam AI, Scale AI, Scaleway, Snowflake, TensorWave, Together AI, vLLM, Wipro.