Hoje, estamos animados em anunciar o SAM 3 e o SAM 3D, as mais novas adições à nossa Segment Anything Collection. O SAM 3 permite a detecção e o rastreamento de objetos em imagens e vídeos usando prompts de texto, e o SAM 3D possibilita a reconstrução 3D de objetos e pessoas com base em imagens. Você já pode experimentar ambos os modelos em nossa nova plataforma, Segment Anything Playground.
Esses avanços vão nos ajudar a construir a próxima geração de ferramentas criativas de mídia, simplificando a edição de vídeos e oferecendo novas formas de interagir e compreender o mundo visual.
Diga o Que Você Quer Dizer
O SAM 3 facilita a detecção, segmentação e rastreamento de objetos em imagens e vídeos. A segmentação pode ser usada para editar e transformar vídeos e imagens, e agora o SAM 3 permite que você faça isso usando prompts de texto detalhados descrevendo os objetos .
Tradicionalmente, modelos de IA têm dificuldade em conectar linguagem a elementos visuais específicos em imagens ou vídeos. Os modelos existentes normalmente possuem um conjunto fixo de rótulos de texto e conseguem segmentar conceitos simples como “ônibus” ou “carro”, mas enfrentam limitações em descrições mais detalhadas como “ônibus escolar amarelo”.
O SAM 3 supera essa limitação, aceitando uma gama muito maior de prompts de texto. Digite “boné de beisebol vermelho” e o SAM 3 irá segmentar todos os objetos correspondentes na imagem ou vídeo. O SAM 3 também pode ser usado com modelos de linguagem multimodais para entender prompts de texto mais longos e complexos, como “pessoas sentadas, mas que não estão usando boné de beisebol vermelho”.
Estamos usando o SAM 3 para construir uma nova geração de ferramentas criativas de mídia. O Edits, nosso aplicativo de criação de vídeos, receberá em breve efeitos que os criadores poderão aplicar a pessoas ou objetos específicos em seus vídeos. Novas experiências de criação habilitadas pelo SAM 3 também chegarão ao Vibes no app Meta AI e no meta.ai.
Dê Vida a Uma Imagem
O SAM 3D consiste em dois modelos open source que permitem reconstruir um objeto 3D a partir de uma única imagem, estabelecendo um novo padrão para reconstrução 3D guiada por IA do mundo físico. O SAM 3D Objects torna possível a reconstrução de objetos e cenas, enquanto o SAM 3D Body possibilita a estimativa de corpo humano e formas. Ambos os modelos oferecem desempenho robusto e de última geração, e o SAM 3D Objects supera significativamente os métodos existentes.
O lançamento do SAM 3D marca um passo importante no uso de dados em larga escala para enfrentar a complexidade do mundo físico. Ele tem potencial para avançar significativamente áreas críticas como robótica, ciência e medicina esportiva, além de oferecer diversas aplicações criativas. Seja você um pesquisador explorando novas fronteiras em RA/RV, um criador buscando gerar ativos para um jogo, ou apenas curioso sobre as possibilidades da modelagem 3D habilitada por IA, o SAM 3D abre novas formas de interagir e compreender o mundo visual.
Estamos usando o SAM 3D para habilitar o novo recurso “Visualizar no Ambiente” no Facebook Marketplace, ajudando as pessoas a visualizar o estilo e o encaixe de itens de decoração, como uma luminária ou uma mesa, em seus espaços antes da compra.
Explore Nossos Modelos de Última Geração
Você pode experimentar o SAM 3 e o SAM 3D no Segment Anything Playground, nossa nova plataforma que oferece acesso a todos aos nossos modelos de ponta — sem necessidade de conhecimento técnico. Comece do zero enviando uma imagem ou vídeo, depois faça um prompt curto para o SAM 3 recortar todos os objetos correspondentes ou use o SAM 3D para visualizar uma cena de uma nova perspectiva, rearranjá-la virtualmente ou adicionar efeitos 3D incríveis. Ou você pode começar usando um dos nossos templates, que vão desde opções práticas como pixelizar rostos, placas de veículos e telas, até edições divertidas de vídeo como efeitos de destaque, rastros de movimento ou ampliar objetos específicos.
Como parte deste lançamento, estamos compartilhando os pesos do modelo SAM 3, um novo conjunto de dados de benchmark para segmentação de vocabulário aberto e um artigo de pesquisa detalhando como o construímos. Também estamos fazendo parceria com a plataforma de anotação Roboflow para que você possa anotar dados e ajustar o modelo para suas necessidades específicas.
Para o SAM 3D, estamos compartilhando checkpoints dos modelos e código de inferência, além de apresentar um novo benchmark para reconstrução 3D. Este conjunto de dados apresenta uma variedade diversa de imagens e objetos, oferecendo um nível de realismo e desafio que supera os benchmarks 3D existentes. Ele representa um novo padrão para medir o progresso da pesquisa em 3D e impulsiona o campo para uma compreensão mais profunda do mundo físico.
Estamos animados em compartilhar esses novos modelos inovadores com você e esperamos que eles empoderem todos a explorar sua criatividade, construir e ultrapassar os limites do que é possível. Mal podemos esperar para ver o que você vai criar.