Nos complace anunciar SAM 3 y SAM 3D, las incorporaciones más recientes a nuestra Segment Anything Collection. SAM 3 permite la detección y el seguimiento de objetos en imágenes y videos usando prompts de texto y SAM 3D permite la reconstrucción 3D de objetos y personas a partir de imágenes. Ya puedes experimentar con ambos modelos en nuestra nueva plataforma, Segment Anything Playground.
Estos avances nos ayudarán a construir la próxima generación de herramientas creativas de medios, simplificando la edición de videos y brindándonos nuevas formas de interactuar y comprender el mundo visual.
Di lo que quieres decir
SAM 3 facilita la detección, segmentación y seguimiento de objetos en imágenes y videos. La segmentación puede usarse para editar y transformar videos e imágenes y ahora SAM 3 te permite hacerlo usando prompts de texto detallados que describen los objetos que deseas segmentar.
Tradicionalmente, los modelos de IA han tenido dificultades para vincular el lenguaje con elementos visuales específicos en imágenes o videos. Los modelos existentes suelen tener un conjunto fijo de etiquetas de texto y pueden segmentar conceptos simples como “autobús” o “auto”, pero tienen problemas con conceptos más detallados como “autobús escolar amarillo”.
SAM 3 supera esta limitación, aceptando una gama mucho más amplia de prompts de texto. Escribe “gorra roja de béisbol” y SAM 3 segmentará todos los objetos coincidentes en la imagen o video. SAM 3 también puede usarse con modelos de lenguaje multimodales para comprender prompts de texto más largos y complejos, como “personas sentadas, pero que no llevan una gorra roja de béisbol”.
Estamos usando SAM 3 para construir una nueva generación de herramientas creativas de medios. En Edits, nuestra aplicación de creación de videos, pronto introduciremos efectos que los creadores podrán aplicar a personas u objetos específicos en sus videos. Nuevas experiencias de creación habilitadas por SAM 3 también llegarán a Vibes en la app Meta AI y en meta.ai.
Dale vida a una imagen
SAM 3D consiste en dos modelos open source que te permiten reconstruir un objeto 3D a partir de una sola imagen, estableciendo un nuevo estándar para la reconstrucción 3D guiada por IA del mundo físico. SAM 3D Objects permite la reconstrucción de objetos y escenas, mientras que SAM 3D Body permite la estimación de cuerpos y formas humanas. Ambos modelos ofrecen un rendimiento robusto y de última generación y SAM 3D Objects supera significativamente los métodos existentes.
El lanzamiento de SAM 3D marca un paso importante en el uso de datos a gran escala para abordar la complejidad del mundo físico. Tiene el potencial de avanzar significativamente en campos críticos como la robótica, la ciencia y la medicina deportiva y también ofrece una variedad de aplicaciones creativas. Ya seas un investigador explorando nuevas fronteras en AR/VR, un creador que busca generar recursos para un juego o simplemente tengas curiosidad por las posibilidades del modelado 3D habilitado por IA, SAM 3D abre nuevas formas de interactuar y comprender el mundo visual.
Estamos usando SAM 3D para habilitar la nueva función “Ver en la habitación” en Facebook Marketplace, ayudando a las personas a visualizar el estilo y el tamaño de artículos de decoración para el hogar, como una lámpara o una mesa, en sus espacios antes de comprarlos.
Explora nuestros modelos de última generación
Puedes probar SAM 3 y SAM 3D en el Segment Anything Playground, nuestra nueva plataforma que ofrece acceso a todos nuestros modelos de última generación, sin necesidad de experiencia técnica. Comienza desde cero subiendo una imagen o video, luego introduce un prompt corto para que SAM 3 recorte todos los objetos coincidentes o usa SAM 3D para ver una escena desde una nueva perspectiva, reorganizarla virtualmente o agregar efectos 3D geniales. O puedes comenzar usando una de nuestras plantillas, que van desde opciones prácticas como pixelar rostros, matrículas y pantallas, hasta ediciones divertidas de video como efectos de foco, rastros de movimiento o ampliar objetos específicos.
Como parte de este lanzamiento, estamos compartiendo los pesos del modelo SAM 3, un nuevo conjunto de datos de referencia para segmentación de vocabulario abierto y un artículo de investigación que detalla cómo construimos SAM 3. También nos asociamos con la plataforma de anotación Roboflow para que puedas anotar datos y ajustar SAM 3 según tus necesidades.
Para SAM 3D, estamos compartiendo puntos de control de los modelos y código de inferencia, además de presentar un nuevo benchmark para reconstrucción 3D. Este conjunto de datos presenta una variedad diversa de imágenes y objetos, ofreciendo un nivel de realismo y desafío que supera los benchmarks 3D existentes. Esto representa un nuevo estándar para medir el progreso de la investigación en 3D y empuja el campo hacia una comprensión más profunda del mundo físico.
Nos entusiasma compartir estos nuevos modelos innovadores contigo y esperamos que empoderen a todos para explorar su creatividad, construir y superar los límites de lo posible. Estamos ansiosos por ver lo que crearás.