Mientras potentes chatbots de IA como ChatGPT y Google Bard están impulsados por grandes modelos de lenguaje, la síntesis de imágenes y videos utilizando IA se basa en modelos de difusión y GAN. Todo esto forma parte de la popular experiencia de IA generativa. En este artículo, echamos un vistazo más de cerca a los mejores generadores de video de IA. Hasta ahora, solo se han lanzado en línea algunos modelos de IA de texto a video, ¿pero cuáles son buenos y utilizables? Para averiguarlo, echemos un vistazo a la lista de los mejores generadores de video de IA en 2023.
El mejor generador de video de IA que puedes usar en este momento es Runway Gen-2. Anteriormente, Runway había introducido la generación de video a video con Gen-1, y ahora con el modelo Gen-2, puedes generar video utilizando indicaciones de texto desde cero. Similar a los "Midjourney prompts", puedes describir la escena, los ángulos de la cámara, etc., y produce resultados increíbles. Probé algunas indicaciones en Runway, y hizo un buen trabajo.
La mejor parte es que puedes agregar una imagen a tu indicación, y Runway puede usar la imagen en el video. ¿No es genial? En cuanto a la disponibilidad, bueno, casi es gratuito de usar. Puedes generar hasta 4 segundos de videos en resolución 720p y puedes crear casi 10 videos gratuitos.
Si eliges obtener el plan de pago ($12 al mes), puedes exportar los videos en 4K, sin embargo, la duración de 4 segundos seguirá siendo la misma. Entonces, si quieres probar la mejor herramienta de IA de texto a video, echa un vistazo a Runway Gen-2.
Echa un vistazo a Runway Gen-2 (Gratis, el plan de pago comienza en $12 al mes)
ModelScope es un modelo de texto a video financiado por DAMO Vision Intelligence Lab de Alibaba, y ha mejorado bastante con el tiempo. Está basado en el modelo de difusión y entrenado con 1.7 mil millones de parámetros. Actualmente, solo admite entrada en inglés y puede generar videos que coinciden con la entrada de texto.
Afortunadamente, el proyecto está disponible en Hugging Face, por lo que puedes usarlo para generar videos de IA. Pero ten en cuenta que solo puede generar un video de 2 segundos y hay una marca de agua de "Shutterstock" en el video. Probé el modelo y parecía un trabajo en progreso.
Echa un vistazo a ModelScope (Gratis)
Zeroscope es otro modelo de texto a video derivado de ModelScope. Es capaz de crear videos de IA de alta calidad en una resolución de 1024 x 576. El modelo ha sido entrenado con el peso original de ModeScope además de 9,923 clips y 29,769 cuadros etiquetados a 24 cuadros (resolución de 1024 x 576). Como resultado, crea una salida ligeramente mejor que ModelScope.
Hay dos modelos de Zeroscope: zeroscope_v2_576w y zeroscope_v2_XL. El modelo zeroscope_v2_576w se utiliza para generar el video y zeroscope_v2_XL se utiliza para mejorar el contenido generado a una resolución más alta. Puedes ver la demostración de este genial generador de video de IA en Hugging Face.
Échale un vistazo a Zeroscope (Gratis)
VideoCrafter es un conjunto de herramientas de IA para crear videos a partir de indicaciones de texto y ha sido desarrollado por Tencent. A diferencia de otros modelos de generación de video de IA, puede crear videos de hasta 8 segundos y también admite diferentes resoluciones.
Existen tres formas diferentes de utilizar VideoCrafter. Puede utilizar la generación de texto a video, la generación de video de IA personalizada utilizando LoRA y la generación de video controlable. Los tres modos le permiten crear videos de IA desde cero. Puede ejecutar VideoCrafter en su máquina de forma local si tiene una GPU potente con al menos 7GB de VRAM. Sin embargo, hay una demostración disponible en Hugging Face en línea, que puede probar a continuación.
Échale un vistazo a VideoCrafter (Gratis)
Synthesia es una herramienta de IA que puede utilizar para crear videos de IA profesionales en pocos minutos. Puede utilizarlo para crear tutoriales, documentación en video, presentaciones, discursos de venta y mucho más. En ese sentido, no es un generador de video de IA que pueda usar su indicación de texto para crear algo desde cero. En Synthesia, puede elegir entre más de 140 avatares de IA diferentes y convertir cualquier texto en voz en más de 120 idiomas.
Básicamente, no es necesario construir un estudio ni comprar hardware costoso para crear videos profesionales. Con el personaje de IA y la herramienta de texto a voz incorporada en Synthesia, puede comenzar rápidamente a crear contenido. Lo único que tiene que hacer es ingresar el guion del video.
Entonces, ¿a qué estás esperando? Adelante, prueba Synthesia para crear increíbles videos de IA. Si estás buscando una alternativa a Synthesia, puedes echar un vistazo a HeyGen (visitar) y Pictory (visitar).
Échale un vistazo a Synthesia (Un video gratis, el plan de pago comienza en $22.50 al mes)
Kaiber no es en sí un generador de video de IA, pero puede generar animaciones de sujetos en diferentes formas de arte. Puede ingresar una indicación de texto, cargar su propia imagen o subir una canción, y puede tomar todo y utilizar su avanzado motor de generación de IA para crear animaciones cautivadoras. También puede cargar sus videos y transformarlos en diversos estilos y estéticas.
La aplicación no es completamente gratuita. Obtienes una prueba gratuita de 7 días, pero para eso, deberás agregar los detalles de tu tarjeta y suscribirte a su plan de $5 al mes. En resumen, Kaiber es una herramienta de IA que debes probar para generar imágenes y videos impactantes.
Échale un vistazo a Kaiber (Prueba gratuita de 7 días, el plan de pago comienza en $5 al mes)
Wonder Studio no es una herramienta de generación de vídeos de IA para consumidores en general, sino que está dirigida a cineastas y creadores de contenido. Te permite animar automáticamente un personaje generado por ordenador en una escena de acción real sin tener que aplicar efectos visuales manualmente. Básicamente, puede automatizar el 80-90% de los efectos visuales y el trabajo en 3D, y funciona bien. No es necesario usar software 3D complejo ni hardware costoso.
Wonder Studio puede detectar automáticamente al actor en las escenas y aplicar el personaje de CG cuadro a cuadro sin necesidad de un trabajo pesado de efectos visuales. Por lo tanto, si eres un cineasta emergente que necesita realizar mucho trabajo taxativo de efectos visuales rápidamente, deberías echar un vistazo a Wonder Studio.
Échale un vistazo a Wonder Studio (Solicitar acceso)
Google no ha publicado su modelo de texto a imagen al público, pero ha anunciado los modelos en los que la empresa está trabajando. El gigante de las búsquedas está trabajando en Imagen Video basado en los modelos de Difusión Cascada. Puede generar vídeos de alta definición en resolución 1280 x 768 a 24 fps.
Google también está trabajando en Phenaki, un modelo de texto a vídeo que puede sintetizar vídeos realistas a partir de indicaciones de texto. Ambos modelos están en desarrollo y no sabemos cuándo tendremos un generador de vídeo de IA funcional en nuestras manos. Sin embargo, puedes leer los informes de investigación en los siguientes enlaces.
Échale un vistazo a Google Imagen Video y Phenaki
Aparte de eso, Meta ha anunciado su herramienta de IA Make-A-Video que puede generar vídeos a partir de textos. Puedes crear vídeos realistas, surrealistas y personalizados utilizando texto, imágenes o vídeos como entrada. El modelo de Meta es capaz de crear vídeos en movimiento a partir de una sola imagen. También puedes añadir varias imágenes como entrada y puede rellenar el movimiento para crear vídeos oníricos.
Según el informe de investigación de Meta, su modelo de generación de vídeos tiene una representación del texto de 3 veces mejor y una mejor eficiencia que otros modelos. El proyecto tampoco está abierto al público, pero puedes registrarte y solicitar acceso a Meta.
Échale un vistazo a Make-A-Video de Meta
Finalmente, Nvidia ha anunciado su modelo de Difusión Latente de Vídeo de alta fidelidad que puede generar vídeos eficientes de alta resolución utilizando indicaciones de texto. Puede generar vídeos con una resolución de 1280 x 2048 a 24 fps, lo cual es perfecto. La mayoría de sus vídeos tienen una duración de 5 segundos, pero también puede generar vídeos más largos de 5 minutos con una resolución de 512 x 1024. También puedes añadir imágenes como entrada y crear vídeos de IA personalizados.
En el ámbito de la síntesis de vídeo, creo que Nvidia se convertirá en uno de los actores clave en el futuro. Mientras tanto, Nvidia ha mostrado varios demos de vídeo en su sitio web que puedes ver a continuación.
