Cómo hacer películas de bajo presupuesto con Inteligencia Artificial - Primeras fases

Empiezo este artículo (que dividiré en varias partes) el día de la Inmaculada Concepción: 8 de diciembre. Quiero hablar del estado actual de la inteligencia artificial para ayudar en la realización de películas de bajo presupuesto. Requerirá algún tiempo, sobre todo para probar varios servicios, ya que no quiero hacer la típica lista estéril. También porque nos ayudará a producir contenidos para las películas que haremos en un futuro próximo.

Tomé la idea, aunque involuntariamente, de Nicolas Perrier de la Universidad de Lyon en Francia, con uno de sus publicaciones en LinkedIn. Perrier es un experto en innovación en realidad aumentada y virtual, y el post en cuestión trata sobre Plask; una de las muchas herramientas para crear animaciones 3D a partir de un simple vídeo. En la práctica, es Motion Capture sin equipos caros y complejos. Esta tecnología puede resultarnos especialmente interesante para producir vídeos animados por una fracción del coste actual, e incluso con actores a distancia.

También estoy recibiendo ayuda adicional, no sólo del propio Nicolas con sus innumerables posts, sino también del sitio web Futurepedia.io. Se trata de una "wiki de la IA", con una selección de muchas herramientas disponibles actualmente para el público en general.

Analicemos algunas de estas herramientas, concretamente las que son útiles en la realización de películas. Tanto para la redacción como para la producción técnica de vídeos, así como para las voces. Evaluaremos la calidad de los resultados, realizaremos experimentos y conoceremos sus costes.

Para entender mejor cómo utilizarlos en nuestras películas de bajo presupuesto, decidí crear un cortometraje (con muy pocas expectativas, sólo para experimentar técnicamente) utilizándolos en la medida de lo posible.

Hacer vídeos con inteligencia artificial.

Dividamos los servicios en tres categorías principales: escribir, vídeoy audio. Empezando por la escritura, teniendo que tener primero la idea.

Escritura cinematográfica con inteligencia artificial

Necesitamos una historia. ¿Creada por una IA? A ver, herramientas de escritura no nos faltan. Y si no estás de acuerdo, siempre puedes discutir en los comentarios.

¿Cómo funciona la GPT-3?

La mayoría de los servicios públicos de escritura de IA se basan actualmente en GPT-3que tiene 175.000 millones de parámetros de aprendizaje automático. En realidad, las alternativas son muchas: BigScience Bloomun lenguaje a gran escala que se ha lanzado recientemente (con la ventaja de ser de código abierto), o el alemán Aleph Alfa con su Luminoso (con 200.000 millones de parámetros).

¿Cuáles son los parámetros de una inteligencia artificial?

Imaginemos una tarea que requiere predecir si una imagen contiene un gato o no. Un modelo de aprendizaje automático podría entrenarse con muchas imágenes etiquetadas como "gato" o "no gato" para aprender a reconocer las características distintivas de los gatos.

Para ello, el modelo utiliza una red neuronal, que es un conjunto de nodos interconectados. Cada nodo representa un cálculo realizado sobre los datos de entrada. Los parámetros, o "pesos", son los valores asignados a cada nodo que afectan a la fuerza de la conexión entre nodos.

Cuando el modelo ve una nueva imagen, estas ponderaciones se utilizan para realizar una serie de cálculos que, en última instancia, producen una predicción, como "gato" o "no gato". El número de ponderaciones utilizadas en el modelo es el número de parámetros.

En resumen, los parámetros son como "valores de ajuste" que influyen en la forma en que un modelo de aprendizaje automático procesa los datos para hacer una predicción, y se modifican durante el entrenamiento para mejorar el rendimiento del modelo.

Un modelo con muchos parámetros tendrá más oportunidades de ajustar sus cálculos para adaptarse a los datos de entrenamiento, pero también puede ser más propenso a sobreajustelo que significa una excesiva adherencia a los datos de entrenamiento y una escasa capacidad de generalización.

Otros competidores de ChatGPT.

Otros competidores son Nvidia con el Megatrón NGL (enorme, pero no disponible al público ), Google con sus GLaM, LaMDA y PaLM (sí, no se dejan nada), OPT por Meta, AlexaTM por Amazon o varios chinos como Alibaba y su BaGuaLu.

Para concluir, menciono GPT-Jotra alternativa de código abierto a GPT-3.

Entendamos rápidamente cómo funciona la GPT-3, utilizando una respuesta reformulada de la propia IA:

GPT-3 (Generative Pretrained Transformer 3) es un modelo de lenguaje de última generación desarrollado por OpenAI. Utiliza una técnica de aprendizaje profundo llamada “transformadores“para generar un texto similar al humano a partir de una entrada dada.

Así es como funciona la GPT-3:

1. El modelo se entrena con un amplio conjunto de textos generados por humanos, como libros, artículos y páginas web. Este proceso de entrenamiento permite al modelo aprender patrones y estructuras del lenguaje natural.
2. Cuando recibe una entrada, el modelo la procesa utilizando sus capas de redes neuronales. Cuando recibe una entrada, el modelo la procesa utilizando sus capas de redes neuronales. Cada capa realiza una tarea distinta, como analizar la sintaxis, la semántica y el contexto de la entrada.
3. A continuación, el modelo genera una respuesta basada en la entrada y en su comprensión del lenguaje natural. Para ello, predice las siguientes palabras de la frase utilizando los patrones y estructuras aprendidos durante el entrenamiento.
4. El modelo repite este proceso varias veces, generando múltiples respuestas a la entrada. A continuación, el modelo clasifica y evalúa estas respuestas, y selecciona la respuesta con mayor puntuación como resultado final.

GPT-3 es conocido por su capacidad para generar textos que suelen ser difíciles de distinguir de los escritos por un ser humano. Se utiliza en diversas aplicaciones, como traducción de idiomas, resumen de textos y generación de textos.

ChatGPT puede contar historias para guiones.

Empecemos directamente por el producto de OpenAI: ChatGPT. Es quizá la herramienta del momento; la primera que ha dado un salto hacia el gran público. Es casi preocupante lo precisa y "real" que puede llegar a ser en las conversaciones, pero también se ha hablado demasiado de ella y en todas partes en las últimas semanas.

Me registré en el sitio web de OpenAI y abrí el chat para intentar hablar con GPT-3 (no puedo imaginar lo que GPT-4 hará después) pidiéndole que me escribiera una historia con algunos diálogos para un cortometraje gráfico digital. Y bueno, simplemente me lo hizo.

La historia escrita por ChatGPT

Esta es la historia tal y como la escribió ChatGPT, sin modificaciones, traducida al italiano (puede leer el original en la versión inglesa de este artículo).

Cuando el sol se alzaba en el horizonte, un pequeño grupo de aventureros partió en busca de la ciudad perdida del oro. Llevaban meses buscando, siguiendo viejos mapas y antiguas leyendas con la esperanza de hacerse ricos.

"¿Estás seguro de que este es el camino correcto?" preguntó Maríael líder del grupo. "No veo ninguna señal de la ciudad en el horizonte".

"Confía en mí, María", respondió Jakeel experto en historia antigua del grupo. "La ciudad está escondida en las profundidades de la selva y no será fácil encontrarla. Pero si nos ceñimos al plan, la encontraremos".

El grupo se adentró en la densa jungla, abriéndose paso entre las lianas y la maleza con sus machetes. Tras varias horas de penoso viaje, llegaron al borde de un claro.

"¡Mira!" Sarahgritó el miembro más joven del grupo. "¡Ahí abajo! Veo algo que brilla a la luz del sol!".

El grupo corrió hacia el lugar donde Sarah había visto el destello y, efectivamente, encontraron una pequeña estatua dorada enterrada en el suelo.

"¡Debe ser aquí!" exclamó María. "¡Hemos encontrado la ciudad perdida de oro!".

El grupo empezó a excavar y a descubrir más y más tesoros. Encontraron monedas de oro, joyas preciosas y artefactos antiguos de gran valor.

"¡Somos ricos!" exclamó Jakeriendo de emoción. "¡Hemos encontrado un tesoro más allá de nuestros sueños más salvajes!"

Pero mientras seguían cavando, el suelo bajo sus pies empezó a retumbar y a temblar. De repente, una enorme puerta de piedra se abrió, revelando una entrada oculta a la ciudad perdida.

"¡Rápido, todos adentro!" gritaron Maríaguiando al grupo hacia el oscuro túnel. "¡Debemos encontrar la fuente del tesoro antes de que sea demasiado tarde!".

El grupo se adentró en el túnel, iluminado por linternas. Llegaron a una gran cámara abierta llena de tesoros.

"¡Allá vamos!" gritó Sarah. "¡La Ciudad Perdida del Oro!"

Pero mientras exploraban la cámara, oyeron un fuerte estruendo. De repente, el suelo cedió bajo sus pies y cayeron en un profundo pozo.

"¡Socorro!" gritó Maríamientras caían en la oscuridad. "¡Estamos atrapados!"

Pero justo cuando pensaban que todo estaba perdido, oyeron una débil voz que les llamaba.

"No os preocupéis, aventureros", dijo la voz. "Soy el guardián de la ciudad perdida y te ayudaré a escapar".

Con la ayuda del vigilante, el grupo consiguió salir del pozo y volver a la superficie. Salieron de la selva, triunfantes y ricos más allá de lo esperado.

"¡Lo logramos!" gritó Jakeriendo de alegría. "¡Hemos encontrado la ciudad perdida de oro!"

Consideremos esta primera historia. Por supuesto, no me lo puso fácil..... Podía crear una historia en medio de una ciudad cualquiera; en cambio, la selva será más compleja de recrear. Pero tengo que estar en ella, ése es el juego.

La misma historia, en versión resumida

También le pedí una versión más corta. Me dio un resumen. Luego especifiqué que quería una versión corta pero con diálogos, y él simplemente lo hizo. Se lo comunico para que esté completo:

Mientras el grupo de aventureros buscaba la ciudad perdida del oro, se toparon con una entrada oculta en la selva.

"¡Mira, allí!" dijo Sarahseñalando la entrada.

El grupo se precipitó a la entrada y exploró la ciudad, encontrando tesoros más allá de sus sueños más salvajes.

"¡Somos ricos!", gritaron Jake.

Pero mientras seguían buscando, el suelo cedió y cayeron a un pozo.

"¡Socorro!" gritó María.

Un vigilante de la ciudad les ayudó a escapar y salieron victoriosos y ricos.

"¡Lo logramos!" gritó Jake.

ChatGPT escribe automáticamente el script

Estaba pensando en recopilarlo en un guión, cuando pensé: "¿Por qué no preguntarle?". Dicho y hecho. Me reescribió la historia ya lista para el cine:

INT. SELVA - DÍA

El sol se levanta en el horizonte mientras un grupo de aventureros, MARIA, JAKE y SARAH, parten en busca de la ciudad perdida del oro.

MARIA
¿Estás seguro de que este es el camino correcto? Non vedo alcun segno della città all'orizzonte.

JAKE
Confía en mí, María. La città è nascosta nel profondo della giungla e non sarà facile trovarla. Pero si nos ceñimos al plan, la encontraremos.

El grupo se adentra en la densa jungla, cortando las lianas y la maleza con sus machetes.

SARAH
¡Mirad! ¡Allí! ¡Veo algo que brilla a la luz del sol!

El grupo corre al lugar donde Sarah vio el brillo y encuentra una pequeña estatua dorada enterrada en la tierra.

MARIA
¡Debe de ser aquí! ¡Hemos encontrado la ciudad perdida de oro!

El grupo empieza a excavar, descubriendo más y más tesoros.

JAKE
¡Somos ricos! ¡Hemos encontrado un tesoro más allá de nuestros sueños más salvajes!

Pero mientras siguen excavando, el suelo bajo sus pies empieza a retumbar y a temblar. De repente, una enorme puerta de piedra se abre, revelando una entrada oculta a la ciudad perdida.

MARIA
¡Rápido, todos adentro! ¡Debemos encontrar la fuente del tesoro antes de que sea demasiado tarde!

El grupo entra en el túnel, iluminado por linternas. Llegan a una gran cámara abierta llena de tesoros.

SARAH
¡Eso es! ¡La ciudad perdida de oro!

Pero mientras exploran la cámara, oyen un fuerte estruendo. De repente, el suelo bajo sus pies cede y caen en un profundo pozo.

MARIA
¡Socorro! ¡Estamos en una trampa!

Pero justo cuando creen que todo está perdido, oyen una débil voz que les llama.

GUARDIA (fuera de cámara)
No os preocupéis, aventureros. Soy el guardián de la ciudad perdida y os ayudaré a escapar.

Con la ayuda del vigilante, el grupo consigue salir del pozo y volver a la superficie. Salen de la jungla triunfantes y más ricos de lo esperado.

JAKE
¡Lo hemos conseguido! ¡Hemos encontrado la ciudad perdida de oro!

Además de Jungla interiorPor lo demás, es un buen punto de partida. Pero algunos errores de forma saltan a la vista Andrea Rocciun guionista "humano", aunque sin un análisis en profundidad (estuvimos charlando con una cerveza).

De hecho, el guión habla en imágenes, y frases como "descubriendo más y más tesoros" o "ricos más allá de lo esperado" no están nada claras. ¿Qué tesoros? ¿Estatuas, monedas, cualquier otra cosa? Y, ¿qué entienden por ricos? ¿Están llenos de oro? ¿Visten de forma ostentosa? ¿Todos con el último iPhone y las llaves de un Ferrari?

Por no hablar de la falta de descripciones de los entornos. La propia jungla se deja a la imaginación del director o los escenógrafos (o artistas 3D, lo que sea).

Sin embargo, debemos hacer de la necesidad virtud; dejaremos cualquier elección a discreción del director (si existiera, al menos...). Intentaremos encontrar una buena en character.aiquizás. De hecho, pruébelo y hable con "personajes" artificiales. Incluso Albert Einstein ¡está ahí!

Precios

Aquí es sencillo: no cuesta nada Básicamente. En algunos países se está empezando a comercializar una versión de $20/mes, que elimina algunas limitaciones (principalmente debidas a la potencia de cálculo necesaria para gestionar los millones de solicitudes que llegan a OpenAI cada día).

Alternativas a ChatGPT

En la actualidad GPT-3 es difícil de superar... A la espera de que salgan los candidatos más blasonados (Google Bard pronto), pregunté al propio ChatGPT por sus competidores. Me señaló ScriptBuddy, EscritorDuet y Guionista de AI para empezar. Pidiendo más, Plotbot, Amazon Storywriter, y InkTip Script Listing. Vale, creía que era suficiente... Excepto que la respuesta es en realidad una mentira parcial. Aquí vemos las limitaciones actuales de esta inteligencia artificial, en parte (pero no sólo) debido a que los datos de los que dispone son hasta 2021.

Mientras tanto, ScriptBuddybasado originalmente en GPT-2, no se ha mantenido durante más de 3 años; lo excluimos. EscritorDuet...por otro lado, es muy útil en el arreglo de guiones. Pero él mismo no escribe nada... Guionista de AI Creo que ni siquiera existe, al menos el viejo y querido Google no me da ningún resultado.

En cuanto a Plotbot, o mejor dicho Plot-bot, en realidad genera tramas de películas explotando el motor GPT-2. Pero, al igual que ScriptBuddy, hace años que no se mantiene, y para optimizar el tiempo, lo descarto. Lo mismo ocurre con Amazon StoryWriter, mientras que InkTip Script Listing no sirve para generar texto.

Dramatrón

Dramatrón es una nueva alternativa, de marca Deepmindque promete exactamente lo que buscamos: escribir guiones para cine y teatro. Por desgracia, solo salió a la venta un par de días, en torno al 9 de diciembre, y cuando pude probarla ya era demasiado tarde.

Sigue siendo un proyecto interesante a tener en cuenta cuando se inaugure. Por el momento, George Mikeautor de este vídeo de YouTube, no le gusta.

¿Su comentario? "...en general, me pareció insípida. Y no me dio mucho más que el diálogo que se encuentra en todas las películas. Captó claramente el género, pero no lo exploró de forma interesante. No hizo avanzar la narrativa“.

Rytr

A través de Google y Futurepedia Entonces llegué a Rytr. Una buena herramienta. Cuenta e inicio de sesión, y me encuentro en el área de trabajo. Básicamente pide idioma, estilo y caso de uso del texto creado, y actúa. Como estaba claro que no había "guión de cine", probé mientras tanto con una herramienta llamada "varita mágica".

La misma petición hecha a ChatGPT, sin embargo, la respuesta fue casi hilarante:

En el nombre de Alá, el Compasivo, el Misericordioso

Creo que

Creo en Alá, el Dios Único

Creo en profetas y mensajeros

Creo en los ángeles y en las escrituras

Creo en los libros de la revelación

Creo en la vida después de la muerte y en que el día del juicio se hará justicia.

• Perdona, ¿qué? Estás diciendo "creo" todo.

No tengo tiempo para eso.

• Lo siento, no te sigo.
• ¿Por qué te disculpas?
• ¿Cómo?

Intentemos algo diferente y más específico... Pregunté "Necesito un guión de unas 2000 palabras, con diálogos, para hacer un cortometraje CG. El título es: la ciudad perdida", y puse como caso de uso "argumento de la historia". Prompt basado en la salida anterior de ChatGPT. Pero aún falta mucho, aunque tenemos un argumento básico:

En un futuro próximo, una tripulación de arqueólogos y científicos en misión de exploración a un planeta desconocido son capturados y encarcelados por una antigua civilización alienígena.

El equipo está algo perdido debido a la barrera del idioma y a las interacciones con los alienígenas. Se mantienen en cautividad durante décadas, explorando las ruinas y descubriendo todos los secretos de la civilización.

Al final, consiguen volver a casa. Los científicos han aprendido muchas cosas nuevas y las traen de vuelta a la Tierra para compartirlas con los humanos. Sin embargo, han tardado tanto que, a estas alturas, no sólo la Tierra ha cambiado, sino que ya no hay tiempo para estos descubrimientos.

La misma petición, pero con el comando mágico como caso de uso:

INT. SALÓN - TARDE

La habitación está bien amueblada y parece muy cómoda. Hay una puerta que da a otra habitación.

Buenos días, John.

Buenos días, Joe. ¿Cómo estás esta mañana?

JOE: Estoy bien, gracias por preguntar. ¿Y tú?

¡Estoy bien! ¿Qué hay en la agenda para hoy?

JOE: Voy a ponerme al día con mi lectura y luego probablemente daré un paseo por el barrio. ¿Tiene algún programa

Está bien, una herramienta útil para textos cortos pero aún lejos de la autonomía total. Llegamos a los precios, aunque en nuestro caso mantengo el texto de ChatGPT.

Precios

Rytr cuenta con un gratis limitada a 10000 caracteres al mes. De lo contrario, cuesta $9 al mes para 100.000 caracteres, o $29 al mes para un uso ilimitado.

En breve AI

Otra herramienta es En breve AIdiseñado principalmente para combatir el "bloqueo del escritor". Escribe tu texto o una frase, y continúa.

Como no podía pedirle que hiciera la historia por mí, utilicé la primera frase de la historia generada por ChatGPT: Cuando el sol se pierde en el horizonte, un pequeño grupo de aventureros se pone en marcha para encontrar la ciudad de oro perdida. Aunque se basaban en el mismo modelo lingüístico, la continuación era claramente diferente.

Este es el texto definitivo:

Mientras el sol se alzaba en el horizonte, un pequeño grupo de aventureros partió en busca de la ciudad perdida del oro. Se decía que en la ciudad perdida había más de mil toneladas de oro, pero como todas las leyendas, la historia del tesoro sólo se cuenta a los que son dignos de ella.

Llevaban dos semanas de viaje y esperaban llegar a su destino a finales de semana. Hasta entonces el camino había sido llano, pero cuando se acercaron a una colina, hubo una pequeña construcción en el camino, lo que hizo que los carromatos aminoraran la marcha. La caravana llevaba dos grandes carros cargados de oro, mientras que el resto iba a caballo. El resto del grupo no estaba muy preocupado por el retraso, aparte del líder. Contener grandes cantidades de oro, plata y joyas que se remontan a los antiguos aztecas. Una ciudad perdida que estaba protegida por un número incalculable de demonios y fantasmas. Se decía que ni un solo hombre o bestia que entrara en la ciudad maldita regresaba.

El pequeño convoy se dirigió al lugar indicado por el empresario. Repasaron por última vez los detalles del contrato. Los seis aventureros se habían dividido en tres grupos de dos. Cada grupo se había situado en un lugar. La ciudad estaba escondida en las profundidades de una cadena montañosa en cuyo centro había una fortaleza bien protegida dejada por el imperio azteca. Se decía que el pozo era una puerta de acceso a la ciudad perdida. Dentro de la fortaleza debía haber una estatua de un ángel. Se trataba de una lápida de piedra especial con un encantamiento que concentraría el poder de la joya en el octavo hijo de un rey azteca.

Al oír hablar de la extraña fortaleza, el líder azteca hizo marchar a su ejército para atacarla, pero misteriosamente uno de los generales y su ejército fueron llevados a otro reino y desaparecieron. El rey ordenó entonces la retirada. Este fue el principio de los problemas. Mientras se retiraban, fueron atacados por grandes monstruos a los que se creyó muertos, pero luego fueron vistos en lo alto de la fortaleza. Las batallas continuaron durante toda la semana siguiente, con los aztecas derrotados.

Al final, el rey ordenó a las tropas restantes que regresaran a la ciudad, diciendo que las batallas de la semana anterior habían despertado algunos demonios antiguos responsables de la desaparición no sólo de su hijo, sino también de algunos de sus generales y de las tropas restantes. El rey había prohibido todo tipo de magia y hechizos en su ciudad, y todos debían ser ejecutados. Un joven fue ayudado por su madre, también hechicera, una vez descubierta.

En definitiva, una buena historia pero con poco sentido. La IA tomaba trozos de texto de aquí y de allá, pero sin conectarlos de forma "inteligente".

Precios

La IA en breve es ciertamente útil para añadir una frase o dos y superar el bloqueo del escritor, pero dejar que haga lo suyo no parece la mejor herramienta.

Su coste tampoco es despreciable. Estamos hablando de $79 al meso $780 al año. Todavía he utilizado la prueba gratuita, por lo que sólo es necesario registrar una cuenta.

WriterX

Veamos WriterX. Tiene plantillas para crear artículos, posts sociales, conclusiones de texto y muchas otras. Espero resultados similares a Shortly, al no estar diseñado para historias completas.

Sin embargo, por desgracia, la versión de prueba gratuita no permite acceder a todas las funciones, y no me apetecía pagar por un servicio (incluso uno bastante caro) sin haberlo probado antes; incluso teniendo una alternativa gratuita con la que estoy parcialmente satisfecho.

Aunque lo estoy evaluando por sus útiles funciones de marketing... Como la bio de mis canales sociales, o cualquier futura ayuda para escribir artículos de blog. También lo utilicé para escribir la meta descripción de este mismo artículo.

Precios

Costes de WriterX $29 al mes en la versión estándar (básicamente la versión de prueba que yo tenía), o $59 al mes texto y funciones ilimitadas. Está disponible en 25 idiomas.

Jasper AI

También quería probar Jasper AIque, en última instancia, es una interfaz gráfica de usuario para la propia GPT-3. Es quizá la más publicitada, se encuentra en todas partes. Pero sencillamente ni siquiera he empezado a utilizarla: te obliga a introducir tu tarjeta de crédito incluso para la versión gratuita, y para verificarla no hacen falta unos céntimos, sino toda la fiprimer mes: $29. Actitud poco profesional, así que no quiero tratar con ellos y quería mi dinero de vuelta inmediatamente.

GPT-J y Writey AI

Para salir del universo GPT-3, quería probar el código abierto GPT-J a través de la 6b.eleuther.ai sin embargo, siempre se bloqueaba con el mensaje "Imposible conectar con el modelo. Inténtelo de nuevo". Y Writey AI, también funciona bien pero está demasiado especializado en escribir artículos para blogs. Lo que te recomiendo que lo compruebes, aunque sólo sea por 5 artículos al mes totalmente gratis.

En definitiva, estoy cansado y cualquier otra investigación me parece inútil. Después de todo, el texto de ChatGPT es válido (si se le puede llamar texto "automático"), así que yo diría que pasemos a la realización técnica del cortometraje.

Creación de personajes 3D

¿Puede una inteligencia artificial generar personajes en 3D?

Así que necesitamos personajes para nuestra historia, pero ¿es realmente posible generarlos con I.A.? Spoiler: hoy, mal. Hay muchas promesas y algunas soluciones que se acercan al resultado, pero aún no es posible. Veámoslas brevemente, ya que serán útiles en un futuro próximo. Pero luego pasaremos a ver cómo tener ahora los personajes de nuestra historia con poco dinero.

PIFuHD

Para empezar PIFuHDque ya está a disposición del público y promete crear un personaje en 3D a partir de una sola foto. Funciona, pero ya desde los vídeos de presentación se remarca una calidad lejos de lo aceptable en el cine.

Google DreamFusion

DreamFusion es una de las primeras I.A. que puede aprovechar los datos 2D de la Difusión Estable (los mismos que se utilizan para crear fotos mediante inteligencia artificial, algo ya muy extendido), para crear modelos 3D.

El mismo problema que antes: calidad insatisfactoria incluso a primera vista.

Microsoft Rodin Difusión

Un recién llegado a Microsoft en 2023, Difusión Rodin aún no está disponible para el público. Promete crear un avatar realista en 3D a partir de una sola foto. Bueno, a juzgar por las fotos publicadas en su sitio web, el pelo... ¡Ése es siempre el problema!

Nvidia Get3D

Desde luego, no puede faltar la reina de las tarjetas gráficas, Nvidia, entre las herramientas 3D. Y de hecho su Obtener3D es superlativo en la creación de modelos 3D a partir de la información aprendida de un conjunto de datos de modelos 3D.

El conjunto de datos es mucho más limitado, lo que supone una desventaja en cuanto a la variedad de objetos 3D que pueden realizarse. Sin embargo, es de código abierto, un punto a su favor, aunque todo el entrenamiento debe hacerse en el propio sistema. Esto significa tarjetas de vídeo de gama alta en abundancia... Y cuestan un poco. Mucho.

Nvidia Magic3D

¿Cómo ha resuelto Nvidia el problema de la "limitación", en términos de cantidad, de objetos que puede crear Get3D? Como se indica en el artículo de El descodificador explica, simplemente copiando a Google... Y tratando de hacer su nuevo Magia3D (el documento de los investigadores aquí) más rápido y definido que DreamFusion. Este vídeo explica bien cómo funciona:

En la práctica, Get3D tiene un conjunto de datos basado en otros modelos 3D. En cambio, Magic3D parte de imágenes, generadas a su vez por la inteligencia artificial, lo que abre el camino a combinaciones prácticamente infinitas.

¿Funciona bien? Lo cierto es que no está disponible para el público, pero por los vídeos y ejemplos que hay en la Red parece una tecnología muy prometedora. Aunque todavía no alcanza la calidad necesaria.

EstiloGAN-NADA

Para hacer Pokemon u otras cosas divertidas hay EstiloGAN-NADA, entrenado siguiendo el modelo CLIP (Contrastive Language-Image Pre-Training) de OpenAI. Permite crear imágenes a partir de tan solo una descripción textual, sin necesidad de ver referencias y sin necesidad de recopilar datos de entrenamiento adicionales.

También es posible modificar imágenes existentes para asemejarlas a las de otros dominios, por ejemplo, utilizando una imagen de un perro para generar un gato. El mismo planteamiento puede aplicarse a otras arquitecturas generativas, lo que abre interesantes posibilidades para crear imágenes con rapidez y precisión.

Polinizaciones

Entre los "próximos pasos", cabe destacar Polinizaciones promete hacer lo que necesitamos. Según su página web, "a nivel de investigación, nuestro equipo está desarrollando una tecnología que permite a las personas generar objetos y avatares en 3D con la sola ayuda de texto".

También en este caso hay que esperar. Por ahora, todavía permite hacer cosas interesantes en el área de foto/vídeo. Tal vez probarlo, sin embargo hay poco de utilidad para los fines de este artículo.

Text2mesh

Pequeño pero interesante, Text2mesh es menos un ejercicio de estilo que sus predecesores. Aquí ya hay que tener el modelo, pero la IA promete modificarlo de forma independiente; por ejemplo, aumentando el número de polígonos, cambiando su forma y color incluso creando la textura desde cero. Todo a partir de una indicación de texto, una petición escrita.

Recordatorio para poner en la agenda en caso de que lo necesitemos.

Luma AI

Luma AI es un interesante proyecto para escanear objetos reales recreándolos en 3D. El funcionamiento es interesante, y la calidad de los escaneados es razonablemente buena. Para atrezzo o figuras de fondo, lo considero más que aceptable, incluso en producción.

Recientemente también ha permitido crear objetos, y por tanto personajes, en 3D a partir de una instrucción de texto. Con el clásico comando "imagine", ya famoso por el A mitad de viaje generador de imágenes. Pero aquí, de nuevo, la calidad no es sublime. Buenos experimentos, pero definitivamente no utilizable para fines de producción.

Personajes y objetos en 3D sin inteligencia artificial

De todo esto sólo entendimos una cosa: la I.A. a día de hoy, enero de 2023, todavía no nos permite tener buenos modelos 3D. Sin embargo, como tenemos que mantener el presupuesto bajo, vamos a conseguirlos con las herramientas ya disponibles.

Personajes en 3D en nuestro cortometraje

No voy a investigar mucho aquí, pero evalúo dos herramientas de creación de personajes 3D que ya conozco: el sencillo Reallusion Creador de personajesy Epic's fantástico MetaHuman.

Necesitaremos 3 personajes para nuestra historia: María, Jakey Sarah.

Creador metahumano

En realidad, en el caso de MetaHuman hay un cambio respecto a mi pasado: Utilicé la beta de Creador metahumano. Es fenomenal porque me ha dado la posibilidad de aprovechar la potencia de cálculo de los servidores de Epic creando personajes en una pausa de trabajo directamente con mi portátil (que sólo necesita recibir un flujo de vídeo).

Así, al solicitar "Acceso anticipado" con la cuenta de Epic Games desde metahuman.unrealengine.comterminamos con una selección de posibles personajes.

Imaginamos que los tres tienen entre 20 y 40 años, de lo contrario el guión no nos dice mucho sobre ellos.

Jake

Elijo empezar seleccionando Aoicomo Jake. No sé, esa barba me da la idea de "aventurero".

El software advierte que algunos elementos del personaje tiene elementos aún en desarrollo (concretamente el pelo) y por tanto sólo se mostrará LOD (nivel de detalle) 0 (automático) y 1 (máxima calidad). Para nosotros está bien, el destino será un video pre-renderizado claramente a la máxima calidad y no un videojuego en tiempo real.

Unos pocos cambios en el personaje (descamisado, color de ojos, zapatos y pantalones más "adecuados"), y ya está guardado. Luego lo exportaremos con el plugin Quixel Bridge de Unreal Engine 5.

María

Pasemos a María. Pedí a ChatGPT que diera sus características, y la respuesta fue que podría tratarse de una mujer de unos 30 años. Pelo castaño, largo hasta los hombros y recogido en una coleta. Ojos marrones, intensos y profundos, y de etnia latina, con la piel bronceada por sus aventuras al aire libre.

Intentemos realizarlo. Empecemos por Roux. Hagamos una Blend con Lena, Kendra y Tori que parecen adecuadas para modificar sus rasgos y así etnicidad un poco, darle una coleta, ojos marrones, modificar la textura de su piel para darle unos años más, eliminar el maquillaje que difícilmente tendría en medio de la selva, modificar su vestimenta y listo.

Sarah

Por último Sarah. Para ChatGPT tiene unos 25 años, pelo rubio corto y ondulado. Ojos azules, vivaz y curioso, alrededor de 1,70 metros, delgado y musculoso que indica una persona activa y deportiva y de ascendencia del norte de Europa, con piel clara y delicada.

Confiamos en Vivian, diversas modificaciones hasta convertirlo en algo parecido a lo requerido. Está claro que MetaHuman tiene muchas limitaciones, más aún en esta versión online. Por ejemplo, sobre el cuerpo no tenemos prácticamente ninguna posibilidad de operar, por lo que "muscular" es una característica a la que tendremos que renunciar, a no ser que modelemos más adelante. Pero, en primer lugar, no soy modelador 3D; y este es un proyecto de presupuesto cero con fines exclusivamente educativos. También, por la misma razón, no es el caso de perder en ello más tiempo del necesario.

Finalmente vamos a dejarlos ahí; crearemos las animaciones con maniquíes y luego haremos el retargeting con personajes MetaHuman directamente en Unreal Engine 5.

Conclusiones

Limitémonos aquí por hoy; en uno de los próximos artículos hablaré específicamente de animación y captura de movimiento con inteligencia artificial (donde nos será más útil), y luego seguiremos con entornos, voces, música, y cualquier otra cosa que necesitemos para finalizar nuestro pequeño proyecto.

Me daré tiempo para terminar despacio, y posiblemente haga otros artículos antes de continuar con éste. Por dos razones: son operaciones elaboradas, y la inteligencia artificial está en una fase explosiva. Un artículo escrito hoy puede ser viejo mañana. Quizá esta noche.

Por lo tanto, dado que necesitaremos esta información mucho más hacia finales de este año para la producción real de una historia fulldome, tengamos en cuenta todas las novedades de los próximos meses.

Como siempre, gracias por seguirme, y un abrazo.