Comment réaliser des films à petit budget grâce à l'intelligence artificielle - Premières étapes

Je commence cet article (que je diviserai en plusieurs parties) le jour de l'Immaculée Conception : le 8 décembre. Je veux parler de l'état actuel de l'intelligence artificielle pour aider à la réalisation de films à petit budget. Il me faudra un peu de temps, notamment pour essayer différents services, car je ne veux pas dresser la liste stérile habituelle. Et aussi parce que cela nous aidera à produire du contenu pour les films que nous réaliserons dans un avenir proche.

L'idée m'est venue, bien qu'involontairement, de Nicolas Perrier de l'Université de Lyon, en France, avec l'un de ses collègues de l'Université de Lyon. messages sur LinkedIn. Perrier est un expert en innovation dans le domaine de la réalité augmentée et virtuelle. Plask; un des nombreux outils pour créer des animations 3D à partir d'une simple vidéo. En pratique, il s'agit d'une capture de mouvement sans équipement coûteux et complexe. Cette technologie peut nous intéresser particulièrement pour produire des vidéos animées à une fraction du coût actuel, et même avec des acteurs à distance.

Je bénéficie également d'une aide supplémentaire, non seulement de la part de Nicolas lui-même avec ses innombrables messages, mais aussi de la part du site web Futurepedia.io. Il s'agit d'un "wiki de l'IA", qui présente une sélection de nombreux outils actuellement disponibles pour le grand public.

Analysons certains de ces outils, en particulier ceux qui sont utiles à la réalisation de films. Tant pour l'écriture que pour la production technique de vidéos, ainsi que pour les voix. Nous évaluerons la qualité des résultats, nous ferons des expériences et nous nous renseignerons sur les coûts.

Pour mieux comprendre comment les utiliser dans nos films à petit budget, j'ai décidé de créer un court métrage (avec très peu d'attentes, juste pour l'expérimentation technique) en les utilisant autant que possible.

Réaliser des vidéos avec l'intelligence artificielle.

Répartissons les services en trois grandes catégories : l'écriture, vidéoet audio. Commencer par l'écriture, avoir d'abord l'idée.

L'écriture cinématographique avec l'intelligence artificielle

Nous avons besoin d'une histoire. Créée par une IA ? Voyons, les outils d'écriture ne manquent pas. Et si vous n'êtes pas d'accord, vous pouvez toujours argumenter dans les commentaires.

Comment fonctionne le GPT-3 ?

La plupart des services publics de rédaction d'IA sont actuellement basés sur GPT-3qui compte 175 milliards de paramètres d'apprentissage automatique. Les alternatives sont en fait nombreuses : BigScience Bloomun langage à grande échelle qui a été lancé récemment (avec l'avantage d'être open source), ou l'allemand Aleph Alpha avec son Lumineux (avec 200 milliards de paramètres).

Quels sont les paramètres d'une intelligence artificielle ?

Imaginez qu'il faille prédire si une image contient un chat ou non. Un modèle d'apprentissage automatique pourrait être entraîné sur de nombreuses images étiquetées "chat" ou "pas chat" pour apprendre à reconnaître les caractéristiques distinctives des chats.

Pour ce faire, le modèle utilise un réseau neuronal, qui est un ensemble de nœuds interconnectés. Chaque nœud représente un calcul effectué sur les données d'entrée. Les paramètres, ou "poids", sont les valeurs attribuées à chaque nœud qui affectent la force de la connexion entre les nœuds.

Lorsque le modèle voit une nouvelle image, ces poids sont utilisés pour effectuer une série de calculs qui aboutissent finalement à une prédiction, telle que "chat" ou "pas chat". Le nombre de poids utilisés dans le modèle est le nombre de paramètres.

En résumé, les paramètres sont comme des "valeurs d'ajustement" qui influencent la façon dont un modèle d'apprentissage automatique traite les données pour faire une prédiction, et sont modifiés pendant la formation pour améliorer les performances du modèle.

Un modèle comportant de nombreux paramètres aura plus de possibilités d'ajuster ses calculs pour s'adapter aux données d'apprentissage, mais il peut aussi être plus enclin à des erreurs de calcul. surajustementce qui signifie une adhérence excessive aux données d'apprentissage et une faible capacité de généralisation.

Autres concurrents de ChatGPT.

Les autres concurrents sont Nvidia avec le Megatron NGL (énorme, mais non accessible au public), Google avec leur GLaM, LaMDA et PaLM (oui, ils n'oublient rien), OPT par Méta, AlexaTM par Amazon ou encore diverses versions chinoises telles que Alibaba et son BaGuaLu.

Pour conclure, je mentionne GPT-June autre alternative open source à GPT-3.

Comprenons rapidement comment fonctionne le GPT-3, en utilisant une réponse reformulée par l'IA elle-même :

GPT-3 (Generative Pretrained Transformer 3) est un modèle linguistique de pointe développé par OpenAI. Il utilise une technique d'apprentissage profond appelée “transformateurs“pour générer un texte de type humain à partir d'une entrée donnée.

Voici comment fonctionne le GPT-3 :

1. Le modèle est entraîné sur un large ensemble de textes générés par des humains, tels que des livres, des articles et des sites web. Ce processus de formation permet au modèle d'apprendre les modèles et les structures du langage naturel.
2. Lorsqu'il reçoit une entrée, le modèle la traite en utilisant ses couches de réseaux neuronaux. Lorsqu'il reçoit une entrée, le modèle la traite à l'aide de ses couches de réseaux neuronaux. Chaque couche effectue une tâche différente, telle que l'analyse de la syntaxe, de la sémantique et du contexte de l'entrée.
3. Le modèle génère ensuite une réponse basée sur l'entrée et sa compréhension du langage naturel. Pour ce faire, il prédit les mots suivants de la phrase, en utilisant les modèles et les structures appris au cours de la formation.
4. Le modèle répète ce processus plusieurs fois, générant plusieurs réponses à l'entrée. Ces réponses sont ensuite classées et évaluées par le modèle, et la réponse la mieux notée est sélectionnée comme résultat final.

Le GPT-3 est connu pour sa capacité à générer des textes qu'il est souvent difficile de distinguer d'un texte écrit par un être humain. Il est utilisé dans diverses applications, telles que la traduction linguistique, le résumé de texte et la génération de texte.

ChatGPT peut raconter des histoires pour un scénario.

Commençons directement par le produit d'OpenAI : ChatGPT. C'est peut-être l'outil du moment, le premier à avoir fait un bond vers le grand public. C'est presque inquiétant de voir à quel point il peut être précis et "réel" dans les conversations, mais on en a aussi trop parlé et partout ces dernières semaines.

Je me suis inscrit sur le site web de l'OpenAI et j'ai ouvert le chat pour essayer de parler à GPT-3 (je ne peux pas imaginer ce que GPT-4 fera ensuite) en lui demandant de m'écrire une histoire avec quelques dialogues pour un court métrage graphique numérique. Et bien, il l'a tout simplement fait pour moi.

L'histoire écrite par ChatGPT

Voici l'histoire telle qu'elle a été écrite par ChatGPT, sans aucune modification, traduite en italien (vous pouvez lire l'original dans la version anglaise de cet article).

Alors que le soleil se lève à l'horizon, un petit groupe d'aventuriers part à la recherche de la cité d'or perdue. Pendant des mois, ils ont cherché, suivant de vieilles cartes et d'anciennes légendes dans l'espoir de faire fortune.

"Vous êtes sûr que c'est la bonne façon de procéder ? MariaLe chef du groupe a déclaré : "Je ne vois aucun signe de la ville à l'horizon". "Je ne vois aucun signe de la ville à l'horizon".

"Faites-moi confiance, Maria", a répondu JakeLa ville est cachée dans les profondeurs de la jungle et il ne sera pas facile de la trouver. "La ville est cachée dans les profondeurs de la jungle et ne sera pas facile à trouver. Mais si nous nous en tenons au plan, nous la trouverons".

Le groupe s'est aventuré dans la jungle dense, taillant dans les lianes et les broussailles à l'aide de leurs machettes. Après plusieurs heures de voyage épuisant, ils atteignirent le bord d'une clairière.

"Regardez !" SarahLe plus jeune membre du groupe s'écrie. "En bas, je vois quelque chose qui brille dans la lumière du soleil ! Je vois quelque chose qui brille dans la lumière du soleil".

Le groupe se précipita à l'endroit où Sarah avait vu la lueur, et bien sûr, ils trouvèrent une petite statue dorée enterrée dans le sol.

"Ce doit être ça !", s'exclame-t-il. Maria. "Nous avons trouvé la cité d'or perdue !

Le groupe a commencé à creuser, découvrant de plus en plus de trésors. Ils trouvèrent des pièces d'or, des bijoux précieux et des objets anciens de grande valeur.

"Nous sommes riches", s'exclame-t-il. JakeIl s'est mis à rire d'excitation. "Nous avons trouvé un trésor qui dépasse nos rêves les plus fous !

Mais alors qu'ils continuent à creuser, le sol sous leurs pieds se met à gronder et à trembler. Soudain, une immense porte de pierre s'ouvre, révélant une entrée cachée dans la cité perdue.

"Vite, tout le monde à l'intérieur ! MariaIl faut trouver la source du trésor avant qu'il ne soit trop tard ! "Nous devons trouver la source du trésor avant qu'il ne soit trop tard !

Le groupe s'engagea dans le tunnel, éclairé par des lampes de poche. Ils atteignent une grande salle ouverte remplie de trésors.

"C'est parti !" a crié Sarah. "La cité perdue de l'or !

Mais alors qu'ils exploraient la chambre, ils entendirent un fort grondement. Soudain, le sol sous leurs pieds céda et ils tombèrent dans une fosse profonde.

"A l'aide ! MariaIls sont tombés dans l'obscurité. "Nous sommes pris au piège !

Mais alors qu'ils pensaient que tout était perdu, ils ont entendu une voix faible qui les appelait.

"Ne vous inquiétez pas, aventuriers", a déclaré le président de la Commission. la voix. "Je suis le gardien de la cité perdue et je vous aiderai à vous échapper."

Avec l'aide du gardien, le groupe réussit à sortir de la fosse et à remonter à la surface. Ils sortent de la jungle, triomphants et riches au-delà de leurs espérances.

"Nous avons réussi ! JakeIl s'est mis à rire de joie. "Nous avons trouvé la cité d'or perdue !

Prenons cette première histoire. Bien sûr, il ne m'a pas facilité la tâche.... Il pouvait créer une histoire au milieu d'une ville au hasard ; en revanche, la jungle sera plus complexe à recréer. Mais il faut que j'y sois, c'est le jeu.

La même histoire, en version courte

J'ai également demandé une version plus courte. Il m'a donné un résumé. J'ai ensuite précisé que je voulais une version courte mais avec des dialogues, et il l'a fait. Je vous le signale par souci d'exhaustivité :

Alors que le groupe d'aventuriers était à la recherche de la cité d'or perdue, il est tombé sur une entrée cachée dans la jungle.

"Regardez, là-bas !" dit Sarahen indiquant l'entrée.

Le groupe s'est précipité vers l'entrée et a exploré la ville, trouvant des trésors au-delà de leurs rêves les plus fous.

"Nous sommes riches ! Jake.

Mais alors qu'ils continuaient à chercher, le sol se déroba sous eux et ils tombèrent dans une fosse.

"A l'aide ! Maria.

Un gardien de la ville les a aidés à s'échapper et ils sont sortis victorieux et riches.

"Nous avons réussi ! Jake.

ChatGPT écrit automatiquement le script

J'envisageais d'en faire un scénario, quand je me suis dit : "Pourquoi ne pas lui demander ?" C'est fait. Il a réécrit l'histoire pour moi, déjà prête pour le cinéma :

INT. JUNGLE - JOUR

Le soleil se lève à l'horizon alors qu'un groupe d'aventuriers, MARIA, JAKE et SARAH, partent à la recherche de la cité d'or perdue.

MARIA
Êtes-vous sûr que c'est la bonne façon de procéder ? Je n'ai aucune idée de la ville à l'étranger.

JAKE
Fais-moi confiance, Maria. La ville est cachée dans le fond de la mer et il n'est pas facile de la trouver. Mais si nous nous en tenons au plan, nous la trouverons.

Le groupe s'enfonce dans la jungle dense, coupant à travers les lianes et les sous-bois avec leurs machettes.

SARAH
Regardez ! Là ! Je vois quelque chose qui brille dans la lumière du soleil !

Le groupe se précipite à l'endroit où Sarah a vu le scintillement et trouve une petite statue dorée enfouie dans la terre.

MARIA
Ce doit être ça ! Nous avons trouvé la cité d'or perdue !

Le groupe commence à creuser, découvrant de plus en plus de trésors.

JAKE
Nous sommes riches ! Nous avons trouvé un trésor qui dépasse nos rêves les plus fous !

Mais alors qu'ils continuent à creuser, le sol sous leurs pieds commence à gronder et à trembler. Soudain, une immense porte de pierre s'ouvre, révélant une entrée cachée dans la cité perdue.

MARIA
Vite, tout le monde à l'intérieur ! Nous devons trouver la source du trésor avant qu'il ne soit trop tard !

Le groupe s'engage dans le tunnel, éclairé par des lampes de poche. Ils atteignent une grande salle ouverte remplie de trésors.

SARAH
C'est ça ! La cité perdue de l'or !

Mais alors qu'ils explorent la chambre, ils entendent un fort grondement. Soudain, le sol sous leurs pieds cède et ils tombent dans une fosse profonde.

MARIA
Nous sommes dans un piège ! Nous sommes pris au piège !

Mais alors qu'ils pensent que tout est perdu, ils entendent une faible voix qui les appelle.

GARDE (hors champ)
Ne vous inquiétez pas, aventuriers. Je suis le gardien de la cité perdue et je vous aiderai à vous échapper.

Avec l'aide du gardien, le groupe parvient à sortir de la fosse et à remonter à la surface. Ils réapparaissent dans la jungle, triomphants et riches au-delà de leurs espérances.

JAKE
Nous avons réussi ! Nous avons trouvé la cité d'or perdue !

En dehors de Jungle intérieuremais c'est aussi un bon point de départ. Mais certaines erreurs de forme ont sauté aux yeux Andrea Rocciun scénariste "humain", mais sans analyse approfondie (nous avons discuté autour d'une bière).

En fait, le texte est imagé et des expressions telles que "découvrir de plus en plus de trésors" ou "riche au-delà de toute espérance" ne sont pas du tout claires. Quels trésors ? Des statues, des pièces de monnaie, autre chose ? Et qu'entendez-vous par "riche" ? Sont-ils remplis d'or ? Sont-ils habillés de manière flamboyante ? Tout le monde a le dernier iPhone et les clés d'une Ferrari ?

Sans parler de l'absence de description des environnements. La jungle elle-même est laissée à l'imagination du réalisateur ou des décorateurs (ou des artistes 3D, peu importe).

Cependant, nous devons faire de nécessité vertu ; nous laisserons tout choix à la discrétion du réalisateur (s'il existe, du moins...). Nous essaierons d'en trouver un bon sur personnage.aipeut-être. En fait, essayez-le et parlez à des "personnages" artificiels. Même Albert Einstein est là !

Prix

Ici, c'est simple : cela ne coûte rien essentiellement. Une version à $20/mois commence à être commercialisée dans certains pays, ce qui supprime certaines limitations (principalement dues à la puissance de calcul nécessaire pour traiter les millions de demandes qui parviennent à OpenAI chaque jour).

Alternatives à ChatGPT

Pour l'instant, le GPT-3 est difficile à battre... En attendant que les candidats les plus emblématiques sortent (Google Bard bientôt), j'ai demandé à ChatGPT lui-même quels étaient ses concurrents. Il m'a indiqué ScriptBuddy, WriterDuet et Scénariste AI pour commencer. Pour en savoir plus, Plotbot, Amazon Storywriter, et InkTip Script Listing. Bon, je pensais que c'était suffisant... Sauf que la réponse est en fait un mensonge partiel. Nous voyons ici les limites actuelles de cette intelligence artificielle, en partie (mais pas seulement) dues au fait que les données dont elle dispose datent de 2021.

En attendant, ScriptBuddy, basé à l'origine sur GPT-2, n'a pas été maintenu depuis plus de 3 ans ; nous l'excluons. WriterDuetEn revanche, il est très utile pour l'élaboration des scénarios. Mais il n'écrit rien lui-même... Scénariste AI Je ne pense pas qu'il existe, du moins ce bon vieux Google ne me donne aucun résultat.

Quant à Plotbot, ou plutôt Plot-botIl génère en fait des tracés de films en exploitant le moteur GPT-2. Mais, comme ScriptBuddy, il n'a pas été maintenu depuis des années, et pour optimiser le temps, je l'écarte. Il en va de même pour Amazon StoryWriterInkTip Script Listing ne permet pas de générer du texte.

Dramatron

Dramatron est une nouvelle alternative, marquée DeepmindIl s'agit d'un programme qui promet exactement ce que nous recherchons : l'écriture de scénarios pour le cinéma et le théâtre. Malheureusement, il n'est sorti que quelques jours autour du 9 décembre, et lorsque j'ai pu l'essayer, il était trop tard.

Il reste un projet intéressant à garder à l'esprit lorsqu'il sera ouvert. Pour l'instant, George MikeL'auteur de cette vidéo YouTube ne l'apprécie pas.

Son commentaire ? "...dans l'ensemble, il m'a semblé insipide. Et il ne m'a pas apporté beaucoup plus que les dialogues que l'on trouve dans tous les films. Il a clairement saisi le genre, mais ne l'a pas exploré de manière intéressante. Il n'a pas fait avancer le récit“.

Rytr

A travers Google et Futurepedia Je suis alors arrivé à Rytr. Un bel outil. Compte et connexion, et je me retrouve dans la zone de travail. Il demande essentiellement la langue, le style et le cas d'utilisation du texte créé, et il agit. Comme il n'y avait manifestement pas de "scénario de film", j'ai essayé entre-temps un outil appelé "baguette magique".

La même demande a été faite à ChatGPT, mais la réponse a été presque hilarante :

Au nom d'Allah, le Clément, le Miséricordieux

Je crois

Je crois en Allah, le Dieu unique

Je crois aux prophètes et aux messagers

Je crois aux anges et aux écritures

Je crois aux livres de la révélation

Je crois en la vie après la mort et que le jour du jugement dernier, justice sera rendue.

• Pardon, quoi ? Vous dites "je crois" à tout.

Je n'ai pas le temps pour cela.

• Je suis désolé, je ne vous suis pas.
• Pourquoi vous excusez-vous ?
• Qu'est-ce que c'est ?

Essayons quelque chose de différent et de plus spécifique... J'ai demandé "J'ai besoin d'un script d'environ 2000 mots, avec des dialogues, pour réaliser un court métrage en images de synthèse. Le titre est : la ville perdue", et j'ai défini comme cas d'utilisation "l'intrigue de l'histoire". Invitation basée sur le résultat du ChatGPT précédent. Mais nous sommes encore loin du compte, bien que nous ayons une intrigue de base :

Dans un futur proche, une équipe d'archéologues et de scientifiques en mission d'exploration sur une planète inconnue est capturée et emprisonnée par une ancienne civilisation extraterrestre.

L'équipe est quelque peu perdue à cause de la barrière de la langue et des interactions avec les extraterrestres. Ils sont gardés en captivité pendant des décennies, explorant les ruines et découvrant tous les secrets de la civilisation.

À la fin, ils parviennent à rentrer chez eux. Les scientifiques ont appris beaucoup de choses nouvelles et les ramènent sur Terre pour les partager avec les humains. Cependant, ils ont pris tellement de temps qu'aujourd'hui, non seulement la Terre a changé, mais il n'y a plus de temps pour ces découvertes.

Même demande, mais avec la commande magique comme cas d'utilisation :

INT. SALON - APRÈS-MIDI

La chambre est bien meublée et semble très confortable. Une porte mène à une autre pièce.

JOE : Bonjour, John.

Bonjour, Joe. Comment allez-vous ce matin ?

JOE : Je vais bien, merci de demander. Et vous ?

JOHN : Je vais très bien ! Quel est le programme de la journée ?

JOE : Je vais rattraper mon retard en matière de lecture, puis je ferai probablement une promenade dans le quartier. Avez-vous des programmes

D'accord, un outil utile pour les textes courts mais encore loin d'une autonomie totale. Nous en arrivons aux prix, bien que dans notre cas je maintienne le texte de ChatGPT.

Prix

Rytr dispose d'une gratuit limitée à 10000 caractères par mois. Sinon, il coûte $9 par mois pour 100 000 caractères, ou $29 par mois pour une utilisation illimitée.

Brièvement AI

Un autre outil est Brièvement AIL'objectif principal est de lutter contre le "syndrome de la page blanche". Écrivez votre texte ou une phrase, et il continue.

Comme je ne pouvais pas lui demander de faire l'histoire pour moi, j'ai utilisé la première phrase de l'histoire générée par ChatGPT : Quand le soleil se couche sur l'océan, un petit groupe d'aventuriers se met en route pour retrouver la ville d'or perdue. Bien que basée sur le même modèle linguistique, la suite était clairement différente.

Il s'agit du texte final :

Alors que le soleil se lève à l'horizon, un petit groupe d'aventuriers part à la recherche de la cité perdue de l'or. On dit que la cité perdue renferme plus de mille tonnes d'or, mais comme toutes les légendes, l'histoire du trésor n'est racontée qu'à ceux qui en sont dignes.

Ils étaient en route depuis deux semaines et espéraient atteindre leur destination à la fin de la semaine. Jusqu'à présent, la route était calme, mais à l'approche d'une colline, il y eut une petite construction sur la route, ce qui ralentit les chariots. La caravane comptait deux grands chariots transportant de l'or, tandis que les autres étaient à cheval. Le reste du groupe ne s'inquiétait guère de ce retard, à l'exception du chef. Il s'agit d'une cité perdue qui contient de grandes quantités d'or, d'argent et de bijoux datant de l'époque des anciens Aztèques. Une cité perdue protégée par un nombre incalculable de démons et de fantômes. On disait qu'aucun homme ou bête ayant pénétré dans la cité maudite n'en était revenu.

Le petit convoi se rend à l'endroit indiqué par l'employeur. Ils revirent une dernière fois les détails du contrat. Les six aventuriers s'étaient répartis en trois groupes de deux. Chaque groupe s'est positionné à un endroit. La ville était cachée dans les profondeurs d'une chaîne de montagnes au centre de laquelle se trouvait une forteresse bien protégée laissée par l'empire aztèque. Le puits était censé être la porte d'entrée de la cité perdue. À l'intérieur de la forteresse devait se trouver une statue d'ange. Il s'agissait d'une tablette de pierre spéciale contenant une incantation qui concentrerait le pouvoir du joyau sur le huitième fils d'un roi aztèque.

Ayant entendu parler de cette étrange forteresse, le chef aztèque a fait marcher son armée pour l'attaquer, mais, mystérieusement, l'un des généraux et son armée ont été emmenés dans un autre royaume et ont disparu. Le roi ordonne alors la retraite. C'est le début des problèmes. Alors qu'ils partaient, ils furent attaqués par de grands monstres que l'on croyait tués, mais que l'on vit ensuite au sommet de la forteresse. La semaine suivante, les combats se poursuivent et les Aztèques sont vaincus.

À la fin, le roi a ordonné aux troupes restantes de retourner en ville, déclarant que les batailles de la semaine précédente avaient réveillé d'anciens démons responsables de la disparition non seulement de son fils, mais aussi de certains de ses généraux et des troupes restantes. Le roi avait interdit toute forme de magie et de sortilège dans sa ville, et tout le monde devait être exécuté. Un jeune homme a été aidé par sa mère, également sorcière, une fois qu'elle a été découverte.

En fin de compte, une bonne histoire, mais avec peu de sens. L'IA a pris des bouts de texte ici et là, mais sans les relier de manière "intelligente".

Prix

Shortly AI est certainement utile pour ajouter une phrase ou deux et surmonter le syndrome de la page blanche, mais le laisser faire tout seul ne semble pas être le meilleur outil.

Son coût n'est pas non plus négligeable. Il s'agit de $79 par moisou $780 par an. J'ai quand même utilisé l'essai gratuit, il suffit donc d'ouvrir un compte.

WriterX

Voyons ce qu'il en est WriterX. Il propose des modèles pour la création d'articles, de posts sociaux, de conclusions textuelles et bien d'autres. Je m'attends à des résultats similaires à ceux de Shortly, n'étant pas conçu pour des articles complets.

Malheureusement, la version d'essai gratuite ne permet pas d'accéder à toutes les fonctionnalités, et je n'avais pas envie de payer pour un service (même assez cher) sans l'avoir essayé au préalable, même en disposant d'une alternative gratuite qui me satisfait en partie.

Bien que je l'évalue pour ses fonctionnalités marketing utiles... Comme la bio de mes canaux sociaux, ou toute aide future dans la rédaction d'articles de blog. Je l'ai également utilisé pour écrire la méta description de ce même article.

Prix

Coûts de WriterX $29 un mois dans la version standard (essentiellement la version d'essai que j'ai eue), ou $59 un mois pour disposer d'un nombre illimité de textes et de fonctions. Il est disponible en 25 langues.

Jasper AI

J'ai également voulu essayer Jasper AIqui est en fait une interface graphique pour le GPT-3 lui-même. C'est peut-être le plus médiatisé, on le trouve partout. Mais je n'ai tout simplement pas commencé à l'utiliser : elle vous oblige à saisir votre carte de crédit, même pour la version gratuite, et pour la vérifier, il faut non pas quelques centimes, mais la totalité de l'argent.premier mois : $29. Attitude non professionnelle, donc je ne veux pas traiter avec eux et je voulais que mon argent soit remboursé immédiatement.

GPT-J et Writey AI

Pour sortir de l'univers GPT-3, j'ai voulu essayer le logiciel libre GPT-J par l'intermédiaire de la 6b.eleuther.ai mais il se bloque toujours avec le message suivant : "Impossible de se connecter au modèle. Veuillez réessayer". Et Writey AIqui fonctionne bien lui aussi, mais qui est trop spécialisé dans la rédaction d'articles de blog. Je vous recommande d'y jeter un coup d'œil, ne serait-ce que pour les 5 articles par mois totalement gratuits.

En fin de compte, je suis fatigué et toute recherche supplémentaire me semble futile. Après tout, le texte de ChatGPT est valable (si l'on peut parler de texte "automatique"), alors je dirais qu'il faut passer à la réalisation technique du court métrage.

Créer des personnages en 3D

Une intelligence artificielle peut-elle générer des personnages en 3D ?

Nous avons donc besoin de personnages pour notre histoire, mais est-il vraiment possible de les générer avec une I.A. ? Spoiler : aujourd'hui, pas bien. Il y a beaucoup de promesses et quelques solutions qui se rapprochent du résultat, mais ce n'est pas encore possible. Examinons-les brièvement, car elles seront utiles dans un avenir proche. Mais nous continuerons ensuite à chercher comment avoir les personnages de notre histoire dès maintenant avec peu d'argent.

PIFuHD

Pour commencer, il y a PIFuHDqui est déjà disponible pour le public et qui promet de créer un personnage en 3D à partir d'une simple photo. Cela fonctionne, mais dès les vidéos de présentation, on remarque une qualité loin d'être acceptable au cinéma.

Google DreamFusion

DreamFusion est l'une des premières IA capables d'exploiter les données 2D de la diffusion stable (les mêmes données que celles utilisées pour créer des photos à l'aide de l'intelligence artificielle, aujourd'hui très répandue), pour créer des modèles 3D.

Même problème que précédemment : qualité insatisfaisante dès le premier coup d'œil.

Microsoft Rodin Diffusion

Un nouveau venu chez Microsoft en 2023, Rodin Diffusion n'est pas encore accessible au public. Il promet de créer un avatar réaliste en 3D à partir d'une seule photo. À en juger par les photos publiées sur leur site, les cheveux... C'est toujours le problème !

Nvidia Get3D

Parmi les outils 3D, vous ne pouvez certainement pas passer à côté de la reine des cartes graphiques, Nvidia. Et en effet, son Get3D est très performant dans la création de modèles 3D à partir d'informations tirées d'un ensemble de modèles 3D.

L'ensemble de données est beaucoup plus limité, ce qui constitue un inconvénient pour la variété des objets 3D qui peuvent être réalisés. En revanche, le logiciel est libre, ce qui constitue un avantage certain, même si l'apprentissage doit être entièrement réalisé dans le système de l'utilisateur. Ce qui signifie des cartes vidéo haut de gamme à foison... Et qui coûtent un peu. Beaucoup.

Nvidia Magic3D

Comment Nvidia a-t-il résolu le problème de la "limitation", en termes de quantité, des objets pouvant être créés par Get3D ? Comme l'indique l'article de Le décodeur explique, en se contentant de copier Google... Et en essayant de faire de sa nouvelle Magic3D (L'article des chercheurs ici) plus rapide et mieux défini que DreamFusion. Cette vidéo explique bien comment cela fonctionne :

En pratique, Get3D dispose d'un ensemble de données basé sur d'autres modèles 3D. En revanche, Magic3D part d'images, elles-mêmes générées par l'intelligence artificielle, ce qui ouvre la voie à des combinaisons virtuellement infinies.

Fonctionne-t-elle bien ? Ce qui est sûr, c'est qu'elle n'est pas accessible au public, mais d'après les vidéos et les exemples sur le web, elle semble être une technologie très prometteuse. Bien qu'elle n'atteigne pas encore la qualité nécessaire.

StyleGAN-NADA

Pour faire du Pokemon ou d'autres choses amusantes, il y a StyleGAN-NADAIl s'agit d'un logiciel de création d'images, entraîné selon le modèle CLIP (Contrastive Language-Image Pre-Training) de l'OpenAI. Il vous permet de créer des images à partir d'une simple description textuelle, sans qu'il soit nécessaire de voir des références et sans qu'il soit nécessaire de collecter des données d'entraînement supplémentaires.

Il est également possible de modifier des images existantes pour les rendre similaires à celles d'autres domaines, par exemple en utilisant l'image d'un chien pour générer celle d'un chat. La même approche peut être appliquée à d'autres architectures génératives, ce qui ouvre des possibilités intéressantes pour créer des images rapidement et avec précision.

Pollinisations

Parmi les "prochaines étapes", on trouve Pollinisations promet de faire ce dont nous avons besoin. D'après leur site web, "au niveau de la recherche, notre équipe développe une technologie qui permet aux gens de générer des objets et des avatars en 3D à l'aide d'un simple texte".

Là encore, il y a de l'attente. Pour l'instant, il permet encore de faire des choses intéressantes dans le domaine de la photo/vidéo. Essayez-le peut-être, mais il n'y a pas grand-chose d'utile pour les besoins de cet article.

Texte2mesh

Petit mais intéressant, Texte2mesh est moins un exercice de style que ses prédécesseurs. Ici, vous devez déjà avoir le modèle, mais l'IA promet de le modifier de manière indépendante ; par exemple, en augmentant le nombre de polygones, en changeant sa forme et sa couleur, voire en créant la texture à partir de zéro. Le tout sur la base d'un texte, d'une demande écrite.

Rappel à mettre dans l'agenda au cas où nous en aurions besoin.

Luma AI

Luma AI est un projet intéressant qui consiste à scanner des objets réels en les recréant en 3D. L'opération est intéressante et la qualité des scans est raisonnablement bonne. Pour des accessoires ou des personnages en arrière-plan, je considère que c'est plus qu'acceptable, même en production.

Il permet également depuis peu de créer des objets, et donc des personnages, en 3D à partir d'une invite textuelle. Avec la commande classique "imagine", déjà rendue célèbre par l'application Voyage à mi-parcours générateur d'images. Mais là encore, la qualité n'est pas sublime. De bonnes expériences, mais certainement pas utilisables à des fins de production.

Personnages et objets en 3D sans intelligence artificielle

De tout cela, nous n'avons compris qu'une chose : l'IA, à l'heure actuelle, en janvier 2023, ne nous permet toujours pas d'avoir de bons modèles 3D. Mais puisqu'il faut maintenir un budget bas, réalisons-les avec les outils déjà disponibles.

Des personnages en 3D dans notre court métrage

Je ne vais pas me lancer dans de longues recherches, mais j'évalue deux outils de création de personnages en 3D que je connais déjà : le simple Reallusion Créateur de personnageet Epic's fantastique MetaHuman.

Nous aurons besoin de 3 personnages pour notre histoire : Maria, Jakeet Sarah.

Créateur de MetaHuman

En fait, dans le cas de MetaHuman, il y a un changement par rapport à mon passé : J'ai utilisé la version bêta de Créateur de MetaHuman. Il est phénoménal en ce sens qu'il m'a permis de tirer parti de la puissance de calcul des serveurs d'Epic en créant des personnages lors d'une pause de travail directement avec mon ordinateur portable (qui n'a besoin que de recevoir un flux vidéo).

Ainsi, en demandant l'accès anticipé (Early Access) avec son compte Epic Games à partir de metahuman.unrealengine.comon se retrouve avec un choix de caractères possibles.

On imagine qu'ils ont tous les trois entre 20 et 40 ans, sinon le texte ne nous dit pas grand-chose sur eux.

Jake

Je choisis de commencer par sélectionner Aoi, comme Jake. Je ne sais pas, cette barbe me donne l'idée d'un "aventurier".

Le logiciel prévient que certains éléments du personnage ont des éléments encore en cours de développement (notamment les cheveux) et que par conséquent seuls les LOD (level of detail) 0 (automatique) et 1 (plus haute qualité) seront affichés. Pour nous, c'est parfait, la destination sera une vidéo pré-rendue clairement à la plus haute qualité et non un jeu vidéo en temps réel.

Quelques modifications du personnage (torse nu, couleur des yeux, chaussures et pantalon plus "adaptés"), et il est sauvegardé. Nous allons ensuite l'exporter avec le plugin Quixel Bridge d'Unreal Engine 5.

Maria

Passons maintenant à Maria. J'ai demandé à ChatGPT de trouver ses caractéristiques, et la réponse a été qu'il pouvait s'agir d'une femme d'environ 30 ans. Cheveux bruns, longueur d'épaule, tirés en queue de cheval. Des yeux bruns, intenses et profonds, d'origine latine, à la peau bronzée par ses aventures en plein air.

Essayons de le réaliser. Partons de Roux. Faisons un mélange avec Lena, Kendra et Tori qui semblent appropriées pour modifier ses traits et donc son ethnicité, lui donner une queue de cheval, des yeux bruns, modifier la texture de sa peau pour lui donner quelques années de plus, éliminer le maquillage qu'elle n'aurait guère au milieu de la jungle, modifier ses vêtements et c'est tout.

Sarah

Enfin Sarah. Pour ChatGPT, il a environ 25 ans, des cheveux blonds courts et ondulés. Il a les yeux bleus, est vif et curieux, mesure environ 1,70 m, est mince et musclé, ce qui indique qu'il est actif et sportif. Il est originaire d'Europe du Nord et a la peau claire et délicate.

Nous nous appuyons sur VivianeIl est évident que MetaHuman a de nombreuses limites, et encore plus dans cette version en ligne. Il est clair que MetaHuman a de nombreuses limitations, encore plus dans cette version en ligne. Par exemple, nous n'avons pratiquement aucune possibilité d'agir sur le corps, de sorte que la musculature est une caractéristique à laquelle nous devrons renoncer, à moins de la modéliser plus tard. Mais, tout d'abord, je ne suis pas un modélisateur 3D ; et il s'agit d'un projet à budget zéro à des fins éducatives uniquement. Aussi, pour la même raison, il n'est pas question d'y consacrer plus de temps que nécessaire.

Enfin, laissons-les là ; nous créerons les animations avec des mannequins, puis nous retargeterons avec des personnages MetaHuman directement dans Unreal Engine 5.

Conclusions

Dans l'un des prochains articles, je parlerai spécifiquement de l'animation et de la capture de mouvement avec l'intelligence artificielle (là où elle nous sera le plus utile), puis nous continuerons avec les environnements, les voix, la musique et tout ce dont nous avons besoin pour finaliser notre petit projet.

Je vais me donner le temps de finir lentement, et éventuellement de faire d'autres articles avant de poursuivre celui-ci. Pour deux raisons : il s'agit d'opérations élaborées, et l'intelligence artificielle est dans une phase explosive. Un article écrit aujourd'hui sera peut-être vieux demain. Peut-être ce soir.

Par conséquent, étant donné que nous aurons besoin de ces informations vers la fin de l'année pour la production d'une histoire en fulldome, gardons à l'esprit toutes les nouvelles dans les mois à venir.

Comme toujours, je vous remercie de me suivre et je vous embrasse.