Dans l'article d'aujourd'hui, j'aimerais commencer par vous présenter un projet majeur sur lequel nous travaillons avec l'habituel nExtqui combine l'intelligence artificielle et le cinéma. Nous utilisons l'IA pour la production cinématographique dans un film immersif à 360 degrés, initialement projeté dans des dômes mobiles. En s'appuyant sur les technologies les plus récentes, il s'agira d'une expérience mémorable qui combinera le réel et le virtuel. En principe : un jalon pour ce qui sera le cinéma du futur.
Il promet de laisser une trace profonde et de représenter un tournant significatif dans l'histoire du cinéma. Pour un cinéma plus démocratique, plus présent auprès des gens, rassembleur... Ce qu'était le cinéma originel, et ce qu'il n'a pas réussi à être depuis si longtemps.
Dans cet article, je souhaite aborder l'idée de base d'un point de vue technique. Et partager avec vous quelques domaines possibles d'utilisation de l'intelligence artificielle pour en tirer le meilleur parti avec un budget volontairement réduit.
On peut également considérer qu'il s'agit d'une mise à jour, à un stade beaucoup plus avancé, du dernier article écrit en février 2023 et intitulé. Comment réaliser des films à petit budget avec l'intelligence artificielle - Premières étapes. .
Table des matières
L'impact révolutionnaire de l'intelligence artificielle dans le cinéma
Si les effets spéciaux et les techniques narratives ont un temps été les baguettes magiques du cinéma, l'intelligence artificielle joue aujourd'hui une carte révolutionnaire. C'est une aide incroyable, un complice qui ouvre la porte à une innovation sans précédent. Nous surfons sur cette vague, avec l'IA à nos côtés pour nous aider à créer des histoires captivantes, des personnages numériques qui semblent réels et de la musique qui vous touche droit au cœur. Mais n'oublions pas la touche humaine, le véritable cœur battant de chacune de nos créations.
"L'intelligence artificielle et le cinéma" n'est pas une devise symbolique, mais le début d'un nouveau chapitre de la narration. Nous sommes prêts à prouver que l'avenir du divertissement n'est plus un rêve lointain : il est là, et il est animé par l'intelligence artificielle.
Luna Dolph, Kyle et la Chine : du virtuel au réel
L'histoire, scénarisée par Gérard Bernasconi commence par l'histoire de Luna Dolph, Kyle et ChineLes personnages ne sont pas de simples personnages, mais des avatars tridimensionnels qui donnent vie à un monde virtuel fascinant et complexe. Ces avatars ne sont pas seulement les protagonistes d'une histoire, mais aussi des acteurs de la vie quotidienne. les symboles de notre époque. Représentations vivantes des notre immersion progressive dans l'univers virtuel, également connu sous le nom de métavers. Ce concept, autrefois relégué à la science-fiction, prend rapidement forme et influence diverses industries, des jeux vidéo aux plateformes de réseaux sociaux, transformant notre façon d'interagir, de travailler et de nous amuser.
Réalité virtuelle et identités numériques
Notre objectif n'est pas seulement de raconter une histoire captivante, mais aussi d'inviter le public à réfléchir à la nature de la réalité à l'ère numérique. Ces avatars, avec leurs interactions complexes et leurs mondes compliqués, représentent la fusion en cours de nos vies physiques et numériques. Une convergence qui redéfinit le sens même de l'identité, de la communauté et de l'appartenance.
Au cœur de notre récit se trouvent Luna Dolph, Kyle et China. Il s'agit de trois avatars tridimensionnels dont la vie se déroule dans un monde virtuel d'une beauté extraordinaire. Tout en existant dans l'éther numérique, leur histoire est un pont vers la réalité, un moyen de rappeler à nos spectateurs la valeur irremplaçable de l'interaction humaine et de la vie réelle. À une époque où la numérisation a transformé nos modes de connexion, notre récit vise à utiliser la technologie non pas comme un refuge, mais comme un tremplin pour redécouvrir et revigorer une socialité authentique et tangible.
La technologie vous aide à mieux vivre
Alors que Luna, Kyle et China naviguent dans un métavers fascinant, leurs expériences et leurs défis résonnent avec un message clair : la technologie, aussi avancée soit-elle, est un outil qui, utilisé à bon escient, peut enrichir mais non remplacer la chaleur et la complexité des relations humaines. Notre objectif est de faire prendre conscience que, malgré l'attrait du numérique, la vraie vie se déroule en dehors de l'écran. Dans les rires partagés, les poignées de main, les accolades et les moments spontanés qui constituent la trame de notre existence.
Avec cette narration, nous aspirons à inspirer les spectateurs à lever le regard de leurs appareils et à se replonger dans le monde réel, en enrichissant leur vie d'expériences authentiques. À travers l'exploration des mondes virtuels, nous voulons célébrer et promouvoir la beauté et l'importance irremplaçable de la vie réelle et de la socialité humaine.
Le film représentera la première sortie dans le monde réel pour les trois personnages principaux.
Comment nous utilisons l'IA dans la production cinématographique
Nous en sommes encore au stade de la pré-production, donc d'un point de vue pratique, je vous tiendrai au courant dans les mois à venir. Pour l'instant, nous avons une idée générale : nous avons sélectionné un recueil des dernières technologies d'intelligence artificielle (IA) qui sont à la fois abordables et accessibles à tous.
Le film sera en fulldomeLe film sera présenté dans un format immersif de 360×180 degrés. Nous le projetterons essentiellement dans des dômes et des planétariums. Il s'agit d'une innovation cruciale pour l'avenir, car nous nous dirigeons de plus en plus vers l'immersion totale. Nous disposons d'un budget limité, de l'ordre de 10 à 20 000 euros. Le film durera environ 40 minutes, et se déroulera à environ 30 % dans le monde virtuel de Luna et de ses amis (entièrement recréé en Moteur Unreal ), pour les 70% restants dans le monde réel.
L'IA Luma au service du cinéma du futur
Pour commencer à parler de cet arsenal technologique, je mentionne les éléments suivants Luma AIune solution pionnière qui révolutionne complètement la génération d'environnements tridimensionnels. Luma AI nous permet de reproduire des environnements réels dans Unreal Engine, avec une qualité photoréaliste et des couleurs vives. même avec un iPhone. Grâce à des technologies de pointe telles que le Champs de rayonnement neuronal (NeRF) et le tout nouveau L'éclatement gaussien (ce dernier ayant été publié il y a tout juste trois mois par l'Université de la Côte d'Azur, en France), nous pouvons capturer la complexité et la richesse du monde réel au format numérique, l'intégrer à Unreal Engine (y compris la possibilité de se déplacer librement dans la scène) et donner vie à des scènes qui étaient auparavant réservées aux gros budgets.
Nous réduisons les coûts liés à la création de décors détaillés et d'objets complexes, tout en rationalisant et en accélérant le processus de production. Luma AI démocratise non seulement l'accès aux technologies de classe mondiale, mais nous donne également les outils nécessaires pour expérimenter à une vitesse jusqu'alors inimaginable. Elle nous permet également de conférer à nos scènes un niveau de vivacité et de profondeur sans précédent.
Skybox AI for cinema - Eclairage simplifié sur Unreal Engine
Un autre outil essentiel de notre répertoire est Skybox AI par Blockade Labs pour la création d'environnements immersifs boîtes à ciel. Enrichir les scènes virtuelles avec des détails essentiels sur l'éclairage et le décor.
A boîte à ciel dans Unreal Engine permet non seulement de créer des environnements visuellement convaincants (montagnes, ciel, maisons lointaines, etc...), mais aussi d'obtenir des images de qualité. affecte également l'éclairage général des objets 3D dans la scène. C'est ce qui nous intéresse le plus dans la réalisation de films : elle agit comme une source de lumière ambiante, reflétant ses couleurs et ses teintes sur les objets, contribuant ainsi à la création d'une image de marque. créer une atmosphère cohérente et réaliste. Par exemple, une skybox représentant un coucher de soleil infusera des teintes chaudes orange et rouges sur la scène, tandis qu'une skybox de nuit fournira une lumière plus froide et plus faible. Ce processus permet d'intégrer les éléments 3D dans l'environnement, ce qui rend l'expérience visuelle plus immersive et plus cohérente.
Un aspect qui s'avère essentiel dans la création d'environnements fulldome à 360 degrés. Chaque petit détail est essentiel pour maintenir l'illusion d'un monde totalement immersif.
Utiliser Kaiber AI pour notre film
Kaiber AI est utile et de qualité, mais j'ai un sérieux doute : je ne sais pas s'il fonctionne avec la vidéo fulldome. Je n'ai pas encore eu le temps de l'expérimenter, mais il est possible qu'il aide à lisser les scènes afin que les actifs puissent être fusionnés encore mieux. Il fonctionne par le biais de l'IA directement sur les fichiers vidéo finaux.
Intelligence artificielle et cinéma : Reverie AI
En prévision du lancement de Rêverie AI Nous sommes stimulés par ses promesses de créer des mondes virtuels pour Unreal Engine presque en "copiant" une image préexistante. Sa capacité à générer des décors qui imitent fidèlement la réalité, combinée à son potentiel de correction des couleurs des scènes virtuelles, ouvre les portes à des possibilités illimitées en matière de narration visuelle. Rêverie AI promet d'être un excellent complément à notre flux de travail, en améliorant la cohérence visuelle et en assurant des transitions fluides et convaincantes entre le monde virtuel et le monde réel.
Move.ai, la mocap bon marché et fonctionnelle
Un autre outil "intelligent" que nous prévoyons d'utiliser pour notre film sera Move.ai, en particulier le service peu coûteux Première étape (offre de lancement à $15 par mois, puis coût prévu de $30). Avec un simple Application iPhoneGrâce à cette méthode, nous serons en mesure de créer des animations personnalisées simples et prêtes à l'emploi, sans trop de corrections ou de nettoyages. Cela réduit le temps et les coûts et vous permet de ne pas être limité par les animations déjà disponibles dans des services tels que Mixamo , ActeurCore ou le Marché MoCap par Noitom.
Voici un test vidéo très rapide :
Il est évident qu'ils disposent également d'un service professionnel plus onéreux qui permet d'utiliser jusqu'à 8 salles. Mais nous ne comptons pas l'utiliser pour cette première production, à moins d'un besoin très réel.
La synthèse vocale pour le doublage de films... Est-ce possible ?
Dans notre production, l'innovation ne s'arrête pas à la création du monde numérique ; en fait, nous voulons aussi tirer parti de la révolution technologique en cours dans les aspects traditionnels de la réalisation de films, tels que doublage.
La voix de Luna et des autres avatars 3D doit être cohérente (pour ne pas dire identique) dans tous les médias, tant dans le monde virtuel que dans le monde réel. Nous sommes confrontés à un défi complexe : maintenir la même voix sur plusieurs plateformesy compris les médias sociaux et en particulier la diffusion en temps réel, sans nous lier à un seul acteur vocal. Cela nous permet d'avoir une certaine flexibilité dans la narration et de nous adapter à différents formats sans dépendre de la disponibilité d'un acteur spécifique.
L'idée est de reproduire les voix de certains acteurs réels et de les associer à des avatars. (Luna, Kyle et China pour commencer), puis transformer la voix de n'importe quel acteur, en temps réel, en celle de Luna, afin de l'utiliser pour le doublage de films et de contenus sociaux (aussi bien dans la langue originale que dans les traductions), ainsi que pour l'initiative diffusion en direct en superposant ces entrées à l'avatar animé en capture de mouvement.
De l'excellent mais coûteux Respeecher à l'ambiguë Voicemod
Nous avons exploré les options suivantes Respeecher L'utilisation d'un logiciel de conversion de la parole vers le langage est un outil avancé, mais les coûts pour le temps réel sont prohibitifs. On parle de 1 000 ou 2 000 par mois pour quelques heures d'utilisation. Voicemod se présente comme une solution moins onéreuse en raison de sa Voix de l'IABien qu'il existe des rumeurs contradictoires sur sa fiabilité (certains considèrent même qu'il s'agit d'un logiciel malveillant ou d'un logiciel d'exploitation), il n'est pas possible d'en savoir plus. cryptojacking...). Et il reste le problème de ne pas avoir les droits sur la voix, dont ils sont propriétaires, ce qui s'avérera certainement un problème à l'avenir. Je ne connais pas encore le coût de la conversion en temps réel de Resemble.ai que j'ai utilisé dans le passé pour la synthèse vocale, beaucoup moins chère, et de Voix de vériton .
Un autre outil que je n'ai pas pu tester est Voidol 3 pour un coût d'environ $300. Je n'ai pas trouvé de version de démonstration, mais j'admets que je n'ai pas fait beaucoup d'efforts pour en demander une. Il s'agit d'un des nombreux logiciels orientaux créés en raison de la passion typique des Japonais pour le monde de l'animation. Mais il est en fait adaptable à notre objectif, comme nous le verrons dans un instant avec un autre japonais.
MetaVoice Live, Mangio RVC Fork et W-Okada Voice Changer, gratuits et open-source
Les solutions finalesaprès de nombreuses recherches, sont. MetaVoice Live et le Voix Changeur de W-Okada. Les deux source ouvertequi nous rassure sur le fait que nous pouvons baser la "vie future" des personnages sur ces services, et à la fois sur la "vie future" des personnages et sur la "vie future" des personnages. gratuit. Je ne peux pas ne pas mentionner la chaîne YouTube Outils d'IA Recherche qui m'a été très utile. Parmi les vidéos les plus intéressantes dans ce domaine, certainement celle-ci :
J'apprécie particulièrement MetaVoiceIl est en cours de développement et dispose d'une version en nuage pour les conversions en temps différé qui offre une qualité et une flexibilité accrues. Celui-ci n'est pas gratuit, mais le coût compris entre $10 et $25 par mois est somme toute acceptable.
En revanche, W-Okada 's Changeur de voix De nombreux développeurs indépendants mettent au point des solutions compatibles avec elle, comme l'utilisateur de GitHub Mangio621 qui a créé le Fourchette Mangio RVC un logiciel avec interface Web qui permet de transformer la voix d'un acteur réel en celle du modèle vocal choisi. Un grand nombre de ces modèles, en particulier des personnes célèbres, sont déjà disponibles sur des sites tels que Voice-Models.com au format ".pth". Un format classique utilisé dans l'apprentissage automatique), mais la meilleure chose est qu'avec le même format ".pth", il est possible d'obtenir des informations plus détaillées. Mangio RVC nous pouvons effectuer la formation, ou la formation, d'une voix personnalisée. Le tout localement grâce à une bonne carte vidéo. Et donc clairement toujours disponible, et gratuitement.
Je ferai cependant un article spécifique à ce sujet prochainement. Vous me suivrez donc au fur et à mesure que j'effectuerai des tests intéressants.
Générer des vidéos grâce à l'intelligence artificielle
L'une des utilisations de l'IA dans la production cinématographique pourrait être la conversion de texte en vidéo, ou de vidéo en vidéo. Mais quelle est l'utilité de l'intelligence artificielle pour la production de vidéos ? Je veux dire en partant de zéro, en décrivant à l'IA dans un texte (ou avec une référence vidéo très simplifiée) ce que vous voulez réaliser. C'est un peu l'avenir, car à ce jour, des outils tels que Piste Gen-1 , Genmo AI , o Moonvalley AI ne sont guère plus que des expériences. Utiles à certains moments, mais loin de la qualité et du réalisme nécessaires à la production d'un film.
De toute évidence, nous devrons travailler quelques années de plus pour obtenir nos films 🙂 .
Canon EOS R5C et objectif Dual Fisheye pour la vidéo fulldome 3D
Qu'en est-il du tournage d'actions en direct ? Au cours de notre voyage, nous nous essayons à une combinaison d'équipements très intéressante. Nous gardons toujours l'objectif en tête : peu de dépenses, beaucoup de bénéfices. À l'origine, j'avais prévu de tout filmer à 360 degrés, afin de rendre le tout compatible en cas de portage futur en réalité virtuelle. Mais le coût est devenu prohibitif, tant pour la caméra (une caméra professionnelle comme la Insta 360 Titan qui, soit dit en passant, n'a pas été mis à jour depuis des années et coûte plus de 17 000 euros), et pour les difficultés de commencer dès le début avec un domaine aussi vaste.
L'idée est donc de produire la bonne vidéo pour le dôme, en 360×180 degrés (en gros, la moitié de la sphère). Et la lentille Canon RF 5.2mm F2.8 L Dual Fisheye , associé à la Canon EOS R5C devrait s'avérer être un choix gagnant. Cette configuration permet non seulement d'obtenir des images immersives, mais aussi d'expérimenter des prises de vue stéréoscopiques, qui ajoutent un niveau supplémentaire de profondeur et de réalisme.
La caméra Canon EOS R5C, avec sa gamme dynamique comprise entre 11 et 12 diaphragmes et son capteur 8K, offre un excellent rapport qualité-prix. C'est une considération importante pour nous, car nous essayons de maintenir un budget équilibré sans sacrifier la qualité. Nous réfléchirons également à l'opportunité de la louer ... À partir de Adcom L'objectif et l'appareil photo sont proposés à environ 200 euros par jour.
Pour être honnête, nous ne pouvons pas encore exploiter pleinement le potentiel de la stéréoscopie en raison de la projection, mais c'est certainement quelque chose que nous aimerions explorer à l'avenir. C'est l'une des choses qui ont l'air vraiment cool et qui pourraient ajouter une touche spéciale à notre projet. Avez-vous déjà projeté des fulldomes stéréoscopiques ou avez-vous des suggestions sur la manière dont nous pourrions les intégrer dans notre travail ? Je serais heureux d'entendre vos pensées et vos idées.
Et s'il y a des lacunes par rapport aux pièces plus emblématiques.... Là encore, nous comptons sur l'IA pour améliorer la qualité vidéo. Mais la recherche, sur le terrain, reste à faire.
Conclusions
Au final, notre choix d'outils et d'équipements numériques reflète une volonté de ne pas faire de compromis sur la qualité tout en gardant un œil sur le budget.
En bref, nous créons quelque chose qui va au-delà du cinéma traditionnel. Grâce à l'intelligence artificielle et aux technologies de pointe, le "cinéma du futur" n'est plus un rêve. Il est réel, nous voulons le voir se réaliser. Et avec le génie de Gérard Bernasconi au scénario (qui nous a également apporté une grande contribution technique), la précision de l'écriture et la qualité de l'interprétation. Michela Sette dans le rôle de superviseur VFX et la créativité de l'équipe d'encadrement. Michele Pelosio en tant que réalisateur, nous sommes en train de forger une expérience cinématographique révolutionnaire. Préparez-vous, car nous sommes sur le point de vous emmener dans un monde où le cinéma et la réalité se fondent en une expérience transcendantale 🙂 .
French 
English 
Italian 
Spanish