Nell'articolo di oggi, voglio iniziare presentandovi un importante progetto a cui stiamo lavorando con il solito nExtche unisce intelligenza artificiale e cinema. Stiamo utilizzando l'intelligenza artificiale per la produzione cinematografica in un film immersivo a 360 gradi, inizialmente proiettato in cupole mobili. Sfruttando tutte le più recenti tecnologie, sarà un'esperienza memorabile che combinerà reale e virtuale. In pratica: una pietra miliare per quello che sarà il cinema del futuro.
Promette di lasciare un segno profondo e di rappresentare una svolta significativa nella storia del cinema. Per un cinema più democratico, più presente tra la gente, che unisce... Quello che era il cinema delle origini e che per tanto tempo non è riuscito a essere.
In questo articolo voglio parlare a grandi linee, dal punto di vista tecnico, dell'idea di base. E condividere con voi alcune possibili aree di utilizzo dell'intelligenza artificiale per ottenere il massimo con un budget volutamente ridotto.
Possiamo anche considerarlo un aggiornamento, in fase molto più avanzata, dell'ultimo articolo scritto nel febbraio 2023 dal titolo. Come realizzare film a basso costo con l'intelligenza artificiale - Primi passi. .
Indice dei contenuti
L'impatto rivoluzionario dell'intelligenza artificiale nel cinema
Un tempo gli effetti speciali e le tecniche narrative erano le bacchette magiche del cinema, ma oggi l'intelligenza artificiale sta giocando una carta rivoluzionaria. È un aiuto incredibile, un complice che apre le porte a un'innovazione senza precedenti. Stiamo cavalcando quest'onda, con l'intelligenza artificiale al nostro fianco che ci aiuta a creare storie avvincenti, personaggi digitali che sembrano reali e musica che arriva dritta al cuore. Ma non dimentichiamo il tocco umano, il vero cuore pulsante di ogni nostra creazione.
"Intelligenza artificiale e cinema" non è un motto di circostanza, ma l'inizio di un nuovo capitolo della narrazione. Siamo pronti a dimostrare che il futuro dell'intrattenimento non è più un sogno lontano: è qui, ed è animato dall'intelligenza artificiale.
Luna Dolph, Kyle e la Cina: dalla vita virtuale a quella reale
La storia, sceneggiata da Gérard Bernasconi , inizia con la storia di Luna Dolph, Kyle e CinaNon si tratta di semplici personaggi, ma di avatar tridimensionali che danno vita a un mondo virtuale affascinante e complesso. Questi avatar non sono solo i protagonisti di una storia, ma anche i simboli della nostra epoca. Rappresentazioni vivide di la nostra progressiva immersione nell'universo virtuale, noto anche come il metaverso. Questo concetto, un tempo relegato alla fantascienza, sta rapidamente prendendo forma e influenzando diversi settori, dai videogiochi alle piattaforme di social network, trasformando il modo in cui interagiamo, lavoriamo e ci divertiamo.
Realtà virtuale e identità digitali
Il nostro obiettivo non è solo quello di raccontare una storia avvincente, ma anche di invitare il pubblico a riflettere sulla natura della realtà in un'epoca digitale. Questi avatar, con le loro complesse interazioni e i loro mondi intricati, rappresentano la continua fusione delle nostre vite fisiche e digitali. Una convergenza che sta ridefinendo il significato stesso di identità, comunità e appartenenza.
Al centro della nostra narrazione troviamo Luna Dolph, Kyle e China. Sono tre avatar tridimensionali le cui vite si svolgono in un mondo virtuale di straordinaria bellezza. Pur esistendo nell'etere digitale, la loro storia è un ponte con la realtà, un mezzo per ricordare ai nostri spettatori il valore insostituibile dell'interazione umana e della vita reale. In un'epoca in cui la digitalizzazione ha trasformato i nostri modi di relazionarci, la nostra narrazione mira a usare la tecnologia non come un rifugio, ma come un trampolino di lancio per riscoprire e rinvigorire una socialità autentica e tangibile.
La tecnologia aiuta a vivere meglio
Mentre Luna, Kyle e China navigano in un affascinante metaverso, le loro esperienze e sfide risuonano con un messaggio chiaro: la tecnologia, per quanto avanzata, è uno strumento che, se usato con saggezza, può arricchire ma non sostituire il calore e la complessità delle connessioni umane. Il nostro obiettivo è far emergere la consapevolezza che, nonostante l'attrattiva del digitale, la vita reale si svolge fuori dallo schermo. Nelle risate condivise, nelle strette di mano, negli abbracci e nei momenti spontanei che costituiscono il tessuto della nostra esistenza.
Con questa narrazione, aspiriamo a ispirare gli spettatori a sollevare lo sguardo dai loro dispositivi e a immergersi nuovamente nel mondo reale, arricchendo le loro vite con esperienze autentiche. Attraverso l'esplorazione dei mondi virtuali, vogliamo celebrare e promuovere la bellezza e l'importanza insostituibile della vita reale e della socialità umana.
Il film rappresenterà la prima uscita nel mondo reale per i tre personaggi principali.
Come utilizziamo l'IA nella produzione cinematografica
Siamo ancora in fase di pre-produzione, quindi da un punto di vista pratico vi terrò aggiornati nei prossimi mesi. Per ora, abbiamo un'idea di massima: abbiamo selezionato un compendio delle più recenti tecnologie di intelligenza artificiale (IA) che sono al tempo stesso accessibili e disponibili per tutti.
Il film sarà in fulldomeformato immersivo a 360×180 gradi. In pratica lo proietteremo in cupole e planetari. Si tratta di un'innovazione cruciale che guarda al futuro, visto che ci spingiamo sempre più verso l'immersività totale. E abbiamo un budget limitato, diciamo tra i 10 e i 20.000 euro a occhio e croce. Il film durerà circa 40 minuti, e si svolgerà per circa il 30% nel mondo virtuale di Luna e dei suoi amici (interamente ricreato in Motore irreale ), per i restanti 70% nel mondo reale.
Utilizzo di Luma AI per il cinema del futuro
Per iniziare a parlare di questo arsenale tecnologico, cito quanto segue Luma AI, una soluzione pionieristica che rivoluziona completamente la generazione di ambienti tridimensionali. L'intelligenza artificiale Luma ci permette di riprodurre ambienti reali all'interno di Unreal Engine, con una qualità fotorealistica e un'ottima qualità. anche con un iPhone. Utilizzando tecnologie avanzate come il Campi di irradiazione neurale (NeRF) e il nuovissimo Splatting gaussiano (quest'ultimo pubblicato appena tre mesi fa dall'Università della Costa Azzurra, in Francia), possiamo catturare la complessità e la ricchezza del mondo reale in formato digitale, inserirlo in Unreal Engine (compresa la possibilità di muoversi liberamente all'interno della scena) e dare vita a scene precedentemente relegate solo ai grandi budget.
Riduciamo i costi associati alla creazione di ambientazioni dettagliate e oggetti complessi, oltre a semplificare e velocizzare il processo di produzione. Luma AI non solo democratizza l'accesso a tecnologie di livello mondiale, ma ci fornisce anche gli strumenti per sperimentare a una velocità prima inimmaginabile. E ci permette di conferire un livello di vivacità e profondità senza precedenti alle nostre scene.
Skybox AI per il cinema - Illuminazione semplificata su Unreal Engine
Un altro strumento fondamentale del nostro repertorio è Skybox AI da Laboratori Blockade per la creazione di un'esperienza immersiva skybox. Arricchire le scene virtuali con dettagli vitali su illuminazione e ambientazione.
A skybox in Unreal Engine non solo fornisce un'ambientazione visivamente convincente (montagne, cielo, case lontane, ecc...), ma influisce anche sull'illuminazione complessiva delle risorse 3D all'interno della scena.. Questo è l'aspetto che più ci interessa nel cinema: agisce come una fonte di luce ambientale, riflettendo i suoi colori e le sue tonalità sugli oggetti, aiutando a creare un'atmosfera coerente e realistica. Ad esempio, uno skybox che raffigura un tramonto infonderà sulla scena calde tonalità arancioni e rosse, mentre uno skybox notturno fornirà una luce più fredda e fioca. Questo processo aiuta a integrare le risorse 3D nell'ambiente circostante, rendendo l'intera esperienza visiva più coinvolgente e coerente.
Aspetto che si rivela essenziale nella creazione di ambienti fulldome a 360 gradi. Ogni minimo dettaglio è fondamentale per sostenere l'illusione di un mondo completamente immersivo.
Utilizzo di Kaiber AI per il nostro film
Kaiber AI è utile e di qualità, ma ho un dubbio serio: non so se funziona con i video fulldome. Non ho ancora avuto il tempo di sperimentarlo, ma forse aiuterà a smussare le scene in modo che le risorse possano essere unite ancora meglio. Funziona tramite AI direttamente sui file video finali.
Intelligenza artificiale e cinema: Reverie AI
In previsione del lancio di Reverie AI Siamo stimolati dalle sue promesse di creare mondi virtuali per Unreal Engine quasi "copiando" un'immagine preesistente. La sua capacità di generare scenari che imitano fedelmente la realtà, unita al suo potenziale nella correzione del colore delle scene virtuali, apre le porte a possibilità illimitate nella narrazione visiva. Reverie AI promette di essere un eccellente complemento al nostro flusso di lavoro, migliorando la coerenza visiva e garantendo transizioni fluide e convincenti tra il mondo virtuale e quello reale.
Move.ai, mocap economico e funzionante
Un altro strumento "intelligente" che intendiamo utilizzare per il nostro film sarà Muoversi.ai, in particolare il servizio economico Muoversi uno (in offerta lancio a $15 al mese, poi previsto a $30). Con un semplice Applicazione per iPhoneSaremo in grado di creare animazioni personalizzate semplici e pronte per l'uso, senza troppe correzioni o ripuliture. Questo riduce tempi e costi, permettendovi di non essere limitati dalle animazioni già disponibili in servizi come Mixamo , AttoreCore o il Mercato MoCap da Noitom.
Ecco un rapidissimo video di prova:
Chiaramente, hanno anche un servizio professionale più costoso che consente di utilizzare fino a 8 sale. Ma non contiamo di utilizzarlo per questa prima produzione, a meno che non ci sia una reale necessità.
Speech-to-speech per il doppiaggio dei film... È possibile?
Nella nostra produzione, l'innovazione non si ferma alla creazione del mondo digitale; infatti, vogliamo approfittare della rivoluzione tecnologica in corso anche negli aspetti tradizionali della cinematografia, come ad esempio doppiaggio.
La voce di Luna e degli altri avatar 3D deve essere coerente (per non dire identica) in tutti i media, sia nel mondo virtuale che in quello reale. Ci troviamo di fronte a una sfida complessa: mantenere la stessa voce su più piattaforme, compresi i social media e soprattutto lo streaming in tempo reale, senza legarci ad un singolo doppiatore. Questo ci permette di avere flessibilità nella narrazione e di adattarci a vari formati senza dipendere dalla disponibilità di un attore specifico.
L'idea è quella di replicare le voci di alcuni attori reali e di associarle a degli avatar. (Luna, Kyle e China per cominciare), trasformando poi la voce di qualsiasi attore, in tempo reale, in quella di Luna, per utilizzarla sia per il doppiaggio di film e contenuti social (sia in lingua originale che nelle traduzioni), sia per il streaming in diretta sovrapponendo queste voci all'avatar animato in cattura del movimento.
Dall'eccellente ma costoso Respeecher all'ambiguo Voicemod.
Abbiamo esplorato opzioni quali Ripetitore , uno strumento avanzato di conversione speech-to-speech, ma i costi per il tempo reale sono proibitivi. Si parla di 1.000 o 2.000 al mese per poche ore di utilizzo. Voicemod si presenta come una soluzione più economica grazie alla sua Voci AI, anche se ci sono voci contrastanti sulla sua affidabilità (alcuni lo ritengono addirittura un malware o un cryptojacking...). E rimane il problema di non avere i diritti della voce, di cui sono proprietari, che sicuramente si rivelerà un problema in futuro. Non conosco ancora il costo per la conversione in tempo reale di Assomigliare.ai , che ho usato in passato per il text-to-speech, molto più economico, e di Voce Veritone .
Un altro strumento che non ho potuto testare è Voidol 3 al costo di circa $300. Non sono riuscito a trovare una versione demo, ma ammetto di non aver nemmeno provato a richiederne una. Si tratta di uno dei tanti software orientali nati dalla tipica passione giapponese per il mondo degli anime. Ma in realtà è adattabile al nostro scopo, come vedremo tra poco con un altro giapponese.
MetaVoice Live, Mangio RVC Fork e W-Okada Voice Changer, gratuiti e open-source
Le soluzioni finali, dopo molte ricerche, sono. MetaVoice dal vivo e il Voce Cambiatore da W-Okada. Entrambi open source, che ci rassicura sul fatto che possiamo basare la "vita futura" dei personaggi su questi servizi, e sia libero. Non posso non citare il canale YouTube Strumenti AI Ricerca che mi è stato molto utile. Tra i video più interessanti in quest'area, sicuramente questo:
Mi piace particolarmente MetaVoiceÈ in fase di sviluppo e dispone di una versione cloud per le conversioni non in tempo reale che offre maggiore qualità e flessibilità. Questa non è gratuita, ma il costo tra $10 e $25 al mese è tutto sommato affrontabile.
Al contrario, W-Okada 's Cambiamento di voce Molti sviluppatori indipendenti stanno sviluppando soluzioni compatibili con esso, come l'utente GitHub Mangio621 che ha creato il Forcella Mangio RVC , un software con interfaccia Web in grado di trasformare la voce di un attore reale in quella del modello vocale scelto. Molti di questi modelli, soprattutto di personaggi famosi, sono già disponibili su siti come Modelli di voce.com in formato ".pth". Un formato classico utilizzato nell'apprendimento automatico), ma la cosa migliore è che con lo stesso formato Mangio RVC possiamo eseguire l'addestramento, o la formazione, di una voce personalizzata. Il tutto localmente grazie a una buona scheda video. E quindi chiaramente sempre disponibile, e gratuitamente.
A breve, tuttavia, pubblicherò un articolo specifico su questo argomento. Quindi seguitemi mentre eseguo alcuni test interessanti.
Generazione di video con intelligenza artificiale
Un uso dell'intelligenza artificiale nella produzione di film può essere quello di creare testi e video. Ma quanto può essere utile generare video con l'intelligenza artificiale? Intendo dire partendo da zero, descrivendo all'IA in forma testuale (o con un riferimento video molto semplificato) ciò che si vuole ottenere. Un po' il futuro, ad oggi strumenti come Pista Gen-1 , Genmo AI , o Moonvalley AI sono poco più che esperimenti. Utili in alcuni frangenti, ma lontani dalla qualità e dal realismo necessari per una produzione cinematografica.
Evidentemente, dovremo lavorare ancora per qualche anno per ottenere i nostri film 🙂
Canon EOS R5C e doppio obiettivo Fisheye per video fulldome 3D
E le riprese in live action? Nel nostro percorso, ci stiamo cimentando con una combinazione di attrezzature molto interessante. Teniamo sempre presente l'obiettivo: poca spesa, molto ritorno. Inizialmente avevo pensato di riprendere tutto a 360 gradi, anche per renderlo già compatibile in caso di futuro porting in realtà virtuale. Ma il costo è diventato proibitivo, sia per la videocamera (una videocamera professionale come la Insta 360 Titan che, tra l'altro, non viene aggiornato da anni e costa più di 17.000 euro), e per le difficoltà di partire dall'inizio con un campo così vasto.
L'idea è quindi quella di produrre il video giusto per la cupola, in 360×180 gradi (in pratica metà della sfera). E la lente Canon RF 5,2 mm F2,8 L Dual Fisheye , accoppiato con il Canon EOS R5C dovrebbe rivelarsi una scelta vincente. Questa configurazione non solo fornisce immagini coinvolgenti, ma ci permette anche di sperimentare riprese stereoscopiche, che aggiungono un ulteriore livello di profondità e realismo.
La fotocamera Canon EOS R5C, con la sua gamma dinamica tra 11 e 12 stop e il sensore 8K, offre un eccellente rapporto qualità-prezzo. Questa è una considerazione importante per noi, che cerchiamo di mantenere un budget equilibrato senza sacrificare la qualità. Valuteremo anche se noleggiarla ... Da Adcom , obiettivo e macchina fotografica sono offerti a circa 200 euro al giorno.
A dire il vero, non possiamo ancora sfruttare appieno il potenziale della stereoscopia a causa della proiezione, ma è sicuramente qualcosa che vorremmo esplorare in futuro. È una di quelle cose che sembrano davvero fantastiche e che potrebbero aggiungere un tocco speciale al nostro progetto. Avete mai proiettato fulldome stereoscopici o avete qualche suggerimento su come integrarli nel nostro lavoro? Sarei felice di ascoltare i vostri pensieri e le vostre idee.
E se sarà carente in qualcosa rispetto a camere più blasonate.... Anche in questo caso, contiamo di sfruttare l'intelligenza artificiale per migliorare la qualità video. Ma la ricerca, sul campo, deve ancora essere fatta.
Conclusioni
In definitiva, la nostra scelta di strumenti e apparecchiature digitali riflette il desiderio di non scendere a compromessi sulla qualità, pur tenendo d'occhio il budget.
In breve, stiamo creando qualcosa che va oltre il cinema tradizionale. Grazie all'intelligenza artificiale e alla tecnologia d'avanguardia, il "cinema del futuro" non è più un sogno. È reale, vogliamo vederlo realizzato. E con il genio di Gérard Bernasconi alla sceneggiatura (che ci ha dato anche un grande contributo tecnico), la precisione di Michela Sette nel ruolo di Supervisore VFX e la creatività di Michele Pelosio come regista, stiamo creando un'esperienza cinematografica rivoluzionaria. Preparatevi, perché stiamo per portarvi in un mondo in cui cinema e realtà si fondono in un'esperienza trascendentale 🙂
Italian 
English 
French 
Spanish