Depuis Mars 2025, La magie de l'IA a atteint des performances incroyables.
Cette magie est derrière l’expérience « Le Magicien d'Oz » de Sphere de Las Vegas.
En mars dernier, nous avions été associé à ce projet de folie.
Ce sont avec les outils Google DeepMind et Google Cloud que nous avons donné vie à un classique du cinéma à grande échelle à Las Vegas.
Depuis plusieurs mois, des milliers de chercheurs, programmeurs, artistes d'effets visuels dont D-view fait partie, archivistes et producteurs de Google DeepMind, Google Cloud, Sphere Studios, Magnopus, Warner Bros. Discovery et d'autres acteurs des industries du cinéma et de la technologie travaillent à porter ce classique de 1939 sur très grand écran.
Le 28 août, leur travail sa été présenté en avant-première à Sphere, le gigantesque complexe de Las Vegas qui innove en matière de divertissement depuis son ouverture en septembre 2023. L'intelligence artificielle générative sera désormais à l'honneur, aux côtés de Dorothy, Toto et d'une multitude de Munchkins. Il est tout à fait approprié qu'une œuvre qui a jadis repoussé les limites du cinéma le fasse à nouveau.
« Le Magicien d'Oz a la Sphere » est une entreprise tout aussi épique, alliant créativité et technologie.
L'histoire a investi l'espace sphérique de 18 600 places du lieu pour créer une expérience sensorielle immersive.
Il y a encore quelques années, un tel projet aurait été quasiment impossible avec les images de synthèse classiques. Il n'est devenu possible que grâce aux dernières avancées en matière de modèles multimédias d'intelligence artificielle générative, notamment Imagen et Veo, avec la contribution majeure de Gemini. L'équipe a due non seulement créer une expérience totale, mais aussi le faire exclusivement à partir du matériel original. Aucun nouveau dialogue ni aucune nouvelle musique n'ont été ajoutés pour enrichir ce classique pour le Sphere.
« Nous avons envisagé différentes approches », explique Jane Rosenthal, productrice nommée aux Oscars et aux Emmy Awards, qui participe à la production du « Magicien d'Oz au Sphere ». « Nous avons finalement compris que l'intelligence artificielle était indispensable. »
L'équipe n’a pu se contenter de quelques requêtes d'IA, de claquer des talons et de s'en contenter.
Buzz Hays, responsable mondial des solutions pour l'industrie du divertissement chez Google Cloud et producteur fort de 37 ans d'expérience à Hollywood, souligne qu'il s'agit de bien plus que d'utiliser l'IA pour adapter un vieux film à un nouveau format.
« Nous partons de l'image originale au format 4:3 sur une pellicule 35 mm – en réalité, il s'agit de trois négatifs distincts et granuleux ; c'est ainsi que l'on tournait en Technicolor », explique Hays. « Évidemment, cela ne fonctionnera pas sur un écran de 15 000 mètres carrés. Nous avons collaborés avec Sphere Studios, Magnopus et des artistes d'effets visuels tels que D-view et l’équipe de Philip Martin et d’autres du monde entier, en parallèle avec nos modèles d'IA, pour donner vie aux personnages et aux environnements originaux sur un tout nouveau support – créant ainsi une expérience de divertissement immersive qui respecte l'œuvre originale en tous points. »
Au début du projet, nombreux étaient les membres de l'équipe, y compris chez Google, qui se demandaient ouvertement si l'intelligence artificielle était suffisamment mature pour mener à bien le travail ou concrétiser la vision collective du groupe. Mais comme les images de synthèse traditionnelles ne suffisaient pas, du moins pas sans des dépenses colossales et des années d'efforts, et que tous étaient enthousiastes à l'idée d'innover, ils se sont mis au travail.
« Les modèles sont incroyablement novateurs », explique le Dr Steven Hickson, chercheur chez Google DeepMind et membre de l'équipe. « On trouvait quelque chose d'impossible, et puis un mois plus tard, on se disait : "En fait, peut-être qu'on pourrait le faire." »
On comprend aisément pourquoi cela paraissait impossible.
Agrandir les images granuleuses d'origine pour l'écran LED 16K de Sphere — l'écran à la plus haute résolution au monde — fut le premier défi, mais loin d'être le seul. L'équipe devait également tenir compte des coupes de caméra, inhérentes à un film traditionnel, qui suppriment des personnages de certaines scènes. Or, ces coupes étaient impossibles à réaliser à l'échelle cinématographique envisagée. Si les images de synthèse classiques auraient pu résoudre le problème d'échelle, elles auraient eu du mal à compléter efficacement le reste des scènes.
Prenons l'exemple du Lion peureux qui se jette sur ses futurs compagnons. La caméra effectue des panoramiques entre l'Épouvantail et l'Homme de fer-blanc, avec des plans sur Dorothy cachée derrière un arbre au loin. L'expérience acquise chez Sphere exigeait de conserver tous ces éléments ensemble, avec un niveau de détail hyperréaliste.
Pour y parvenir, l'équipe a dû surmonter trois obstacles techniques majeurs.
La magie du réglage précis
Grâce à des versions de Veo, Imagen et Gemini spécialement optimisées pour cette tâche, les équipes de Google et leurs partenaires ont développé un outil de « super résolution » basé sur l'IA. Cet outil permet de transformer les minuscules images de pellicule de 1939 en images ultra-haute définition qui prendront vie dans Sphere. Les équipes procèdent ensuite à un travail de retouche par IA afin d'étendre les scènes et de combler les espaces vides dus aux coupes de caméra et aux limitations de cadrage. Enfin, grâce à la génération de performances, elles intègrent des composites de ces performances légendaires dans les environnements agrandis.
Ensemble, ces techniques ont permis d'obtenir le naturel des gestes, la mise en scène et la finesse des détails que les images de synthèse classiques peinent à égaler.
« Lorsque nous avons reçu la demande, j'étais fou de joie », confie le Dr Irfan Essa, chercheur principal chez Google DeepMind et directeur de son laboratoire d'Atlanta. « C'est l'occasion idéale de démontrer la magie que nous avons pour créer grâce à l'IA. » Malgré la puissance des nouvelles technologies mises en œuvre, l'une des plus grandes avancées réside dans le respect des traditions cinématographiques : disposer d'une abondance de matériel supplémentaire. Outre les anciennes séquences, l'équipe a exploré les archives pour constituer une vaste collection de documents complémentaires, tels que le scénario, les illustrations de production, les photographies, les plans de décors et les partitions.
Grâce à un processus de mise au point, ces éléments sont importés dans Veo et Gemini afin que les modèles puissent s'entraîner sur des détails précis des personnages originaux, de leurs environnements et même sur des aspects de la production, comme les focales utilisées pour certaines scènes.
Avec un matériel source bien plus riche que le seul film de 102 minutes, la qualité des rendus s'est considérablement améliorée. Désormais, les taches de rousseur de Dorothy sont d'une netteté remarquable et Toto se déplace avec une fluidité accrue d'une scène à l'autre. Chaque modification, souligne Hays, a été réalisée en étroite collaboration avec Warner Bros., afin de garantir la fidélité à l'esprit de l'original. Suivez le code des briques jaunes.
« Avec une innovation de cette ampleur, on ne sait jamais où elle va nous mener », explique Jim Dolan, président exécutif et PDG de Sphere Entertainment. « Il faut oser prendre des risques. Ce que vous allez voir dans "Le Magicien d'Oz à Sphere" est clairement un acte de foi. »
