Réaliser son premier film 360

Plongée dans les méandres de la réalisation 360 avec un passage en revue de de principes de base qui vous épargneront peut-être quelques écueils…

La caméra Kandao Obsidian en action. © Neotopy

Alexandre Regeffe

Le film 360 suscite un certain intérêt depuis quelques années, et permet aux créatifs de tous bords de proposer à leurs clients, collaborateurs, spectateurs, une immersion inédite au cœur de fictions, documentaires, visites virtuelles, films corporate. Cette nouvelle façon de raconter des histoires exige des connaissances, une rigueur et une bonne préparation. Nous proposons dans ce dossier de vous présenter les différentes étapes à suivre.

VR ou 360 ?

Sans nous lancer dans ce débat qui oppose régulièrement puristes de la réalité virtuelle et professionnels du marketing, il faut quand même aborder ce sujet sensible : peut-on considérer que le film 360 est une expérience de réalité virtuelle ? La confusion est parfois savamment entretenue, et cela peut poser problème, notamment par rapport à certaines attentes de clients pour qui les différences ne sont pas comprises.

La liberté d’action est ce qui distingue le film 360 de la réalité virtuelle : en VR nous évoluons dans un monde représenté en 3D et en temps réel, nos actions influencent le déroulement de l’expérience. En tant que spectateur, je peux m’y déplacer, interagir avec certains éléments de l’environnement, manipuler des objets, je bénéficie de six degrés de liberté (rotation et translation), bref, mon cerveau est stimulé et j’ai l’impression de vivre « le réel ».

C’est la grande différence avec le film 360 dans lequel les possibilités d’action sont limitées aux trois degrés de liberté (rotation) : je peux tourner ma tête dans tous les sens pour voir le film, précalculé, projeté à l’intérieur d’une sphère dont je suis le centre.

Deux immersions très différentes donc, qui impliquent d’une part des savoir-faire liés à la programmation et à la gestion des moteurs temps réels pour la réalité virtuelle, et d’autre part des connaissances de réalisation audiovisuelle au sens large. Rassurez-vous, professionnels de la vidéo et de l’audio, vos connaissances et acquis seront précieux !

Avant de vous lancer

Les trois commandements : préparation, préparation et préparation ! Et, pour les néophytes, la première chose à faire est d’expérimenter. Achetez un casque VR autonome de bonne facture (la gamme Oculus tient le haut du pavé, suivie par Pico) et plongez pendant des heures dans les centaines de films 360 de tous genres, disponibles gratuitement sur des plates-formes YouTube, Oculus TV ou Within par exemple.

Vous allez découvrir que certains créateurs maîtrisent parfaitement le sujet, et d’autres un peu moins ! Et bien sûr lors de ces visionnages, vous aurez de grandes chances de vivre votre première cinétose (mal des transports) ! Exactement ce que vous ne voulez pas faire subir à vos futurs spectateurs… Nous parlerons plus loin des pièges à éviter à ce sujet.

Le choix du matériel, plus particulièrement celui de la caméra, est important : il va conditionner la fluidité du workflow, qui doit être adapté à la nature de votre projet. Par exemple, pour une fiction en 360, le directeur de la photographie voudra privilégier une caméra avec laquelle il pourra bénéficier d’un large choix de réglages à la prise de vue, notamment une ouverture manuelle variable, disponible sur la gamme pro de Zcam (ce qui est assez rare sur les caméras 360 all-in-one du marché). En reportage ou en documentaire, l’opérateur, souvent seul, privilégiera une caméra robuste et plus simple d’utilisation comme la Obsidian de chez Kandao.

Vous trouverez un article détaillé à propos des caméras 360, dans le numéro 3 de Moovee, qui vous aidera à faire votre choix. Un pied de caméra adapté, c’est-à-dire avec un minimum d’emprise au sol, un micro ambisonique (parce que le son spatialisé est une composante essentielle dans un film 360 comme nous le verrons) et c’est parti ? Vous allez un peu vite, vous êtes influencé par l’effet « waouh »…

Comme dans toute expérience, le plus important est l’histoire que vous décidez de raconter. La première question à la préparation se pose donc : pourquoi la 360 ? Que va apporter ce format à mon histoire ? En quoi est-ce pertinent ?

Si vous ne savez ou ne pouvez pas répondre à ces questions, vous êtes face à un écueil. Vous considérez que la technologie va vous apporter à elle seule des réponses alors qu’elle n’est qu’un outil au service de votre créativité. Ceci est valable aussi bien pour une fiction que pour un film corporate de commande ou n’importe quel autre type de vidéo 360.

Dans une fiction 360, je suis au cœur des séquences, alors qui suis-je dans le film ? Ai-je un rôle dans l’histoire ou suis-je seulement un observateur « fantôme » ? Dans un documentaire, suis-je placé au bon endroit dans la scène pour ressentir de l’empathie vis-à-vis des protagonistes ? Comme vous le voyez, beaucoup de questions émergent… Une des raisons à cela est la relative « immaturité » du film 360.

Prenez l’exemple du cinéma : les théories sur l’écriture, la réalisation nous accompagnent depuis plus de cent ans ! Plan large, zoom, entrée et sortie de champ, tous ces termes constituent une grammaire pas vraiment adaptée au 360. Nous entrons, en tant que créateurs, dans une démarche empirique qui passe par l’expérimentation, mais sans se faire au détriment du spectateur ! Dans un film immersif bien réalisé, le storytelling, l’histoire qu’on me raconte, devient l’histoire que je vis : le storyliving. C’est une notion importante à avoir en tête, pour marquer une différence avec un film traditionnel « à plat », visionné à travers une fenêtre (TV, smartphone, écran de cinéma) qui induit souvent une certaine distanciation avec l’histoire, le sujet.

Le film 360 est « frameless », il s’affranchit du cadre physique et replace le spectateur au cœur de ce qui devient une expérience. Visionner un film 360 autrement que de manière immersive dans un casque VR semble donc être un non-sens, sauf dans le cas où le lieu est le sujet. Par exemple, les visites virtuelles à 360 que proposent les agences immobilières « 2.0 » sont un moyen unique de se « projeter » plus facilement dans son futur chez-soi à travers l’écran de son ordinateur ou de son smartphone. Le succès de Google Street View est une autre illustration de l’utilité de ces images panoramiques. Mais puisque vous êtes maintenant équipé d’un casque VR, essayez donc sa version immersive Google Earth !

Après avoir visionné des expériences et travaillé votre projet, vous allez entrer dans cette étape où il va falloir améliorer vos compétences en tournant des images tests. Facile ! Les petites caméras comme l’insta360 One X sont là pour vous. Simples d’utilisation, elles vous permettront par exemple de vous familiariser avec le placement de la caméra (hauteur, proximité, orientation).

L’étape du storyboard est intéressante, car c’est à ce stade que l’on peut introduire de nouvelles représentations adaptées à la narration 360 qui vont permettre de mieux appréhender entre autres les « zones d’actions » et les « zones blanches », les distances de mise en scène, l’enchaînement des points de vue entre les séquences. Et pour votre première réalisation, si vous le pouvez, sachez vous entourer ! Un chef opérateur 360 expérimenté, un ingénieur du son rompu aux techniques de spatialisation vous permettront de gagner du temps (et donc de l’argent) en postproduction.

Le tournage : restez calme, et n’oubliez rien !

Capturer l’image à 360, c’est assez déroutant comme vous vous en rendrez compte lors de vos essais. Beaucoup de problématiques sont à résoudre : la caméra voit tout, dans toutes les directions. Il faut donc se cacher !

Très simple, quand votre caméra est dans une pièce et que vous pouvez vous réfugier dans celle d’à côté. Mais imaginez-vous au milieu du lac salé dans l’Utah, avec une équipe composée d’une dizaine de personnes pour tourner un plan 360… La technique dans ce cas sera de tourner des « plates » qui seront ensuite utilisées pour effacer les éléments indésirables : on tourne le plan principal, puis l’équipe se déplace tout en laissant la caméra en place, et on tourne la « plate ». Pas très compliqué quand on maîtrise la lumière ambiante et que le plan est fixe. À ne surtout pas oublier dans le plan de tournage !

Évidemment c’est une autre histoire quand la caméra est en mouvement, dans le cas d’un plan drone par exemple. Dans ce cas, il va falloir passer plus de temps en postproduction.

Restons sur le sujet du « moving shot » qui, en 360, s’il n’est pas maîtrisé, peut poser de sérieux problèmes : rappelez-vous la cinétose. Nous ne sommes pas égaux devant ce phénomène de mal des transports. Certains ne le ressentent pas, et d’autres y sont hypersensibles. Cette discordance des informations transmises au cerveau par notre système visuel (nos yeux) et par notre système vestibulaire (l’oreille interne) provoque malaise, nausées, sueurs froides… Le spectateur équipé du casque est rendu malade par l’expérience.

Essayez d’imaginer : vous êtes assis immobile et regardez un film 360 dans un casque, la scène est un POV. Le réalisateur vous place dans la peau d’une personne qui fait son jogging, s’arrête, repart et qui tourne la tête sans arrêt pour admirer le paysage. Essayez de résister, vous êtes en train de vivre le pire de l’immersion !

Dans cet exemple, il y a d’abord un travelling de la caméra vers l’avant non stabilisé, non linéaire, que vous subissez en voyant les mouvements d’un corps qui vous est étranger. Le vôtre est statique et en position assise. Vos yeux disent à votre cerveau que vous êtes en train de courir alors que votre oreille interne envoie une information d’immobilité !

Vous tenez encore le coup ? Venons-en au pire : les panoramiques forcés. La caméra effectue une rotation à gauche dans le film 360 tandis que dans le même temps, vous, qui voulez profiter des fameux trois degrés de liberté, vous voulez explorer la sphère et tournez votre tête à droite. En principe, vous n’allez pas résister à l’épreuve et vous allez arracher votre casque, prendre votre tête entre vos mains et essayer d’oublier tout ça.

On peut résumer en disant que les mouvements de caméra vraiment déconseillés sont ceux que le spectateur est libre de faire lui-même dans la sphère 360 : tilt, pan et roll, les mouvements de rotation (3DoF). Les mouvements de translation doivent quant à eux être utilisés avec parcimonie. Un mouvement d’élévation, lent et linéaire, peut apporter une sensation unique et impressionnante de « décoller ». Cette impression de voler est souvent agréable, et vous pouvez la simuler avec un cablecam ou un drone, selon les situations. L’important, c’est aussi d’assurer une bonne stabilité des plans avec machinerie, de façon à simplifier le travail à l’étape de postproduction.

Les caméras 360 sont aujourd’hui presque toutes équipées de capteurs IMU (unité de mesure inertielle) et de gyroscopes qui vont enregistrer en temps réel l’orientation et permettre une stabilisation automatique à l’étape du stitching, comme le système « flowstate » de Insta360.

Vous allez aussi devoir gérer une quantité de datas plus importante que lors de la production d’un film traditionnel. Selon les caméras, vous enregistrerez de deux fois (pour une caméra à deux lentilles dite « backtoback ») à… quarante-deux fois (caméra 360 Eye) la quantité d’informations par rapport à une caméra classique ! Courage au DIT qui devra gérer la sauvegarde des rushes. Ce poste de travail sur une captation 360 apparaît indispensable.

Le technicien va également gérer le retour vidéo de l’image stitchée basiquement (la sphère reconstruite) en temps réel, ce qui permettra au réalisateur de pouvoir mettre en scène plus facilement, et notamment gérer les « lignes de stitch » en optimisant le placement des personnages ou éléments de décor. Les caméras 360 proposent des logiciels qui permettent cette visualisation sphérique en direct, avec plus ou moins d’options, comme chez le fabricant Zcam qui autorise ce retour vidéo un peu particulier directement dans un casque VR.

Bien d’autres spécificités et contraintes vous attendent sur le tournage comme vous le découvrirez. Mais rien n’est insurmontable, et lorsque tout « sera dans la boîte », vous pourrez passer à l’étape suivante, qui ne va pas s’avérer être une mince affaire…

La postproduction : outils et méthodes spécifiques

Professionnels de l’audiovisuel, vous allez pouvoir mettre à profit vos connaissances de l’image et du son. Cette étape essentielle comporte des éléments communs comme le montage, le mixage, le compositing, mais chacun d’eux va inclure des spécificités propres au 360 qu’il va falloir intégrer dans votre workflow. Commençons par une phase qui vous est inconnue : le stitching. C’est un temps essentiel dans la fabrication du film 360. Il s’agit d’assembler, de coudre, (« to stitch » en anglais) l’ensemble des points de vue captés par la caméra 360 et de reconstituer ainsi une sphère complète. Cette technique est maîtrisée depuis très longtemps par les professionnels de la photographie panoramique qui disposent pour cela de logiciels tels que PTGUI ou HUGIN.

Pour l’image en mouvement, c’est un peu plus complexe. Mais rassurez-vous, les progrès de la technologie sont tels que le stitching est aujourd’hui géré de manière quasi automatique. Plusieurs solutions s’offrent à vous. Vous pouvez utiliser un logiciel fourni par le fabricant de la caméra 360 que vous avez utilisée au tournage, comme par exemple Insta360 Stitcher, Kandao Studio ou Zcam Wonderstitch.

Dans ce cas, vous bénéficiez d’une optimisation des résultats grâce à la récupération des métadonnées de tournage, notamment en ce qui concerne la stabilisation des images et la calibration de chacune des lentilles par exemple. L’inconvénient : vous ne pourrez pas faire d’ajustements manuels précis si vous avez eu des problèmes au tournage qu’il faut corriger. Pour cela, il va falloir vous orienter vers des logiciels plus spécifiques comme Nuke ou Mistika VR. Ce dernier est sans conteste la solution la plus utilisée par les professionnels du film 360 à travers le monde. Mistika VR combine des avancées technologiques majeures comme une gestion fine de « l’optical flow » et une possibilité d’agir manuellement sur les lignes de stitch en les déplaçant, pour éviter certaines coutures trop visibles.

À noter : Insta360 propose, pour encore plus de facilité, un workflow « virtual stitch » avec son plug-in pour Adobe Premiere. Dans ce cas, le stitching est virtualisé au moment de l’étape du montage et il fournit à l’utilisateur une sphère reconstituée en temps réel. C’est au moment de l’export final que le rendu 360 sera effectué. Résultats corrects si vous avez utilisé une caméra à deux lentilles comme l’Insta360 One X, mais gestion plus compliquée avec une Insta360 Pro2…

Voilà ! Après de nombreux essais, vos plans sont prêts, vous avez le stitch parfait, la belle image équirectangulaire aux coutures invisibles. Il est temps d’assembler vos séquences, de passer au montage.

Aujourd’hui, c’est Adobe qui propose les meilleurs outils optimisés pour l’image 360, intégrés à sa suite. Vous pouvez aussi utiliser Final Cut Pro X ou Da Vinci Resolve (dans sa version payante studio), Avid ne proposant malheureusement pas encore de fonctions spécifiques dans son logiciel. Vous allez découvrir plusieurs avantages à utiliser Adobe Premiere. Le premier est de bénéficier d’un retour en temps réel de votre timeline 360 dans un casque VR filaire, grâce à une connexion via le logiciel steamVR. C’est indispensable pour se rendre compte de la pertinence de l’enchaînement des plans, de leur durée suffisante ou non, etc. Un autre avantage est la possibilité d’utiliser des effets natifs contextualisés, rassemblés sous le groupe « vidéo immersive ».

Vous trouverez dans ce dossier différents outils qui vous permettront de reprojeter automatiquement dans la sphère les titrages et autres logos dont vous aurez besoin. Au-delà des outils techniques et des logiciels, voici quelques trucs et astuces à connaître quand on débute le montage 360.

Un premier plan assez long et contemplatif permet d’abord au spectateur d’explorer la première scène (n’oubliez pas qu’il découvre peut-être pour la première fois la 360 dans un casque) puis de concentrer son attention sur l’action qui a lieu à un endroit précis de la sphère. La difficulté majeure est de guider spectateur qui, rappelez-vous, porte des œillères (le champ de vision de la majorité des casques est de 110 degrés, beaucoup moins que le champ de vision humain qui est lui de 200 degrés environ). La réalisation doit l’inviter à regarder un endroit précis de la sphère à un instant donné, sans le « perdre » dans un enchaînement de plans où les points d’intérêts ne seraient pas correctement placés, pouvant mener à de l’inconfort ou à l’incompréhension du film 360, voire aux deux. Certaines méthodes existent et sont intéressantes à expérimenter dans certains cas, comme celle de Jessica Brillhart avec son « montage probabiliste ».

Après le montage, il vous faudra passer a minima à l’effacement du pied de la caméra et éventuellement au compositing (souvenez-vous des « plates »). À cette étape également, Adobe vous propose ses outils comme Photoshop ou After Effects qui vont vous faciliter la vie et vous faire gagner du temps.

Et le son dans tout ça ? Souvent parent pauvre de certaines productions audiovisuelles, il a une importance fondamentale dans le film 360. La spatialisation sonore va permettre d’attirer le regard vers un endroit de la sphère. C’est donc un outil très utile pour le réalisateur : je suis spectateur, j’entends une porte qui claque à ma gauche, je tourne naturellement la tête dans la direction du son et je ne rate rien de l’action qui suit. Il faut donc prendre le temps de concevoir une bande son 360 à la hauteur, en utilisant l’un des nombreux plugs-in disponibles comme le gratuit Facebook 360 Spatial Workstation.

Vous avez maintenant quelques clés, mais bien d’autres aspects du film 360 restent à découvrir, comme la réalisation pour le live. Mais ceci est une autre histoire…

Pour aller plus loin :
• Théorie de la réalité virtuelle, Philippe Fuchs, Presse des Mines
• Réaliser son premier film en réalité virtuelle, François Klein, Génération Numérique

Article paru pour la première fois dans Moovee #4, p.84/88. Abonnez-vous à Moovee (6 numéros/an) pour accéder, dès leur sortie, à nos articles dans leur intégralité.