S3D & WibbleWobble

Pour le joueur curieux
Une description grand public de la technologie, de sa conception et de son fonctionnement. Si cela ne vous intéresse pas, pas besoin de le lire - c'est un contenu aride.

Comment un jeu dessine la 3D
La méthode habituelle pour produire une image 3D dans un jeu consiste à rendre la scène deux fois - séparément pour l'œil gauche et l'œil droit, en décalant virtuellement la caméra par rapport au centre de la scène. Cela consomme beaucoup de ressources et nécessite un support intégré du moteur de jeu. Loin d'être tous les jeux peuvent le faire. WibbleWobble propose deux chemins différents, et la différence entre eux est fondamentale - elle détermine à la fois la qualité de l'image et l'ensemble des artefacts visuels.

Premier chemin : Client ReShade - synthèse de la stéréo à partir d'une image plate
Le jeu rend une seule vue ordinaire. L'effet ReShade SuperDepth3D prend cette image ainsi que le tampon de profondeur de la scène et reconstruit un second point de vue en décalant les pixels selon la profondeur. Le moteur de jeu ne sait rien de la stéréo. C'est peu coûteux en termes de performances et fonctionne avec presque tous les jeux DX11/DX12. Le compromis réside dans les artefacts inhérents à la méthode elle-même. Ils sont décrits ci-dessous, dans les sections « Inconvénients ».

Deuxième chemin : Client OpenVR - véritable rendu 3D
WibbleWobble s'enregistre dans SteamVR comme un casque VR virtuel. Un jeu compatible VR, ou doté d'un mod VR, rend la scène deux fois à partir de deux caméras séparées par la distance interpupillaire, exactement comme le fait un vrai casque. L'IPD, la résolution par œil et la distance focale sont définis dans VR Config. Ici, WibbleWobble ne synthétise rien : il prend la paire stéréo toute prête et la restitue à l'écran en séquence d'images, en synchronisant les lunettes à obturateur. Cela coûte plus cher en performances, mais la géométrie 3D est absolument correcte. Pas de trous le long des contours, pas d'effet « carton » ; chaque œil reçoit ses propres reflets et reflets spéculaires. En substance, c'est un moyen de jouer à des jeux VR sur un moniteur ordinaire avec des lunettes 3D mais sans casque.

Reprojection - le mécanisme d'extension du champ de vision
La reprojection fonctionne dans les deux modes, y compris monocular. Un shader haute performance prend l'image du jeu et la projette sur la géométrie de votre espace de travail : sur un seul moniteur, ou quatre moniteurs, ou un écran incurvé. Grâce au suivi de tête (OpenTrack), l'image se décale pour suivre votre tête, et les moniteurs commencent à agir comme une fenêtre sur un monde virtuel - l'effet « aquarium VR ». Le but de la reprojection est d'obtenir l'échelle correcte du monde et le champ de vision (FOV) correct pour une utilisation multi-moniteurs. La reprojection peut être entièrement désactivée (Client Config -> Reprojection : Désactivé) et vous pouvez utiliser uniquement la sortie stéréo, le BFI et l'upscaler - le scénario habituel pour un seul écran.
* Il faut dire que l'auteur du projet était trop optimiste quant à l'idée d'« étendre le monde » sur plusieurs panneaux. Même les cartes graphiques puissantes n'ont pas assez de performances pour cela. Vous aurez de la chance si la vitesse suffit pour un seul écran 4K. Cela ne fonctionnera pas avec plusieurs écrans...

FOV (Field of View) : l'angle de vision. Il détermine quel secteur du monde la caméra virtuelle capture dans l'image. Il se mesure en degrés, séparément pour la verticale et l'horizontale. Un petit FOV (40-50°) ressemble à un téléobjectif : un secteur étroit avec de grands objets. Un grand FOV (100-120°) est grand-angle, comme une caméra d'action. Vous voyez beaucoup sur les côtés, mais les bords sont étirés et les objets semblent plus éloignés et plus petits. C'est un paramètre clé dans WibbleWobble. Le programme doit connaître l'angle sous lequel le jeu a dessiné l'image afin de la projeter correctement sur votre moniteur physique. C'est pourquoi Game Config comporte deux champs, FOV Vertical et FOV Horizontal, avec une exigence : la valeur doit correspondre à celle définie dans le jeu lui-même. Modifiez une valeur et l'autre est recalculée automatiquement pour correspondre au rapport d'aspect de la fenêtre.

Si le FOV est :
trop grand le monde paraît minuscule et l'échelle des objets est déformée
trop faible le monde semble gigantesque et tout vous domine
en 3D, la profondeur se brise en même temps que l'échelle, et la fatigue oculaire s'installe

Le suivi de tête comme « fenêtre sur le monde »
En utilisant la méthode OpenTrack, le gestionnaire de l'application suit la position de la tête et décale la projection afin que le moniteur affiche une fenêtre virtuelle sur la scène 3D. Cela crée un effet de parallaxe. Lorsque vous bougez la tête, l'image se décale légèrement, comme si vous regardiez réellement à travers une fenêtre.

Sortie stéréo en séquentiel de trames
L'application reçoit les trames du jeu à un rythme variable au fur et à mesure qu'elles sont prêtes, « comme elles viennent ». Le client ajuste ensuite la fréquence d'images pour une lecture à 60 Hz. La source de la paire stéréo peut être SuperDepth3D, un mod VR ou du contenu 3D prêt à l'emploi. WibbleWobble l'accepte au format côte à côte ou en damier (Client Config -> Source Format) et le décode dans FrameBufferDecode. Le moteur de rendu le convertit ensuite en un flux séquentiel de trames à 120 Hz tout en synchronisant les lunettes à obturateur. Les émetteurs suivants sont pris en charge : NVIDIA 3D Vision, Open3DOLED, projecteurs DLP, 3D Ready et un émetteur IR Arduino/VESA fait maison.

Lutter contre le flou de mouvement et la diaphonie
Le flou de mouvement est un flou produit par l'écran. Les dalles LCD et OLED modernes maintiennent un pixel allumé pendant toute la durée de la trame - le mode sample-and-hold. Tant que le pixel reste allumé et fixe dans une position, les yeux continuent instinctivement de suivre l'objet en mouvement. En conséquence, l'image « bave » sur la rétine elle-même, même si chaque trame individuelle affichée à l'écran est parfaitement nette. Plus un pixel reste allumé longtemps, plus la traînée est forte. Ce défaut masque les détails fins et dégrade en plus l'image en mode 3D.

Pour réduire la durée d'allumage du pixel, WibbleWobble propose deux outils :
Black Frame Insertion - insertion d'une trame noire entre les trames utiles (le paramètre Black Frame Insertion Interval dans Client Config).
CRT Beam Simulator de Blur Busters - un shader qui imite le balayage du faisceau d'électrons d'un CRT : il éteint l'image ligne par ligne plutôt que trame par trame. Il donne un meilleur résultat mais est exigeant envers l'écran : il nécessite un gamma 2.2 ou 2.4, l'ABL/APL désactivé et l'OLED en mode SDR. Sur les dalles FALD et MiniLED, il fonctionne mal à cause de l'inertie du rétroéclairage.

Ces deux modes ne doivent pas être activés en même temps. Lors de l'utilisation de CRT Sim, le paramètre Black Frame Insertion Interval dans Client Config doit être à zéro. Il convient de souligner séparément que le jeu peut tourner à un rythme inférieur à celui auquel l'écran produit des trames, et le programme comble les trames manquantes jusqu'à la fréquence de l'écran. Mais il ne s'agit pas de la génération de nouvelles images intermédiaires - c'est une répétition de trames déjà prêtes. Autrement dit, il n'y a pas la fluidité qu'apporte une méthode de rééchantillonnage.

La diaphonie est l'effet par lequel l'image destinée à un œil atteint partiellement l'autre œil. En conséquence, le spectateur voit des contours doubles ou des « fantômes » semi-transparents à côté des objets. Cela dégrade la qualité de l'image 3D et réduit la sensation de profondeur. Pour y remédier, la prise en charge du Black Frame Insertion et du simulateur de faisceau CRT de Blur Busters est intégrée. Pour une suppression complète de la diaphonie, un mode astucieux est utilisé : l'image du jeu est dessinée à 60 Hz, les lunettes reçoivent la synchronisation à 120 Hz, et la sortie vers l'écran tourne à 240 Hz avec répétition de trames.

Malgré tous ses mérites, cette méthode présente des limitations qu'il convient de mentionner séparément. Elles ne découlent pas d'une imperfection du programme mais du principe de fonctionnement choisi. Le second point de vue stéréo n'est pas rendu à partir du modèle de la scène mais reconstruit à partir d'une image déjà terminée et d'une carte de profondeur. S'il n'y a pas de données sur ce qui est caché derrière les objets au premier plan dans l'image source, il n'y a nulle part où les récupérer.

Trous aux bords des objets - désocclusion
C'est le principal défaut de la méthode. Lorsque le programme décale le point de vue pour le second œil ou pour une rotation de la tête, une partie de l'arrière-plan qui était cachée par le bord d'un objet au premier plan dans l'image source devrait devenir visible. Mais personne n'a rendu ces pixels - ils n'existent physiquement pas. Le programme n'a rien pour combler le vide, il soit étire les pixels du bord, produisant un halo étalé « caoutchouteux » le long des contours, soit substitue un patch « plausible » mais généralement incorrect. Plus le décalage du point de vue est important, plus les bandes de halo sont larges. Ce n'est pas un bug d'implémentation mais une limitation de la méthode elle-même : on ne peut pas extraire d'une seule image ce qui est caché derrière les objets et non visible dans celle-ci.

Le mouvement de la tête amplifie les distorsions
En stéréo ordinaire, la distance entre les points de vue est petite et constante - égale à la distance entre les pupilles. Mais avec une « fenêtre sur le monde », la tête se déplace de dizaines de centimètres dans diverses directions, de sorte que le décalage relatif du point de vue est plusieurs fois plus grand que le naturel, et les trous et les traînées s'agrandissent. Cela se passe ainsi : restez immobile et il n'y a presque aucun artefact, mais l'effet 3D est faible aussi ; bougez beaucoup et l'effet est là, mais tout le long des bords des objets est flou et flottant.

Les graphismes reposent sur la carte de profondeur
Le programme a besoin d'informations correctes sur la distance à chaque point de la scène. Le jeu ne les fournit pas toujours, ni en totalité. Les surfaces transparentes - eau, verre, fumée, feu, feuillage - n'ont généralement pas de profondeur détaillée, ou le moteur ne la crée pas du tout. En conséquence, les objets se retrouvent à la mauvaise distance : l'eau colle au mauvais endroit, la fumée se dédouble, les particules flottent dans l'air à des endroits différents. En plus de cela, tous les jeux ne produisent pas un tampon de profondeur compatible - dans certains il est inversé, dans d'autres il est protégé et ne peut pas être lu.

Les reflets et les reflets spéculaires cassent le plus
Les miroirs, l'eau, l'asphalte mouillé et le métal sont définis par la profondeur de leur propre surface, et non par l'image qui s'y reflète. Lorsque le point de vue se déplace, le reflet dérive on ne sait où. Si un reflet spéculaire est « peint » sur la surface, il ne se comporte pas comme il le devrait dans le monde réel. C'est précisément le contenu brillant le plus frappant qui paraît plat et incorrect en stéréo.

Interface, réticule et HUD
Les éléments bidimensionnels au-dessus de l'image - barres de vie, menus, réticule - sont dessinés à une profondeur nulle, donc après traitement ils se retrouvent à la mauvaise distance stéréo. L'interface soit s'enfonce dans l'écran, soit pend devant la scène. Le réticule est un casse-tête à lui seul ; sa position en profondeur doit presque toujours être ajustée à la main.

Une seule image pour les deux yeux
Les deux yeux voient la même image, simplement décalée. Avec un rendu stéréo honnête, chaque œil obtient ses propres reflets, ombres et réfractions corrects ; ici, cela ne se produira pas. Pour cette raison, les objets apparaissent comme des couches plates découpées dans du contreplaqué et disposées par profondeur, plutôt que comme des corps volumétriques. Dans les documents en anglais, cet effet est appelé l'effet « découpe en carton ».

Réglage par jeu
Le champ de vision, la plage de profondeur et la convergence sont réglés à la main pour chaque jeu séparément. Une erreur donne soit une fatigue oculaire due à une convergence excessive, soit une mauvaise échelle, où le monde paraît comme un jouet ou gigantesque, ou même une profondeur entièrement inversée. C'est une solution « réglez-le et débrouillez-vous », pas une « installez-le et jouez ».

Latence et images irrégulières
Le jeu rend les images de manière irrégulière, et le client les adapte au fps stable de l'écran en répétant les images prêtes. La répétition elle-même n'introduit aucune distorsion, mais la latence entre l'action et l'image s'accumule : capture d'image, traitement, sortie. Pour le suivi de tête, une telle latence se ressent comme un « flottement » de la scène. Game Config a un paramètre Frame Capture Delay pour cela, afin de régler le moment de la capture.

Diaphonie résiduelle et exigences élevées du moniteur
Techniques logicielles - insertion d'images noires et le mode 60/120/240 - suppriment le ghosting, mais ne l'éliminent pas complètement, car la diaphonie est déterminée par de nombreux facteurs : la physique du panneau d'affichage et des lunettes elles-mêmes. Cela dépend du temps de réponse des pixels, de la vitesse de commutation, du contraste des verres des lunettes et de la fréquence de rafraîchissement verticale de l'écran. De plus, le mode le plus agressif nécessite un panneau rapide de 240 Hz avec une faible persistance des pixels, ce que tout le monde ne possède pas. Contrairement à NVIDIA 3D Vision, ReShade ne reproduit pas un volume prêt à l'emploi mais le synthétise à partir d'une image plate. C'est pourquoi les trous le long des contours, les reflets incorrects et les bords flottants sont des artefacts stables de la méthode, et non un défaut temporaire.

La géométrie stéréo ici est honnête, et aucun des artefacts de synthèse d'image - désocclusion, « carton », reflets brisés - n'est présent ici. Mais cette méthode a aussi son propre coût, et il est différent.

Le jeu doit prendre en charge la VR
C'est la principale limitation. La méthode ne fonctionne pas avec un jeu quelconque : elle nécessite soit une prise en charge VR intégrée, soit un mod VR. Si aucun mod prêt à l'emploi n'existe, la voie OpenVR ne fonctionnera pas, et seul ReShade avec tous ses artefacts reste disponible. Autrement dit, la large compatibilité pour laquelle la première voie existe est complètement perdue ici.

Double charge sur la carte graphique
La scène est réellement rendue deux fois, depuis deux caméras. Il n'y a aucune des économies que la reprojection d'une seule vue procure : les performances chutent comme en VR réelle. Ceci est partiellement compensé par le réglage Resolution dans VR Config - la résolution par œil peut être abaissée, et WibbleWobble mettra l'image à l'échelle de la résolution de l'affichage.

Installation complexe
SteamVR doit être installé. Le pilote est enregistré via Install.bat avec des droits d'administrateur, après quoi deux lignes doivent être ajoutées manuellement au fichier config\steamvr.vrsettings : "forcedDriver": "WibbleWobbleVR" et "activateMultipleDrivers": "true". Ensuite, effectuez la configuration de la pièce en mode STANDING ONLY. Une erreur à n'importe quelle étape et, au lieu de la stéréo, vous obtenez un écran noir sans message clair sur la cause.

Limitations d'OpenVR lui-même
Certains réglages ne peuvent pas être modifiés à la volée. Si vous changez la résolution ou la fréquence de sortie, un redémarrage de SteamVR est nécessaire. C'est une limitation de la plateforme, pas du programme, mais cela ralentit sensiblement le réglage des jeux.

L'optimisation du rendu casse certains jeux
VR Config possède un paramètre Optimise Single Eye qui permet de rendre un seul œil ou les deux à demi FOV. L'auteur du projet avertit directement : le mode « Both » est le plus problématique - un vignettage et une désynchronisation des yeux sont possibles, et l'image peut « se décaler ». Dans certains jeux, l'optimisation devra être désactivée entièrement.

Lutte pour le focus de la fenêtre
Certains jeux ne donnent pas le focus à l'interface WibbleWobble : la combinaison de touches SHIFT + END ne se déclenche pas, ou l'interface est dessinée mais ne peut pas être contrôlée. Vous devez basculer manuellement via ALT + TAB. Un problème distinct : la fenêtre WibbleWobble ne doit pas être fermée - le programme ne récupère pas après, et le jeu devra être redémarré.

Recentrage à chaque lancement
Le suivi doit être centré manuellement (MAJ + .) à chaque démarrage, positionné exactement au centre de la zone de travail devant les écrans. Si la tête n'était pas là lors du centrage, la reprojection commence à se comporter étrangement et l'échelle « dérive ». De l'aveu même de l'auteur, atteindre la bonne position demande de la pratique. Cela pourra être corrigé plus tard en utilisant un logiciel de suivi plus intelligent.

Particularités de chaque application
Certains programmes ne fonctionnent qu'avec certaines marques de casque. Pour eux, VR Config dispose d'un paramètre d'identification du casque qui fait que WibbleWobble se présente comme un autre appareil - Vive, par exemple - sans lequel le suivi de tête ne fonctionne pas dans DEOVR. Autrement dit, la compatibilité repose par endroits sur des contournements comme ceux-ci.

Points communs avec la première méthode
Tout ce qui concerne le matériel vaut pour les deux méthodes : la diaphonie résiduelle, l'exigence d'un panneau rapide, la nécessité d'une synchronisation précise des lunettes. La sortie stéréo, les émetteurs, le BFI et CRT Sim fonctionnent de la même manière, quelle que soit l'origine de la paire stéréo.