Introduction à la réalité virtuelle et à la réalité augmentée
PF Villard
Présentation
- Maître de conférences
- Enseignement à l'IUT de St-Dié
- Recherche au Loria à Nancy
Parcours
- Maître de conférences à l'UL depuis 2009
- Professeur affilié au Harvard Biorobotics Lab depuis 2014
- Professeur invité à l'Universite de Bangor en 2012
- Post-Doc à Imperial College 2007-2009
- Post-Doc au CIMIT (MIT/Harvard) 2006-2007
- Thèse en informatique 2002-2006
- Ecole d'ingénieur avant
Métier = maître de conférences
- Effectuer des travaux de Recherche
- Publier des articles
- Former aux métiers de la recherche
- Effectuer des activités administratives
- Effectuer des enseignements
- Effectuer de la médiation et de la vulgarisation
Recherches :
- Réalité virtuelle
- Réalité augmentée
→ Dans le domaine médical
Exemple 1 : Valve cardiaque
Exemple 2 : Modélisation de la respiration
→ Realité augmentée et réalité virtuelle
Réalité virtuelle

Realité augmentée

Quelles sont les différences entre la réalité virtuelle et la réalité augmentée ?
Préhistoire de la RV
- Simuler la sensation de présence d’un espace virtuel
- Difficultés :
- Simuler le mouvement (marche)
- Réalisme Graphique
- Appareillage
- → Peu de chance
- Ex: Le Cobaye

Vie virtuelle
- De plus en plus commun, univers avec avatars
- Les utilisateurs peuvent vivre une «second life»
- Économie réelle :
- Acheter, vendre devenir riche
- Entreprises réelles avec pub et services
- Plusieurs activités :
Environnement Virtuel 3D
- Suit le développement de l’informatique
- Format internet vrml puis X3D
- Lié aux connections serveur/client
- Moteur de jeux pour modéliser des mondes virtuels
Guider avec la lumière
- L’utilisateur a la liberté totale de regarder à 360°
- La lumière est très souvent utilisée pour attirer le regard
- ex : Aura lumineuse cliquable

Tirer parti du décor et de l’échelle
- Un environnement exagérément grand permet d’indiquer à l’utilisateur qu’il est petit
- Augmenter l’échelle lors de l’utilisation de porte ou de plafond
Créer un univers sonore
- Le son et les bruitages contribuent à situer l’utilisateur dans l’univers 3D
- Utiliser des zones d’influence
- Permet de créer une atmosphère
- Ex: fire, water, animals,…

Interagir avec le regard
- Ne pas utiliser de manettes, clavier, souris
- Utilisation du regard à la place
- ex: Allumer la lumière en regardant l’interrupteur
- ex: Un objet devient lumineux quand on le regarde

Ne pas négliger le visuel
- L’application doit toujours être belle et fluide
- L’utilisateur doit avoir envie de découvrir et d’explorer l’univers
- Trouver un compromis entre fluidité et beauté

S’inspirer de projets existants
- Beaucoup de projets existent sur Unity, Unreal Engine, Google VR, etc…
- Libre et Open Source
- Il existe beaucoup de modèles 3D et de scripts gratuits

Casques de RV
- But : améliorer la visualisation de la scène
- 2 caractéristiques:
- Meilleure impression de 3D
- Meilleure impression d’immersion
- Peuvent être combinées
Lunettes passives
- Peuvent être très simples : rouge/bleu
- Pas très précise
- Bon marché
- Pas d’immersion
- Plus compliqué : lunettes polarisées
- Précision dépend du calibrage
- Plus cher, avec ou sans capteur
- Pas d’immersion

Lunettes actives
- Plus cher, avec ou sans capteur


Google Cardboard
- Possible de bricoler soi-même mais achat des lentilles nécessaire
- Configuration minimum: 5” screen, full HD, 1.6 GHz 4-cores processor , accelerometer, gyroscope and Android or iOS.
- 2 to 20€

Oculus Rift/Go/Quest/Half Dome


Exemple


Exemple

HTC Vive


Jeux vidéos


Culture


Education


Industrie


vidéo 360
- Principe: Utiliser la VR pour visionner Vidéo/Photos en 360°
- Outil: Camera 360 + Software
- Quizz / Score / Scorm
- Branching scenario

Exemples
Chasse aux risques |
Visite virtuelle |
Jeu de rôle dans un laboratoire de chimie |
 |
 |
 |
Exemple en distillation continue
Rencontre sur le terrain - Storyboard - Prototype brut - Séquençage - Tournage VR 360° - Tournage pastilles vidéos additionnelles - Enrichissements - Tests

Introduction
Compléter notre perception du monde réel avec des éléments fictifs
Incruster de façon réaliste des objets virtuels 3D dans une séquence d’images
Pour les puristes : interactif, temps réel
Difficultés
- Perspective
- Forme
- Lumière
Projection perspective
Position de l'image

Translation 1

Translation 2

Mise à l'échelle

Rotation

Image finale

|
→ |
|
Translation 1 | | Translation 2 ↓ |
|
← |
|
Rotation | | Echelle |
Techniques d'inversion de perspective
Inversion de perspective
- Retrouver le point de vue des yeux en temps réel
- Différentes méthodes
- Capteurs : robustes, peu précis
- Analyse d’image : précis, peu robuste
Capteurs
- + ou - précis
- + ou - soumis aux perturbations
- Environnement de taille + ou - réduite
- Position ou rotation
|
|
|
|
|
Magnétique |
Acoustique |
Optique |
Inertiel |
GPS |
Exemple dans Sketchup

La méthode de l’inversion de perspective
Trouver les transformations par connaissance des points dans le monde réel

Ex : projets étudiants
avec PoLAR 
Calcul automatique par marqueurs fiduciaux
- Fiduciaux = détectables et identifiables

Qualité du marqueur

Conseil pour une bonne qualité de marqueur
- Avoir un maximum de détails
- Avoir un contraste élevé
- L'image doit être assez grande
- L'image doit être acquise en position plane
- L'image doit être acquise en évitant les reflets
- Le marqueur doit être facile à manipuler (Ex : cartes à jouer)
Exemple : Création d'une scène avec RA

Interaction entre marqueurs

Résultat

Exemple de travaux d'étudiants
Apprentissage de l'algorithmie
Apprentissage de la géométrie
Apprentissage du magnétisme
Apprentissage de la paléontologie
Apprentissage des équations chimiques
Apprentissage de la composition d'une fleur
Apprentissage du système solaire
Apprentissage de types d’éruptions volcaniques
En 2022

Apprentissage du système solaire

En 2022

Apprentissage de types d’éruptions volcaniques

En 2022

Apprentissage de langue

Apprentissage des Réseaux Trophiques

Apprentissage des séismes

Réalité augmentée et virtuelle
- Qu'est-ce que la réalité virtuelle ?
- Qu'est-ce que la réalité augmentée ?
- Quelle est la différence entre les deux ?
Réalité augmentée et virtuelle
Introduction à la réalité virtuelle et à la réalité augmentée
PF Villard