Sommaire

• Introduction
• Réalité virtuelle
• Réalité augmentée

PF Villard

Présentation

Présentation

• Maître de conférences
  • Enseignement à l'IUT de St-Dié
  • Recherche au Loria à Nancy

Parcours

• Maître de conférences à l'UL depuis 2009
• Professeur affilié au Harvard Biorobotics Lab depuis 2014
• Professeur invité à l'Universite de Bangor en 2012
• Post-Doc à Imperial College 2007-2009
• Post-Doc au CIMIT (MIT/Harvard) 2006-2007
• Thèse en informatique 2002-2006
• Ecole d'ingénieur avant

Métier = maître de conférences

• Effectuer des travaux de Recherche
  • Publier des articles
  • Former aux métiers de la recherche
• Effectuer des activités administratives
• Effectuer des enseignements
• Effectuer de la médiation et de la vulgarisation

Recherches :

• Réalité virtuelle
• Réalité augmentée

→ Dans le domaine médical

Exemple 1 : Valve cardiaque

Exemple 2 : Modélisation de la respiration

→ Realité augmentée et réalité virtuelle

Réalité virtuelle

Realité augmentée

Quelles sont les différences entre la réalité virtuelle et la réalité augmentée ?

RÉALITÉ VIRTUELLE

PF Villard

Préhistoire de la RV

Vie virtuelle

• De plus en plus commun, univers avec avatars
• Les utilisateurs peuvent vivre une «second life»
• Économie réelle :
  • Acheter, vendre devenir riche
  • Entreprises réelles avec pub et services
• Plusieurs activités :
  • Jeux
  • Éducation, culture

Environnement Virtuel 3D

• Suit le développement de l’informatique
  • algorithme
  • hardware
• Format internet vrml puis X3D
• Lié aux connections serveur/client
• Moteur de jeux pour modéliser des mondes virtuels
  • ex: UNITY3D

Provoquer l'immersion

Provoquer l'immersion (RV)

Guider avec la lumière

• L’utilisateur a la liberté totale de regarder à 360°
• La lumière est très souvent utilisée pour attirer le regard
  • ex : Aura lumineuse cliquable

Tirer parti du décor et de l’échelle

• Un environnement exagérément grand permet d’indiquer à l’utilisateur qu’il est petit
• Augmenter l’échelle lors de l’utilisation de porte ou de plafond

Créer un univers sonore

• Le son et les bruitages contribuent à situer l’utilisateur dans l’univers 3D
• Utiliser des zones d’influence
• Permet de créer une atmosphère
  • Ex: fire, water, animals,…

Interagir avec le regard

• Ne pas utiliser de manettes, clavier, souris
• Utilisation du regard à la place
  • ex: Allumer la lumière en regardant l’interrupteur
  • ex: Un objet devient lumineux quand on le regarde

Ne pas négliger le visuel

• L’application doit toujours être belle et fluide
• L’utilisateur doit avoir envie de découvrir et d’explorer l’univers
• Trouver un compromis entre fluidité et beauté

S’inspirer de projets existants

• Beaucoup de projets existent sur Unity, Unreal Engine, Google VR, etc…
• Libre et Open Source
• Il existe beaucoup de modèles 3D et de scripts gratuits

Appareils

Appareils (RV)

Casques de RV

• But : améliorer la visualisation de la scène
• 2 caractéristiques:
  • Meilleure impression de 3D
  • Meilleure impression d’immersion
• Peuvent être combinées

Lunettes passives

• Peuvent être très simples : rouge/bleu
  • Pas très précise
  • Bon marché
  • Pas d’immersion

• Plus compliqué : lunettes polarisées
  • Précision dépend du calibrage
  • Plus cher, avec ou sans capteur
  • Pas d’immersion

Lunettes actives

• Plus cher, avec ou sans capteur

Google Cardboard

• Possible de bricoler soi-même mais achat des lentilles nécessaire
  • Configuration minimum: 5” screen, full HD, 1.6 GHz 4-cores processor , accelerometer, gyroscope and Android or iOS.
• 2 to 20€

Oculus Rift/Go/Quest/Half Dome

Exemple

Exemple

HTC Vive

Applications

Jeux vidéos

Culture

Education

Sport

Industrie

vidéo 360

• Principe: Utiliser la VR pour visionner Vidéo/Photos en 360°
• Outil: Camera 360 + Software
  • Quizz / Score / Scorm
  • Branching scenario

Exemples

• Speedernet Sphere
• TP de chimie par Uptale

Chasse aux risques	Visite virtuelle	Jeu de rôle dans un laboratoire de chimie

Exemple en distillation continue

Rencontre sur le terrain - Storyboard - Prototype brut - Séquençage - Tournage VR 360° - Tournage pastilles vidéos additionnelles - Enrichissements - Tests

RÉALITÉ AUGMENTÉE

PF Villard

Introduction

Introduction (RA)

Introduction

• Compléter notre perception du monde réel avec des éléments fictifs

• Incruster de façon réaliste des objets virtuels 3D dans une séquence d’images

• Pour les puristes : interactif, temps réel

Difficultés

• Perspective
• Forme
• Lumière
  
  
  
  
  
  
  
  

Exemple

Projection perspective

Objectif = Trouver la bonne transformation

Exemple de transformation

Position de l'image

Objectif

Translation 1

Translation 2

Mise à l'échelle

Rotation

Image finale

Techniques d'inversion de perspective

Techniques (RA)

Inversion de perspective

• Retrouver le point de vue des yeux en temps réel
• Différentes méthodes
  • Capteurs : robustes, peu précis
  • Analyse d’image : précis, peu robuste

Capteurs

• + ou - précis
• + ou - soumis aux perturbations
• Environnement de taille + ou - réduite
• Position ou rotation

Magnétique	Acoustique	Optique	Inertiel	GPS

Exemple dans Sketchup

Exemple dans Sketchup

La méthode de l’inversion de perspective

Trouver les transformations par connaissance des points dans le monde réel

Ex : projets étudiants

avec PoLAR

Calcul automatique par marqueurs fiduciaux

• Fiduciaux = détectables et identifiables

Qualité du marqueur

Conseil pour une bonne qualité de marqueur

• Avoir un maximum de détails
• Avoir un contraste élevé
• L'image doit être assez grande
• L'image doit être acquise en position plane
• L'image doit être acquise en évitant les reflets
• Le marqueur doit être facile à manipuler (Ex : cartes à jouer)

Applications

Applications (RA)

Maintenance industrielle

Jeux vidéo

Films

Culture

Architecture

Archéologie

eCommerce

Publicité

Sport

Education

Exemple : Création d'une scène avec RA

Interaction entre marqueurs

• Suivi de 2 cibles

Résultat

Exemple de travaux d'étudiants

Apprentissage de l'algorithmie

Apprentissage de la géométrie

Apprentissage du magnétisme

Roman interactif

Apprentissage de la paléontologie

Apprentissage des équations chimiques

Apprentissage de la composition d'une fleur

Apprentissage du système solaire

Apprentissage de types d’éruptions volcaniques

En 2022

Apprentissage du système solaire

En 2022

Apprentissage de types d’éruptions volcaniques

En 2022

Apprentissage de langue

Apprentissage des Réseaux Trophiques

Apprentissage des séismes

CONCLUSION

Réalité augmentée et virtuelle

• Qu'est-ce que la réalité virtuelle ?
• Qu'est-ce que la réalité augmentée ?
• Quelle est la différence entre les deux ?

Réalité augmentée et virtuelle

Merci de votre attention