Réalité virtuelle et interfaces multisensorielles
Opération 11 : Réalité virtuelle et interfaces multi-sensorielles (LSIIT, LSP, IRCAD)
La modélisation d’objets implique naturellement l’idée de leur manipulation interactive par un utilisateur. Nous avons pris cette notion d’interaction dans un sens relativement large, ainsi nous souhaitons pouvoir interagir avec ces modèles à tous les niveaux. Nous souhaitons manipuler, déformer, éditer, aussi bien leur topologie que leur plongement, aussi bien les contraintes et les descriptions de haut niveau que les solutions proposées. Cela nous conduit à nous intéresser à la problématique de l'interaction en réalité virtuelle. Notre approche repose sur le retour visuel, l'utilisation des deux mains et le retour d'effort pour interagir avec les objets modélisés.
Contrôle gestuel :
Un des atouts des environnements immersifs réside dans la possibilité d'imaginer et de concevoir un contrôle efficace du geste. Dans le cadre de la planification de la radiofréquence, l’environnement immersif permettra de placer interactivement l'aiguille sur l'abdomen. Une première étude portant sur l'amélioration du geste en environnement immersif a été mené autour de la pose de contraintes géométriques en 3D du type : distance, angle, etc. Une seconde, plus poussée, dans le cadre d'une application de déformations de formes géométriques, permet de spécifier des contraintes de déformation sur des volumes virtuels, simplement en reproduisant un geste «intuitif» de déformation (saisie du point d’application de la contrainte et geste de déformation pour spécifier la déformation: étirement, torsion, etc.). Nous nous sommes attachés à proposer plusieurs améliorations au paradigme de déformation de base en environnement immersif.
Retour d'effort :
Pour permettre d'effectuer des mouvements précis selon des axes ou des directions privilégiées de l’espace à trois dimensions, l'amélioration de l'interaction gestuelle également visée consiste à contraindre physiquement les mouvements de la main ou d’un outil tenu en main, grâce à un dispositif à retour d'effort. Une première étude réalisée dans le cadre de l'application médicale de radiofréquence, a permis de montrer le grand intérêt d'un outil de localisation 3D et du retour d'effort pour la simulation réaliste du geste chirurgical. L'objectif visé est principalement la formation de praticiens, car son expérience joue un rôle non négligeable dans les taux de réussite de l'opération. Cette application a utilisé un système de retour d'effort du commerce couplé avec une station de travail classique. Une collaboration entre le laboratoire LSIIT et le laboratoire du professeur Makato Sato au Tokyo Institute of Technology a permis d'installer un système à retour d’effort du type Spidar sur la station de réalité virtuelle du type workbench de l’Université Louis Pasteur de Strasbourg. Sylvain Thery a séjourné un mois au Japon en 2006 pour acquérir l'expérience nécessaire à l'installation d'un tel système à retour d'effort. Ce Spidar dédié a l'avantage d'offrir un espace de travail plus large, permettant de voir directement la scène en 3D et de la manipuler.
Perspectives en terme d'applications médicales de la réalité virtuelle :
Une première application médicale aura pour objectif l'élaboration de méthodes et d'outils spécifiques et ergonomiques pour la simulation réaliste du geste chirurgical. Ainsi, nous développerons des techniques de navigation et de manipulation virtuelles dans un modèle du corps humain (abdomen) avec palpation et planter d’aiguilles pour la radiofréquence et endoscopie virtuelle dans les vaisseaux.
Une seconde application médicale visera à étudier l’impact de la réalité virtuelle sur les traitements psychiatriques des phobies ou des troubles obsessionnels compulsifs (TOC) par des thérapies comportementales et cognitives (TCC). L'immersion d'un malade dans un environnement virtuel permettra de le mettre en situation de manière graduelle et d'explorer l'effet de la variation de nouveaux paramètres sur l'appréhension du malade. L'interaction avec l'environnement virtuel offrira une simulation immersive réaliste d'une situation réelle anxiogène. La schizophrénie pourrait également se prêter à une étude en collaboration avec le Professeur Danion des Hôpitaux Universitaires de Strasbourg (INSERM U666).
Interface de visualisation
Le LSP a une longue expérience dans la représentation en 3-D d’images, en particulier holographiques. Il travaille sur la conception et la réalisation d’un dispositif de visualisation stéréoscopique amovible pour vidéoprojecteur destiné à rendre accessible l'usage de la projection 3D dans les actes de chirurgie mini-invasive. Les objectifs visés sont la conception, la réalisation et la validation du système optique et électronique de projection stéréo et de l’ensemble des applications client-serveur utiles pour la visualisation de données 3D, de vidéos stéréo ou des données de réalité augmentée.