Interaction et apprentissage du geste

Opération 16: Interaction et apprentissage du geste (LSIIT, LSP, IRCAD)

Réalité virtuelle et interfaces multi-sensorielles

Nous avons accès à de nombreuses données issues du traitement d’images médicales et de la modélisation : ensemble de contraintes ou de solutions, descriptions de haut niveau, plongement et topologie. Cela nous conduit à nous intéresser à la problématique de l'interaction avec ces modèles qui doit permettre leur exploitation par les praticiens. Nous envisageons cette notion d’interaction dans un sens relativement large : nous souhaitons pouvoir exploiter, i.e. manipuler, déformer, éditer, etc… l’ensemble des informations à notre disposition. Nous exploitons pour cela les indices visuels disponibles dans les environnements de réalité virtuelle ainsi que les périphériques à retour d’effort.

Contrôle gestuel :

Un des atouts des environnements immersifs réside dans la possibilité d'imaginer et de concevoir un contrôle efficace du geste. Dans le cadre de la planification de la radiofréquence, l’environnement immersif permettra de placer interactivement l'aiguille sur l'abdomen. Une première étude portant sur l'amélioration du geste en environnement immersif a été menée autour de la pose de contraintes géométriques en 3D du type : distance, angle, etc. Une seconde, plus poussée, dans le cadre d'une application de déformations de formes géométriques, permet de spécifier des contraintes de déformation sur des volumes virtuels, simplement en reproduisant un geste «intuitif» de déformation (saisie du point d’application de la contrainte et geste de déformation pour spécifier la déformation: étirement, torsion, etc.). Nous nous sommes attachés à proposer plusieurs améliorations au paradigme de déformation de base en environnement immersif.

Retour d'effort :

Pour permettre d'effectuer des mouvements précis selon des axes ou des directions privilégiées de l’espace à trois dimensions, l'amélioration de l'interaction gestuelle également visée consiste à contraindre physiquement les mouvements de la main ou d’un outil tenu en main, grâce à un dispositif à retour d'effort. Une première étude réalisée dans le cadre de l'application médicale de radiofréquence, a permis de montrer le grand intérêt d'un outil de localisation 3D et du retour d'effort pour la simulation réaliste du geste chirurgical. De plus, dans ce contexte, la modalité visuelle seule peut rapidement être surchargée par l’affichage d’un trop grand nombre d’informations. Pour suppléer cette limitation, nous exploitons la modalité haptique pour représenter l’ensemble de solutions proposé par notre outil de planification pour les opérations de radiofréquence. Une étude expérimentale est actuellement en cours pour connaitre la modalité haptique la plus adaptée à ce problème. Par ailleurs, nous souhaitons développer cette application en vue d’en faire un véritable outil de formation pour les praticiens. En effet, l’expérience joue un rôle non négligeable dans les taux de réussite de l'opération et la formation des praticiens est à la fois complexe et coûteuse.

Les périphériques à retour d’effort sont également utilisés dans le cadre d’un projet portant sur la schizophrénie, en collaboration avec le Professeur Danion des Hôpitaux Universitaires de Strasbourg (INSERM U666). Il s’agit dans un premier temps de vérifier les hypothèses de cette équipe sur le rôle d’un défaut de la copie d’efférence dans l’apparition de la schizophrénie en manipulant l’information haptique renvoyée par le périphérique. Si ces hypothèses sont vérifiées, l’objectif est de proposer un outil de diagnostic et éventuellement un outil de remédiation.

Dans un premier temps, nous avons utilisé un système de retour d'effort du commerce couplé avec une station de travail classique. Une collaboration entre le laboratoire LSIIT et le laboratoire du professeur Makato Sato au Tokyo Institute of Technology nous a permis d'installer un système à retour d’effort du type Spidar sur la station de réalité virtuelle du type workbench de l’Université Louis Pasteur de Strasbourg. Sylvain Thery a séjourné un mois au Japon en 2006 pour acquérir l'expérience nécessaire à l'installation d'un tel système à retour d'effort. Ce Spidar dédié a l'avantage d'offrir un espace de travail plus large, permettant de voir directement la scène en 3D et de la manipuler. L’acquisition récente par le LSIIT d’un dispositif plus performant, un INCA 6D, nous permet d’envisager de nouveaux développements pour ce thème en vue de proposer un environnement d’apprentissage plus complet.

Perspectives en termes d'applications médicales de la réalité virtuelle :

Une première application médicale aura pour objectif l'élaboration de méthodes et d'outils spécifiques et ergonomiques pour la simulation réaliste du geste chirurgical. Ainsi, nous développerons des techniques de navigation et de manipulation virtuelles dans un modèle du corps humain (abdomen) avec palpation et planter d’aiguilles pour la radiofréquence et endoscopie virtuelle dans les vaisseaux. Nous travaillerons également à la réalisation d’un environnement complet d’apprentissage du geste chirurgical. Pour cela, nous intégrerons dans une plate-forme d’apprentissage les outils de traitement d’image ainsi que des modèles physiques permettant de simuler les comportements des organes considérés ainsi que des outils (déformations des aiguilles de radio-fréquence, par exemple). Le couplage d’une représentation 3D des modèles et de périphériques à retour d’effort nous permettra de proposer un véritable contenu didactique destiné à la formation des praticiens. Dans le cadre d’une simulation d’intervention, il s’agira notamment de proposer : une représentation des objectifs à atteindre et la comparaison en temps réel avec l’opération réalisée, un outil d’évaluation de la performance et une courbe de progression, ainsi que des points de progrès.

Interface de visualisation

Le LSP a une longue expérience dans la représentation en 3-D d’images, en particulier holographiques. Il travaille sur la conception et la réalisation d’un dispositif de visualisation stéréoscopique amovible pour vidéoprojecteur destiné à rendre accessible l'usage de la projection 3D dans les actes de chirurgie mini-invasive. Les objectifs visés sont la conception, la réalisation et la validation du système optique et électronique de projection stéréo et de l’ensemble des applications client-serveur utiles pour la visualisation de données 3D, de vidéos stéréo ou des données de réalité augmentée.