Réalité augmentée

Opération 19 : Réalité augmentée (IRCAD, LSIIT, IMFS)

Image vidéo avec réalité augmentée

L’objectif de la réalité augmentée est de fournir une information visuelle et quantitative supplémentaire aux praticiens lors de son geste opératoire. Cette information est généralement l’image préopératoire du patient superposée après recalage à l’image réelle du patient. La difficulté réside à la fois dans la contrainte temps réelle de ce recalage et à la possibilité de déformation et de mouvement des organes du patient. Un autre aspect des recherches menées réside dans les interfaces homme-machines nécessaires pour optimiser l’affichage et l’exploitation de ces informations recalées.

Plusieurs axes de recherche ont donc été démarrés afin de répondre à ces problématiques. Le premier axe a consisté à développer des méthodes de réalité augmentée interactive. Trop d’interactivité rend ces méthodes très utilisateur dépendant et de ce fait non reproductibles. A l’inverse, le second axe est basé sur l’automatisation complète du procédé, qui a cependant l’inconvénient de ne pas permettre d’ajustement « manuel » parfois nécessaire au bloc en fonction des patients, des actes opératoires et de la grande variabilité des situations. Les deux axes seront poursuivis avec pour objectif de trouver un juste compromis entre le tout manuel et le tout automatique, rendant ainsi le système robuste. Notre objectif sera de parvenir à un système exploitable pour les opérations de chirurgie laparoscopique, fournissant une vue en transparence virtuelle du patient et permettant ainsi de mieux cibler la tumeur rendue visible, tout en évitant les vaisseaux.

Quelque soit l’axe privilégié, la difficulté reste entière face à la possibilité de déformation des organes. En effet, le verrou technologique aujourd’hui posé est de parvenir à déformer les organes virtuel durant l’intervention tels que le sont les organes réels. Pour y parvenir deux chemins principaux sont possibles : le premier consiste à simuler de façon prédictive les déformations des organes ciblés. Le second consiste à modéliser en temps réel les organes ciblés grâce à une acquisition intra-opératoire. Ces deux axes peuvent là encore se rejoindre, sachant qu’une prédiction parfaite semble difficile sans l’acquisition d’informations intra-opératoires permettant de « corriger » toute erreur de prédiction, ou bien qu’à l’inverse toute segmentation temps réel multi-organes dans des images 4D reste aujourd’hui extrêmement difficile, d’autant plus que ces images sont souvent trop invasives ou de mauvaise qualité. Etant spécialisé aujourd’hui principalement sur le premier axe (simulation de respiration prédictive), nous étendrons nos recherches vers le second axe en intégrant des informations de systèmes d’imagerie non invasifs (échographie, laparoscope 2D ou 3D) extraites en temps réels.

Enfin, le dernier axe d’étude et de recherche, l’interfaçage homme machine sera poursuivi. Les problèmes d’ergonomie sont en effet souvent un frein à l’utilisation des systèmes de réalité augmentée. Les casques de réalité augmentée par exemple ne répondent pas aujourd’hui aux contraintes des praticiens. Les logiciels quand à eux sont souvent trop complexes pour être utilisés en l’état. Ces problématiques seront donc étudiées afin de proposer de nouvelles interfaces plus intuitives.