Approche 2D basée intensité
Asservissement visuel utilisant les images échographiques 2D
Les approches par asservissement visuel permettent de contrôler de manière directe l'effecteur d'un bras robotique à partir d'informations extraites de l'image d'un capteur visuel. Contrairement aux approches traditionnelles qui utilisent l'information contenue dans la vue d'une caméra, nous considérons dans le projet USComp l'information visuelle présente dans l'image d'une sonde échographique (US). La géométrie de ces deux capteurs étant radicalement différente, la modélisation de la variation de l'information image en fonction du mouvement de l'effecteur robotique doit être repensée. En particulier, dans la mesure où une sonde échographique ne fournit de l'information que dans un plan de coupe, le contrôle des mouvements hors plan de l'effecteur constitue la principale difficulté de l'asservissement visuel échographique et peu de solutions ont été proposées dans la littérature pour contrôler tous les degrés de liberté (ddl) de la sonde.
Approche basée intensité
Afin de s'affranchir des limitations dues à l'extraction d'informations géométriques (échec de la segmentation, changement de topologie de l'organe), nous avons proposé une nouvelle approche qui est basée sur l'intensité des pixels. Les informations visuelles choisies correspondent directement à la valeur d'intensité d'un ensemble de pixels de l'image. La variation de ces informations est liée au mouvement de la sonde par l'intermédiaire du gradient 3D de l'image et de la matrice d'interaction associée au point 3D.
- Suivi d'une coupe abdominale avec une sonde 2D
La matrice d'interaction impliquée dans la loi de commande est estimée à la position désirée de la sonde 2D. Une application de suivi est alors considérée où la sonde suit de manière automatique le mouvement appliqué au fantôme afin de conserver en permanence la même coupe abdominale.
Publication : IEEE ICRA'11 [pdf]
| Cette vidéo montre le suivi automatique d'une coupe anatomique par une sonde échographique 2D actionnée par un robot. La commande est réalisée par un asservissement visuel utilisant directement l'intensité des pixels de l'image. |
- Compensation de mouvements physiologique
L'objectif de USComp est de stabiliser une vue anatomique désirée en compensant les mouvements physiologiques du patient pour assister le chirurgien lors d'une procédure de diagnostique ou d'insertion d'aiguille par exemple. Une approche prédictive a été considérée dans le contrôle par asservissement visuel du système pour tenir compte de la périodicité des mouvements physiologiques.
Publication : MICCAI'2011 [pdf]
| Cette vidéo montre le résultat obtenu lorsqu'une approche prédictive a été considérée dans le contrôle par asservissement visuel afin de compenser efficacement un mouvement de perturbation périodique. |
- Positionnement avec une sonde échographique 2D et bi-plans
Nous avons également proposé une méthode d'estimation en ligne de la matrice d'interaction impliquée dans la loi de commande. Elle permet alors de calculer la matrice d'interaction courante associée à l'information d'intensité et d'envisager des tâches de positionnement avec une sonde 2D. L'approche basée intensité a également été étendue pour considérer le cas d'une sonde bi-plans où l'information visuelle est extraite de deux plans orthogonaux.
Publication : IEEE IROS'11 [pdf]
|
Cette vidéo montre les résultats obtenus dans le cas d'une sonde 2D et d'une sonde bi-plans. |
- Validation expérimentale sur tissu animal de la compensation automatique du mouvement avec une sonde 2D
|
Cette vidéo montre le résultat expérimental in-vitro de la compensation du mouvement réalisée sur tissus d'origine animal. |
Publication : Hamlyn Symposium on Medical robotics, 2012
