D – Interfaces sensori-motrices
Si on désire immerger le corps, totalement ou partiellement, dans un monde virtuel, il faut être capable au minimum de détecter les mouvements du corps, grâce aux interfaces spécifiques de localisation corporelle. Mais avec ces seules interfaces, la personne ne ressent rien en retour et perçoit un monde virtuel impalpable. Pour que l’utilisateur ait des sensations mécaniques en retour de ses actions, il faut exploiter les interfaces à simulation de mouvement, les interfaces à sensibilité cutanée (à retour tactile et thermique) ou les interfaces à retour d’effort. Les interfaces à sensibilité cutanée et à simulation de mouvement sont des interfaces purement sensorielles : elles ne transmettent des stimulis que vers l’utilisateur. Par contre, les interfaces à retour d’effort ont pour objectif d’appliquer des forces sur le corps, mais aussi, toujours en pratique, elles mesurent la position de la partie du corps sur laquelle elles agissent. Cela principalement pour deux raisons :
– parce que les retours d’effort ne sont en général que la conséquence de l’action (du mouvement) de la main de l’utilisateur. Il faut donc fondamentalement connaître cette action, d’où les mesures de position, faites sur la même interface ;
– parce que les efforts à appliquer sont fonction, entre autres, de la position de la main, qu’il faut donc connaître.
Les interfaces à retour d’effort sont donc des interfaces sensori-motrices en pratique.
La partie du corps concernée par ces interfaces est très souvent la main ou l’ensemble du membre supérieur, à part des interfaces à retour d’effort pédestres pour la simulation de pédales de véhicule, pédalier de vélo, etc. Il existe par exemple le VRBike : l’utilisateur en pédalant avance dans un environnement virtuel et reçoit en retour des efforts par l’intermédiaire du pédalier.
Certains auront peut-être entendus parler du terme d’interface haptique : il regroupe les interfaces manuelles tactiles et à retour d’effort.
D – 1 Gant de données et exosquelettes partiels
Avant toute chose, il faut savoir qu’un gant de donnée n’est autre qu’un exosquelette partiel qui permette de mesurer les mouvements relatifs des doigts par rapport à la main.
Pour en déterminer complètement les mouvements absolus, il faut repérer la position de la main avec un traqueur. Les types de traqueur employés pour cette fonction sont principalement les capteurs électromagnétiques et parfois les capteurs à ultrasons. La difficulté principale est de mesurer les rotations des phalanges des doigts avec des dispositifs légers et peu encombrants. Plusieurs principes sont en concurrence : mesure par déformation de fibres optiques, par effet Hall ou par variation de résistance.
Les problèmes techniques importants rencontrés sur ces dispositifs sont la répétitivité, la précision et la fiabilité des dispositifs.
GANTS à FIBRES OPTIQUES
Ce fut le premier principe utilisé pour un gant, qui fut conçu par la société américaine VPL, pionnière dans le domaine de la réalité virtuelle : le fameux DataGlove à fibre optique, inventé par Thomas Zimmerman en 1987, qui n’est plus commercialisé.
A chaque doigt du gant sont fixés deux (ou trois) fibres optiques. Celles-ci sont dans l’alignement des doigts et plus ou moins longues pour détecter les mouvements aux différentes articulations
Les fibres optiques sont reliées à un dispositif optoélectronique. Une des extrémités de chaque boucle optique est connectée à une LED et l’autre extrémité à un phototransistor. La fibre étant droite, il n’y a pas diminution de la lumière transmise. Par contre, si la fibre est pliée, l’intensité lumineuse reçue est atténuée, car on n’est plus dans les conditions de réflexion parfaite et la lumière recueillie est atténuée.
La fibre optique est traitée à la pliure pour augmenter la perte de lumière quand le câble est plié. La variation d’intensité de la lumière réfléchie par la fibre est fonction de l’angle articulaire, ce qui permet d’en déduire sa valeur. La relation entre l’intensité et l’angle n’est pas linéaire.
Elle n’est pas non plus constante dans le temps, surtout si le gant est employé par des personnes ayant des morphologies de la main différentes. La calibration du gant est donc indispensable et doit être faite pour chaque nouvelle utilisation. La précision des angles aux articulations est de l’ordre de 5 à 10 degrés. Ce gant n’est plus fabriqué, mais le partenaire japonais de VPL, Nissho Electronics Corporation, a conçu un nouveau gant, «Super Glove» (ci-contre), sur un principe différent breveté avec dix senseurs ayant une résolution de 0,3° et une vitesse de lecture pour chaque senseur de 0,2 ms. Une version « sans fil » existe pour ce gant. © photo Nissho Electronics Corporation
Au lieu de détecter des flexions de fibres, on peut mesurer les translations relatives des fibres, une des deux extrémités glissant dans un manchon équipé d’une diode LED et recouvert sur sa paroi intérieure d’une surface réfléchissante. Selon l’angle de l’articulation du doigt, l’extrémité de la fibre s’éloigne plus ou moins de la LED et le phototransistor à l’autre bout de la fibre recueille une intensité lumineuse proportionnelle au déplacement relatif de la fibre dans le manchon, donc à l’angle de flexion.
L’avantage de ces interfaces réside dans leur faible volume et leur légèreté, ceci procurant un certain confort. Des entreprises proposent actuellement des gants de données à fibres optiques à prix modique pour les ordinateurs compatibles PC. Un gant peut posséder un senseur par doigt, ayant une résolution sur huit bits, et les mesures sont transmises 25 fois par seconde.
Les gants de la société Fifth Dimension possèdent l’avantage d’être abordables en terme de prix (environ 500 $ US). Le principe de fonctionnement repose sur une technologie fibre optique (pour la flexion des doigts) couplée à 2 inclinomètres relatifs.
Le gant en lycra permet une grande souplesse. L’évolution de ces produits apporte une version sans fil. La version 5DT DataGlove 16/16W a deux capteurs optiques par doigt, plus pour l’abduction, ayant deux inclinomètres pour le roulis et le tangage. La résolution pour la déformation des doigts est faible (8 bits). La version sans fil par liaison radio a une portée jusqu’à20m.
Le gant de données optique 5DT DataGlove, © photo SimTeam
Essential Reality vient de développer un gant de données le «P5», à bas prix et aux caractéristiques intéressantes : les mesures des déformations des doigts et de la position de la main se font à 60 Hz. La précision du tracking est de 1° pour les rotations et de 13 mm pour les translations. L’étendue de mesure est de 3 à 4 pieds. Une version sans câble est prévue.
GANTS à VARIATION DE RةSISTANCES
La variation d’une résistance, en fonction de l’allongement du support sur lequel elle est fixée, est exploitée pour des gants de données. Ce principe a été employé pour des gants bon marché et pour des gants élaborés utilisant des jauges de contraintes. Le gant à bas prix se compose d’une couche d’encre conductrice contenant des particules de carbone. Quand le matériau se plie, la distance entre les particules de carbone s’accroît et la résistivité du capteur augmente.
Grâce à une procédure de calibration, on peut déterminer approximativement les mouvements des doigts. Ce système était employé dans le PowerGlove, mais la production de ce gant est arrêtée.
Les gants à jauges de contraintes font appel à des jauges minces englobées dans un matériau élastique souple (à base de Nylon et de Lycra). Ce type de gant est nettement plus performant, mais aussi plus onéreux. Les mesures sont codées sur huit bits et sont transmises à la fréquence de 100 Hz. La résolution est de l’ordre du degré
La société Virtual Technologies propose le CyberGlove avec plusieurs options : retour tactile CyberTouch et retour d’effort CyberGrasp (voir plus loin).
Gant CyberGlove de Virtual Technologies, © photo Immersion S.A.
Le gant est constitué d’un mélange Nylon(80%) / lycra (20%) qui le rend très flexible. Les extrémités des doigts ne sont pas re-couvertes par le gant, ce qui laisse l’utilisateur libre de taper sur un clavier, par exemple, avec la même dextérité que s’il n’avait pas de gant. Le principe de fonctionnement du CyberGlove repose sur 18 ou 22 capteurs de mesure angulaire disposés dans le gant (en particulier trois par doigt et l’abduction du pouce). Il n’y a pas de version sans câble proposée. Les caractéristiques sont les suivantes : la fréquence de mesure est de 150Hz (sans filtre) et de 112 Hz avec filtre pour 18 capteurs ; le temps de latence est de 5ms pour 18 capteurs ; le poids est de 85 g.
GANTS A EFFET HALL
Le Dextrous Hand Master de l’entreprise Sarcos a une structure métallique (exosquelette) portée sur le dos de la main. Il a quatre capteurs de position par doigt, donc vingt pour l’ensemble du gant. Chaque rotation d’une phalange est mesurée par un capteur à effet Hall placé à l’articulation mécanique du gant. La résolution (12 bits) des mesures est donnée au dixième de degré. Ces caractéristiques sont liées aux rotations des articulations de la structure mécanique, mais pas à celles des phalanges. Les mesures sont lues à la fréquence de 75 Hz. Une adaptation aux différentes tailles de la main de l’utilisateur est prévue. Le poids (~400 gr ) et l’encombrement sont des inconvénients importants de ce type d’interface
CAS PARTICULIER : GANT DE COMMANDES BINAIRES
Les gants que nous venons d’exposer permettent de mesurer les déformations des doigts.
Ce n’est pas le cas de la paire de gant «Pinch Glove» (ci contre), qui elle se «contente» de proposer à l’utilisateur d’envoyer une série de commandes binaires, associées à la position de la main. Car, comme pour les autres gants de données, il y a un traqueur sur chaque gant. Le principe de fonctionnement de ce gant repose sur le phénomène suivant : le contact entre deux ou plusieurs doigts crée une boucle conductrice (circuit électrique fermé), permettant une série de gestes virtuels de pincement (pinch) qui peuvent être © photoFakespace Labs
utilisés dans différentes applications, mais peu dans le cadre de jeux vidéos.
Dés que le contact électrique est validé, les informations sont envoyées au PC de contrôle.
Plus de 1000 gestes sont théoriquement commandables, mais il faut que l’utilisateur les connaisse.
CONCLUSION
Nous venons de voir les trois principales catégories de gants de données, mais il est toujours envisageable par traitement d’images de suivre les mouvements des mains et des doigts. Des chercheurs ont entrepris de détecter les mouvements de main de personnes dans un lieu public. Celles-ci, pour leur information, doivent indiquer des menus affichés en pointant avec la main sur un écran géant. Dans ce cas, il n’est pas souhaitable de demander aux personnes de s’équiper d’un gant pour seulement pointer sur l’écran. La solution par traitement d’images (10 par seconde) est justifiée et permet une première approche de commande naturelle et transparente, malgré les difficultés algorithmiques.
Les deux caméras sont judicieusement placées, au-dessus et de côté, permettant de localiser le doigt pointeur et sa direction. D’autres chercheurs détectent les contours de la main, permettant son suivi et la reconnaissance de la disposition de ses doigts. Ces travaux devraient permettre une communication gestuelle entre l’homme et la machine.
En conclusion, il n’existe pas encore un grand choix de gants de données.
Très peu d’entreprises se sont lancées dans la commercialisation de ces gants, comparativement aux autres produits classiques de la réalité virtuelle que sont les visiocasques et les traqueurs. L’étendue modeste du marché doit freiner le développement de ce produit, plus que les problèmes techniques, le principal étant de trouver un principe de mesure permettant d’assurer la stabilité dans le temps des mesures et la fiabilité des résultats.
Ces questions techniques semblent a priori moins complexes à résoudre pour les gants de données que pour d’autres interfaces comportementales.
Maintenant, parlons un peu des gants de données à retour d’effort évoqués plus tôt.
Il existe donc certaines interfaces à retour d’effort qui agissent sur la main et aussi sur le bras et l’avant bras. Lorsqu’il s’agit d’appliquer des efforts sur la main par l’intermédiaire d’un outil, les problèmes techniques ne sont pas trop complexes et il existe commercialement des interfaces exploitables. Par contre, quand les retours d’effort doivent être simulés sans l’intermédiaire d’un outil, l’interfaçage est très délicat.
Il est à noter aussi que c’est l’interface qui fournit techniquement des efforts sur la main de l’utilisateur suivant le principe mécanique d’action et de contre réaction.
Exemple, avec un gant à retour, on peut simuler à l’intérieur de la main, les forces dues à une balle virtuelle qui se gonfle au creux de la main (forces du système sur l’homme). Inversement, on peut simuler la résistance de cette balle virtuelle à son écrasement par la main (forces de l’homme sur le système). Mais les efforts de l’homme sur l’interface ne sont pas directement mesurés.
Pour des tâches plus délicates, on peut avoir besoin de contrôler des forces appliquées indépendamment sur plusieurs doigts plutôt qu’au poignet comme pour les bras maîtres (sorte de manettes reliées à un bras articulé utilisé essentiellement dans l’industrie pour le moment et sur lesquels je ne m’attarderai donc pas)
Une interface, le Rutgers Master I, utilisant trois petits vérins pneumatiques fixés sur la paume de la main, a été développée (ci-contre).
Chaque vérin, monté sur une articulation rotoïde, peut exercer une force jusqu’à 4 N sur un doigt, avec une fréquence de l’ordre de 10 Hz.
Ce système de poids relativement faible (45 g) peut être intégré sur un gant de données. Le dispositif exige un compresseur d’air (pression de 6 bars). L’encombrement de l’intérieur de la main ne permet pas de fermer entièrement celle-ci. L’interface autorise des simulations performantes de retour d’effort sur la main, comme la manipulation d’objets déformables.
Le successeur de ce système est le Rutgers Master II qui est composé de quatre vérins à faibles frottements, mesurant directement leur allongement. Cette solution permet de se dispenser d’employer un gant de données en complément de l’interface à retour d’effort
Si on veut agir sur tous les doigts, des dispositifs exploitent des actionneurs électriques qui agissent à distance sur les différentes parties des doigts par l’intermédiaire de câbles. Le Laboratoire de robotique de Paris (LRP) a réalisé une telle interface dont les avantages sont de diminuer l’encombrement autour des doigts et le poids sur la main.
Des potentiomètres mesurent les rotations des phalanges avec une résolution de un degré pour déterminer la position des doigts par rapport à la paume de la main.
Sur le même principe, le CyberGrasp de Virtual technologies est un exosquelette léger qui s’adapte sur un CyberGlove pour ajouter un retour d’effort sur chacun des doigts de la main.
Les forces sont fournies aux doigts par un réseau de câbles, dont les tensions sont réglables par cinq moteurs à courant continu. Les forces appliquées à chaque doigt sont individuellement programmables. L’exosquelette est conçu pour être adaptable à un grand nombre de mains. Un CyberGlove, gant de données à 18 ou 22 capteurs, est requis pour utiliser le CyberGrasp (ci contre).
A titre indicatif, les caractéristiques techniques sont les suivantes :
– force continue maximale : 12 N par doigt ;
– résolution en position des doigts : 0,5
– résolution de la force sur 12 bits ;
– poids (sans le CyberGlove) : 350 g.
Il existe une nouvelle option pour le CyberGrasp : le Sac à dos GraspPack permettant un retour d’effort mobile. Il permet de porter le CyberGrasp, de se mouvoir dans un environnement virtuel avec un plus large espace de travail et éventuellement de travailler avec deux CyberGrasp sur les deux mains en même temps (ci-dessus à gauche).
Voyons maintenant le retour tactile par vibration.
Pour un retour de vibrations, on peut employer des bobinages électriques, comme celles utilisées dans les haut-parleurs. En excitant ces bobines à une fréquence de l’ordre de 100 à 250 Hz avec des amplitudes variables, on applique des vibrations à la peau. Ces bobines sont normalement en contact avec l’extrémité des doigts et ne donnent qu’une seule information homogène sur la peau. Les retours de vibrations peuvent servir à la simulation d’une pièce virtuelle en train de vibrer mais peuvent aussi servir comme information symbolique. Le principal défaut de ce type d’interface est donc l’impossibilité d’appliquer spatialement des stimuli à amplitude différente. Les bobines audio sont petites, légères et donc confortables. Elles demandent peu de puissance électrique mais sont bruyantes et relativement coûteuses. Les haut-parleurs miniatures sont relativement gros et ne sont pas à même d’être placés directement sur le bout des doigts de l’utilisateur. Ils ont un meilleur usage mis sur un plus grand actionneur, les vibrations étant transmises par une interface non-portable plus grande. Notez aussi le cas particulier du siège vibrant, basé sur le même principe, dont l’objectif est de fournir des mouvements oscillants et des sensations tactiles sur une grande partie du corps et non plus sur la main.
Le CyberTouch de Virtual technologies est une interface tactile pour le gant Cyberglove de la même entreprise. Des petits stimulateurs tactiles sont attachés à chaque doigt et sur la paume de l’utilisateur pour produire des vibrations soutenues. Ils peuvent être utilisés individuellement ou combinés pour produire des motifs synchronisés. La fréquence de vibration générée est contrôlable et peut varier de 0 à 125Hz.
Le gant de données Cyberglove avec retour vibro-tactile Cybertouch de Virtual Technologies, © photo Immersion S.A.
Il existe d’autres interfaces sur le même principe comme le TouchMaster de EXOS (ci-contre) (fréquence maximum de 210 Hz et poids de 0,2 oz).
Cette interface tactile s’incorpore dans le gant de données à retour d’effort, le Dextrous HandMaster.
D’autres procédés ont été employés pour appliquer des stimuli tactiles sur la peau : des solénoïdes, des électrodes ou des actionneurs piézoélectriques. Des recherches sont en cours pour développer de petites matrices à actions électromécaniques (MEMS), ayant
une résolution ponctuelle de 20 par 20 sur une surface d’un centimètre carré. Les micro actionneurs intégrés sur cette matrice sont adressables électroniquement.
L’interface tactile TouchMaster de EXOS, © photo Exos
Ce dispositif peut être léger et peu onéreux.
Exosquelette
Bien, en vous parlant des gants de donnée, j’ai déjà commencé à vous parler des exosquelettes qui sont en quelque sorte une extension de ses derniers.
Approfondissons un peu :
Le problème de la plupart des systèmes à réaction externe est de n’agir directement que sur la main (ou quelques fois sur le pied). Les efforts sont transmis indirectement sur les autres parties du corps. Si nous voulons appliquer des efforts contrôlables sur différentes parties du corps, la solution est de placer un mécanisme s’appuyant et agissant tout le long du bras et jusqu’à l’épaule, si besoin. Ces appareils portables permettent un retour d’effort sur le poignet, le bras et l’épaule grâce à un ensemble de tringles, avec l’inconvénient d’un poids non négligeable.
Les couples appliqués sont produits par des moteurs à courant continu, trois pour l’épaule, un pour le coude et un pour l’avant-bras. En opposant une résistance variable en différents points du membre, l’interface reproduit plus fidèlement le poids et l’inertie d’un objet virtuel tenu en main. Elle permet également de contraindre les mouvements de l’opérateur, par exemple en cas de collisions virtuelles.
Cependant, les difficultés techniques de réalisation sont importantes, surtout pour les actionneurs qui doivent avoir des performances élevées avec une contrainte supplémentaire dans ce cas : la légèreté pour ne pas trop diminuer la transparence du dispositif. La personne ne doit pas se sentir bloquée dans un carcan, mais être libre de mouvement dans un espace virtuel.
La société américaine Exos propose plusieurs exosquelettes agissant sur plusieurs parties du membre supérieur avec différents ddl. Le système le plus complet, le Force ArmMaster, a 5 moteurs à courant continu pour 5 articulations : 3 à l’épaule (120° de rotation), une au coude (100°) et une à l’avant bras (100°).
Les dimensions des barres de l’exosquelette sont réglables suivant la morphologie de la personne. Le poids est de8 kg, les couples de friction sont de 4% des couples moteurs. Les couples maximums sont de 3,5 m.N à l’épaule, 0,8 m.N au coude et de 0,2 m.N à l’avant bras.
D’autres exosquelettes, comme le Dextrous Arm Master de l’entreprise américaine Sarcos dont je parlais plus haut sont plus puissants et en conséquence semi-portables. Les parties appliquant les efforts sur les doigts, la main et l’avant bras sont liés à ces derniers tandis que les parties lourdes, correspondant à l’épaule et au bras, sont supportées par un portique fixe
Le Dextrous Arm Master a dix ddl à retour d’effort qui sont fournis par des actionneurs hydrauliques permettant des efforts importants
L’exosquelette semi-portable Dextrous Arm Master de Sarcos, © photo Sarcos
Un autre exemple d’exosquelette semi-portable est celui développé par le Boston Dynamique
Incorporation (BDI) pour des applications de la NASA.
D – 2 Combinaisons de données, exosquelette et motion capture
L’objectif de ce chapitre est de présenter les interfaces spécifiques de la localisation et de la détermination du mouvement du corps ou d’une partie de celui-ci, telles que les combinaisons de données ou les oculomètres. L’objectif de localisation est en général quelconque, sauf pour les interfaces spécifiques de locomotion. Dans ce cas précis, l’objectif principal de l’interface n’est pas de déterminer précisément les mouvements des pieds, mais de permettre grâce à ces derniers une locomotion de l’utilisateur dans l’environnement virtuel.
Toutes les interfaces spécifiques de la localisation sont exposées dans ce chapitre, sauf les gants de données (développés dans le chapitre précédent).
Ces interfaces motrices mesurent en temps réel la position de la partie concernée du corps permettant le suivi de sa trajectoire. Ces dispositifs sont nécessaires dans les applications de réalité virtuelle d’immersion corporelle. Ils ont été spécialement conçus pour la réalité virtuelle, sauf les oculomètres (capteurs détectant les mouvements orbitaires des yeux) et les interfaces de «motion capture» (mesure du mouvement de l’ensemble du corps).
Ces interfaces spécifiques améliorent l’interaction du sujet dans le monde virtuel, car ce dernier peut ainsi agir de façon assez naturelle : par des mouvements gestuels, identiques si possible à ceux qu’il exécute dans le monde réel. Il augmente ainsi sa qualité d’immersion.
Les mouvements corporels, que l’on désire détecter, sont principalement les suivants :
– de la main, organe performant pour la manipulation ;
– de l’ensemble du corps pour une immersion totale du corps ;
– de la locomotion pour permettre à l’utilisateur des déplacements naturels dans le décor virtuel.;
Mais seulement pour ces grands constituants : la tête, le tronc et les différentes segments des membres ; donc par pour les mouvements des doigts, du visage, etc..
– des yeux, pour améliorer la restitution visuelle ;
– du visage et des lèvres, pour animer le visage et/ou la bouche, de la représentation virtuelle de la personne.
L’interface universelle permettant une détection complète et fine du corps entier regroupant tous les cas précédents est utopique encore actuellement et serait fort coûteuse.
Dans sa globalité, il s’agit de la problématique de détermination du positionnement et du mouvement pour des solides déformables. Ce problème est complexe à résoudre, surtout si nous désirons que les dispositifs gênent peu l’utilisateur, en particulier dans ses mouvements. C’est la notion de transparence des interfaces, importante en réalité virtuelle, qui implique que l’ergonomie des dispositifs soit satisfaisante. Pour atteindre ce but, il est donc souhaitable que les réponses motrices soient transmises, si possible, sans support matériel entre l’homme et la machine. Il faut évidemment considérer l’emploi de caméras permettant, par traitement d’images, de suivre le mouvement du corps ou d’une de ses parties. Cette technique est la plus prometteuse sur le plan théorique, mais elle demande encore à être développée.
Si, en fonction de l’application projetée, il est possible de mettre des marques ponctuelles sur les parties en mouvement, le problème de traitement d’images s’en trouve facilité, mais reste encore délicat pour des détections en temps réel. Dans ce cas, des dispositifs commercialisés existent.
INTERFACES DE LOCALISATION DU CORPS «MOTION CAPTURE»
DEUX PRINCIPES DE «MOTION CAPTURE»
Les interfaces de localisation du corps sont utilisées pour détecter les mouvements de tout le corps et aussi souvent pour déterminer la configuration du squelette à tout instant.
Dans le langage habituel, on emploie en général pour désigner ce type d’interface le terme anglais «motion capture», plutôt que capture du mouvement. Il existe deux familles de solution, totalement différentes : les interfaces portables de localisation du corps et les interfaces de localisation optique.
La première solution consiste à employer des interfaces portables, soit :
– la combinaison de données ayant un grand nombre de capteurs de localisation fixés sur la combinaison ;
– l’exosquelette, système mécanique composé de barres articulées portées par les différentes parties du corps…
Mais les exosquelettes sont souvent destinés à fournir en premier lieu des retours d’effort sur le corps, tout en mesurant les mouvements relatifs entre les membres.
INTERFACES PORTABLES DE LOCALISATION DU CORPS
La plupart du temps, on utilise les combinaisons de données dans cette catégorie d’interfaces, les exosquelettes posant des contraintes ergonomiques importantes. Toutefois, comme pour les traqueurs mécaniques, les qualités métrologiques des exosquelettes sont un avantage : précision élevée et temps de latence très court. Les combinaisons de données utilisent évidemment les classiques traqueurs électromagnétiques.
Interfaces de localisation électromagnétique
On emploie les capteurs électromagnétiques car ceux-ci n’ont pas de problème d’occultation entre l’émetteur et les récepteurs. Ceci est le principal avantage par rapport aux interfaces basées sur une localisation optique par caméras. Grâce aux traqueurs électromagnétiques, la combinaison de données donne des résultats satisfaisants pour le suivi du mouvement du corps, si celle-ci est équipée d’un assez grand nombre de traqueurs judicieusement placés. Les qualités métrologiques des mesures dépendent directement de celles des traqueurs, sous réserve que ces derniers soient bien fixés sur le corps. Mais la limite d’étendue de mesure peut poser problème dans ce cas de motion capture, car les espaces de travail sont souvent assez grands par rapport aux capacités de ces traqueurs.
Les sociétés Ascension et Polhemus, qui fabriquent les capteurs de position à 6 ddl, proposent des combinaisons de données comprenant jusqu’à une centaine de traqueurs. Le nombre de câbles liés à la personne est une gêne non négligeable. Compte tenu du nombre important de capteurs mis en oeuvre, Ascension et Polhemus commercialisent des versions «wireless» pour les combinaisons. Les capteurs ont toujours pour principal défaut d’être perturbés par les objets métalliques et les champs magnétiques.
Le «MotionStar Wireless» (ci-contre) sans fil d’Ascension utilise les champs magnétiques générés par son émetteur longue portée pour mesurer la position et l’orientation de ses capteurs. Les récepteurs sont positionnés sur le corps aux points où l’on souhaite mesurer les mouvements. Les données issues des capteurs sont transmises par des câbles vers un émetteur radio fonctionnant sur batteries et porté à la ceinture Les données des récepteurs et d’autres périphériques (tel un gant de données) sont ensuite transmises à la station de base.
Les caractéristiques du «MotionStar Wireless» sont les suivantes :
14 traqueurs à 6 ddl par acteur ; étendue de mesure de 3 m dans chaque direction ; précision en position de 0,75 cm RMS à une distance de 1,5 m et de 1,5 cm RMS à une distance de 3 m; précision en orientation 0,5° à 1,5 m et de 1° à 3 m; la fréquence d’échantillonnage monte jusqu’à 120 mesures par seconde.
Cela signifie en pratique qu’il n’y a pas de liaison électrique entre l’utilisateur et le boîtier électronique relié à l’ordinateur.
Localisation par exosquelette
Le produit de la société allemande X-IST Realtime Technologies change des combinaisons traditionnelles : celle-ci propose un exosquelette souple fixé à l’ensemble du corps. Le dispositif n’est pas perturbé par un environnement métallique et même les gants de données associés peuvent s’utiliser sous l’eau.
Le «Body tracker» de X-IST Realtime Technologies est une interface de capture de mouvements par un système mécanique de tiges et de codeurs que porte la personne.
Cet exosquelette est performant et adaptable à la morphologie de la personne. Son étendue de mesure est de 20 mètres. Le poids total est de 6,8 kg et il n’y pas beaucoup de friction au niveau des articulations. Ce système est proposé par l’entreprise avec les suivis de mouvements de la tête («Face tracker», voir plus loin) et des mains, pour donner un système complet : le «Full Body tracker». Le dispositif est relié à l’ordinateur par une simple liaison RS232.
La capture de mouvement par exosquelette Gypsy de Analogus Corporation (ci-contre) est basée sur le même principe mécanique de tiges et de codeurs que porte la personne. Ce système n’a pas de limite en étendue pour l’enregistrement de mouvement, avec une autonomie de 4 heures, fournie par une batterie portable. Pour l’animation en temps réel, le système est relié à un ordinateur par un simple câble Ethernet. Son prix est de 10000 $ US environ.
INTERFACES DE LOCALISATION OPTIQUE
La deuxième solution, par traitement d’images, est plus ergonomique puisqu’elle laisse toutes libertés de mouvement pour la personne. Si on ne peut pas poser de marques sur le corps observé, les difficultés de traitement d’images sont importantes.
Par contre, si on peut coller des repères sur le corps (pastilles réfléchissantes, cibles électroluminescentes ou LED infrarouges), les traitements sont plus aisés et plus rapides mais la mise en oeuvre peut être délicate, surtout pour la gestion de l’éclairage, des occultations et de la zone d’observation des caméras.
Les produits sont de prix trop élevés pour une utilisation non professionnelle, mais on peut en espérer progressivement la baisse des prix. Un exemple de caractéristiques avec un système de caméras et d’éclairage par infrarouges de petites marques passives : de 2 à 8 caméras, ayant des champs de vision de 0,2 à 10 mètres en profondeur, la précision est de 1/2800 du champ de vision en 3D dynamique, ce qui donne une précision de 1 mm environ pour un champ de 2,8 mètres, avec un nombre illimité de marqueurs.
Cette méthode peut souffrir de l’occultation des parties du corps qui se retrouvent masquées dans certaines positions. Une autre difficulté technique est le nombre imposant de calculs, engendrés par l’analyse des images, mais la puissance actuelle des ordinateurs commence à estomper ce noeud technologique. L’éclairage est aussi délicat à contrôler car il peut perturber les mesures. Enfin, des caméras très rapides doivent être employées en général, car les 25 acquisitions par seconde d’une caméra classique ne donnent pas souvent de résultats satisfaisants, surtout pour des mouvements rapides de la personne.
La capture de mouvements par le «Vicon Motion Capture systems» de Vicon est basée sur la détection par caméra de marqueurs passifs réfléchissants. Il n’y a donc pas de batteries à porter et de câbles de liaison.
Les caméras précises fonctionnent jusqu’à 120 images par secondes. Elles peuvent suivre 50 marqueurs pour déterminer les mouvements de 20 à 30 segments du corps. Les positions 2D des marqueurs permettent de déterminer les positions 3D des segments du corps, en tenant compte de considérations anatomiques. Les personnages peuvent être animés ensuite jusqu’à la fréquence de 30 images par secondes sans temps de latence perceptible.
Un nouveau produit a été développé par Ascension sur un principe optique : ReActor.
Ce système est basé sur un ensemble de 12 barres qui forment les arêtes d’un parallélogramme de 3mx3mx4m. Des caméras numériques infrarouges détectent 30 marqueurs actifs et infrarouges. La vitesse de capture est de 900 par seconde et la transmission des données peut monter jusqu’à 60 Hz. Des batteries doivent être portées dans un sac de 900g par l’utilisateur. Le système mesure les mouvements des marqueurs et détermine en temps réel les mouvements du corps.
La capture de mouvements par le «Eagle Digital System» de Motion Analysis est aussi basée sur la détection de marqueurs passifs par caméra spécifique, à résolution de 1280×1024 à la fréquence de 600 millions de pixels par seconde. L’affichage et l’animation du squelette se font en temps réel, à la fréquence des caméras vidéo. La précision est bonne, inférieure à 1%, et le temps de latence est imperceptible.
La société Northern Digital Inc. (NDI) propose un système complet de capture de mouvement temps réel pour le visage, les mains et le corps : le système Optotrak (ci-contre), composé d’un banc de trois caméras infrarouges Le système comprend jusqu’à 256 marqueurs et il est capable d’acquérir jusqu’à 150 images par seconde, permettant des captures sans câble de plusieurs acteurs. Le système Optotrak suit les déplacements des marqueurs infra-rouges, qui sont tous identifiables (utile pour résoudre les problèmes d’identification après occultation). Le capteur est calibré en usine. Les caractéristiques sont très performantes : précision de 0,1 mm en X et Y et 0,15 mm en Z pour à une distance de 2,5m avec une étendue de mesure de 1,3 m sur 1,3 m. Les données 2D sont traitées à 450Hz et fournissent des données 3D à 60 Hz. Plusieurs systèmes de capture peuvent être couplés pour augmenter la flexibilité et l’étendue de mesure.
La capture de mouvement peut fonctionner avec la lumière, puisqu’il travaille en infrarouge (mais les reflets de ces derniers doivent être évités). NDI commercialise aussi un autre système de motion capture optique à plus bas prix : le Polaris.
La société Hypervision propose un système de capture de mouvement à partir d’une combinaison possédant des marqueurs actifs prédisposés, ce qui permet un calibrage rapide de l’interface. Les marqueurs sont alimentés électriquement par une batterie portée. Il n’y a pas de câble qui empêchent les mouvements de la personne. Les positions XYZ des marqueurs sont calculées en quelques ms à une précision de quelques mm.
Le système Coda de Charnwood Dynamics est composé de trois caméras mises dans un seul boîtier. Il suit en temps réel la position tridimensionnelle de cibles : des petites LED infrarouges, chacune étant identifiable, qui sont alimentées par des petites batteries portables (autonomie d’une journée de travail). Le temps de latence est de 5 ms et la fréquence de mesure monte jusqu’à 800 Hz. 56 LED sont identifiables et la résolution est de 0,1 mm
Différentes techniques sont utilisées en motion capture.
Tous les concepteurs de nouveaux systèmes recherchent à supprimer les insuffisances des autres capteurs. On peut citer, par exemple, les ambitions de l’entreprise XD Productions qui conçoit un système efficace de motion capture «le Cyberdôme», tout en recherchant à minimiser les coûts, grâce entre autres par l’exploitation de caméras classiques peu onéreuses.
Le Cyberdôme (ci-contre) est un outil de recherche et de production installé dans les locaux CNBI à Angoulême, constitué par une structure en bois de forme hémisphérique de 10 m de diamètre sur laquelle sont fixées, à espace régulier, 14 caméras vidéo.
Ce dôme est monté sur un plateau de 400 m², doté d’une hauteur de 5,5 m. Connectées à des ordinateurs, les caméras ont ainsi la capacité, grâce aux calculs de paires stéréoscopiques de calculer les coordonnées de plusieurs points lumineux positionnés sur un acteur en mouvement. Ces coordonnées sont ensuite appliquées sur le squelette virtuel d’un personnage 3D synthétique, dont l’animation suit automatiquement les mouvements de l’acteur.
Les points du corps de référence sont facilement repérés en temps réel par des cibles électroluminescentes de couleurs suffisamment différentiables par les caméras, ce qui est une des originalités du Cyberdôme. Ces cibles sont alimentées à basse tension par une batterie que porte la personne. Le problème de reconnaissance des marqueurs ne pose donc pas de problème insurmontable dans ce type d’approche avec des caméras vidéo à prix modéré. La structure du dôme et le nombre de caméras, qui peut facilement être augmenté sans contrainte technique, est bien approprié pour la capture de mouvement dans un espace suffisamment grand.
D – 3 Manette, souris et trackball avec retour de force et retour tactile
Il existe quelques trackballs, souris 2D et même 3D avec des retours d’effort. Elles génèrent sur commande des stimuli qui facilitent l’interaction dans un monde 2D. Elles n’ont à priori que peu d’intérêt pour des jeux en 3D. La société Haptic technologies propose la Mouse Cat (ci-contre) et le Pen Cat.
Elle a un espace de travail de 7 par 10 cm avec des forces en pic de 10 N, sur évidemment 2ddl.
© photo Immersion Corporation
La nouvelle souris de Logitech, la WingMan Force Feedback Mouse, est également dotée d’un système de retour de force la destinant tout particulièrement aux joueurs désirant percevoir les sensations de déplacement et les chocs lors des jeux d’action. Ce procédé qu’on trouve habituellement sur les joysticks, volants et autres gamepads, est beaucoup plus difficile à mettre en oeuvre sur une souris. C’est pourquoi cette souris très particulière est intégrée à un plateau qui abrite les mécanismes du retour de force et fait office de tapis de souris. Le retour de force y est efficace.
Pour les joysticks, la proportion d’option retour de force et retour tactile est nettement plus importante.
L’utilisateur, tenant une manette avec ses doigts ou sa main, ressent les mouvements qui sont imposés à la manette. Des sensations de rugosité d’une surface virtuelle sont obtenues en appliquant des forces de résistance pendant le déplacement de l’extrémité de la manette. Des simulations de fluide visqueux peuvent aussi être créées. La difficulté technique à surmonter est d’appliquer de faibles variations de stimuli tactiles sur la manette. En dessous d’un certain seul d’amplitude des stimulis, on a tendance à parler de retour tactile ou vibrationnelle. Au dessus, on parle de retour d’effort.
Le seuil entre les sensations tactiles et les mouvements imposant de faibles efforts aux muscles n’est pas toujours très clair.
Des constructeurs de joystick et de souris exploitent en retour des vibrations sur ces dispositifs. Les vibrations peuvent être variables. Sur une manette d’un constructeur, les vibrations sont codées sur 8 bits, 4 pour l’intensité et 4 pour la durée des vibrations.
Elles peuvent indiquer une intensité de contact, une rugosité de surface ou toute autre information symbolique.
Le Tactile TrackPoint Touch Feedback d’IBM possède un actionneur au-dessous du périphérique de pointage qui peut stimuler le doigt de l’utilisateur. Il donne un choc contre le doigt pour indiquer la position du curseur. Mais cette interface est à employer dans les interfaces IHM classiques plus que pour des applications de réalité virtuelle.
D – 4 Interface physiologiques
Il existe aujourd’hui des systèmes de capteurs relevant l’activité de nôtre système nerveux, de nôtre cœur et de nôtre cerveau, et qui soient capable de restituer un certain retour tactile directement par électrodes cutanées au niveaux de nos zones corporelles de sensibilité nerveuse.
CAPTEURS PHYSIOLOGIQUES
Sans doute l’avenir en matière d’immersion et de temps réel, des laboratoires proposent des dispositifs mesurant de faibles différences de potentiel à la surface de la peau. Ces biocapteurs permettent de détecter directement les signaux biologiques commandant le mouvement des muscles oculaires ou squelettiques ainsi que les activités du cœur ou du cerveau.
© photo Moto Development Group
L’entreprise américaine BioControl Systems conçoit des biocapteurs permettant de transmettre leurs mesures à un ordinateur. Ces capteurs détectent quatre sources d’activités électriques, révélatrices des activités nerveuses efférentes : l’activité musculaire (EMG, électromyogramme), l’activité du mouvement d’un œil (EOG, électrooculogramme), l’activité du cerveau (EEG, électroencéphalogramme) ou l’activité du cœur (EKG, électrocardiogramme). Ces signaux de faibles voltages sont captés par des électrodes non invasives placées sur la peau. Ils sont ensuite reconnus et traités pour en extraire des caractéristiques pertinentes par une bibliothèque d’algorithmes programmables.
En troisième étape, les caractéristiques relevées sont codées et transmises à l’ordinateur via une liaison RS232. Le système BioMuse (plus haut) peut acquérir huit signaux simultanément à fréquence élevée (20 KHz), à résolution sur 12 bits et les exploiter en temps réel. Le prix de base est d’environ 20000$.
Les électromyogrammes peuvent servir à capter les mouvements de la main en analysant les signaux d’un groupe de muscles. Les senseurs sont placés de telle façon qu’ils laissent la main libre de tout dispositif. Dans ce cas, ils peuvent être considérés comme une interface «gant de données». Mais on peut aussi les utiliser comme oculomètre.
Les électrooculogrammes sont capables de mesurer les déplacements des yeux dans leurs orbites. Les caractéristiques recueillies permettent, par exemple, de commander un curseur affiché sur un écran pour être exploité comme une souris. En mesurant sur les deux yeux leur convergence, on peut aussi diriger le curseur dans la direction de la profondeur de l’écran. On obtient dans ce cas une souris tridimensionnelle.
INTERFACE A RETOUR TACTILE PAR ELECTRODES CUTANةES
J’en ai évoqué dans le cas des data gloves et exosquelettes partiels, mais je vous en parle davantage dans ce chapitre.
Elles sont spécialement conçues pour transmettre des courants électriques aux différents capteurs cutanés. Ces actionneurs demandent une consommation de puissance assez basse, ils sont légers, n’ont pas de mouvements propres et restent en contact constant avec la peau. Ils sont, pourtant, plus invasifs que les systèmes pneumatiques ou vibrants et peuvent produire des douleurs si le courant électrique n’est pas approprié.
De plus la résistivité de la peau varie avec des conditions de sécheresse, la peau glabre est meilleure que celle ayant une forte pilosité pour une stimulation électro-cutanée.
Des dispositifs, qui mesurent des signaux électriques générés par l’activité musculaire (électromyogramme), sont commercialisés chez BioControl Systems.
D – 5 Autres interfaces sensori-motrices spécifiques
Je ne m’étendrai pas sur le sujet, mais comme j’en ai déjà parlé, de nombreux jeux vidéo, en particulier dans les salles d’arcade et dans le cadre des systèmes de réalité virtuelle, utilisent des supports de simulation adaptés à la simulation en question, à savoir, des simili- motos (forme, pédalier, casque, guidon et poignées rotatives,…) , voiture (forme, volant, pare-brise, rétros,… , avion (forme, cockpit, …), delta-plane (forme, barre de manœuvre,…), vélo (forme, pédalier, guidon, …), …
Chacune de ces interfaces captent donc votre activité de manière plus ou moins localisée, dispose d’un certain nombre de ddl contrôlés, applique des retours de force en cas de chocs, vent contraire, tremble en fonction des zones de passage,…