Tirée par Hololens, la réalité mixte gagne l'industrie

Voici quelques mois, le groupe Volvo a institutionnalisé l’usage des lunettes de réalité mixte (RM) Hololens pour effectuer le contrôle qualité des moteurs. Les expérimentations avaient débuté en 2017 chez Renault Trucks – désormais propriété de Volvo – avec le concours d’Immersion, intégrateur spécialisé dans les technologies immersives. « Les opérateurs devaient parcourir une documentation papier pour vérifier l’ensemble des points décrits, précise Christophe Chartier, le président d’Immersion. Une procédure longue et fastidieuse, d’autant que chaque moteur ou presque est unique. S’ensuivait la saisie informatique dans une base de données, source d’erreurs. »

Volvo a donc mis en œuvre la RM, idéale pour comparer la réalité et la théorie grâce au spatial computing (traitement de données spatiales) : les lunettes Hololens sont équipées de caméras qui capturent la scène observée par l’opérateur, puis des algorithmes d’analyse d’images construisent un modèle 3D de l’espace centré sur le point de vue du porteur des lunettes. De quoi permettre d’incruster dans le réel des objets virtuels positionnés précisément.

Dans l’exemple de Volvo, les pièces à examiner s’affichent sous forme d’hologrammes colorés situés à l’emplacement exact des pièces réelles sur le moteur. Leur identification est quasi immédiate. Des instructions graphiques complémentaires indiquent ensuite les opérations à réaliser. La tablette ou le smartphone, plus familiers, offrent également ces possibilités et font partie de l’outillage réalité mixte du groupe Volvo. « Mais le gain de productivité est plus important en libérant les mains de l’opérateur, d’où le choix des lunettes », explique Christophe Chartier.

Le spatial computing est l’atout majeur de la RM pour les applications dans l’industrie (la formation, l’aménagement d’espace, la téléassistance...). « En travaillant avec Framatome, nous avons d’abord proposé une application de vidéo-assistance reposant sur les caméras des Hololens, raconte Antoine Bezborodko, producteur exécutif chez Holoforge Interactive, intégrateur expert sur la question. Mais c’est en utilisant le spatial computing que nous avons permis au superviseur distant de visualiser l’environnement 3D de l’opérateur et de le guider en incrustant des données virtuelles dans son champ de vision. »

C’est la différence avec la réalité augmentée (RA) : les lunettes de RA, bien qu’affichant des informations contextualisées, ne modélisent pas leur environnement. Textes et graphiques s’affichent sans ancrage avec la réalité observée. Les Google glass, lancées en 2012, étaient de ce type. Leur petit afficheur était en outre excentré et ne couvrait qu’une partie minime du champ de vision. Google a renoncé, faute de débouchés. Depuis, les faillites se succèdent dans la RA : l’américain ODG en 2018 ou le français Laster Technologies en 2019. Le breton Optinvent, concepteur des lunettes Ora-2, subsiste, mais pour combien de temps ? L’addition du spatial computing, étape essentielle vers la RM, n’est pas une garantie de survie. Les sociétés Meta et Daqri l’ont fait… avant de sombrer.

Des bénéfices difficiles à chiffrer

La timidité du marché est une première explication à cette cascade d’échecs. « Les industriels passés de la preuve de concept au déploiement ne sont qu’une poignée, admet Christophe Chartier. La majorité en est à l’étape de la découverte et de l’estimation du retour sur investissement. » La RA-RM se heurte à des cycles industriels à forte inertie et leurs bénéfices – la diminution de la pénibilité dans le cas de Volvo – ne sont pas faciles à chiffrer.

La seconde raison se nomme Microsoft. à leur sortie en 2015-2016, les Hololens, combinaison tout en un d’un système optique transparent et du spatial computing, ont ringardisé la concurrence. Leur deuxième version est commercialisée depuis novembre dernier. « Les trois améliorations majeures portent sur l’immersion, l’ergonomie et la rapidité de la mise en œuvre », indique Othman Chiheb, le responsable produit et réalité mixte chez Microsoft France. Auparavant limité à 32 °, le champ de vision a été augmenté à 54 °, avec une définition de deux millions de pixels par œil.

De façon générale, le système optique représente le plus grand défi technique, surtout si l’on veut des images hyperréalistes. « La compacité, le champ de vision, la quantité de lumière et la résolution inférieure à une minute d’arc – soit le pouvoir séparateur de l’œil humain – sont les paramètres en compétition », détaille Bertrand Simon, maître de conférences à l’Institut d’optique graduate school. Les compromis sont donc inévitables.

Côté puissance de calcul, toutes les lunettes RA-RM ont tiré profit de la généralisation du smartphone et de ses composants. Les Hololens 2 embarquent un processeur Snapdragon 850 de Qualcomm, ainsi qu’une batterie Li-ion (trois heures d’autonomie) et offrent une connectivité Wi-Fi et Bluetooth. Elles se distinguent par leur coprocesseur réservé au calcul holographique (HPU) et à la vision par ordinateur. Une sophistication qui coûte un peu moins de 4 000 euros. Ce qui reste une somme importante, même pour un grand groupe.

Face aux Hololens, les lunettes de RM Magic Leap 1, qui se vendent au compte-gouttes, offrent des performances en deçà de leurs promesses. Avec une unité de traitement à la ceinture, elles sont légères (316 g) mais requièrent une télécommande alors que l’interface et les hologrammes des Hololens 2 se contrôlent intuitivement avec les deux mains, dont le mouvement est mesuré par le spatial computing. Les lunettes du chinois Nreal, annoncées pour 2020 et destinées en priorité au grand public, pèsent moins de 100 g et se démarquent par un prix agressif, inférieur à 1 000 dollars.

Les lunettes d’Apple ne devraient pas être commercialisées avant deux ou trois ans. Dans l’immédiat, Lenovo semble l’un des seuls à même d’offrir une alternative à Microsoft. « Nos lunettes Thinkreality A6 seront probablement disponibles début 2020, confie Loïc Beauvillain, le responsable RA-RV chez Lenovo pour l’Europe, le Moyen-Orient et l’Afrique. Une dizaine de projets pilote est menée dans l’aéronautique, l’automobile et l’industrie pétrolière. »

Le processeur Intel Movidius prend en charge la vision par ordinateur et peut exécuter des réseaux neuronaux, à l’instar du HPU de Microsoft. L’unité de traitement, externe, contient un processeur Snapdragon 845 et l’usage d’Android 8.1 témoigne de la volonté des fabricants d’accélérer le dévelop­pement des applications. Les Hololens 2 hébergent une déclinaison de Windows 10 et lisent n’importe quel code source fonctionnant sur un PC Windows 10. Moyennant licences, la suite logicielle Dynamics 365 fournit des solutions clés en main pour la télé­assistance, la formation et l’aménagement d’espace.

La fatigue visuelle en question

Les intégrateurs ne sont pas en reste : Holoscene d’Holoforge permet de créer des cas d’usage sur mesure et Reviiiew d’Immersion offre la possibilité d’importer tout type de modèle 3D dans le champ de vision d’un casque. En complément, les fonctions collaboratives servent à observer ces modèles 3D sous plusieurs angles. Quelles que soient les lunettes, le lien avec le système d’information (SI) de l’industriel est crucial. « Dans le cas de Renault Trucks, le code de l’application est en cours d’implantation dans le système d’information, explique Christophe Chartier d’Immersion. L’objectif est que les lunettes Hololens réceptionnent les informations du moteur et que les validations soient ensuite enregistrées correctement dans la base de données centrale. Nous avons travaillé en partenariat avec l’éditeur PTC. »

Reste que le port de lunettes de RA-RM suscite toujours des interrogations. La charge cognitive diminue-t-elle vraiment, malgré le surplus d’informations visuelles ? « Tout dépend de l’application, de sa prise en compte des tâches visuelles [où va le regard et pour quoi faire, ndlr] et de l’utilisateur, répond Bertrand Simon. Un système pourrait comporter plusieurs modalités d’affichage en fonction des tâches visuelles à exécuter. »

Il faut aussi souligner le conflit de vergence-accommodation : « L’effet de profondeur est simulé grâce à la disparité binoculaire et induit un réflexe d’accommodation, poursuit-il. Le souci, c’est que le plan de netteté des images stéréoscopiques ne coïncide pas avec la distance d’accommodation des yeux. » Il peut en résulter un temps de ré-accommodation et une fatigue visuelle. Des questions d’autant plus sensibles que la RA-RM est censée s’intégrer aux postes de production, où le moindre incident est dangereux. En 2018, Framatome a financé une étude universitaire qui concluait que l’utilisation des Hololens pendant quatre-vingt-dix minutes était sans risque. Des résultats à confirmer pour que les lunettes de RM se déploient.