Comment faire pour qu’une machine reconnaisse le visage de quelqu’un ? Si la recherche a un temps parié sur les systèmes experts, une voie de l’intelligence artificielle où l’algorithme apprend à partir de règles logiques, elle est vite passée à la statistique. Les technologies actuelles reposent sur l’utilisation de réseaux de neurones dits convolutifs, une méthode d’apprentissage profond (deep learning). À partir d’une multitude d’exemples, qui constituent une base de données, la machine s’entraîne pour apprendre à donner une signature biométrique à un visage, observant ses traits distinctifs comme la texture, la forme morphologique, la disposition spatiale des yeux, du nez, de la bouche…
Reconnaître un visage en dépit de ses changements
En pratique, le logiciel n’identifie jamais une personne. Il donne un score de correspondance (matching) entre deux images, qui permet de déduire un taux d’erreur. "Les technologies de reconnaissance faciale fonctionnent très bien, ou presque, sur des visages captés de face, ou presque, et dans de bonnes conditions, notamment en matière de lumière, présente Liming Chen, professeur d’informatique à l’École centrale de Lyon. Mais nous devons faire progresser leur robustesse dans des scénarios non coopératifs et des environnements non contrôlés. Cela renvoie aux lieux sombres, aux visages ayant une pose prononcée, au port de lunettes ou de casquettes."
Comment reconnaître, par exemple, quelqu’un de profil quand on doit recouper son visage avec une base ne comportant que des photos de passeports ? "Comme le profil ne nous donne que la moitié des informations, la première approche consiste à frontaliser le visage, c’est-à-dire à générer automatiquement une photo frontale, détaille celui qui est aussi chercheur au Laboratoire d’informatique en image et systèmes d’information (Liris) du CNRS. La deuxième est d’entraîner le système sur des photos de profil qui peuvent être automatiquement générées pour le rendre plus robuste aux variations de pose."
Les performances globales des logiciels de reconnaissance faciale ne doivent pas masquer des disparités entre les populations. Les algorithmes étant entraînés à partir de données, leurs performances dépendent fortement des informations ingurgitées. Les premiers systèmes développés aux États-Unis fonctionnaient mal sur les populations afro-américaines, car celles-ci étaient absentes des bases de données utilisées en intelligence artificielle. Plus récemment, les utilisateurs chinois se sont plaints que la fonction Face ID, pour déverrouiller l’iPhone par reconnaissance faciale, différencie mal les personnes. Cela renvoie à la notion de biais des algorithmes. "Les algorithmes fonctionnent moins bien sur certaines populations, mais cela n’est pas uniquement dû aux bases de données utilisées, éclaire Jean-Luc Dugelay, professeur au département sécurité numérique de l’école Eurecom, à Sophia Antipolis (Alpes-Maritimes). Des populations présentent plus de variabilité que d’autres, comme les femmes à cause du maquillage, des coiffures… L’âge est aussi une variabilité. Ce qui est compliqué, c’est quand elles se combinent : reconnaître quelqu’un vingt ans après, qui s’est laissé pousser la barbe et porte des lunettes." D’où le fait que les systèmes occidentaux soient actuellement mis en difficulté par le port du masque, que personne n’avait prévu. Les technologies venues de Chine, où cet usage est plus répandu, sont plus efficaces.
Simulation d’attaques dites "adversarielles"
"Notre objectif est d’obtenir une signature faciale la plus robuste possible, qui ne soit pas sujette aux changements d’éclairage, aux expressions faciales ou au vieillissement de la population, fait valoir Liming Chen. Nous travaillons aussi sur des techniques qui sont généralisables, c’est-à-dire valables sur des populations plus larges que celle de la base de données utilisée à l’entraînement." Son équipe a notamment travaillé à une coopération internationale sur l’identification des jumeaux. Sur ce point, la machine réussit désormais dans 96 % des cas, alors que l’humain se trompe une fois sur deux !
Non influencée par la ressemblance physique, la machine peut en revanche être abusée par une modification invisible à l’œil humain. Il suffit de changer quelques pixels savamment choisis dans une image pour que le logiciel identifie Paul à la place de Jacques. Il s’agit là d’un exemple de techniques appelées attaques adversarielles. "Elles réussissent quand on connaît l’algorithme, souligne Jean-Luc Dugelay. Pour y répondre, nous travaillons sur des parades. Nous simulons des attaques afin de les prévenir. C’est un nouveau rapport de force entre attaques et parades qui se joue."
Autre moyen de tromper en ligne les logiciels : mélanger deux visages en une seule photo afin qu’un système de reconnaissance faciale, pour un contrôle d’accès, par exemple, identifie positivement deux individus pourtant différents. Astucieux pour accéder à un site sensible ! Les attaques adversarielles peuvent aussi intervenir dans le monde réel, par le port de maquillage spécial, de lunettes psychédéliques, de masques…
Si les chercheurs n’ont pas fini de déjouer les pièges des attaquants, leurs travaux sont aussi dédiés à un enjeu majeur : l’explicabilité des algorithmes. Les décisions des logiciels d’IA, surtout quand ils recourent à des réseaux de neurones aux multiples couches, sont extrêmement difficiles à rendre explicables et transparentes. C’est pourtant essentiel pour garantir l’acceptabilité de ces technologies. Surtout si nous leur confions des décisions importantes, comme l’accès à un lieu ou l’ouverture d’un compte bancaire.
Reconnaissance faciale et deepfakes se répondent
La reconnaissance faciale lutte-t-elle contre elle-même ? Derrière cette question figure l’idée que les développements qui font progresser cette technologie servent aussi au trucage d’éléments numériques (photos, vidéos et sons). Les fameux deepfakes, qui peuvent lui poser problème ! "Pour améliorer la comparaison entre deux images espacées dans le temps, la biométrie a développé des techniques pour modifier l’âge d’une personne sur une photo, en ajoutant par exemple des rides pour la vieillir, explique Jean-Luc Dugelay, professeur à Eurecom. Or si nous savons modifier l’âge, c’est que nous savons modifier la photo. C’est la première brique pour créer des visages qui n’existent pas." De quoi ouvrir la porte à un nouveau défi de cybersécurité : la lutte contre l’usurpation d’identité par la création de fausses identités digitales. Heureusement, l’expertise en reconnaissance faciale peut aussi servir à démasquer ce type de deepfakes. En incorporant notamment des informations dans les images pour les rendre impossibles à truquer et authentifiables.
