Comment comparer les performances des calculateurs quantiques

Lorsque Thales et EDF ont signé leur contrat de collaboration autour du calcul quantique, en février dernier, la feuille de route, qu’« Industrie & Technologies » a pu se procurer, indiquait que la période de janvier à avril 2023 serait consacrée à « un travail de benchmark [évaluation comparative, ndlr] conjoint des cas d’usages respectifs » sur les calculateurs quantiques disponibles et via des émulateurs. Et pour cause, tous les industriels interrogés pour cette enquête le martèlent : « Il nous manque des benchmarks quantiques opérationnels ! » Or « la course à l’avantage quantique dépend des outils d’évaluation », clamait le cabinet de conseil BCG dans un article paru en février.

EValuer sur des applications réelles

Heureusement, la recherche en la matière avance vite. Alors que, pour développer leurs machines, les constructeurs de hardware quantique s’appuient sur des méthodes d’évaluation comparative aléatoire conçues dans les années 2000-2010, des métriques plus génériques ont depuis vu le jour.

En 2017, IBM a dévoilé le volume quantique, adopté trois ans plus tard par IonQ et Quantinuum. Mais celui-ci est vivement critiqué, notamment en raison de la complexité de sa méthodologie et parce qu’il nécessite une émulation sur un ordinateur classique. Autre défaut : il ne dit pas grand-chose sur la performance d’un processeur sur une application précise. « Au final, nous, utilisateurs, nous nous en fichons un peu du volume quantique et autres benchmarks généralistes », tranche Johannes Klepsch, responsable des technologies émergentes chez BMW, un brin caricatural de son propre aveu.

Ce que veulent les industriels, c’est une évaluation à partir d’applications réelles. C’est pourquoi, en 2020, des chercheurs de Berkeley ont conçu le Linpack quantique, en référence à la méthode qui permet de classer les 500 meilleurs superordinateurs, sur des systèmes d’équations linéaires. Atos, lui, préfère exploiter un problème d’optimisation pour développer son Q-Score, présenté fin 2020, que beaucoup ont considéré comme une réponse au volume quantique.

Des suites d'outils de comparaison émergent

Mais « s’appuyer sur une seule application n’est pas suffisant », argue, dans un article publié en avril, la start-up de benchmarking quantique Super.tech, rachetée par ColdQuanta en mai. Émergent donc, depuis quelques mois, des suites d’outils de comparaison par application, comme le propose le consortium américain QED-C depuis fin 2021 ou Super.tech, avec sa suite SupermarQ, dévoilée au printemps.

Pour autant, comme rien ne dit que ces méthodes, développées pour les calculateurs d’aujourd’hui, pauvres en qubits et bruités, permettront d’évaluer correctement les ordinateurs quantiques universels de demain, l’agence américaine pour les projets de recherche avancée de défense, la Darpa, a lancé, début 2021, son programme pour développer un benchmarking quantique consensuel. « On peut espérer qu’à l’avenir, l’algorithmie soit davantage décorrélée du hardware et que nous, utilisateurs, n’ayons qu’à travailler sur des solveurs hybrides, que nous couplerons à des processeurs quantiques (QPU) », rêve Marc Porcheron, qui dirige l’équipe quantique d’EDF.