Pour un test de référence populaire, Intel a secrètement optimisé les processeurs pour que les résultats soient beaucoup plus élevés et ne soient plus représentatifs des performances dans le monde réel.
Le spécialiste des benchmarks SPEC (Standard Performance Evaluation Corporation) accuse Intel de tricherie. La société note qu’Intel a optimisé le compilateur de plusieurs processeurs spécifiquement pour son test SPEC CPU 2017. Grâce à cette optimisation, le test ne reflète plus la qualité d’un processeur Intel dans un type particulier de charge de travail, mais simplement les performances du CPU dans le test de référence lui-même.
Tests de référence comme indicateur
Les tests de référence tels que SPEC CPU 2017 incluent diverses charges de travail standardisées que les processeurs doivent affronter. Les tests accordent ensuite une note aux résultats. La standardisation des tests de référence donne aux entreprises la possibilité de comparer les composants objectivement avant de décider lequel est le mieux adapté à leurs besoins. Nous utilisons par exemple le test SPECwpc pour tester les stations de travail ; ainsi, nous avons un référentiel objectif pour comparer les points forts et faibles.
Un test de référence est toujours quelque peu artificiel, mais à la base, un bon test contient des charges de travail qui sont représentatives des tâches qu’une unité centrale effectuerait dans le monde réel. Un score élevé dans un certain type de charge de travail qui est important pour vous, signifie normalement que votre adaptation de cette charge de travail se déroulera également sans problème.
Mauvaise réprésentation
Selon SPEC, Intel a truqué le test en question au point qu’il n’est plus représentatif. Dans le compilateur, qui traduit le code en instructions pour le processeur, Intel a apporté des optimisations très ciblées pour les parties 523.xalancbmk_r / 623.xalancbmk_s du test de référence, en utilisant des connaissances antérieures pour le code de ce test. Le résultat n’est donc pas surprenant : Les processeurs seraient jusqu’à 9 % plus performants sur SPEC CPU 2017. Mais malheureusement, ce gain de performance ne vaut que pour le test en question, et dans la vie réelle, le processeur est 9 % plus lent que ce qu’indiquent les chiffres.
Par conséquent, SPEC a révoqué la validation de 2 600 résultats de tests de 2022 et 2023. Intel semble avoir triché notamment avec ses processeurs Sapphire Rapids. Les versions plus récentes du compilateur Intel OneAPI ne contiendraient plus les optimisations. Les résultats pour Emerald Rapids sont donc encore représentatifs.
Trompeur
C’est une découverte embarrassante, même si le problème a été corrigé pour les nouveaux tests. Elle montre qu’Intel ne se gêne pas pour manipuler les résultats des tests à son avantage et tromper les clients. Bien entendu, cette pratique n’est pas illégale, mais elle trompe consciemment les clients et les testeurs qui se fient à un test de référence réputé et fiable pour prendre une décision d’achat sur la base de ces résultats.