A teljesítménymérések mindig is vitatott területet képviseltek, mégsem lehet tagadni jelentőségüket a kvantitatív értékelésben. Éppen ezért kapnak kiemelt figyelmet mind a technológiai entuziastáktól, mind a vállalatoktól, amikor befektetési döntésekről van szó. Az Intel körül most vihar kavarog, miután felmerültek vádak a cég ellen, miszerint manipulálták a Xeon processzoraik teljesítménymérési eredményeit.
A Standard Performance Evaluation Corporation (SPEC), egy neves iparági testület, több mint 2600 Xeon processzor tesztjének eredményét érvénytelenítette a 2022 és 2023-as SPEC CPU 2017 tesztjében. A SPEC szerint az Intel olyan fordítóprogramokat használt, amelyek kifejezetten a teszt teljesítményének javítására lettek optimalizálva, tudva a SPEC kódját és adatkészletét. Ez a gyakorlat azonban nem tükrözi azt a teljesítményt, amit a végfelhasználók a valós világban tapasztalhatnak.
Az Intel által használt egyedi fordítóprogram akár 9%-kal is felfújhatta a SPEC tesztjének releváns eredményeit. A ServeTheHome és a Phoronix jelentései – melyeket a Tom’s Hardware tett közzé – részletesebben is kitérnek a műszaki részletekre, bár ezek megértése számomra is kihívást jelent.
A SPEC az adatbázisának áttekintése során bukkant rá ezekre az eredményekre. Bár a történelmi nyilvántartások miatt nem törli az adatokat, hivatalos jelentéseiből kizárta őket. Az újabb verziójú fordítóprogramok, amelyeket az ipari Xeon processzorok legújabb, 5. generációs Emerald Rapids sorozatában használnak, állítólag már nem alkalmazzák ezeket a teljesítményt növelő API-kat.
Ez az eset nem egyedi a tech iparban; a mobilchip-gyártókat – köztük a Qualcommot, a Samsungot és a MediaTeket – is megvádolták már azzal, hogy manipulálták az Android teljesítménymérési eredményeit 2020-ban. A vállalatok által saját maguk jelentett, gyakran ellenőrizhetetlen paraméterekkel végzett benchmarkok manipulálása sajnos nem ritka jelenség.
