François me demande de me présenter.
Alors je suis, enfin, disons. Je. En gros.
Mais que les gens sont donc curieux.
Bien. À présent que ce point est réglé, la suite.
Constatant les similitudes entre le cluster Big Mac (désormais officiellement nommé X), classé 3e plus puissant super-ordinateur du monde, et son plus proche rival Tungsten en 4e position, j'ai établi un comparatif à l'aide des données rendues publiques. Juste parce que je me demandais. Comme ça. Ben oui.
Pourquoi comparer ces deux clusters ?
- Ils sont proches dans leurs performances (autour de 10 TFlops).
- Ils sont proches dans leur complexité (autour de 2500 processeurs).
- Ils sont proches dans leurs éléments de base (machines bi-processeur constituant le haut de gamme disponible dans le commerce lors de leur réalisation).
- Je suis curieux.
- Et enfin c'est l'occasion de vérifier les performance relatives des G5 et Xeon dans des conditions où Apple ne sera pas accusée de mauvaise foi (en revanche, NCSA … voir plus loin).
Virginia Tech : Virginia Polytechnic Institute and State University
NCSA : National Center for Supercomputing Applications, University of Illinois
Ce qui les distingue
- X est le seul super-ordinateur de la liste à être constitué de macs (et ce pour raison de coût, ce qui est intéressant mais n'étonnera que les non-utilisateurs de macs).
- Les Macs en question sont des machines personnelles alors que les autres clusters sont plutôt constitués de serveurs (mais il est probable que s'il avait existé un XServe G5, Virginia Tech l'aurait utilisé au lieu d'un mac de bureau, avec des résultats similaires et peut-être quelques économies supplémentaires du fait du moindre encombrement et de racks standards plutôt que sur mesure).
- X est à ma connaissance le seul cluster de la liste à utiliser son système d'exploitation grand public d'origine, ce qui n'est probablement pas sans rapport avec son coût exceptionnellement bas, les machines étant passées directement du carton au rack sans que l'équipe n'ait à installer 1100 fois le système (cependant MacOS X est cousin avec les différents unix utilisés par les concurrents, c'est plutôt Windows qui serait incongru dans cette liste).
- Ces 2 clusters utilisent des solutions d'interconnexion différentes, qui contribuent comme la partie logicielle à l'écart d'optimisation des résultats observés (Rmax), mais n'entrent en revanche pas en compte dans le calcul de puissance totale théorique (Rpeak), qui n'est qu'une somme déduite des spécifications techniques des processeurs.
Tableaux comparatifs
Comparaison selon les données de top500.org
où il "manque" 400 processeurs dans Tungsten,
d'où une phénoménale optimisation apparente
En tenant compte du nombre de processeurs indiqué par NCSA
mais où il manque alors une puissance de calcul théorique correspondant
précisément à 400 processeurs, ce qui reste flatteur pour l'équipe
ayant optimisé le cluster mais donne une pire image du Xeon
En tenant finalement aussi compte de la "puissance totale" indiquée par NCSA
probablement le cas le plus juste
Ou les 3 tableaux sans ouvrir de fenêtre par script
pfff, et moi qui ai passé 10 min à faire marcher ces scripts
Doutes
En réalisant le tableau, j'ai remarqué que les données de top500.org ne correspondaient pas à celles affichées chez NCSA. Il "manquait" 400 processeurs. Ce pouvait être une erreur de top500.org (comme le fait qu'ils surnomment X SuperMac au lieu de Big Mac pour une raison que j'ignore). D'où le 2e tableau.
Mais devenu méfiant, j'ai fouillé un peu le communiqué de NCSA, pour constater qu'il fait astucieusement la distinction entre une puissance ìdédiée au calculî et une autre ìdédiée aux entrées-sortiesî, non déclarée à top500.org, distinction qui ne semble pas avoir cours chez les autres participants. Ce qui bien entendu ne change strictement rien à la performance constatée, juste la puissance totale théorique et donc l'optimisation apparente entre les 2.
Du coup, Tungsten apparaît particulièrement optimisé, ce dont NCSA se vante explicitement. Avec une efficacité de 64%, ce cluster présenterait une optimisation comparable à celle de superordinateurs massivement parallèles dédiés, alors que X, bien que très optimisé pour un cluster avec 58%, reste dans la moyenne des 500 superordinateurs de la liste, les autres clusters avoisinant plutôt 50%.
X : 58% (eh) ó Tungsten : 64% (oh), ou plutôt 56% après correction (ah)
Or la différence entre la puissance "totale" de Tungsten selon NCSA (exactement identique à celle de X) et sa partie "dédiée au calcul" déclarée à top500.org correspond précisément à la puissance théorique de 400 de ses processeurs, comme le montre le 3e tableau qui colle parfaitement au 1er (même puissance par processeur, la seule différence étant l'optimisation). Il est donc extrèmement probable que les déclarations de NCSA sont volontairement biaisées pour valoriser indûment son travail d'optimisation du cluster (au risque de donner une plus mauvaise image du Xeon).
Conclusions (âmes sensibles s'abstenir)
- Ce n'est donc pas 2500 mais bien 2900 Xeons que les 2200 G5 ont devancés en devenant le 3e ordinateur de l'histoire à dépasser 10 TeraFlop/s.
- En calcul flottant (ce que teste top500.org), le processeur G5 est théoriquement 100% plus puissant par cycle díhorloge que le Xeon (ou 200% selon le point de vue évidemment).
- Cependant comme le Xeon est disponible à des fréquences très supérieures, le G5 du commerce níest ìqueî 30% plus puissant (ou 130% selon le point de vue).
- Le cluster de NCSA semblant nettement plus optimisé que celui de Virginia Tech, les écarts observés selon les données de top500.org ne sont ìqueî de 80% par cycle et 19% par machine (ou 180 et 119).
- Mais NCSA ayant ìomisî de déclarer 400 processeurs en distinguant la puissance ìdédiée au calculî de celle ìdédiée aux entrées-sortiesî, il est fort probable que les écarts réels sont ceux de mon tableau 3, soit 111% par cycle et 38% par machine (ou 211 et 138), donc encore plus que les écarts théoriques.
- Bref Apple n'avait pas tort en présentant le G5 : il est effectivement plus judicieux de choisir un G5 qu'un Xeon question performances ; cela revient même beaucoup moins cher selon Virginia Tech ; et comme la presse PC elle-même reconnaît les qualités de MacOS X, on se demande pourquoi au juste choisir un PC. Ceci dit, il y a probablement longtemps que les lecteurs de cuk.ch ne se posent plus cette dernière question.
- Et cette fois je suis curieux de voir en quels termes on contestera le test (un agent secret d'Apple chargé de freiner le Xeon chez NCSA ? Un autre chez Virgina Tech chargé de tenir des lunettes grossissantes devant les scientifiques et des rétrécissantes devant les comptables ?)
Sources
TOP500 List 11/2003
NCSA Linux Cluster Among Fastest Computers in the World
NCSA Xeon Linux Cluster Technical Summary
Virginia Tech Terascale Cluster
O'Reilly Network: A Supercomputer at $5.2 million...What a Deal! [Oct. 10, 2003]