Nous avons récemment visité les locaux de l'une des divisions les moins connues de la NASA consacrée à Pleiades, l'un des supercalculateurs les plus puissants au monde...

Le centre de recherche Ames fut créé le 20 décembre 1939 par le NACA. Localisé sur l'aérodrome fédéral Moffett, il fut transféré en 1958 à la NASA alors encore toute jeune. 70 ans après sa création, c'est encore l'un des plus importants centres de l'agence spatiale américaine. Ames, c'est plus de 2300 chercheurs, aidés par 3 milliards de dollars d'équipements et soutenus par un budget annuel de 600 millions de dollars. Ames est intrinsèquement lié à la Silicon Valley, dont l'acte fondateur, la création de Hewlett-Packard, prit également place en 1939, à quelques kilomètres de l'aérodrome fédéral Moffett.

Un lieu historique

Aujourd'hui encore, la NASA y opère un parc de recherche qui accueille de très nombreuses startups. Moffett Field avait d'ailleurs fait l'actualité il y a quelques années lorsque les deux fondeurs de Google, Larry Page et Sergey Brin, avaient obtenu des places de parkings (contre 1,3 million de dollars par an) pour leurs deux Gulfstream V ainsi que « le » Google Jet, un Boeing 767-200. L'aérodrome n'est pas uniquement occupé par la NASA. La « 129e Rescue Wing » de la garde nationale californienne s'y trouve également. L'USAF opérait depuis 1960 (et jusqu'à cette année) ses nombreux satellites militaires à Moffett Field. La NASA dispose également à Moffett Field de certaines des plus grandes souffleries au monde.

Cependant, l'utilisateur historique de ce terrain d'aviation était la Navy. La marine américaine y opérait l'un de ses ballons dirigeables, l'USS Macon. Le simplement nommé « Hangar One » reste l'un des plus grands bâtiments jamais construits. Il est tellement énorme que du brouillard se forme par fois au plafond, et qu'une personne peu habituée à son immensité sera susceptible à la désorientation optique.

Le cerveau de la NASA

Nous nous sommes rendus il y a quelques semaines au Moffett Field, non pas pour y visiter le Hangar One, mais le bâtiment qui accueille la NAS (NASA Advanced Supercomputing Divison). L'endroit ne paye pas de mine, et pourtant, c'est la maison depuis près de 25 ans des supercalculateurs de l'agence américaine. Il s'agit en quelque sorte du « cerveau » de la NASA. Si le bâtiment et la division en elle même n'ont « que » 25 ans, la NASA opère ses ordinateurs à Moffett Field depuis le début des années 60 !

Le sujet de notre attention est cependant un peu plus jeune. Pleiades (du nom des sept soeurs de la mythologie grecque) fut démarré pour la première fois en 2008. En novembre de la même année, il occupait la troisième place dans la liste des plus puissants supercalculateurs au monde, le TOP500. Ces machines sont conçues en partenariat avec leurs constructeurs (il s'agit dans le cas présent de SGI, sous la forme des serveurs Altix Ice), et doivent répondre pendant leur durée de vie à tous les besoins de la NASA. Pleiades est donc constamment mis à jour, et il le sera sur environ trois ans. Lorsque nous l'avons visité, il occupait la sixième place du TOP500 et atteignait 1009 téraflops ! Il est composé de pas moins de 84 992 coeurs, et de 133 téraoctets de mémoire vive.

Le tout est étalé sur 148 racks et 9472 « noeuds ». 2304 de ses noeuds (on pourrait parler de carte mère) sont conçus autour de deux processeurs hexacores Intel Xeon X5670 (Westmere) à 2,93 GHz, accompagnés par 24 Go de mémoire vive (de la DDR3). 1280 noeuds sont conçus autour de deux processeurs quadcores Xeon X5570 (Nehalem) à 2,93 GHz, toujours accompagnés par 24 Go de RAM. Enfin, le coeur de la machine, soit 5888 noeuds, est basé sur des quadcores Xeon E5472 (Harpertown) à 3 GHz, avec 8 Go de DDR2 par noeud.

Pleiades est donc très hétéroclite, puisqu'il compte pas moins de trois générations de processeurs Intel différents. Les Xeon « Westmere » sont assez proches des « Nehalem », puisqu'ils sont basés sur une architecture similaire. Cependant, les Xeon « Harpertown » sont très différents, ils sont - rappelons-le - basés sur l'architecture Core. Les interconnexions entre les différents noeuds se font via des liens InfiniBand (plus de 30 kilomètres de câbles). On notera également que huit noeuds permettent de piloter la totalité du supercalculateur, et que c'est SUSE Linux qui sert de système d'exploitation à ce monstre de puissance.

Pour que toute cette puissance de calcul soit utile, il faut évidemment de quoi stocker les données qui vont avec. Pleiades dispose de 6 pétaoctets d'espace disque pour ses projets en cours de traitement. Il s'agit de très nombreux disques durs en RAID (des plateformes SGI Nexis 9000). Une fois traitées, les données sont stockées sur 22 pétaoctets de bandes. La NASA archive environ 1 pétaoctet par mois ! Depuis 2000, les besoins de stockage de l'agence doublent quasiment annuellement.

Évidemment, les données générées par les supercalculateurs ne sont pas faites pour être archivées, mais pour être utilisées. Un réseau « local » a donc été établi avec les principaux centres de recherches de la NASA et le NAS. Certains de ces centres sont favorisés, et ont a leur disposition des connexions de 10 Gb/s ! Ce sont près de 150 téraoctets qui sont échangés avec les différents utilisateurs des supercalculateurs de la NASA. Ce taux d'utilisation triple par an depuis 2005.

Deux autres machines (Columbia et Schirra) sont également présentes dans les locaux du NAS. Columbia fut le numéro deux du TOP500 en novembre 2004. Au maximum de sa forme, il disposait de 14336 coeurs et atteignait 90 téraflops. Aujourd'hui, il ne compte plus que 4608 coeurs et 9 téraoctets de mémoire vive, ce qui lui permet de débiter 28 téraflops. Trois types de noeuds différents coexistent dans ce supercalculateur. Les deux premiers sont basés sur des serveurs SGI Altix 4700, et comptent respectivement 256 et 1024 processeurs dualcore Intel Itanium 2 9000 (Montecito) à 1,6 GHz. Les deux derniers serveurs affichent 1024 coeurs chacun (des Itanium 2 9100 « Montvale » à 1,6 GHz). Schirra contient quant à lui 640 coeurs IBM Power5+ dans des racks p575. Il est capable de débiter 5 téraflops.

Une gestion complexe

Le NAS sert non seulement les intérêts de toutes les autres divisions de l'agence spatiale, mais également certains projets de recherches externes. Environ 1500 utilisateurs ont un « compte » et donc un accès aux supercalculateurs, qui sont au service de plus de 450 projets. Évidemment, même Pleiades ne peut pas supporter une telle charge en permanence. Après une première sélection, un projet/calcul se voit allouer une tranche d'utilisation du supercalculateur, et il est placé dans une file d'attente.

Entre 200 et 500 calculs différents sont en cours d'exécution sur Pleiades à tout moment du jour et de la nuit ! Chaque mois, plus de 70 millions d'« heures CPU » sont fournies par ce monstre de puissance. Les demandes pour les machines du NAS sont multipliées par quatre tous les trois ans. Les capacités de calcul de la division ont progressé en parallèle d'environ 1,8 fois par an depuis 1988. On comprend mieux pourquoi Pleiades pourrait dépasser les 10 pétaflops à l'horizon 2012.

Bientôt plus de GPU ?

Depuis quelques mois, les GPU font une percée notable sur le terrain HPC (high-performance computing). Leurs capacités en matière de calcul massivement parallèle sont indéniables, et nombreux sont ceux qui pensent qu'ils vont avoir une place de plus en plus importante dans ce domaine. Même si les CPU n'ont pas dit leur dernier mot. Si les principaux supercalculateurs de la NASA n'utilisent pas encore de GPU, c'est peut-être parce que les codes qui servent aux calculs sont principalement écrits en Fortran (cela fait à peine un an qu'un compiler CUDA/GPGPU est disponible pour Fortran). Nous avons cependant découvert dans les locaux du NAS un système très impressionnant, qui utilise des GPU. L'Hyperwall 2 est conçu autour de 1024 coeurs (des AMD Opteron) CPU et de 128 noeuds GPU (des Quadro Plex signés NVIDIA). Si cette machine est capable de débiter 74 téraflops, ce n'est pas sa caractéristique la plus impressionnante. L'Hyperwall 2 est utilisé pour « visualiser » certains des projets de la NASA. C'est un mur d'écrans LCD de 7 mètres par 3 mètres !

Composé de 8 lignes de 16 moniteurs, il est capable d'afficher pas moins de 245 millions de pixels (ce qui était un record). De quoi donner du fil à retordre aux systèmes Eyefinity mis en avant par AMD (et même antérieurement aux machines utilisant les technologies Matrox) ! L'Hyperwall 2 peut être utilisé de deux façons différentes, soit une unique image (de très très haute définition donc), soit des groups d'images. Dans tous les cas, c'est très utile pour visualiser certains projets très visuels (simulation aérodynamique, de fluides, etc.) et même pour faciliter la lecture des résultats de certains calculs de Pleiades. Évidemment, Hyperwall 2 est également un système de recherche pour un potentiel usage des GPU dans les futurs supercalculateurs de la NASA.

Une puissance qui sert...

Voilà qui conclut notre petit tour dans le « cerveau de la NASA ». Nous avons pu découvrir des systèmes très impressionnants techniquement, ainsi que l'utilisation qui est faite de toute cette puissance de calcul. Les usages classiques des supercalculateurs de l'agence américaine sont le support des navettes spatiales et des véhicules qui vont les remplacer. La principale raison du lancement de Columbia fut la perte de la navette du même nom, et l'enquête qui a suivi. Le NAS réalise également des simulations météorologiques et climatiques. Une autre utilisation particulièrement intéressante de ces technologies est la réduction de la consommation des avions, que ce soit à l'aide de simulations aérodynamiques, ou du calcul de routes aériennes plus efficaces.

Nous remercions Rachel Hoover et Rupak Biswas pour nous avoir accueillis, et assistés, dans la rédaction de cet article.