La VUB installera prochainement le nouveau superordinateur Tier-1 flamand dans un tout nouveau centre de données à Zellik, exploité par Penta Infra. ITdaily visite ce centre de données écologique, qui fait partie d’un projet de recherche énergétique.
Le soleil brille avec enthousiasme sur la façade du centre de données de Penta Infra à Zellik, qui compte huit étages. C’est une bonne nouvelle pour l’alimentation électrique : la façade est entièrement recouverte de panneaux solaires. Les panneaux produisent jusqu’à 360 kW. Le Penta Infra Bru01 aura bientôt besoin de beaucoup plus, mais chaque petite contribution compte et les panneaux illustrent le caractère durable du tout nouveau bâtiment.
La crème de la crème
« Le tout nouveau centre de données est la crème de la crème », déclare Ward Poelmans, chef du département Scientific Data & Compute à la Vrije Universiteit Brussel. Le centre de données Nexus accueillera bientôt un superordinateur Tier-1 : le quatrième pour la Flandre mais le premier sous la gestion de la VUB. « Un tel système consomme énormément d’électricité », poursuit Poelmans. « Si le refroidissement peut être ne serait-ce qu’un peu plus efficace, cela aide beaucoup dans la consommation totale. »
Penta Infra BRU01, ou Nexus pour les intimes, est là grâce à la VUB. Lorsque l’université a cherché un emplacement pour un nouveau centre de données avec de l’espace pour un système Tier-1, Ghelamco a décidé de prendre le taureau par les cornes et de construire immédiatement un centre de données plus grand où d’autres clients seraient également les bienvenus. Après la construction, le spécialiste néerlandais des centres de données Penta Infra a repris le site, faisant ainsi ses premiers pas en Belgique.
Un partenaire expérimenté
« Le fait que le centre de données soit maintenant entre les mains de Penta Infra nous convient parfaitement », déclare Karin Voets, CIO de la VUB. « C’est un acteur expérimenté qui, comme la VUB, mise fortement sur la durabilité. » « Gérer un centre de données requiert des connaissances spécifiques », ajoute Poelmans. « C’est impressionnant ce qui y entre. L’entreprise possède toutes les connaissances spécifiques sur les installations de refroidissement, les échangeurs de chaleur et les générateurs. »
Ces générateurs de secours ne sont pas des moindres. Actuellement, trois exemplaires immenses se trouvent à côté de la façade ensoleillée couverte de panneaux solaires, mais à l’avenir, il y aura de la place pour six générateurs fixes et un septième mobile. Les connexions pour ceux-ci sont déjà visibles. Les générateurs peuvent non seulement alimenter le centre de données en électricité, mais aussi fournir au réseau. Cela permet à Penta Infra de fournir une capacité de pointe à la demande d’Elia, mais aussi d’effectuer des tests d’alimentation de secours sous capacité réelle.
Les abeilles sont les bienvenues
Malgré toute cette puissance, le centre de données a été construit dans une optique de durabilité. C’était essentiel pour l’université. Voets : « Le bâtiment fait partie du Green Energy Park, étroitement lié à la VUB. » Le site où se trouve le centre de données de Penta Infra est en fait un grand laboratoire où se déroulera la recherche sur l’énergie.
Le long des grands générateurs de secours du centre de données, l’accent mis sur la durabilité est également littéralement visible. Nous voyons des bermes vertes, parsemées d’un mélange de semences qui produira des fleurs sauvages. Il y a un étang pour recueillir l’eau de pluie, derrière lequel, en concertation avec les associations locales de protection de la nature, deux nichoirs sur un poteau ont été installés pour les rongeurs locaux, qui venaient déjà renifler. Un hôtel à abeilles est également présent.
Citerne d’eau de pluie et réseau de chaleur
Nous entrons dans le centre de données par l’entrée de service et nous dirigeons vers la salle où le superordinateur Tier-1 sera bientôt installé. Nous passons d’abord par un couloir contenant des couvercles qui donnent accès au grand réservoir souterrain d’eau de pluie. Dans une pièce un peu plus loin se trouvent de grandes machines qui conditionnent l’air, à côté d’un grand échangeur de chaleur. Là, la chaleur résiduelle du centre de données peut être convertie en chaleur utilisable.
Le Green Park veut être un terrain d’essai pour, entre autres, la récupération de chaleur.
Karin Voets, CIO VUB
« Le Green Park aspire à devenir un terrain d’expérimentation, notamment pour la récupération de chaleur », explique Voets. À terme, de nouveaux bâtiments seront raccordés au réseau de chaleur du centre de données. En contrepartie, les panneaux solaires installés sur leurs toits fourniront de l’électricité au centre de données, permettant ainsi au superordinateur et aux autres serveurs de fonctionner autant que possible à l’énergie solaire sans surcharger le réseau électrique général.
Passerelle avec vitrine
Nous montons d’un étage et arrivons dans un magnifique hall d’entrée. De là, nous poursuivons notre chemin le long d’une passerelle offrant une vue sur une salle de serveurs encore vide. Nous avons visité de nombreux centres de données, mais celui-ci est véritablement unique. La salle des serveurs accueillera le système Tier-1 et devait être clairement visible à la demande de la VUB.
lire aussi
Superordinateur en vitrine : visite du premier centre de données belge de Penta Infra
« L’ordinateur aura son propre aspect visuel », précise Poelmans. « Nous allons orner l’appareil d’un design et lui attribuer un nom ». Malheureusement, nous ne pouvons pas en révéler les détails. « Le fait d’avoir obtenu ce système chez nous est en partie une question de prestige », poursuit Poelmans. « Nous souhaitons nous défaire de l’étiquette de petite université. » Les passants du Researchpark Zellik pourront admirer le système de calcul haute performance (HPC) le plus puissant de Flandre à travers la paroi vitrée.
Rôle éducatif
La VUB souhaite saisir cette opportunité pour jouer un rôle éducatif et faire connaître le HPC à un public plus large. « La visibilité du HPC au sein de notre institution s’accroît également », ajoute Voets. « Nous guiderons et orienterons vers nos systèmes ceux qui ne trouvent pas spontanément le chemin vers le HPC mais qui pourraient faire des avancées significatives en l’utilisant. »
Bien que le superordinateur, dont le nom n’a pas été révélé, ne soit pas encore en place, nous observons déjà quelques détails intéressants. De part et d’autre de l’espace, des connexions électriques redondantes arrivent, accompagnées d’une plomberie moins conventionnelle. En effet, le nouveau Tier-1 de Flandre sera un système refroidi par eau.
Refroidissement par liquide
« Dès le début, nous avions supposé que le nouveau système ne serait pas exclusivement refroidi par air », explique Poelmans à ce sujet. « Si l’on considère la quantité d’électricité consommée par un seul GPU et l’espace nécessaire pour le refroidissement par air, il faudrait laisser les racks de serveurs à moitié vides. Nous travaillons maintenant avec des nœuds de huit GPU chacun et six nœuds par rack. Pour les refroidir efficacement, un refroidissement liquide direct des CPU et des GPU est nécessaire. »
« Le précédent système Tier-1 était également partiellement refroidi par eau, mais ce n’était pas évident », poursuit-il. « Nous en avons beaucoup appris. Cela implique de nombreux aspects. Il faut des échangeurs de chaleur et un circuit de fluide traverse les nœuds. »
Plomberie complexe
Poelmans se réjouit que l’expertise pour la plomberie sous-jacente, avec ses vannes, câbles et pompes, puisse être confiée à Penta Infra. Le spécialiste des centres de données profite ensuite de l’occasion pour rendre le refroidissement par eau possible ailleurs dans le centre de données, au cas où des clients en feraient la demande à l’avenir. Penta Infra souligne que le centre de données est prêt pour le refroidissement liquide et s’attend à terme à héberger un mélange d’installations refroidies par air et par liquide.
Le système lui-même, malgré sa puissance de calcul, n’occupera pas beaucoup d’espace dans la zone prévue. Cela est dû à sa haute densité, rendue possible en partie par le refroidissement par eau.
GPU pour l’IA
« Pour ce système, nous avons examiné le précédent ordinateur Tier-1 et discuté avec des chercheurs de leurs besoins », explique encore Poelmans. « Les GPU “et l’IA sont apparus comme des priorités, mais ils sont bien sûr assez coûteux. De plus, certains chercheurs n’ont besoin que de CPU”. Nous avons cherché un compromis avec un équilibre entre CPU et GPU, qui maximise la puissance de calcul dans les limites du budget. »
Nous nous éloignons de la vitrine HPC et pénétrons plus profondément dans le centre de données. Là, nous voyons des installations de refroidissement par air qui, de manière quelque peu surprenante, sont situées sous le plancher du centre de données. Les climatiseurs soufflent directement de l’air froid dans un couloir froid fermé, où la distance entre le refroidisseur et le corridor est minimisée, permettant ainsi aux ventilateurs de tourner le moins possible. L’impact de ces améliorations incrémentales s’accumule, rendant ce centre de données extrêmement efficace.
La VUB compte également sur une telle expertise de Penta Infra, et voit dans cette collaboration un échange mutuel. L’université prévoit en effet de consolider son infrastructure informatique, y compris les systèmes Tier-2 existants et d’autres serveurs, au sein de Nexus. « S’il y a des interventions qui peuvent promouvoir la durabilité, nous comptons également sur Penta Infra pour nous en informer », déclare Voets.
Évaporation des eaux pluviales
Pour un autre exemple d’innovation durable en matière de centre de données, nous prenons l’ascenseur jusqu’à l’étage supérieur. Cette salle technique illustre immédiatement quels emplois l’IA ne remplacera pas à l’avenir : ceux d’électricien ou de plombier. Nous nous frayons un chemin à travers un enchevêtrement impressionnant de tuyaux grands et petits, de pompes et de câblages électriques vers une porte menant au toit.
Une fois dehors, nous essayons de garder l’équilibre sur les énormes galets qui maintiennent le revêtement du toit en place, et nous regrettons de ne pas avoir nos chaussures de randonnée avec support de cheville. Nous regardons directement un immense radiateur, sur lequel l’eau de pluie du réservoir sous le centre de données est pulvérisée. Cette évaporation permet à Penta Infra de maintenir l’eau de refroidissement à une température efficace de 19 degrés, même lorsqu’il fait 22 degrés à l’extérieur. Ce n’est qu’au-dessus de cette température que des refroidisseurs plus traditionnels et moins économes doivent être activés.
Grands projets
Depuis le toit, nous avons une belle vue sur l’ensemble du parc de recherche. La VUB souhaite s’y étendre rapidement. « L’ancien bâtiment Roularta est maintenant entre les mains de la VUB et le Smart Village Lab est déjà en place », explique Voets. « Et Belnet va installer ici un Point of Presence (PoP). » « De l’autre côté du parc, il y aura également un IRM 7 Tesla particulièrement puissant », ajoute Poelmans. « Il s’agit d’un type de scanner IRM avec une intensité de champ magnétique de sept Tesla pour l’imagerie médicale très détaillée, qui sera utilisé par les cinq universités flamandes et quatre hôpitaux universitaires. »
La première phase du supercalculateur Tier-1 doit être opérationnelle d’ici la fin de cette année et fonctionner pendant au moins quatre ans. Deux ans plus tard, une deuxième phase s’y ajoutera. La VUB prévoit initialement une durée de vie de six ans pour le système. Au cours de cette période, non seulement les chercheurs pourront obtenir du temps de calcul, mais aussi des parties de l’industrie et de la société civile.
Plus forts les uns que les autres
« Les grands utilisateurs classiques sont des chercheurs qui veulent effectuer des calculs chimiques », explique Poelmans. « Ou des applications en astrophysique et en dynamique des fluides. C’est également intéressant pour les climatologues, car les simulations de la Terre commencent avec peu de données mais explosent rapidement en une complexité incroyable. Maintenant, l’IA s’y ajoute évidemment. »
lire aussi
Centre de données BRU01 durable et moderne de Penta Infra officiellement inauguré
« C’est agréable que ce supercalculateur Tier-1 vienne maintenant à la VUB », ajoute Voets. « Mais en réalité, l’emplacement n’a pas beaucoup d’importance pour les chercheurs dans la pratique. Nous avons de bonnes collaborations avec d’autres universités, et nous allons gérer ce système conjointement avec les équipes HPC des universités de Louvain, Gand et Anvers. Nous ne le faisons pas seuls. »
Sur le chemin du retour depuis le toit du centre de données Nexus, l’ascenseur passe devant de nombreuses salles encore vides pour le moment. Cela changera probablement rapidement, car la demande d’espace de colocation efficace augmente rapidement. De plus, les fournisseurs de télécommunications ont prévu leurs connexions, de sorte que Penta Infra BRU01 est neutre en termes de fournisseurs. Le centre de données a une capacité initiale de 7 MW, mais peut être encore étendu.
En sortant, nous jetons un dernier coup d’œil à l’espace vide où le premier Tier-1 de la VUB sera installé. Nous sommes curieux de connaître son nom.