Construire les centres de données haute densité de demain

Il existe peu de technologies aussi véritablement disruptives et dotées d'un tel potentiel que l'intelligence artificielle (IA). Et, avec la capacité d'exploiter mieux les données historiques et opérationnelles pour identifier les efficacités, rationaliser les opérations et améliorer la prise de décision, il existe des cas d'utilisation avancés des technologies et solutions d'IA dans pratiquement tous les marchés verticaux et toutes les industries.

Transformation IA du centre de données haute densité

En fait, dans un article publié en 2021, le Forbes Technology Council a identifié 14 secteurs et marchés différents où l'IA pourrait avoir un impact révolutionnaire. Le 15e point de leur liste reconnaît effectivement le fait que les cas d'utilisation de l'IA sont illimités en admettant qu“” Aucune industrie ne bénéficiera de cette technologie ; toutes en bénéficieront “, et que ” Toute industrie ayant des tâches automatisables » était prête à être transformée par l'IA.

Mais ces applications et solutions avancées d'IA, d'analyse de données et d'apprentissage automatique (ML) s'accompagnent d'une exigence de calcul beaucoup plus importante que les charges de travail et les applications traditionnelles. Bien qu'elles puissent être la clé d'innombrables avantages et d'améliorations opérationnelles pour un nombre quelconque d'organisations, elles imposent un changement dans la densité des baies de serveurs, la manière dont ces baies sont organisées, et même les centres de données où les baies sont déployées.

Plongeons dans la manière dont l'IA et d'autres applications avancées transforment le centre de données – des serveurs, des racks, des salles et des bâtiments qui les abritent. Explorons également comment cette nouvelle génération de centres de données à haute densité influence la conception, l'alimentation, le refroidissement et la construction des salles et des bâtiments.

Des micros minces aux camions monstres suralimentés

Les exigences de calcul immenses de ces solutions d'analytique avancée et de ces applications d'IA poussent les hyperscalers et d'autres entreprises à adopter des technologies de pointe – et de nouveaux cas d'utilisation pour les technologies existantes – afin d'obtenir le maximum de puissance de calcul de chaque baie.

Par exemple, quelque chose que nous observons dans la flotte Vantage inclut des plateformes système qui dépendent fortement de la décharge de calcul. Il est courant dans ces environnements que les GPU prennent en charge certaines charges de travail de calcul qui seraient traditionnellement confiées au processeur de l'ordinateur. En déchargeant ces calculs, un seul ordinateur augmente considérablement sa capacité de calcul globale. La décharge GPU n'est pas nouvelle, mais c'est une technologie que nous voyons de plus en plus fréquemment dans nos centres de données.

Une autre technologie traditionnelle ou existante qui est adoptée de nouvelles manières est l'utilisation de clusters ou de pods de serveurs – plusieurs serveurs ou ordinateurs travaillant ensemble pour exécuter une seule application ou un.

Les environnements HPC ne nécessitent pas seulement des techniques de calcul avancées, ils doivent également disposer de réseaux extrêmement rapides pour le partage d'informations. Autrefois, des technologies comme les réseaux InfiniBand étaient utilisées pour relier les périphériques de stockage au réseau. Ces connexions à haute vitesse donnaient l'impression que le périphérique de stockage était directement connecté au serveur. Cette technologie est maintenant utilisée pour connecter des clusters de serveurs créant des réseaux neuronaux. La puissance de la plateforme associée à des réseaux ultra-rapides permet aux systèmes informatiques de se comporter très largement comme le cerveau humain.

Toutes ces choses s'ajoutent pour créer des centres de données à haute densité. En adoptant toutes ces technologies nouvelles et existantes et en suralimentant la puissance de calcul de chaque serveur, rack ou cluster de racks, l'utilisateur crée effectivement un monstre gourmand en énergie. Alors qu'une application traditionnelle peut augmenter la densité des racks de serveurs jusqu'à 15 kW, les configurations HPC créent des racks monstrueux qui peuvent nécessiter plus de 50 kW et cela continue d'augmenter. C'est l'équivalent de prendre un camion de base et de le transformer en un gros monster truck avec des pneus de deux mètres.

Si nous allons fabriquer ces racks de serveurs avides d'énergie, nous devons comprendre comment satisfaire leurs besoins fondamentaux. Alors, que faut-il faire au sein du centre de données pour fournir tout ce qui est nécessaire pour que ces monstres continuent de fonctionner ?

Assurer le bon fonctionnement au frais

Cette nouvelle génération de centres de données à haute densité nécessite de nouvelles considérations de refroidissement qui peuvent avoir un effet d'entraînement sur la façon dont les centres de données sont conçus et construits. Les centres de données sont souvent refroidis par air. La nature du refroidissement par air a conduit à la disposition des modules de données en longs halls rectangulaires, permettant un flux d'air maximal à toutes les rangées de racks. Aujourd'hui, ces racks gourmands en énergie et à haute densité rendent cela moins probable – ils ne peuvent tout simplement pas être disposés côte à côte s'ils doivent être efficacement refroidis par air sans modifications majeures de la longueur et de la configuration de la rangée.

Si un centre de données doit être de haute densité, le refroidissement devient l'une des premières et des plus importantes considérations. Vais-je utiliser l'air pour refroidir le site ? Si la réponse est “ oui ”, alors je dois stratégiquement modifier la façon dont j'organise le centre de données physique pour augmenter l'espace des allées et la distance entre les rangées afin de permettre un flux d'air approprié. Nous devons réimaginer notre approche de la confinement et commencer à nous tenir derrière des rangées qui ont plus de panneaux obturateurs que de racks de serveurs.

L'autre alternative est d'adopter le refroidissement liquide. Cependant, cela crée d'autres considérations. Comment acheminer l'eau dans la salle ? Comment gérer les fuites et minimiser leurs dégâts ? Comment faire passer la plomberie dans la salle sans affecter d'autres systèmes et services publics ? Où se situent les limites de propriété dans ce nouveau système de plomberie, et quelle partie du système incombe au fournisseur de centre de données ? Ce sont toutes des questions qui doivent être abordées tôt, car elles impactent la conception et la construction réelles du centre de données.

Alors que les applications entraînent une densité de rack encore plus grande, les entreprises pourraient devoir franchir le pas et envisager le refroidissement par immersion totale, qui implique des racks (maintenant des réservoirs) placés horizontalement supportant un liquide de refroidissement inerte.

Ces technologies existent depuis un certain temps, mais ce n'est que récemment que les systèmes sont passés des huiles désordonnées à des fluides chimiquement conçus, à la fois inertes et ne réfractant pas la lumière. Alors que les fabricants de serveurs adoptent les nuances d'un plan de support horizontal, ces solutions deviendront de plus en plus répandues.

Il y a également un certain nombre de questions et de considérations qui accompagnent le refroidissement par immersion. Le centre de données doit être conçu et construit en tenant compte de l'emplacement des réservoirs. Comme les racks sont retournés, il existe différentes répartitions du poids qui sont essentielles à prendre en compte, surtout alors que les centres de données deviennent de plus en plus verticaux. De plus, étant donné que le refroidissement par immersion permet une plus grande densité dans chaque salle, le refroidissement peut cesser d'être un goulot d'étranglement. Au lieu de cela, l'alimentation électrique adéquate devient la principale préoccupation ou le principal défi.

Mais le refroidissement n'est qu'une considération. Il y a aussi une question de distance à régler.

Surmonter la tyrannie de la distance

Comme nous en avons discuté précédemment, plusieurs serveurs sont désormais amenés à travailler à l'unisson pour s'exécuter comme un seul afin d'analyser un ensemble de données. Pour que cela soit possible, la latence du réseau qui relie ces serveurs doit être incroyablement faible. Pour que des réseaux à haut débit et à très faible latence soient possibles, la distance qui sépare les serveurs et les racks de serveurs dans un pod ou un cluster doit être considérablement réduite.

Pour certains de ces réseaux extrêmement rapides, y compris les réseaux InfiniBand dont nous avons parlé, la distance entre les racks de serveurs et leurs concentrateurs réseau ne doit pas dépasser 30 mètres. Cela signifie que nous n'avons que 27 mètres de liberté – et cela peut être un défi lorsqu'un réseau doit couvrir plusieurs pièces dans un même bâtiment.

Pour répondre à cette exigence restrictive en matière de câblage et de réseau, le constructeur du centre de données doit sortir des sentiers battus – ou de l'approche traditionnelle consistant à utiliser des conduits et des chemins de câbles – pour relier des salles distinctes. Et l'une des solutions les plus simples est de faire passer des connexions directes à travers le sol entre des centres de données haute densité situés dans le même bâtiment à plusieurs niveaux.

Par le passé, cela aurait été difficile car les centres de données à un seul étage étaient la norme. Cependant, à mesure que Les centres de données à plusieurs étages sont de plus en plus populaires et nombreux. alors que les restrictions immobilières et la demande des clients les rendent plus souhaitables pour les fournisseurs de centres de données, ils introduisent un effet secondaire unique idéal pour l'environnement HPC – la verticalité.

Bien que des centres de données à plusieurs étages soient de plus en plus construits, cela ne signifie pas nécessairement qu'ils sont conçus pour des connexions directes entre les étages, plus spécifiquement, entre des modules de centres de données verticalement adjacents.

Il faut tenir compte de certains aspects lors des phases de conception et de construction afin de garantir que les centres de données à plusieurs étages puissent permettre un accès direct entre les modules, éliminant ainsi le besoin de traverser de longs et sinueux systèmes de conduits.

Premièrement, il y a une considération de sécurité. Pour qu'il y ait une connexion directe entre les étages, il faut un saignée entre les étages avec des ouvertures allant jusqu'à plus de 12 pieds carrés dans la zone, simplement pour gérer le volume de câbles. Faire un trou de 12 pieds carrés dans le plancher présente un risque de chute, et le concepteur doit planifier en conséquence pour assurer la sécurité des employés.

Ensuite, il y a une considération de l'intégrité structurelle. Si chaque pièce doit avoir un ou plusieurs trous dans le plafond/plancher pour la relier à la pièce au-dessus/en dessous, cela peut avoir un impact significatif sur la quantité de poids que le plancher peut supporter. Ceci devient de plus en plus essentiel à considérer lorsque le refroidissement par immersion est envisagé, car les réservoirs de liquide peuvent être lourds.

L'exigence informatique intense des applications et solutions d'IA avancées de demain ne cesse de croître, ce qui stimule le besoin d'une nouvelle génération de centres de données à haute densité. Ces centres de données à haute densité nécessitent une quantité importante d'énergie, mais ils obligent également les fournisseurs de centres de données à planifier, concevoir et construire des centres de données capables de répondre à leurs besoins de refroidissement immenses et à leurs exigences réseau restrictives.

Alors que les hyperscalers et les entreprises adoptent de plus en plus ces solutions avancées, il est essentiel qu'ils s'associent à des fournisseurs de centres de données qui comprennent ces exigences et peuvent travailler en partenariat avec eux pour atteindre le résultat souhaité.

Si vous souhaitez en savoir plus sur la flotte de Vantage centres de données hyperscale, visitez www.vantage-dc.com.