Comment l'IA remodèle le centre de données moderne

Peu de nouvelles technologies à travers l'histoire ont captivé autant le cœur, l'esprit et l'imagination des entreprises technologiques, des experts et des investisseurs que l'intelligence artificielle, ou IA, cette année. En fait, il est devenu une blague ou un mème récurrent dans les cercles d'investissement et à Wall Street que toute entreprise proposant une solution d'IA est candidate à devenir la prochaine licorne.

Mais ce qui n'est pas drôle, c'est la quantité impressionnante de solutions et d'applications d'IA qui apparaissent sur Internet. Bien que ChatGPT ait pu être le premier perturbateur majeur, de nouvelles solutions d'IA générative sont apparemment introduites chaque jour. Ce qui était une sélection limitée de services d'IA en ligne a explosé avec l'introduction de nombreuses solutions d'IA générative aux noms branchés et astucieux, y compris DALL-E, Bard, Claude et bien d'autres.

L'explosion de l'IA ne se limite pas à l'IA générative. Presque toutes les organisations d'une certaine taille évaluent, développent, forment ou utilisent déjà une ou deux solutions d'IA pour améliorer leurs opérations.

Cette augmentation de l'adoption de l'IA amène beaucoup à la considérer comme la prochaine grande technologie disruptive capable de changer notre façon de vivre et de travailler. Cependant, les impacts de l'IA se feront sentir au-delà de nos vies quotidiennes et des tâches professionnelles. L'IA a également le potentiel de changer fondamentalement le centre de données traditionnel d'une manière que beaucoup pourraient ne pas reconnaître ou apprécier.

Pour comprendre l'impact que l'IA aura sur le centre de données, nous devons d'abord comprendre qu'il existe deux types de charges de travail ou d'applications d'IA : l'entraînement et l'inférence.

Entraînement vs. inférence

Bien qu'il soit facile de regrouper tous les aspects et toutes les charges de travail des applications d'intelligence artificielle sous une seule appellation “IA” et de penser que tout est identique, ce n'est tout simplement pas vrai. Les applications d'IA que nous voyons aujourd'hui sont en réalité la combinaison de deux charges de travail d'IA distinctes : l'entraînement et l'inférence.

Lorsqu'une nouvelle solution ou un nouvel algorithme d'IA est développé, il doit être alimenté en données et apprendre afin de pouvoir en tirer des inférences efficaces. Ce processus d'entraînement d'une solution d'IA nécessite qu'une quantité importante de données soit ingérée par le moteur d'IA. Et plus il peut traiter de données, plus le moteur d'IA fonctionnera de manière complète pour son usage prévu.

Une fois la solution d'IA entraînée et testée, elle peut être déployée. Dans cette partie du cycle de vie de la solution d'IA, elle est utilisée pour l'inférence — afin d'analyser les données sur lesquelles elle a été entraînée et de générer des informations, des prédictions et des réponses selon les besoins.

Il est important de séparer ces deux processus ou aspects de l'IA et de les examiner indépendamment car ils ont tous deux des exigences très différentes.

Le processus d'apprentissage requis pour permettre ou créer une solution d'IA utilisable est incroyablement riche en données. Pour accélérer le processus autant que possible, les technologues s'efforcent d'utiliser autant de GPU que possible et de les connecter aussi près que possible de la source des données pour assurer une ingestion rapide. Cela augmente la densité des racks, accroît la quantité d'énergie nécessaire et fait grimper la quantité de chaleur générée au sein du rack. Tous ces éléments seront examinés plus en détail plus loin dans cet article.

D'un autre côté, l'utilisation réelle du moteur d'inférence déployé est beaucoup moins exigeante. En fait, l'IA d'inférence est quelque chose que nos clients utilisent depuis longtemps, et bien que les densités de racks soient plus élevées, elles ne sont pas déraisonnables. Alors.

Maintenant que nous avons expliqué la différence entre ces deux aspects de l'IA, nous pouvons explorer comment chacun d'eux a un impact différent sur le centre de données — et quels changements pourraient être nécessaires au sein du centre de données pour les prendre en charge.

Plus de puissance, moins de redondance ?

Quand on pense aux centres de données typiques, on imagine probablement des bâtiments conçus pour être durables, avec une alimentation électrique, un refroidissement et une connectivité redondants pour garantir que l'équipement à l'intérieur ne tombe jamais en panne. Mais l'entraînement de l'IA est un peu différent.

Les choses véritablement nécessaires pour entraîner un moteur d'inférence IA sont l'alimentation, le refroidissement et la connectivité. Il est essentiel que l'alimentation soit facilement disponible en grandes quantités et que la connectivité entre les racks soit aussi rapide que possible. La redondance n'est pas vraiment une considération ni une exigence — et pour cause.

Cette augmentation de l'adoption de l'IA amène beaucoup à la considérer comme la prochaine grande technologie disruptive capable de changer notre façon de vivre et de travailler. Cependant, les impacts de l'IA se feront sentir au-delà de nos vies quotidiennes et des tâches professionnelles. L'IA a également le potentiel de changer fondamentalement le centre de données traditionnel d'une manière que beaucoup pourraient ne pas reconnaître ou apprécier.

Le processus d'entraînement de l'IA — en particulier des grands modèles d'IA — est long. Selon les reportages, ChatGPT-3 a été entraîné sur 1 024 GPU en 34 jours.

Pour accélérer ce processus, l'entraînement de l'IA utilise autant de GPU que possible dans un espace restreint. Mais cela reste un processus qui dure longtemps. Par conséquent, des points de contrôle sont ajoutés au processus par ceux qui le gèrent — le travail est sauvegardé toutes les “X” périodes de temps.

De plus, ces racks incroyablement denses ne fournissent aucun service ni aucune application à qui que ce soit à l'extérieur du centre de données. Ils sont rapprochés et connectés avec la connectivité la plus rapide disponible pour permettre un entraînement rapide.

Étant donné qu'il existe des points de contrôle fréquents où la progression et le travail sont sauvegardés, et que les racks n'alimentent pas les applications sur lesquelles les utilisateurs s'appuient, ce n'est pas la fin du monde si le centre de données perd l'alimentation ou s'arrête temporairement. Ce n'est pas non plus la fin du monde si les connexions de données avec le monde extérieur sont temporairement perdues ou interrompues.

La redondance dans les centres de données où sont entraînés les modèles d'IA n'est tout simplement pas une priorité. Ce qui est une priorité, c'est la disponibilité d'une puissance immense, en plus des systèmes structurels et de refroidissement requis par ces racks incroyablement denses.

À mesure que ces racks deviennent plus denses — avec plus de GPU installés et plus de câblage connecté — ils deviennent incroyablement lourds. À mesure que la quantité d'énergie qu'ils exigent augmente, davantage d'énergie doit être acheminée vers le centre de données. Et comme ils génèrent des quantités de chaleur incroyables et sont regroupés plus près les uns des autres, des solutions de refroidissement liquide alternatives au refroidissement par air forcé traditionnel doivent être fournies.

Alors, comment ces exigences influencent-elles l'apparence du centre de données de demain ?

Deux en un

Comme nous en avons discuté, les centres de données responsables de l'entraînement de l'IA aujourd'hui sont peu peuplés avec quelques racks incroyablement denses qui utilisent une quantité d'énergie considérable et rejettent une immense quantité de chaleur.

Pour garantir qu'il n'y ait pas d'espace perdu, ces centres de données peuvent être plus petits en superficie. Ils doivent être préparés et prêts à offrir une solution de refroidissement liquide qui répondra aux exigences de refroidissement intenses des racks de 80 kW à 120 kW. Enfin, ils devraient être construits avec moins de redondance pour leur infrastructure d'alimentation et de connectivité — ce n'est tout simplement pas nécessaire pour la tâche à accomplir.

À l'opposé de l'équation de l'IA se trouvent les charges de travail d'inférence. Celles-ci doivent être accessibles aux utilisateurs extérieurs au centre de données et être capables d'être alimentées par des racks moins denses dans la gamme de 10 kW à 20 kW. Ces centres de données nécessitent toujours une redondance dans leur alimentation, leur refroidissement et leur connectivité, mais n'ont tout simplement pas besoin de la puissance accrue et du refroidissement liquide que requièrent les centres de données d'entraînement d'IA.

Cela signifie que nous pouvons construire deux types de centres de données différents : des centres de données plus petits conçus pour répondre aux exigences uniques en matière d'alimentation et de refroidissement de l'entraînement de l'IA, et des centres de données plus grands et plus traditionnels conçus pour exécuter le modèle d'IA et y donner accès aux utilisateurs.

Mais à quelle distance ces deux centres de données devraient-ils être l'un de l'autre ?

Les modèles d'IA ne sont pas statiques. Ils sont constamment mis à jour et améliorés. L'entraînement est effectué fréquemment pour garantir que la solution d'IA proposée soit aussi à jour que possible. Ainsi, les modèles nouvellement entraînés doivent souvent être déplacés vers les centres de données où ils seront déployés pour être utilisés. Dans cet environnement, il est logique de rapprocher les deux types de centres de données distincts, éventuellement sur le même campus ou, de préférence, dans le même bâtiment.

C'est pourquoi je prévois que les centres de données de l'avenir pourraient en réalité être un seul bâtiment avec deux types distincts d'environnements de centres de données — un centre de données plus petit et plus dense avec moins de redondance pour l'entraînement de l'IA, et un centre de données plus grand et plus traditionnel pour l'inférence de l'IA.

Indépendamment de la réalisation éventuelle de cette vision d'un centre de données hybride basé sur l'IA, une chose est certaine : l'explosion de l'IA et son adoption auront un impact profond sur notre monde et notre société. Cela aura également un impact immense sur la conception, la construction et les opérations du centre de données moderne.

Pour en savoir plus sur Vantage campus de centres de données hyperscale autour du monde, visiter www.vantage-dc.com.