Deutsches Forschungszentrums für Künstliche Intelligenz (DFKI), Kaiserslautern

Die Klimatisierung des neuen DGX-2 Superrechners beim Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) stellt hohe Anforderungen an die IT-Kühlung. Zum einen erfordert die gestiegene Rechnerleistung eine Entsprechend leistungsstarke, punktgenaue Kühlung auf begrenzten Platzverhältnissen. Zum anderen verpflichtet die heutige Klimaschutzdiskussion zu einem rationalen Umgang mit Energie. Es kommen also nur Konzepte und Systemlösungen infrage, die sich an Hocheffizienzkriterien ausrichten. Mit dem Know-how und den Systemlösungen von RC IT Cooling – einer Marke von Mitsubishi Electric – konnte ein hochmodernes Konzept für die Kühlung des Neuen DFKI-Serverraums realisiert werden.

Maximale Kälteleistung auf kleinstem Raum
Das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) in Kaiserslautern ist auf dem Gebiet innovativer Softwaretechnologien auf der Basis von Methoden der Künstlichen Intelligenz die führende wirtschaftsnahe Forschungseinrichtung in Deutschland. Das Kompetenzzentrum konzentriert seine Forschung auf Deep-Learning- und Machine-Learning-Algorithmen. Um diese einzigartige Infrastruktur von der Grundlagenforschung bis zum industriellen Wissenstransfer weiter auszubauen, erhält das DFKI als erste Institution in Europa einen NVIDIA DGX-2 Supercomputer, der als die derzeit leistungsfähigste Rechenmaschine der Welt für moderne KI-Verfahren gilt. Unter anderem gehört zu den Forschungsarbeiten die Analyse von Satellitenbildern zur Erkennung und Erfassung der Auswirkungen von Naturkatastrophen.

Der KI-Supercomputer mit einer Leistung von zwei PetaFLOPS basiert auf einer KI-Netzwerkstruktur, die einen Durchsatz von 2,5 TB pro Sekunde liefert. Die Netzwerkstruktur des DGX-2 integriert 16 NVIDIA Tesla V100 Tensor Core GPUs, die über NVIDIA NVSwitch verbunden sind. Die innovative Technologie bietet eine 12-fache Verbesserung gegenüber den Vorgängergenerationen und eine 5-mal schnellere Realisierung von Lösungen. Dadurch werden flexible Netzwerkoptionen für den Aufbau sehr umfangreicher Deep-Learning-Rechen-Cluster in Gemeinsamen Infrastrukturumgebungen möglich – in Kombination mit sowohl einer Skalierung der Virtualisierungsgeschwindigkeit als auch mit einer Optimierung der Benutzer- und Workloadisolation.

Höchste Effizienz auf kleinstem Raum
Die i-NEXT-Serie von RC IT Cooling ist speziell für die Präzisionsklimatisierung von Servern, Technikräumen und Rechenzentren entwickelt worden und bietet ein optimales Verhältnis von Leistung zu Standfläche. Sie ermöglicht eine Präzise Temperatur- und Feuchteregelung sowie eine Be- und Entfeuchtung. Energiesparende und geräuschoptimierte EC-Hochleistungsventilatoren sorgen für einen geregelten Luftstrom. Die Ventilator Drehzahl passt sich der thermischen Belastung an, die durch Sensoren im Warm- und Kaltgang erfasst wird. Der evolution+ Regler steuert die Aktivierungszeiten der Verdichter mit FIFO-Logik und regelt die erzeugte Kälteleistung nach dem momentanen Wärmeeinfall. Zudem besteht die Möglichkeit, alle Daten an ein übergeordnetes Überwachungs- und Fernwartungssystem zu übertragen.

i-NEXT FC DW Wassergekühlte Klimaschränke mit Direktverdampfung und Free-Cooling-System
Der Klimaschrank ist mit zwei Kreisläufen zur Kühlung ausgestattet. Ein Kreislauf ist als wassergekühltes DX-System ausgeführt. Alle notwendigen Komponenten für den Betrieb sind bereits im Gerät und der Regelung integriert. Der zweite Kreislauf ist als Kaltwasser-Kreislauf für den Free-Cooling-Betrieb ausgelegt. Bauseitig muss so für einen energieeffizienten Betrieb nur ein Trockenkühler mit Versorgungspumpe Angeschlossen werden.

Das indirekte Free-Cooling-System besteht aus einer smarten Kombination von verschiedenen Betriebsmodi. Bei hohen Außentemperaturen arbeitet ausschließlich das DX-System. Sobald die Außentemperatur nur geringfügig unter der gewünschten Kaltwasservorlauftemperatur des Kaltwasser-Kreislaufes liegt, wird der Free-Cooling-Betrieb parallel mit dem DX- System betrieben. Bei ausreichend niedrigen Außentemperaturen arbeitet nur der Free-Cooling-Kreislauf.

Intelligentes Energiemanagement
Die beiden Klimaschränke sind jeweils links und rechts an den Stirnseiten des Serverraumes aufgestellt. In der Mitte mit einem umlaufenden Gang befinden sich fünf Racks mit dem neuen Rechner und seinen peripheren IT-Komponenten. Um eine optimale und energieeffiziente Kühlung zu ermöglichen, ist die Serverklimatisierung nach dem Down-Flow-Prinzip gestaltet. Während die Luftansaugung von oben in den Klimaschrank erfolgt, findet der Luftauslass nach unten in einen Doppelboden statt. Durch Auslassöffnungen im Doppelboden, die sich an der Vorderseite der Racks befinden, wird eine optimale Luftverteilung im Rechenzentrum erreicht. Auf diese Weise wird auf der Luftansaugseite der Racks ein Kaltgang gebildet. Die Racks saugen die kalte Luft an und blasen auf der Rückseite die warme Luft in den sogenannten Warmgang, die dann wiederum von dem jeweils in Betrieb befindlichen Klimaschrank angesaugt und gekühlt wird.

Zur präzisen Regelung der den Servern zugeführten Kaltluft wurde in diesem Projekt eine Kaltgangeinhausung gewählt. Durch den Warm- und Kaltgang sowie den angepassten Luftstrom kann eine konstante Temperatur gewährleistet werden. Die Arbeitsbedingungen werden stabiler und die Effizienz der gesamten Klimatisierung steigt. Einen Großteil der Betriebszeit arbeitet der Präzisionsklimaschrank im Hybrid- oder vollständigen Freikühlbetrieb. Im Regelbetrieb erfolgt zunächst die Kühlung mit Wasser über die Freikühlfunktion. Übersteigen die Wärmelasten einen bestimmten Referenzpunkt, wird ein Verdichter zugeschaltet und kühlt die angesaugte Luft zusätzlich mittels eines Kältemittelkreislaufs. Steigen die Kälteanforderungen über einen weiteren Temperaturreferenzwert hinaus, schaltet sich der zweite Verdichter im Klimaschrank hinzu, um das vom Hersteller erforderte Temperaturniveau von 21 °C am neuen Superrechner sicherzustellen.