Flüssigkeitsgekühlte KI-Rechenzentren: Auswahl von Stromversorgungskomponenten unter höheren thermischen Lasten

Flüssigkeitskühlung verändert die Wärmeableitung in KI-Rechenzentren mit hoher Leistungsdichte. Da GPU-Cluster und Serverracks immer mehr Energie benötigen, entwickeln sich Kühlsysteme parallel zu den Architekturen für Stromverteilung und -umwandlung weiter.

Die Verwendung von Flüssigkeitskühlung bedeutet jedoch nicht automatisch, dass alle elektrischen Bauteile mit einer niedrigeren Temperatur arbeiten. Die tatsächlichen thermischen Bedingungen hängen davon ab, wo ein Bauteil installiert ist, wie die Wärme abgeführt wird und ob das Bauteil direkt an ein Flüssigkeitskühlsystem angeschlossen ist oder sich in einem luftgekühlten Gehäuse befindet.

Für Entwickler von Leistungselektronik ist die entscheidende Frage nicht einfach, ob ein Rechenzentrum Flüssigkeitskühlung verwendet. Vielmehr geht es darum, wie die Kühlarchitektur die Betriebsbedingungen der Komponenten innerhalb des Stromversorgungssystems verändert.

Unterschiedliche Flüssigkeitskühlungsarchitekturen erzeugen unterschiedliche thermische Bedingungen

Flüssigkeitskühlung kann auf verschiedenen Ebenen eines KI-Rechenzentrums eingesetzt werden. Jede Methode beeinflusst die umliegenden elektrischen Geräte unterschiedlich.

Die Direktkühlung des Chips leitet Kühlmittel durch Kühlplatten, die an wärmeerzeugenden Komponenten wie GPUs und CPUs angebracht sind. Sie führt die Wärme nahe der Quelle ab, Netzteile und andere elektrische Bauteile benötigen jedoch möglicherweise weiterhin separate Luftstrom- oder Kühlsysteme.

Wärmetauscher an der Rückseite entziehen der Abluft des Serverschranks Wärme. Dadurch kann die in den Rechenzentrumsbereich abgegebene Wärmelast reduziert werden, wobei die internen Kühlbedingungen der einzelnen Leistungsmodule weiterhin von deren Konstruktion abhängen.

Bei der Immersionskühlung wird kompatible IT-Ausrüstung in eine dielektrische Flüssigkeit eingetaucht. Dadurch entsteht eine andere thermische und materielle Umgebung, weshalb die Verträglichkeit mit der Flüssigkeit ein wichtiger Faktor für Geräte ist, die direkt mit dem Kühlmittel in Kontakt kommen.

Diese Architekturen sollten nicht als austauschbar betrachtet werden. Eine Leistungskomponente in einem luftgekühlten Netzteilgehäuse kann ganz anderen Bedingungen ausgesetzt sein als eine in ein dediziertes flüssigkeitsgekühltes Netzteil integrierte Komponente.

Der erste Schritt bei der Komponentenauswahl besteht daher darin, die Kühlungsgrenze zu verstehen: Welche Geräte werden flüssigkeitsgekühlt, welche bleiben luftgekühlt und wie findet der Wärmeaustausch zwischen den beiden statt?

Leistungshalbleiter: Sperrschichttemperatur und Betriebsmarge

Leistungshalbleiter sind in den Wandlungsstufen von Stromversorgungssystemen für KI-Rechenzentren unerlässlich. Je nach Spannungspegel, Schaltfrequenz, Wirkungsgradziel und Wandlertopologie können MOSFETs, IGBTs, SiC-Bauelemente und GaN-Bauelemente eingesetzt werden.

Ihr thermisches Verhalten hängt eng mit den elektrischen Betriebsbedingungen zusammen.

Leitungs- und Schaltverluste erzeugen während des Betriebs Wärme. Die resultierende Sperrschichttemperatur hängt von der Verlustleistung, dem Wärmewiderstand des Bauelements und des Gehäuses, der Kühlfläche und der umgebenden Wärme ab.

Bei der Bewertung von Halbleiterbauelementen sollten Ingenieure Folgendes berücksichtigen:

• Maximale Sperrschichttemperatur und empfohlener Betriebsbereich

• Leitungs- und Schaltverluste am vorgesehenen Betriebspunkt

• Wärmewiderstand zwischen Sperrschicht und Gehäuse sowie zwischen Gehäuse und Umgebung bzw. Kühlmittelschnittstelle

• Schaltfrequenz und Lastprofil

• Transientes thermisches Verhalten bei schnellen Laständerungen

• Erforderliche elektrische Isolations- und Montagebedingungen

Ein flüssigkeitsgekühltes System kann die Wärmeabfuhr an einer bestimmten Schnittstelle verbessern, dieser Vorteil hängt jedoch vom tatsächlichen Wärmepfad ab. Ist der Halbleiter nicht an den Flüssigkeitskühlkreislauf angeschlossen, kann seine Betriebstemperatur weiterhin durch Luftstrom, Kühlkörperdesign und Gehäusebedingungen beeinflusst werden.

Das ausgewählte Gerät sollte daher anhand des gesamten Wärmepfads und nicht anhand der an anderer Stelle im Rack verwendeten Kühlmethode bewertet werden.

Induktivitäten und magnetische Bauteile: Verluste spielen weiterhin eine Rolle

Magnetische Bauteile spielen weiterhin eine wichtige Rolle in Stromwandlungs- und Spannungsregelungsschaltungen, einschließlich Netzteilen und DC/DC-Wandlerstufen.

Die Verluste einer Induktivität umfassen im Allgemeinen Wicklungs- und Kernverluste. Beide werden vom elektrischen Betriebspunkt und der Bauteilkonstruktion beeinflusst.

Bei hohen Strömen trägt der Wicklungswiderstand zu den Kupferverlusten bei. Die Kernverluste hängen von Faktoren wie Schaltfrequenz, Flussdichte und Kernmaterial ab. Diese Verluste tragen zum Temperaturanstieg des Bauteils bei und können dessen elektrische Eigenschaften im Laufe der Zeit beeinflussen.

Für Anwendungen im Bereich der KI-Serverleistung sollten Ingenieure Folgendes beachten:

• Bemessungs- und Sättigungsstrom

• Gleichstromwiderstand und Wicklungsverluste

• Kernmaterial und Betriebsfrequenz

• Induktivitätsänderung unter Gleichstromvorspannung

• Temperaturanstieg bei der erwarteten Last

• Thermische Eigenschaften des Gehäuses und der Montageanordnung

Eine Flüssigkeitskühlung an anderer Stelle im System beseitigt diese Aspekte nicht. Befindet sich ein Induktor in einem luftgekühlten Bereich, hängt seine thermische Leistung weiterhin von der lokalen Luftströmung und dem Wärmeaustausch ab.

Bei kompakten Leistungswandlerbaugruppen kann auch der Abstand zwischen magnetischen Bauteilen, Schaltvorrichtungen und anderen Wärmequellen die endgültige Temperaturverteilung beeinflussen.

Kondensatoren: Temperatur, Restwelligkeit und Lebensdauer

Kondensatoren werden in Stromumwandlungs- und -verteilungsschaltungen zur Filterung, Energiespeicherung und Spannungsstabilisierung eingesetzt.

Ihre Betriebsbedingungen können je nach ihrer Position in der Stromversorgungsarchitektur erheblich variieren.

Beispielsweise können Zwischenkreiskondensatoren durch den Betrieb des Umrichters einem Restwelligkeitsstrom und elektrischen Belastungen ausgesetzt sein. Ausgangskondensatoren können unterschiedlichen Restwelligkeitsprofilen und transienten Zuständen ausgesetzt sein.

Bei der Auswahl von Kondensatoren für Hochleistungs-Stromversorgungssysteme sollten Ingenieure Folgendes berücksichtigen:

• Nennspannung und Nennkapazität

• Rippelstromfähigkeit

• Äquivalenter Serienwiderstand (ESR)

• Betriebstemperaturbereich

• Erwartete Lebensdauer unter realen elektrischen und thermischen Bedingungen

• Mechanische Abmessungen und Montageanforderungen

Die Temperatur ist ein wichtiger Faktor für die Lebensdauer von Kondensatoren, sollte aber nicht unabhängig von der Restwelligkeit und der Spannungsbelastung bewertet werden.

Ein Kühlsystem, das die Temperatur benachbarter Geräte senkt, reduziert nicht zwangsläufig die interne Erwärmung eines Kondensators durch Restwelligkeit. Die elektrischen Verluste und der Wärmepfad des Bauteils selbst müssen weiterhin berücksichtigt werden.

Steckverbinder und Verbindungen: Lokaler Temperaturanstieg

Hochleistungsfähige KI-Systeme benötigen kompakte elektrische Verbindungen über Stromversorgungsschränke, Serverracks und Verteilerbaugruppen hinweg.

Steckverbinder, Klemmen und Stromschienenschnittstellen müssen den vorgesehenen Strom führen können und gleichzeitig einen akzeptablen Kontaktwiderstand und eine akzeptable mechanische Stabilität gewährleisten.

Selbst bei kontrollierter Gehäusetemperatur kann es an elektrischen Verbindungsstellen zu lokaler Erwärmung kommen. Kontaktwiderstand, Strombelastung, Leiterquerschnitt, Verbindungsqualität und Installationsbedingungen beeinflussen den Temperaturanstieg.

Bei der Auswahl der Komponenten sollten folgende Aspekte berücksichtigt werden:

• Bemessungsstrom unter den tatsächlichen Installationsbedingungen

• Kontaktwiderstand und damit verbundene Leistungsverluste

• Temperaturanstieg bei der vorgesehenen Stromstärke

• Kabel- oder Sammelschienenkompatibilität

• Vibrations- und mechanische Haltekraft

• Anforderungen an Isolierung und Kriechstrecke

• Umweltschutz- und Instandhaltungsbedingungen

Bei flüssigkeitsgekühlten Geräten verdient auch die Position der Anschlüsse im Verhältnis zu Kühlplatten, Kühlmittelleitungen und anderen thermischen Schnittstellen Beachtung.

Das Vorhandensein von Kühlmittelleitungen oder Verteilern in der Nähe von elektrischen Anschlüssen macht die Installationsplanung und den Wartungszugang zu wichtigen Bestandteilen der Konstruktionsprüfung.

Die Schutzkomponenten müssen ihren tatsächlichen Betriebsbedingungen entsprechen.

Sicherungen und andere Schutzeinrichtungen werden nach den Anforderungen an die elektrische Fehlerbehandlung ausgewählt, nicht einfach nach der Nennleistung des Systems.

Bei Hochleistungs-Gleichstromanwendungen müssen Ingenieure die Nennspannung, den Dauerstrom, das Abschaltvermögen, die Zeit-Strom-Kennlinie und die Abstimmung mit dem übergeordneten Schutzsystem überprüfen.

Die thermischen Bedingungen beeinflussen auch die Funktionsweise der Schutzkomponenten. Umgebungstemperatur, Gehäusetemperatur, Montageart und die von benachbarten Komponenten erzeugte Wärme können die zulässige Strombelastbarkeit beeinflussen.

Eine Sicherung, die allein anhand ihrer Nennstromstärke ausgewählt wurde, ist möglicherweise nicht für die tatsächlichen Installationsbedingungen geeignet. Die Hinweise des Herstellers zur Reduzierung der Nennstromstärke sowie die vorgesehene Betriebsumgebung sollten überprüft werden.

Das gleiche Prinzip gilt für Schaltgeräte und andere schutzrelevante Komponenten: Elektrische Nennwerte, thermische Bedingungen und Installationsanforderungen müssen gemeinsam berücksichtigt werden.

Die Kühlinfrastruktur erfordert auch Überlegungen zur Elektroplanung.

Flüssigkeitskühlung erfordert zusätzliche Geräte und Schnittstellen im Rechenzentrumsumfeld.

Je nach Architektur kann das Kühlsystem Kühlmittelverteilungseinheiten (CDUs), Pumpen, Ventile, Sensoren, Überwachungsgeräte und Steuerschaltungen umfassen.

Diese Geräte erzeugen elektrische Hilfslasten und bringen zusätzliche Anforderungen an Stromversorgung, Schaltung, Sensorik und Kommunikation mit sich.

Für Entwickler von Leistungselektronik und Steuerungsschaltungen verdienen einige Details Beachtung:

• Leistungsbedarf von Pumpen, CDUs und Steuerungseinrichtungen

• Versorgungsstabilität für Überwachungs- und Steuergeräte

• Schnittstellen zur Temperatur- und Durchflussmessung

• Kommunikation zwischen Kühlungssteuerungen und Anlagenüberwachungssystemen

• Elektrischer Schutz für Hilfsverbraucher

• Aufstellung der Ausrüstung und Zugang für Wartungsarbeiten

Kühlleistung und elektrische Leistung sind eng miteinander verknüpft. Ein Kühlsystem benötigt eine zuverlässige Stromversorgung und Steuerung, während die Stromversorgungseinrichtung auf geeignete thermische Bedingungen angewiesen ist, um innerhalb ihrer spezifizierten Grenzen zu arbeiten.

Diese Beziehung ist besonders wichtig in KI-Einrichtungen mit hoher Dichte, wo die Energie- und Kühlinfrastruktur gemeinsam geplant und nicht als völlig getrennte Systeme entwickelt werden muss.

Ein praktischer Überblick vor der endgültigen Komponentenauswahl

Bei der Bewertung von Stromversorgungskomponenten für ein flüssigkeitsgekühltes KI-Rechenzentrum sollten Ingenieure die tatsächlichen Betriebsbedingungen ermitteln, bevor sie die einzelnen Teilenummern vergleichen.

Eine hilfreiche Rezension kann folgende Punkte beinhalten:

1. Identifizieren Sie die Kühlarchitektur. Ermitteln Sie, ob das System eine Direktkühlung des Chips, rückseitige Wärmetauscher, Immersionskühlung oder eine Kombination dieser Verfahren verwendet.

2. Lage der Komponenten kartieren. Ermitteln, welche Leistungskomponenten direkt flüssigkeitsgekühlt sind, indirekt vom Kühlsystem beeinflusst werden oder weiterhin von der lokalen Luftströmung abhängig sind.

3. Definieren Sie die elektrischen Betriebsbedingungen. Bestätigen Sie Spannung, Dauerstrom, Spitzenstrom, Schaltfrequenz und zu erwartende Laständerung.

4. Thermische Grenzwerte bewerten. Sperrschichttemperatur, Temperaturanstieg, Wärmewiderstand und Herstellervorgaben zur Leistungsreduzierung überprüfen.

5. Prüfen Sie die Material- und Umgebungsverträglichkeit. Bei Geräten, die Kühlmitteln oder dielektrischen Flüssigkeiten ausgesetzt sind, überprüfen Sie die Verträglichkeit mit den relevanten Materialien und Betriebsbedingungen.

6. Überprüfen Sie die elektrischen Verbindungen. Prüfen Sie die Nennwerte der Steckverbinder, den Kontaktwiderstand, die Isolierung, den Installationsraum und die Temperaturerhöhung.

7. Berücksichtigen Sie die Zusatzausrüstung. Berücksichtigen Sie die Anforderungen an Stromversorgung, Steuerung, Sensorik und Kommunikation der Kühlinfrastruktur.

8. Überprüfen Sie die gesamte Baugruppe. Die Bauteilspezifikationen sollten im endgültigen Gehäuse und der Kühlanordnung bewertet werden, nicht nur unter den Bedingungen, die im Datenblatt isoliert beschrieben sind.

Dieses Verfahren hilft, einen häufigen Konstruktionsfehler zu vermeiden: die Annahme, dass die Verwendung von Flüssigkeitskühlung automatisch thermische Einschränkungen im gesamten Stromversorgungssystem beseitigt.

Komponentenauswahl im Rahmen eines integrierten Stromversorgungs- und Kühlungsdesigns

Flüssigkeitskühlung wird zu einem wichtigen Bestandteil der Infrastruktur von KI-Rechenzentren mit hoher Dichte, ersetzt aber nicht die Notwendigkeit einer sorgfältigen Elektro- und Wärmetechnik.

Halbleiter, Induktivitäten, Kondensatoren, Steckverbinder, Schaltgeräte und Schutzkomponenten weisen jeweils unterschiedliche Betriebseigenschaften auf. Ihre Eignung hängt von der elektrischen Beanspruchung, den lokalen thermischen Bedingungen, der Installationsumgebung und der Wechselwirkung mit umgebenden Geräten ab.

Da Energieumwandlungs- und Kühlsysteme immer stärker integriert werden, muss die Komponentenauswahl die tatsächlichen Bedingungen in jeder Phase der Energieversorgungskette widerspiegeln.

ESHINE unterstützt die Beschaffung elektronischer Komponenten und die technische Auswahl für Leistungselektronik und energietechnische Anwendungen. Für Stromversorgungsprojekte von KI-Servern und Rechenzentren können die Komponentenanforderungen anhand elektrischer Parameter, thermischer Bedingungen, Gehäusebeschränkungen und Anwendungsanforderungen bewertet werden.

Die Angabe der beabsichtigten Schaltungsfunktion, der Betriebsparameter und der Installationsumgebung hilft dabei, die Auswahl geeigneter Komponenten für die weitere technische Überprüfung einzugrenzen.