Vorsicht, Klimafalle! Belastbarkeit von RZ-Flächen ist nicht unendlich

Ordnungsmerkmale

erschienen in: <kes> 2009^#1, Seite 30

Zusammenfassung: Mit neuer Server-Technologie lässt sich leicht mehr thermische Belastung in ein Rechenzentrum einbringen als konzeptionell vorgesehen. Soweit die elementaren Grundsätze der RZ-Sicherheitsplanung eingehalten werden sollen, kann man die Räume aber nicht zur Abfuhr beliebig hoher Wärmelasten nutzen. Auch beim Einsatz aktueller "Makro-Klima"-Lösungen sind die Randbedingungen und Folgen sorgsam zu prüfen.

Autor: Von Wolfram Goeken, Altenbeken

In Serverräumen und Rechenzentren (RZ) werden vermehrt IT-Systeme eingesetzt, die eine weitaus höhere Verlustleistung als früher haben: Blade-Server und "Pizzaboxen" in 1 HE, also nur einer Höheneinheit. Dadurch kommt es in den einzelnen Racks zu Wärmelasten von bis zu 25 kW und mehr. Zur Abfuhr der höheren Verlustleistungen sind übliche RZ-Gebäude jedoch nicht ohne Weiteres geeignet: Sie sind "klassisch" allenfalls für 3 kW pro Rack ausgelegt und bei der Konzeptionierung wurde in aller Regel davon ausgegangen, dass genügend Fläche da ist, um IT-Geräte mit hohen Wärmelasten auf der Fläche zu verteilen.

In der Praxis ist das heute oft anders: Aufgrund mangelnder Aufstellfläche oder weil neu erworbene Geräte der Einfachheit halber in einem einzigen (ggf. gleichzeitig erworbenen) Rack eingebaut werden, kann es leicht zu Überlastungen der Infrastruktur kommen. Verschiedene Hersteller haben das erkannt und bieten Abhilfe an (vgl. <kes> 2008^#2, S. 24), vor allem:

• Schrankkühler mit Luft-/Wasser-Wärmetauscher zur gezielten Kühlung spezieller geschlossener Schränke (Cooling-Racks) mit Wasser – solche Schränke sind relativ dicht
• zusätzliche (Reihen-)Kühlgeräte, die den hochwärmebelasteten IT-Geräten zugeordnet oder sogar in derselben Schrankreihe aufgestellt werden – diese ermöglichen es, kalte Luft direkt bei den Schränken, die sie benötigen, in so genannte Kaltluftgänge zu blasen
• "Schrankcontainer" (oder "Raumkabinen") als eigenständige Raum-in-Raum-Lösungen – diese bestehen aus mindestens zwei rundum völlig geschlossenen Schrankreihen mit Dach, Gang-Endwänden mit Tür und eigener Energieverteilung und Klimatisierung

Technisch betrachtet ist es mit solchen Produkten möglich, die Wärmelasten über Rohrleitungen, Kaltwassersätze (Chiller) und Rückkühler außerhalb des IT-Raums entsprechend abzuführen. In der Praxis werden dabei aber Sicherheitsaspekte nicht immer genügend berücksichtigt: Durch die Nutzung dieser Lösungen ergeben sich unter Umständen Nachteile, die zu geringerer Verfügbarkeit und Wartbarkeit führen, wenn die elementaren Grundsätze der RZ-Sicherheitsplanung mehr oder weniger in Vergessenheit geraten, wie im Folgenden skizziert.

Räumliche Trennung der IT (Feintechnik) von der zugehörigen Versorgungstechnik (Grobtechnik)

Als Ausgleichsmaßnahme kommt eine permanente Begleitung aller externen Dienstleister im IT-Raum infrage, um diesen Grundsatz der Funktionentrennung annähernd zu gewährleisten. Es ist jedoch fraglich, ob das konsequent durchgeführt wird – auf jeden Fall erhöht sich die Bedrohung durch unabsichtliche Fehler.

Vermeidung flüssigkeitsführender Leitungen

Mittels Wärmetauscher außerhalb des IT-Raums lässt sich die Wassermenge auf ein definiertes Ausmaß begrenzen, (überwachte) Wasserauffangwannen und luftdichte Notabläufe im IT-Raum können zudem die Gefahr eines Wasserschadens reduzieren. Auf jeden Fall ist entstehendes Kondensat abzuleiten und die (neue) Bedrohung zu berücksichtigen, dass Rohrleitungen und Verbindungen in der Nähe des Racks oder zusätzlichen Kühlgeräts undicht werden oder platzen.

Weitgehende Reduzierung brennbarer Materialien in IT-Räumen

Durch die zusätzliche Klimatechnik im IT-Raum lässt sich etwas mehr Brandlast in den IT-Räumen nicht vermeiden.

Räumliche Aufteilung der IT (Diversifikation)

Eine zentralisierte Zusammenlegung aller Server und Einrichtungen erscheint (auch unabhängig von Klimafragen) oft kostengünstiger, einfacher und weniger störend – dabei ist darauf zu achten, dass höhere Verfügbarkeit und Betriebssicherheit verteilter Systeme nicht leichtfertig aufgegeben werden.

Redundante Elektro- und Kälteversorgungsgeräte

Nicht immer erkennen Anwender, ob neue Geräte volle Redundanz bieten – oftmals wird sie nur optional realisiert. Überdies ist bei der ganzheitlichen Betrachtung der gesamten IT (über Klimaprodukte und einzelne Racks hinausgehend) auf mögliche "Single Points of Failure" (SPoF) zu achten.

Gleichzeitig wartbare, redundante Energie- und Kälte-Versorgung

Für ein betriebssicheres Rechenzentrum ist nicht nur eine redundante Auslegung der wesentlichen Versorgungs-Geräte (wie Kühl-/Umluftklimageräte, Rückkühler/Kaltwassersätze sowie Stromquellen und Schaltanlagen) wesentlich, sondern auch (mindestens) doppelte Verteilungsnetze mit räumlich getrennten Verteilern, Strom- und Rohrleitungen – einschließlich Abschnittbildung, Aufgliederung und Umgehungsmöglichkeiten. Wartungsarbeiten sollten auch im laufenden Betrieb ohne Unterbrechung möglich sein, sodass das Klima-System weiterhin mit der gesamten erforderlichen Kühlleistung arbeitet.

Fehlertolerante Systeme mit redundanter Technik und parallelen Versorgungspfaden

Üblicherweise sind informations- und kommunikationstechnische Geräte (ITK) im Raum oder mehreren Räumen verteilt, die mittels mehrerer redundanter Umluftklimageräte gekühlt werden. Dabei lassen sich die jeweils nicht-aktiven Klima- und Kältegeräte warten oder modifizieren, ohne den (unterbrechungsfreien) Betrieb des Rechenzentrums zu gefährden – bei katastrophentoleranter Auslegung führt auch eine unerwartete Störung am Kühlsystem nicht zu einer Betriebsunterbrechung der ITK-Anlage. Einzelne ITK-Geräte können gleichermaßen zur Wartung oder Änderung außer Betrieb genommen werden, ohne andere Geräte zu stören.

Um mit neueren (Hilfs-)Lösungen gegen Überhitzung im RZ eine ähnliche Verfügbarkeit und Wartbarkeit zu erhalten, genügt es – je nach Szenario – nicht, nur Kälteerzeuger und Rückkühler redundant vorzuhalten, sondern unter Umständen müssten auch direkt gekühlte Schränke und damit praktisch auch die enthaltenen Server mehrfach vorhanden sein, um diese im laufenden RZ-Betrieb warten, ändern oder ergänzen zu können.

Sicherheitsplanung anpassen

Eine Reduzierung der Verfügbarkeit und Wartbarkeit dürfte kaum im Unternehmensinteresse liegen. Es ist fraglich, ob den Entscheidungsträgern solche Konsequenzen in jedem Fall zur Kenntnis gebracht werden. Möglicherweise sind sich auch RZ-Betreiber oder Installations-Teams nicht immer darüber im Klaren, was in einem Rechenzentrum ursprünglich konzeptionell an Sicherheit vorgesehen und vorhanden war – und vermutlich auch in Zukunft erhalten bleiben sollte. Wo man versucht, in Unkenntnis der Gesamtziele dem Unternehmen Geld zu sparen, sind jedoch Verluste in Sachen Sicherheit zu erwarten.

Beim Einsatz der momentan in Mode geratenen Kühllösungen ist darauf zu achten, dass (weiterhin) eine ganzheitliche Sicherheitsplanung erfolgt, die zum einen neu entstehende Bedrohungen aufzeigt und beseitigt sowie zum anderen für die erforderlichen Redundanzen sorgt. Die folgende Aufzählung nennt einige Fragen, die nicht selten übersehen werden:

• Was passiert, wenn die Wasserleitung zur Versorgung eines im Serverraum oder RZ aufgestellten Kühlgeräts (versehentlich) unterbrochen wird?
• Welche Wirkung hat es auf die ITK-Geräte, wenn das Verstärkungs-Kühlsystem schrittweise oder komplett ausfällt?
• Welche Auswirkung hat es auf die ITK, wenn das Kühlsystem zur planmäßigen Wartung regelmäßig schrittweise oder komplett abgeschaltet wird?
• Beeinflusst das Lüftungs- und Kühlsystem die vom Computerhersteller gegebene Hardwaregarantie? Kann der interne Luftstrom in ITK-Geräten negativ beeinflusst werden?
• Werden Isolierungen aus brennbaren, faserigen, staubenden oder halogenbehafteten Materialien vermieden?
• Ist auch in den neuen, oft relativ dichten Schränken eine frühzeitige Rauch-Erkennung und das Eindringen des Löschmittels bei einer automatischen Löschung gewährleistet?
• Ist das neue Kühlsystem kompatibel mit der Wartbarkeit im laufenden Betrieb und Fehlertoleranz der gesamten technischen Gebäudeausrüstung (TGA) des Rechenzentrums?
• Haben Rohrverbindungen mit dem Kältesystem denselben Pegel der Fehlertoleranz und gleichzeitigen Wartbarkeit wie das Kältesystem selbst? Muss während der Wartung des Kältesystems durch die Art der Verbindung zum Kältesystem ein Kühlgerät (oder ein Schrankkühler) stillgelegt werden?
• Ist für flüssigkeitsgekühlte IT-Systeme (Server, Mainframe usw.) eine direkte, unterbrechungsfreie Versorgung (z. B. mit Kaltwasser) vorzusehen oder vorauszuplanen?
• Sind adäquate Trennventile im Rohrnetz vorhanden, um eine gleichzeitige Wartung und Erweiterung während des laufenden Betriebs zu ermöglichen?
• Gibt es Absperrventile, die (z. B. bei Leckagen) eine rackbezogene Kühlung automatisch unterbrechen können? Ist das gewollt und in den Sicherheitskonzepten berücksichtigt?
• Erlaubt die Energieversorgung der Klimatechnik die Wartung, Reparatur und Erweiterung eines redundanten Betriebsmittels, ohne dass mehr als die redundanten Komponenten stromlos werden?
• Liefern die Ventilatoren im Kühlsystem ausreichend Luft, um den Bedarf der Server-Lüfter innerhalb eines voll belegten Schranks zu decken (ggf. auch dann, wenn die Front- oder Rücktürseiten des Schranks durch ein Schrankkühlsystem blockiert sind)? Was geschieht, wenn der Schrank nur teilweise mit ITK-Geräten belegt ist?

"Spannende" Konsequenzen

Die heutigen hohen Wärmelasten stellen überdies auch neue Anforderungen an die Notkühlung und Notstromversorgung, die man nicht übersehen darf: Bei Ausfall der Kühlung ist innerhalb von wenigen Minuten mit einem Ausfall der überhitzten Server in eng bepackten Schränken zu rechnen. Die direkte ständige Kühlung kann unter Umständen nicht auf die Lastübernahme durch eine Netzersatzanlage warten, sondern muss eventuell unterbrechungsfrei versorgt werden. In diesem Zusammenhang sollte man auch die Energieeffizienz bei neuartigen Kühlkonzepten kritisch betrachten.

Auch wenn das womöglich "unmodern" erscheint: Nach Meinung des Autors sollte man vorrangig Lösungen einsetzen, die zur ursprünglichen Konzeption der IT-Räume passen. Ziel sollte immer sein, IT-Geräte mit hohen Verlustleistungen auf der Fläche zu verteilen! Das lässt sich beispielsweise über die Definition von Kühlungszonen für Rack-Location-Units (RLU) unterschiedlicher Wärmedichte und dazu passenden Kühltechniken erreichen. Dabei muss man allerdings in Kauf nehmen, dass der Raum beziehungsweise die Racks nicht voll genutzt werden. Das ist ähnlich wie im Auto, wo man auch nicht den Kofferraum mit schweren Lasten füllen darf, solange nur Platz da ist – die Grenze ist dort die zulässige Achslast.

Auch die Optimierung des Luftvolumenstroms im Raum und Doppelboden (z. B. durch luftdichte Umfassung, Beachtung des Bernoullischen Gesetzes, Trennung der warmen Abluft von der kalten Zuluft, richtige Anordnung der Lüftungsplatten, thermische Schichtung, Einhausung der Warm- bzw. Kaltluft-Gänge, "Rauchschürzen", Warmluftschächte, Warmluftkamine, Abluftkanäle, Abluftdecke, …) sowie die Optimierung des Luftvolumenstroms innerhalb von Schränken (z. B. durch Bestückung nach Wärmeleistung, Einsatz von Blenden, geregelte Luftführung, Push- und Pull-Zwangslüftungssysteme und Vorrichtungen, die den Luftstrom vor den IT-Geräten verstärken) können eine deutliche Verbesserung der Kühlleistung bewirken.

Fazit

Bevor man in neue Klima-Lösungen investiert, um im RZ oder Serverraum "Hitzelöcher zu stopfen", sollte man unbedingt eine sorgfältige Analyse der Auswirkungen auf Sicherheit und Gesamtkonzeption durchführen. Für maximale Verfügbarkeit, Flexibilität, Skalierbarkeit und Wartbarkeit ist eine gewerkeübergreifende Betrachtung und Vorausplanung durch Mitarbeiter oder Dienstleister mit entsprechender Erfahrung in der Sicherheitsplanung erforderlich, auch um zukünftig eine wirtschaftliche und energieeffiziente Kühlung sowie das gewünschte Maß an Ausfallsicherheit und Wartbarkeit zu gewährleisten.

Wolfram Goeken ist RZ-Sicherheitsberater ( www.si-consult.info).

zurück zum Inhalt
© SecuMedia-Verlags-GmbH, 55205 Ingelheim (DE),
<kes> 2009^#1, Seite 30
tag:kes.info,2007:lp:2009-1-A