FDS: Numerische Optimierung und Kooperation

1

FDS: Numerische Optimierung und Kooperationen• Porträt der FDS-Usergroup• Optimierte Parallelisierungskonzepte

für den FDS-Drucklöser• Zukunft der parallelen Anwendung

Dr.-Ing. Christoph KlinzmannDr. rer. nat. Susanne Kilian hhpberlin Ingenieure für Brandschutz GmbH

• Porträt der deutschsprachigen FDS-Usergroup- Zielsetzungen

- Aktivitäten

- Kooperationen

• Optimierte Parallelisierungskonzepte für den FDS-Drucklöser- Motivation und Problembeschreibung

- FFT versus ScaRC

• Numerische Vergleichsrechnungen- Durchströmung eines 2D-Kanals

- Einströmung in einen 3D-Kubus

• Bewertung und Ausblick- Diskussion der Testreihen

- Zukunft der parallelen Anwendung: FDS in the Cloud

Inhalt


- Aktivitäten

- Kooperationen


- FFT versus ScaRC




- FDS in the Cloud

Inhalt

Porträt der deutschsprachigen FDS-Usergroup:Zielsetzungen• Aufbau eines internationalen Kontakt- und

Kooperationsnetzwerks:

- Austausch von Informationen, Erfahrungen und Fragen

• Koordination der FDS-Aktivitäten im deutschsprachigen

Raum:

- gemeinsame Identifikation des weiteren Forschungsbedarfs

• Regelmäßige Organisation von Anwendertreffen und

Workshops:

- Pflege persönlicher Kontakte und Bereitstellung neuester Erkenntnisse

• Regelmäßiger Kontakt zu den FDS-Hauptentwicklern:

- aktive Mitgestaltung bei der weiteren FDS-Entwicklung

• Durchführung regelmäßiger Treffen:

- bislang vier große Anwendertreffen seit 2008

- „Roundtable Discussion“ mit den FDS-Hauptentwicklern im Juni 2010

- zwei Workshops und fortlaufende Regionaltreffen der Arbeitsgruppe NRW

• breites Spektrum an Themen:

- Anwendungsbeispiele aus der täglichen Praxis

- Parameterstudien zu unterschiedlichen Aspekten von FDS

- Präsentationen zur Integration neuer Methoden, z.B. zur Berechnung des

Wärmeübergangs in Bauteile, der Verifikation und der Parallelisierung

Porträt der deutschsprachigen FDS-Usergroup:Aktivitäten

• Vernetzung der Mitglieder untereinander:

- Austausch bzgl. gemeinsamer Forschungsinteressen

- Einrichtung themenorientierter Arbeitskreise:

z.B.: gemeinsame Erarbeitung qualitätssichernder Kriterien bei der

Anwendung von FDS (FDS-Leitfaden)

• Vernetzung mit Hauptentwicklern:

- unbürokratische Kommunikationswege durch persönlichen Kontakt

- regelmäßiger Austausch zur FDS-Weiterentwicklung

Porträt der deutschsprachigen FDS-Usergroup:Kooperationen


- Aktivitäten

- Kooperationen


- FFT versus ScaRC




- FDS in the Cloud

Inhalt

[email protected]

www.hhpberlin.com

Ingenieure für Brandschutz GmbH

Hauptsitz:

Rotherstraße 19, 10245 Berlin

Parallele Lösung der FDS-Druckgleichung:Motivation und ProblembeschreibungFragen:

• Warum ist der FDS-Drucklöser so wichtig?

• Welche Probleme bestehen im Multi-Mesh-Fall?

• Warum ist die Parallelisierung des FDS-Drucklösers so schwierig?

Die effiziente Parallelisierung der FDS-Druckgleichung ist

noch immer eine große Herausforderung !

[email protected]

www.hhpberlin.com


Hauptsitz:


paralleler Löser muss dieses Verhalten bestmöglich reproduzieren !

• lokale Informationen breiten sich unmittelbar im ganzen Gebiet aus

• lokale Effekte oder Störungen beeinflussen die gesamte Lösung

starke globale Kopplung wegen hoher Ausbreitungsgeschwindigkeit

Parallele Lösung der FDS-Druckgleichung:Motivation und ProblembeschreibungFDS-Druckgleichung:

Elliptische partielle Differentialgleichung vom Poisson-Typ

[email protected]

www.hhpberlin.com


Hauptsitz:


Parallele Lösung der FDS-Druckgleichung:Motivation und Problembeschreibung2D-Pipe mit neuer Rand-Information von links:

neue Rand-Informationvon linker Gebietsseite

Zeitpunkt t

Wie sieht das reale physikalische Verhalten aus ?

[email protected]

www.hhpberlin.com


Hauptsitz:


Parallele Lösung der FDS-Druckgleichung:Motivation und Problembeschreibung

Zeitpunkt t + ∆t

Rand-Information breitet sich unmittelbar übers ganze Gebiet aus !

Im Fall von nur einem Mesh besteht keine Zeitverzögerung bei der Informationsweitergabe, der parallele FDS-Löser muss dieses physikalische Verhalten jedoch nachahmen!

2D-Pipe mit Rand-Information von links:

[email protected]

www.hhpberlin.com


Hauptsitz:


m = 1

1 lineares Gleichungssystem:

Beispiel: Single-Mesh-Fall:

Parallele Lösung der FDS-Druckgleichung:Diskretisierung in FDS

Globale Finite-Differenzen-Diskretisierung:

globale FFT (Fast-Fourier Transformation)

[email protected]

www.hhpberlin.com


Hauptsitz:


, m = 1,...,4 (m) (m) (m) (m) (m) (m)

m = 1,..., 4

4 lineare Gleichungssysteme:

Beispiel: Gebietszerlegung in 4 Meshes:

Parallele Lösung der FDS-Druckgleichung:Diskretisierung in FDS

Lokale Finite-Differenzen-Diskretisierungen:

[email protected]

www.hhpberlin.com


Hauptsitz:


lokale FFT

lokale FFT

lokale FFT

lokale FFT

4 lokale FFT‘s

+ lokaler Datenaustausch

keine globale Kopplung !!

• unabhängige FFT-Verfahren auf allen Teilgebieten

• lokale Kopplung entlang innerer Ränder durch Kommunikation

Beispiel: Gebietszerlegung in 4 Meshes:

Parallele Lösung der FDS-Druckgleichung:Standard FFT-Drucklöser

[email protected]

www.hhpberlin.com


Hauptsitz:


1. Zyklus der lokalen FFT-Löser:

• Einström-Information wird nur über Mesh 1 verteilt

• Information wird innerhalb eines Kommunikationszyklus auf den linken Rand von Mesh 2 kommuniziert, Mesh 3 und Mesh 4 erhalten noch keine Information

fehlerhafte Einströmdaten für Mesh 2, die nur näherungsweise der globalen Rechnung entsprechen

1

2

34


[email protected]

www.hhpberlin.com


Hauptsitz:



1

2

34



• Einström-Information wird auch über Mesh 2 verteilt

• Information wird auf den linken Rand von Mesh 3 kommuniziert

[email protected]

www.hhpberlin.com


Hauptsitz:



1

2

34



• Einström-Information wird auch über Mesh 3 verteilt

• Information wird auf den linken Rand von Mesh 4 kommuniziert

[email protected]

www.hhpberlin.com


Hauptsitz:


• kein globaler Zusammenhang

• unphysikalischer Datentransport


1

2

34


• Einström-Information erreicht schließlich Ausflussrand

• benötigt 4 Zyklen im Gegensatz zu 1 Zyklus im Single-Mesh Fall

• Verzögerungen bei der Informationsweitergabe führen zu Abweichungen im Vergleich zumSingle-Mesh Fall

[email protected]

www.hhpberlin.com


Hauptsitz:


Vorteile:

• effizient, robust und sehr performant im Single-Mesh-Fall

• seit Jahren erfolgreich angewendet

Nachteile:

• nicht zuverlässig im Multi-Mesh-Fall

• schwierig zu parallelisieren

Abhilfe: Neue FDS-Drucklöser FFT Iterationsschema (FFTI), ScaRC


[email protected]

www.hhpberlin.com


Hauptsitz:


• Einbettung der lokalen FFT-Verfahren in übergreifende Iteration plus Kopplung mit globalem Grobgitterproblem für gebietsübergreifende Effekte

• Abbruchkriterium: Differenz der Normalkomponenten der Geschwindig-keiten entlang innerer Ränder kleiner als vorgegebene Toleranz ‘tol’:

+

z.B.: &PRES VELOCITY_TOLERANCE=0.01

Iteration

4 lokale FFT‘s

+ lokaler Datenaustausch

+ Grobgitterproblem

FFT FFT

FFT FFT

mäßige globale Kopplung

Parallele Lösung der FDS-Druckgleichung:FDS-Drucklöser - FFT-Iterationsschema (FFTI)

[email protected]

www.hhpberlin.com


Hauptsitz:


Vorteile:

• häufig geringere Abweichungen von serieller Lösung

• tatsächlich Verbesserung der Skalierbarkeit

Nachteile:

• optimaler Wert der Toleranz ‘tol’ nicht a-priori vorhersehbar

• grundsätzlich sehr langsame Konvergenz

• Toleranzen < 10(-3) je nach Gitterweite häufig selbst nach tausenden von

Iterationen nicht erreichbar !!

Parallele Lösung der FDS-Druckgleichung:FDS-Drucklöser FFT-Iterationsschema (FFTI)

[email protected]

www.hhpberlin.com


Hauptsitz:


starke globale Kopplung

Gitterlevel 3

Gitterlevel 1

Gitterlevel 2

Iteration

Grobgitter

1 globales Mehrgitter(inkl. Gitterhierarchie)+ lokaler Datenaustausch+ Grobgitterproblem• Interpolation zwischen den

Gitterlevels

• geringerer Rechenaufwand auf schrittweise gröberen Gittern, dadurch Ver- besserung des globalen Datenflusses

Parallele Lösung der FDS-Druckgleichung:FDS-Drucklöser: Scalable Recursive Clustering (ScaRC)

[email protected]

www.hhpberlin.com


Hauptsitz:


Vorteile:

• deutliche Verbesserungen bzgl. - der globalen physikalischen Kopplung

- der Skalierbarkeit auf hohe Prozessorzahlen

• punktweises Setzen von Randbedingungen möglich (je Zelle statt je Mesh)

• Verwendung adaptiver Gitterverfeinerungskonzepte möglich

Nachteile:

• unter Umständen höhere Laufzeit als FFT

(aber: bisher noch NICHT laufzeitoptimiert!)

Parallele Lösung der FDS-Druckgleichung:Scalable Recursive Clustering (ScaRC)


- Aktivitäten

- Kooperationen

• Optimierte Parallelisierungskonzepte für den FDS-Drucklöser- Motivation und Problembeschreibung- FFT versus ScaRC




- FDS in the Cloud

Inhalt

[email protected]

www.hhpberlin.com


Hauptsitz:


Numerische Testreihen:Vergleich von FFT(I) versus ScaRC

• FFT :

Standard Multi-Mesh FFT-Löser (lokale Kommunikation)

• FFTI, tol = 10 , n=1,...,4 :

Multi-Mesh FFT-Löser mit vorgegebener Toleranz für die inneren

Geschwindigkeitskomponenten (lokale + globale Kommunikation),

• ScaRC :

neuer Mehrgitterlöser mit Gitterhierarchie (lokale + globale Kommunikation)

-n

[email protected]

www.hhpberlin.com


Hauptsitz:


Fragen:

• Wie konsistent sind die Multi-Mesh-Varianten zum Single-Mesh-Fall?

• Wie ist Skalierbarkeit auf hohe Meshanzahlen?

Nachweisführung:

• Vergleich der relevanten Multi-Mesh-Größen

- falls vorhanden mit der analytischen Lösung,

- falls nicht vorhanden alternativ mit dem entsprechenden Single-Mesh-Fall

Numerische Testreihen:Vergleich von FFT(I) versus ScaRC

[email protected]

www.hhpberlin.com


Hauptsitz:


• Unterteilung in N = 2, 4, 8 und 16 Teilgebiete

• Berechnung der Druckdifferenz:

Numerische Testreihen:Durchströmung eines 2D-Kanals

[email protected]

www.hhpberlin.com


Hauptsitz:


Numerische Testreihen:Durchströmung eines 2D-Kanals

Analytische Lösung:

Analytische Druckdifferenz für konstante Einströmung:

Vergleich der numerisch ermittelten Druckdifferenz mit der analytischen

Druckdifferenz

[email protected]

www.hhpberlin.com


Hauptsitz:


• Single-Mesh-FFT entspricht perfekt der analytischen Lösung!

• aber erhebliche Unterschiede zwischen Single- und Multi-Mesh-FFT

• Verschlechterung für wachsende Meshanzahl

Numerische Testreihen:Durchströmung eines 2D-Kanals, Standard-FFT

keine Konsistenz

(geringe Rechenzeit)

[email protected]

www.hhpberlin.com


Hauptsitz:


Numerische Testreihen:Durchströmung eines 2D-Kanals, FFTI, tol=10

-1

keine Konsistenz

#FFTI-Iterationen pro Zeitschritt:

2

• keine Verbesserung für FFTI, tol=10 , gegenüber Standard-FFT


-1

(geringe Rechenzeit)

[email protected]

www.hhpberlin.com


Hauptsitz:



-2

keine Konsistenz


2 bis 115

(erkennbarer Anstieg der Rechenzeit)

• immer noch keine nennenswerte Verbesserung für FFTI, tol=10


-2

[email protected]

www.hhpberlin.com


Hauptsitz:



-3

nur mäßige Konsistenz


2 bis 398

(deutlicher Anstieg der Rechenzeit)

• erkennbare Verbesserung für FFTI, tol=10

• mit der Simulationsdauer und Meshanzahl wachsende Inkonsistenzen

-3

[email protected]

www.hhpberlin.com


Hauptsitz:



-4

verbesserte Konsistenz


2 bis 577

(erheblicher Anstieg der Rechenzeit)

• deutliche Verbesserung für FFTI, tol=10

• aber immer noch keine Übereinstimmung!!

-4

[email protected]

www.hhpberlin.com


Hauptsitz:


• völlige Übereinstimmung unabhängig von Gebietszerlegung

• dauerhafte Konsistenz auch für noch höhere Meshanzahl

Numerische Testreihen:Durchströmung eines 2D-Kanals, ScaRC

volle Konsistenz

#ScaRC-Iterationen pro Zeitschritt:

durchschnittlich 10

(Rechenzeit etwa vergleichbar mit

FFTI, tol=10 )-2

[email protected]

www.hhpberlin.com


Hauptsitz:


Velocity-Slice durch Gebietsmitte

Einströmung von links, unten, vorne (Vorderansicht)

Numerische Testreihen:Einströmung in einen 3D-Kubus

• Einströmgeschwindigkeit VEL = 2.0 m/s

• Endzeitpunkt T = 1.8 s

• Unterteilung in N = 64, 128 und 512 Meshes

[email protected]

www.hhpberlin.com


Hauptsitz:


• keine analytische Lösung vorhanden• Abgleich aller Multi-Mesh-Druckverläufe mit dem Single-Mesh-

Druckverlauf im Gebietsmittelpunkt

64 Meshes (4x4x4) 128 Meshes (8x4x4) 512 Meshes (8x8x8)

Numerische Testreihen:Einströmung in einen 3D-Kubus

[email protected]

www.hhpberlin.com


Hauptsitz:


Referenzkurve, die vom parallelen Löser reproduziert werden muss

die Multi-Mesh-Fälle können bestenfalls so gut sein wie der Single-Mesh-Fall !!!

Numerische Testreihen:Einströmung in einen 3D-Kubus, Standard-FFT

[email protected]

www.hhpberlin.com


Hauptsitz:


• geringe Übereinstimmung der Multi-Mesh-Fälle mit dem Single-Mesh-Fall


• Druckverlauf wird im Multi-Mesh-Fall offenbar unterschätzt

Numerische Testreihen:Einströmung in einen 3D-Kubus, Standard-FFT

nur sehr mäßigeKonsistenz

[email protected]

www.hhpberlin.com


Hauptsitz:


• leichte Verbesserung gegenüber dem Standard-FFT-Fall


Numerische Testreihen:Einströmung in einen 3D-Kubus, FFTI, tol=10

-1

nur mäßigeKonsistenz

[email protected]

www.hhpberlin.com


Hauptsitz:


• deutliche Annäherung der Verläufe

• dennoch erkennbare Verschlechterung für wachsende Meshanzahl


-2

deutlich verbesserteKonsistenz

[email protected]

www.hhpberlin.com


Hauptsitz:


• wieder schlechtere Übereinstimmung

• insbesondere für hohe Meshanzahl wachsende Inkonsistenz

• Druckverläufe werden offenbar überschätzt


-3

wieder schlechtereKonsistenz trotz

feinerer Toleranz !

[email protected]

www.hhpberlin.com


Hauptsitz:



-4

noch schlechtereKonsistenz trotz

feinerer Toleranz !

• erneut deutlich schlechtere Übereinstimmung

• insbesondere für hohe Meshanzahl wachsende Inkonsistenz

• Druckverläufe werden offenbar überschätzt

[email protected]

www.hhpberlin.com


Hauptsitz:


Numerische Testreihen:Einströmung in einen 3D-Kubus, ScaRC

• nahezu gleicher Verlauf unabhängig von Gebietszerlegung

• automatisch Rundungsfehlergenauigkeit 10 an inneren Rändern-16

nahezu vollständige Konsistenz


- Aktivitäten

- Kooperationen

• Optimierte Parallelisierungskonzepte für den FDS-Drucklöser- Motivation und Problembeschreibung- FFT versus ScaRC

• Numerische Vergleichsrechnungen- Durchströmung eines 2D-Kanals- Einströmung in einen 3D-Kubus


- FDS in the Cloud

Inhalt

[email protected]

www.hhpberlin.com


Hauptsitz:


• Single-Mesh-FFT:

- bildet realen physikalischen Verlauf im 1-D Problem sehr gut ab

• Multi-Mesh-FFT:

- Aufbrechen des physikalischen Zusammenhangs (nur lokale Kopplung)

- unzureichende Skalierbarkeit auf hohe Meshanzahlen

• Multi-Mesh-FFTI:

- bessere globale Kopplung/Skalierbarkeit als standardmäßige Multi-Mesh-FFT

- dennoch keine völlige Konsistenz mit dem Single-Mesh-Fall

- optimale Toleranzen für FFTI a-priori schwierig zu bestimmen

Weiterer Entwicklungsbedarf !

Bewertung und Ausblick:Vor- und Nachteile FFT(I)

[email protected]

www.hhpberlin.com


Hauptsitz:


• liefert deutlich verbesserte Genauigkeit und Skalierbarkeit auf hohe Meshanzahlen

• arbeitet datenparallel, d.h. erzeugt im Multi-Mesh-Fall dieselbe Lösung wie im entsprechenden Single-Mesh-Fall (sofern die Eingabedaten konsistent sind!)

• ermöglicht die Behandlung von nicht-äquidistanten bzw. adaptiven Gittern

• erlaubt das punktweise Setzen von Randbedingungen (im Gegensatz dazu kann beim FFT-Löser nur eine einzige Randbedingung pro Fläche, d.h. dem Rand eines Meshes, gesetzt werden)

die Hauptentwickler wollen ScaRC als optionalen Drucklöser in die kommende Version FDS 6 integrieren

Bewertung und Ausblick:Vorteile von ScaRC

[email protected]

www.hhpberlin.com


Hauptsitz:


• bisher noch nicht Laufzeit-optimiert

• aktuell noch um Faktor 2 bis 3 höhere Laufzeit als das Standard FFT-Verfahren (für einen numerisch fairen Vergleich muss jedoch mit dem langsameren FFTI-Verfahren verglichen werden, da Standard-FFT im Multi-Mesh-Fall keine konsistenten Resultate liefert !!)

• für einige Testfälle auch bei ScaRC noch leichte Inkonsistenzen zwischen einigen Multi-Mesh- und entsprechenden Single-Mesh-Fällen erkennbar

• in Zusammenarbeit mit den Hauptentwicklern wurde bereits identifziert, dass der ‘umliegende Code’ leicht unterschiedliche Eingabedaten für Single-Mesh und Multi-Mesh-Fälle produziert (außerhalb von ScaRC!)

weitere Tests und Optimierungen erforderlich

Bewertung und Ausblick:Bisherige Nachteile von ScaRC

[email protected]

www.hhpberlin.com


Hauptsitz:


• umfangreiche Konsistenzchecks in den umliegenden Routinen in Kooperation mit den Hauptentwicklern beim NIST

• umfangreiche Verifikationstests für verschiedene Geometrien in Kooperation mit Matthias Münch, INURI GmbH

• verschiedene Vergröberungstechniken für die Gitterhierarchien von ScaRC auf Basis von algebraischen Mehrgitterverfahren

• Austesten der Anwendbarkeit auf komplexe Geometrien

• Integration von Adaptivitätskonzepten (ab 2012)

• Laufzeitoptimierung (ab Herbst 2011)

• Nutzung von Cloud-Computing

Bewertung und Ausblick:Aktuelle und geplante Arbeiten

[email protected]

www.hhpberlin.com


Hauptsitz:


• Mit der Implementation von ScaRC in FDS6 wird es möglich, numerische

Simulationen auf mehr CPUs als bislang aufzuteilen

Der Laufzeitnachteil von ScaRC kann kompensiert werden

• Zusätzlich können mit großen CPU-Anzahlen die Meshauflösung weiter

verringert werden oder eine größere Zahl an Varianten gleichzeitig berechnet

werden

• Betrieb von eigenen Clustersystemen

mittel/ langfristig ineffizient

• hhpberlin arbeitet eng mit Microsoft

zusammen, um mit Verfügbarkeit

von FDS6 / ScaRC Rechnungen

in der Cloud (verteilten Clustersystemen)

zu ermöglichen

Bewertung und Ausblick:FDS in the Cloud

[email protected]

www.hhpberlin.com


Hauptsitz:


• Das Rechnen auf entfernten und verteilten Rechnern erfordert vorab die Lösung

vielfältiger Fragestellungen

- Überwachung / Kontrolle der Berechnungen

Smokeview über das Internet?

- Latenz zwischen den Rechenknoten wird bei steigender CPU-Anzahl immer

wichtiger

- Die CPU-Geschwindigkeit pro Kern ist bei aktuell verfügbaren Angeboten noch

gering

- Wie erfolgt der Zugriff der einzelnen Instanzen (CPUs) auf gemeinsame

Daten, wie kann von außen der Zugriff ermöglicht und kontrolliert werden

Bewertung und Ausblick:FDS in the Cloud

Beispiel: automatisierte Kontrolle

simulierte HRRvorgegebene HRR

51

Kontaktinformationenhhpberlin Ingenieure für Brandschutz GmbH

Rotherstraße 1910245 Berlin

Rosental 580331 München

Kurze Mühren 2020095 Hamburg

Wilhelm-Leuschner-Straße 4160329 Frankfurt am Main

Frankfurter Straße 238122 Braunschweig

Geschäftsführer:Dipl.-Ing. Margot EhrlicherDipl.-Inf. BW (VWA) Stefan TruthänDipl.-Ing. Karsten Foth

Prokurist:Dipl.-Ing. Harald Niemöller

Beirat:Prof. Dr.-Ing. Dietmar HosserDr.-Ing. Karl-Heinz Schubert

[email protected]

AmtsgerichtBerlin CharlottenburgHRB 78 927

Deutsche Bank P+G AGBLZ 100 700 24Konto-Nr. 1419100IBAN-Nr. DE52100700240141910000Swift-Code: DEUTDEDBBERUst-IdNr. DE217656065

Phone: +49 (30) 89 59 55 0Fax: +49 (30) 89 59 55 9 101

51

[email protected]

www.hhpberlin.com


Hauptsitz:


• lokale Verfeinerung von Bereichen mit hoher Variation der Daten

• AMR-Methode („adaptive mesh refinement“)

Parallele Lösung der FDS-Druckgleichung:Scalable Recursive Clustering (ScaRC)

Verwendung (lokal) adaptiver Gitterverfeinerungskonzepte möglich:

Documents

FDS: Numerische Optimierung und Kooperation