Karlsruher Institut fur Technologie

1

envelope

KIT – Universitat des Landes Baden-Wurttemberg undnationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu

ENVELOPE - Effizienz und Zuverlassigkeit:Selbstorganisation in HPC-SystemenAktueller Stand

A. Brinkmann, W. Karl, S. Lankes, M. Schulz, C. Trinitis8. Oktober 2018

1

envelope

PartnerKarlsruher Institut fur Technologie

Institut fur Technische InformatikProf. Dr. Wolfgang Karl (Koordination)

Technische Universitat MunchenLehrstuhl fur Rechnerarchitektur und Parallele SystemeProf. Dr. Martin Schulz, Dr.-Ing. Carsten Trinitis

Johannes Gutenberg-Universitat MainzZentrum fur DatenverarbeitungProf. Dr.-Ing. Andre Brinkmann

RWTH Aachen UniversityInstitute for Automation of Complex Power SystemsProf. Antonello Monti, Ph.D., Dr. rer. nat. Stefan Lankes

Assoziierte PartnerLeibniz Rechenzentrum

PD Dr. rer. nat. Josef WeidendorferMEGWARE, ParTec

1 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

Ziele

Erhohung der Zuverlassigkeit und Ausfallsicherheit inHPC-Systemen

Effiziente Nutzung der zur Verfugung stehenden Ressourcenim Hinblick auf

Ausfuhrungszeit

Energieeffizienz

Verbergen der Komplexitat heterogener HPC-Systeme vor demAnwender

2 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

AnsatzBetrachtung des Systems auf mehreren Ebenen

Lokale Betrachtung der RechenknotenGlobale Sichtweise des SystemsTechniken auf Anwendungsebene

Einsatz von Methoden der SelbstorganisationVergleich von system- und anwendungsbasierten Strategien

3 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

Ansatz

Erhohung der Zuverlassigkeit und Ausfallsicherheit

Proaktive Vorhersage von Knotenausfallen mittelsMachine-Learning ModellenDatenhaltungskomponenten zur Migration und Checkpointing

AnwendungsgesteuertContainerbasiertUnikernels

Effiziente Nutzung der vorhandenen Ressourcen

Dynamische Abbildungsentscheidung mit unterschiedlichenOptimierungszielen

Verbergen der Komplexitat heterogener Systeme

Task-basiertes Laufzeitsystem mit Bibliotheksansatz

4 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

Rechenzentrumsumfrage

5 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

Pradiktor

Ziel: Erstellung eines Pradiktors zur proaktiven Vorhersage vonAusfallen der Rechenknoten

Datensammlung aus MOGON I & MOGON II an der JGU Mainz

IPMI (Spannung, Temperaturen), OS (CPU, Last, Speicher),Job-/Knotenzustande

Komprimierte Daten: ˜2 TB fur 1 Jahr und uber 500 Knoten

Tagliche Daten: ˜5 GB fur 500 Knoten

MOGON I & II benutzen Ganglia, RRD Datenbasis und CustomDaemons fur die Datensammlung

6 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

Checkpointing & Migration von Unikernels

Hardware

Host Kernel

Hypervisor

GuestKernel

GuestKernel

App App App

Klassische VMs

Hardware

Host Kernel

Hypervisor

libOS libOSlibOS

App App App

Unikernels

7 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

Checkpointing & Migration von UnikernelsNur eine Anwendung pro Gast

Geteilter Adressraum zwischen Anwendung und libOS

Hypervisor kennt den vollstandigen GaststatusEine SeitentabelleCheckpointing/Migration per Page-Walk im HypervisorKlassische Parallelisierung moglich (z. B. OpenMP)

Nutzung des Unikernels Hermitcore (https://hermitcore.org)

Hardware

Host Kernel

Hypervisor

GuestKernel

GuestKernel

App App App

Klassische VMs

Hardware

Host Kernel

Hypervisor

libOS libOSlibOS

App App App

Unikernels

8 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

Checkpointing & Migration von Unikernels

BT CG EP SP0

5

10

15

20

GM

op/s

Laufzeitoverhead

LinuxHermitCore

BT CG EP SP0

0.2

0.4

0.6

0.8

Zeit

ins

Checkpointzeit

CRIU DMTCPHermitCore HermitCore (OMP)

9 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

Checkpointing & Migration von Unikernels

256 Mi 1 Gi 4 Gi 16 Gi0

1

2

3

Gastgroße in Byte

Zeit

ins

Migration ”leerer“ Gast

128 Mi 512 Mi 2 Gi 8 Gi0

2

4

6

8

Speicherlast in ByteZe

itin

s

Migration mit Speicherlast

QEMU HermitCore HermitCore (ODP) HermitCore (free-list)

10 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

Datenerhaltung auf AnwendungsebeneLAIK, eine Bibliothek zur dynamischen Datenverteilung

Ermoglicht die Repartitionierung bei Ausfallen

Einfache Portierung von existierenden Code

Bewahrt die Skalierbarkeit von Anwendungscodes

Erlaubt die inkrementielle Portierbarkeit von MPI-Code

Kontrolliert die (dynamische) Verteilung und die Kommunikation von Daten

Datenaffinitat: stellt Lokalitat benotigter Daten sicher

Deklariert, wann / welche Daten aktualisiert werden mussen

…HeterogeneousNodes / Cores

HPCapplication

…

HPCapplication

AbstractionIndex Space

11 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

Anwendungsportierung: MLEM

kleiner Tier-PET-ScannerMADPET-II

1152 Detektoren, 662976 Lines-of-ResponseSichtfeld 140 x 140 x 40 voxels, insgesamt 784000 voxels

12 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

Ergebnisse

LRZ LinuxCluster

Dai Yang, Josef Weidendorfer, Tilman Küstner, Carsten Trinitis and Sibylle Ziegler. Enabling Application-Integrated Proactive Fault Tolerance. Par-Co 2017, Bologna, Italy.

13 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

Zusammenfassung und Ausblick

Framework zur Erhohung der FehlertoleranzAnwendungsgesteuert ⇒ LAIKAnwendungstransparent ⇒ Container, VMs, Unikernels

Verfeinerung der Techniken zur Vorhersage von AusfallenSymptombasierte FehlererkennungAuswertung der Sensoren mit Hilfe von Machine Learning

Weitere InformationenProjektseite: http://envelope.itec.kit.eduLAIK & Co.: https://github.com/envelope-project/laikMigration von Unikernels: https://hermitcore.org

14 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

Backup

15 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

Symptombasierte Fehlererkennung

Aktueller Stand:

Untersuchung verschiedener Fehlerfalle

Verringerung der CPU-Frequenz

Veranderung von Schleifenvariablen

Speicherleaks

Auslastung der Festplatte

Auslastung der ALU

16 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

Task-basiertes LaufzeitsystemBisher: Task-Abbildungsentscheidung aufgrund vonAusfuhrungszeiten

Ziel: Betrachtung des Energieverbrauchs bei derAbbildungsentscheidung

Entscheidung uber Gewichtung

⇒ Performance-Datenbank um Energieverbrauch erweitert

RAPL-Counter fur Intel CPUs

NVML-Counter fur NVIDIA GPUs

17 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

Partitionierungsbeispiel

Allgemeine Partitionierung: mehrere Prozesse pro Index

Disjunktive Partitionierung

Benutzerdefinierte Partitionsalgorithmen werden unterstutzt

18 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018

1

envelope

MLEM Algorithmus

f (q+1)j =

f (q)jn∑

l=1alj

n∑i=1

gim∑

k=1aik f (q)k

Schritte:

Vorwartsprojektion h = Af

A = (aij) ∈ IRnxm Wahrscheinlichkeitsmatrixf ∈ IRm Bildvektor

Korrelation r = gihi

g ∈ IRn Bildvektor Scanner-AusgabeRuckwartsprojektion c = AT r

Update f (q+1)j=f (q)j cj

Erhoht die Wahrscheinlichkeit p(g|f (q)) von g mit der gegebenen aktuellenSchatzung f (q)

19 8. Oktober 2018 Envelope – HPC-Statuskonferenz 2018