Optimierung einer Klasse von Elektronischen Strukturberechnungen durch Abwägen von Speicherbedarf und Rechenzeit Gerald Baumgartner, Ohio State Daniel

Optimierung einer Klasse von Elektronischen Strukturberechnungen

durch Abwägen von Speicherbedarf und Rechenzeit

Gerald Baumgartner, Ohio State

Daniel Cociorva, Ohio StateChi-Chung Lam, Ohio StateP. Sadayappan, Ohio State

J. Ramanujam, Louisiana StateMarcel Nooijen, PrincetonDavid E. Bernholdt, ORNL

Robert Harrison, PNNL

hbar[a,b,i,j] == sum[f[b,c]*t[i,j,a,c],{c}] -sum[f[k,c]*t[k,b]*t[i,j,a,c],{k,c}] +sum[f[a,c]*t[i,j,c,b],{c}] -sum[f[k,c]*t[k,a]*t[i,j,c,b],{k,c}] -sum[f[k,j]*t[i,k,a,b],{k}] -sum[f[k,c]*t[j,c]*t[i,k,a,b],{k,c}] -sum[f[k,i]*t[j,k,b,a],{k}] -sum[f[k,c]*t[i,c]*t[j,k,b,a],{k,c}] +sum[t[i,c]*t[j,d]*v[a,b,c,d],{c,d}] +sum[t[i,j,c,d]*v[a,b,c,d],{c,d}] +sum[t[j,c]*v[a,b,i,c],{c}] -sum[t[k,b]*v[a,k,i,j],{k}] +sum[t[i,c]*v[b,a,j,c],{c}] -sum[t[k,a]*v[b,k,j,i],{k}] -sum[t[k,d]*t[i,j,c,b]*v[k,a,c,d],{k,c,d}] -sum[t[i,c]*t[j,k,b,d]*v[k,a,c,d],{k,c,d}] -sum[t[j,c]*t[k,b]*v[k,a,c,i],{k,c}] +2*sum[t[j,k,b,c]*v[k,a,c,i],{k,c}] -sum[t[j,k,c,b]*v[k,a,c,i],{k,c}] -sum[t[i,c]*t[j,d]*t[k,b]*v[k,a,d,c],{k,c,d}] +2*sum[t[k,d]*t[i,j,c,b]*v[k,a,d,c],{k,c,d}] -sum[t[k,b]*t[i,j,c,d]*v[k,a,d,c],{k,c,d}] -sum[t[j,d]*t[i,k,c,b]*v[k,a,d,c],{k,c,d}] +2*sum[t[i,c]*t[j,k,b,d]*v[k,a,d,c],{k,c,d}] -sum[t[i,c]*t[j,k,d,b]*v[k,a,d,c],{k,c,d}] -sum[t[j,k,b,c]*v[k,a,i,c],{k,c}] -sum[t[i,c]*t[k,b]*v[k,a,j,c],{k,c}] -sum[t[i,k,c,b]*v[k,a,j,c],{k,c}] -sum[t[i,c]*t[j,d]*t[k,a]*v[k,b,c,d],{k,c,d}] -sum[t[k,d]*t[i,j,a,c]*v[k,b,c,d],{k,c,d}] -sum[t[k,a]*t[i,j,c,d]*v[k,b,c,d],{k,c,d}] +2*sum[t[j,d]*t[i,k,a,c]*v[k,b,c,d],{k,c,d}] -sum[t[j,d]*t[i,k,c,a]*v[k,b,c,d],{k,c,d}] -sum[t[i,c]*t[j,k,d,a]*v[k,b,c,d],{k,c,d}] -sum[t[i,c]*t[k,a]*v[k,b,c,j],{k,c}] +2*sum[t[i,k,a,c]*v[k,b,c,j],{k,c}] -sum[t[i,k,c,a]*v[k,b,c,j],{k,c}] +2*sum[t[k,d]*t[i,j,a,c]*v[k,b,d,c],{k,c,d}] -sum[t[j,d]*t[i,k,a,c]*v[k,b,d,c],{k,c,d}] -sum[t[j,c]*t[k,a]*v[k,b,i,c],{k,c}] -sum[t[j,k,c,a]*v[k,b,i,c],{k,c}] -sum[t[i,k,a,c]*v[k,b,j,c],{k,c}] +sum[t[i,c]*t[j,d]*t[k,a]*t[l,b]*v[k,l,c,d],{k,l,c,d}] -2*sum[t[k,b]*t[l,d]*t[i,j,a,c]*v[k,l,c,d],{k,l,c,d}] -2*sum[t[k,a]*t[l,d]*t[i,j,c,b]*v[k,l,c,d],{k,l,c,d}] +sum[t[k,a]*t[l,b]*t[i,j,c,d]*v[k,l,c,d],{k,l,c,d}] -2*sum[t[j,c]*t[l,d]*t[i,k,a,b]*v[k,l,c,d],{k,l,c,d}] -2*sum[t[j,d]*t[l,b]*t[i,k,a,c]*v[k,l,c,d],{k,l,c,d}] +sum[t[j,d]*t[l,b]*t[i,k,c,a]*v[k,l,c,d],{k,l,c,d}] -2*sum[t[i,c]*t[l,d]*t[j,k,b,a]*v[k,l,c,d],{k,l,c,d}] +sum[t[i,c]*t[l,a]*t[j,k,b,d]*v[k,l,c,d],{k,l,c,d}] +sum[t[i,c]*t[l,b]*t[j,k,d,a]*v[k,l,c,d],{k,l,c,d}] +sum[t[i,k,c,d]*t[j,l,b,a]*v[k,l,c,d],{k,l,c,d}] +4*sum[t[i,k,a,c]*t[j,l,b,d]*v[k,l,c,d],{k,l,c,d}] -2*sum[t[i,k,c,a]*t[j,l,b,d]*v[k,l,c,d],{k,l,c,d}] -2*sum[t[i,k,a,b]*t[j,l,c,d]*v[k,l,c,d],{k,l,c,d}] -2*sum[t[i,k,a,c]*t[j,l,d,b]*v[k,l,c,d],{k,l,c,d}] +sum[t[i,k,c,a]*t[j,l,d,b]*v[k,l,c,d],{k,l,c,d}] +sum[t[i,c]*t[j,d]*t[k,l,a,b]*v[k,l,c,d],{k,l,c,d}] +sum[t[i,j,c,d]*t[k,l,a,b]*v[k,l,c,d],{k,l,c,d}] -2*sum[t[i,j,c,b]*t[k,l,a,d]*v[k,l,c,d],{k,l,c,d}] -2*sum[t[i,j,a,c]*t[k,l,b,d]*v[k,l,c,d],{k,l,c,d}] +sum[t[j,c]*t[k,b]*t[l,a]*v[k,l,c,i],{k,l,c}] +sum[t[l,c]*t[j,k,b,a]*v[k,l,c,i],{k,l,c}] -2*sum[t[l,a]*t[j,k,b,c]*v[k,l,c,i],{k,l,c}] +sum[t[l,a]*t[j,k,c,b]*v[k,l,c,i],{k,l,c}] -2*sum[t[k,c]*t[j,l,b,a]*v[k,l,c,i],{k,l,c}] +sum[t[k,a]*t[j,l,b,c]*v[k,l,c,i],{k,l,c}] +sum[t[k,b]*t[j,l,c,a]*v[k,l,c,i],{k,l,c}] +sum[t[j,c]*t[l,k,a,b]*v[k,l,c,i],{k,l,c}] +sum[t[i,c]*t[k,a]*t[l,b]*v[k,l,c,j],{k,l,c}] +sum[t[l,c]*t[i,k,a,b]*v[k,l,c,j],{k,l,c}] -2*sum[t[l,b]*t[i,k,a,c]*v[k,l,c,j],{k,l,c}] +sum[t[l,b]*t[i,k,c,a]*v[k,l,c,j],{k,l,c}] +sum[t[i,c]*t[k,l,a,b]*v[k,l,c,j],{k,l,c}] +sum[t[j,c]*t[l,d]*t[i,k,a,b]*v[k,l,d,c],{k,l,c,d}] +sum[t[j,d]*t[l,b]*t[i,k,a,c]*v[k,l,d,c],{k,l,c,d}] +sum[t[j,d]*t[l,a]*t[i,k,c,b]*v[k,l,d,c],{k,l,c,d}] -2*sum[t[i,k,c,d]*t[j,l,b,a]*v[k,l,d,c],{k,l,c,d}] -2*sum[t[i,k,a,c]*t[j,l,b,d]*v[k,l,d,c],{k,l,c,d}] +sum[t[i,k,c,a]*t[j,l,b,d]*v[k,l,d,c],{k,l,c,d}] +sum[t[i,k,a,b]*t[j,l,c,d]*v[k,l,d,c],{k,l,c,d}] +sum[t[i,k,c,b]*t[j,l,d,a]*v[k,l,d,c],{k,l,c,d}] +sum[t[i,k,a,c]*t[j,l,d,b]*v[k,l,d,c],{k,l,c,d}] +sum[t[k,a]*t[l,b]*v[k,l,i,j],{k,l}] +sum[t[k,l,a,b]*v[k,l,i,j],{k,l}] +sum[t[k,b]*t[l,d]*t[i,j,a,c]*v[l,k,c,d],{k,l,c,d}] +sum[t[k,a]*t[l,d]*t[i,j,c,b]*v[l,k,c,d],{k,l,c,d}] +sum[t[i,c]*t[l,d]*t[j,k,b,a]*v[l,k,c,d],{k,l,c,d}] -2*sum[t[i,c]*t[l,a]*t[j,k,b,d]*v[l,k,c,d],{k,l,c,d}] +sum[t[i,c]*t[l,a]*t[j,k,d,b]*v[l,k,c,d],{k,l,c,d}] +sum[t[i,j,c,b]*t[k,l,a,d]*v[l,k,c,d],{k,l,c,d}] +sum[t[i,j,a,c]*t[k,l,b,d]*v[l,k,c,d],{k,l,c,d}] -2*sum[t[l,c]*t[i,k,a,b]*v[l,k,c,j],{k,l,c}] +sum[t[l,b]*t[i,k,a,c]*v[l,k,c,j],{k,l,c}] +sum[t[l,a]*t[i,k,c,b]*v[l,k,c,j],{k,l,c}] +v[a,b,i,j]

Realistisches Quantenchemie Beispiel Realistisches Quantenchemie Beispiel

• Formeln der Form

• Dutzende Arrays und Arrayindices, 100e von Termen

• Indexbereiche von 10 bis 3000

• Und das ist noch ein einfaches Modell

Problem: TensorkontraktionenProblem: Tensorkontraktionen

...),,,(),,,(),,,(),,,(),,,(,,,,,

lkfedc

ledcDkjfdClfebBkicaAjibaS

• Quantenchemie, Physik kondensierter Materie• Beispiel: studieren chemischer Eigenschaften

• Typische Programmstruktur Quantenchemie Code; while (! fertig) { Tensorkontraktionen; Quantenchemie Code; }

• Großteil der Rechenzeit in Tensorkontraktionen

AnwendungsgebietAnwendungsgebiet

• Einleitung

• Optimierungsprobleme

• Algorithmen

• Demo und weiterführende Arbeit

ÜberblickÜberblick

• Braucht 4 * N10 Operationen für Indexe a – l im Bereich N

• Assoziative, kommutative, distributive Gesetze verwendbar• Optimale Formelsequenz braucht nur 6 * N6 Operationen

OperationsminimierungOperationsminimierung

lkfedc

ledcDkjfdClfebBkicaAjibaS,,,,,

),,,(),,,(),,,(),,,(),,,(

le

ledcDlfebBfdcbT,

),,,(),,,(),,,(1

fd

kjfdCfdcbTkjcbT,

),,,(),,,(1),,,(2

kc

kicaAkjcbTjibaS,

),,,(),,,(2),,,(

Schleifenfusionierung zur SpeicherreduktionSchleifenfusionierung zur Speicherreduktion

fd

dfjkbcdfbcjk CTT,

12

kc

acikbcjkabij ATS,

2

le

cdelbeflbcdf DBT,

1

S = 0

for b, c

T1f = 0; T2f = 0

for d, f

for e, l

T1f += Bbefl Dcdel

for j, k

T2fjk += T1f Cdfjk

for a, i, j, k

Sabij += T2fjk Aacik

T1 = 0; T2 = 0; S = 0

for b, c, d, e, f, l

T1bcdf += Bbefl Dcdel

for b, c, d, f, j, k

T2bcjk += T1bcdf Cdfjk

for a, b, c, i, j, k

Sabij += T2bcjk Aacik

Formelsequenz Nicht-fusionierter Code Fusionierter Code

Illustration von Space-Time Trade-OffsIllustration von Space-Time Trade-Offs

for a, e, c, f

for i, j

Xaecf += Tijae Tijcf

for c, e, b, k

T1cebk = f1(c, e, b, k)

for a, f, b, k

T2afbk = f2(a, f, b, k)

for c, e, a, f

for b, k

Yceaf += T1cebk T2afbk

for c, e, a, f

E += Xaecf Yceaf

Array Speicher Zeit X V4 V4O2

T1 V3O Cf1V3O T2 V3O Cf2V3O Y V4 V5O E 1 V4

a .. f: range V = 1000 .. 3000i .. k: range O = 30 .. 100

Speicherminimale FormSpeicherminimale Form

for a, f, b, k

T2afbk = f2(a, f, b, k)

for c, e

for b, k

T1bk = f1(c, e, b, k)

for a, f

for i, j

X += Tijae Tijcf

for b, k

Y += T1bk T2afbk

E += X Y

Array Speicher Zeit X 1 V4O2

T1 VO Cf1V3O T2 V3O Cf2V3O Y 1 V5O E 1 V4

a .. f: range V = 3000i .. k: range O = 100

Redundante Rechnungen für volle FusionRedundante Rechnungen für volle Fusion

for a, e, c, f

for i, j

X += Tijae Tijcf

for b, k

T1 = f1(c, e, b, k)

T2 = f2(a, f, b, k)

Y += T1 T2

E += X Y

Array Speicher Zeit X 1 V4O2

T1 1 Cf1V5O T2 1 Cf2V5O Y 1 V5O E 1 V4

Kacheln zur Reduktion von NeuberechnungenKacheln zur Reduktion von Neuberechnungen

for at, et, ct, ft

for a, e, c, f

for i, j

Xaecf += Tijae Tijcf

for b, k

for c, e

T1ce = f1(c, e, b, k)

for a, f

T2af = f2(a, f, b, k)

for c, e, a, f

Yceaf += T1ce T2af

for c, e, a, f

E += Xaecf Yceaf

Array Speicher Zeit X B4 V4O2

T1 B2 Cf1(V/B)2V3O T2 B2 Cf2(V/B)2V3O Y B4 V5O E 1 V4

Kacheln zur Minimierung der ZugriffszeitKacheln zur Minimierung der Zugriffszeit

FOR ii = 1, Ni, Ti

FOR jj = 1, Nj, Tj

FOR kk = 1, Nk, Tk

FOR i = ii, ii + Ti - 1

FOR j = jj, jj + Tj - 1

FOR k = kk, kk + Tk - 1

C(i,k) = C(i,k) + A(i,j) * B(j,k)

END FOR k, j, i, kk, jj, ii

Wähle Ti, Tj, und Tk so daß Ti * Tj + Ti * Tk + Tj * Tk < Cache GrößeAnzahl der Cache Misses:

• A(i,j): Ni * Nj • B(j,k): Nj * Nk * Ni/Ti• C(i,k): Ni * Nk * Nj/Tj

• Einleitung


• Algorithmen



Tensor Contraction EngineTensor Contraction Engine


SpeicherminimierungSpeicherminimierung

Space-Time Trade-OffsSpace-Time Trade-Offs

KommunikationsminimierungKommunikationsminimierung

DatenzugriffsoptimierungDatenzugriffsoptimierung

Tensorkontraktionsausdrücke

Geschachtelte Schleifen (Bäume)

(Speicherbedarf ≤ Speicherplatz)(Speicherbedarf > Speicherplatz)

Unregelmäßig geschachtelte Schleifen

Parallele Schleifen

Gekachelte, parallele Fortran Schleifen

mlimit = 144000010;

range V = 300;range O = 70;range U = 40;

index a, b, c, d : V;index e, f : O;index i, j, k, l : U;

procedure P (in T[V,V,U,U], in S[V,U,O,U], in N[V,V,O,U], in D[V,O,O,U], out X[V,V,O,O]) =begin

X[a,b,i,j] == sum[T[a,c,i,k] * S[d,j,f,k] * N[c,d,e,l] * D[b,e,f,l], {c,d,e,f,k,l}];end

Anwendungsspezifische SpracheAnwendungsspezifische Sprache

• Für individuellen Term (ohne binäre Addition):– Bottom-up dynamischer Programmieralgorithmus

– NP-vollständig, aber sehr effizientes Pruning

• Für beliebige Tensorkontraktionsausdrücke– Aufzählung aller Formeln mit distributiven/assoziativen Gesetzen

– Verwendung von Suchalgorithmus mit Pruning für Terme

– Verwendung der chemischen Struktur für Pruning


• Aufzählen aller möglichen Schleifenstrukturen

• Dynamischer Programmieralgorithmus

• Für jeden Knoten im Ausdrucksbaum– Berechne Menge der Lösungen mit (Fusion, Speicherbedarf)

– Z.B., (<ij, k, l>, 42)

– Streiche Lösungen mit eingeschränkterer Fusion, höheren Kosten

– Nur eine Lösungen für die Wurzel

SpeicherminimierungSpeicherminimierung

Der Fusionsgraph Der Fusionsgraph

A(i,j) B(j,k)

*

∑

i j j k

j

j

kjBjiAkiC ),(),(),(

Explizite Fusionierte SchleifenExplizite Fusionierte Schleifen

A(i,j) B(j,k)

*

∑

i j j k

j

j

kjBjiAkiC ),(),(),(

i: range 10j: range 10k: range 100

• Für e1(i,j,k) * e2(i,j): mögliche Neuberechnung von e2 in k- Schleife

• Für jeden Knoten im Baum in bottom-up Algorithmus– Berechne Lösungsmenge { (Fusion, Speicher, Zeit), . . . }– Streiche suboptimale Lösungen

• Für alle Lösungen für Wurzel des Ausdrucksbaumes– Teile Neuberechnungsschleifen in Kachel-/Intrakachelschleifen– Bringe Intrakachelschleifen innerhalb von Kachelchleifen– Suche nach Kachelgrößen zur Minimierung von Neuberechnungen

Space-Time Trade-Off AlgorithmusSpace-Time Trade-Off Algorithmus

Einführung von NeuberechnungsschleifenEinführung von Neuberechnungsschleifen

A(i,j) B(j,k)

*

∑

i j i j k

j

j

kjBjiAkiC ),(),(),(

{ (<i j,k>, 3, 9000), . . . }


Kacheln von NeuberechnungsschleifenKacheln von Neuberechnungsschleifen

A(it,i,j) B(j,k)

*

∑

i j it j k

j

j

kjBjiAkiC ),(),(),(


it

• Prozessoren als multidimensionales Prozessornetz• Verteilung von Arraydimensionen über

Prozessordimensionen– Beispiel: Verteilung von B(a,b,i,j): <a,i,*,1>

• Mögliche Umverteilung von Arrays vor Operation• Kommunikation: Übertragunszeit + Startzeit• Für jeden Knoten im Ausducksbaum

– Berechne (Fusion, Verteilung, Speicher, Komm.-Kosten) Lösungen– Verwende Lösung mit geringster Kommunikationszeit die noch im

Speicher Platz hat

• Kommunikationskostenmodell ist empirisch erarbeitet

KommunikationsminimierungKommunikationsminimierung

• Problem: Schleifenfusion und Datenzugriff wiedersprüchlich

• Lösung: beginne mit fusionierter Schleifenstruktur• Expandiere Skalare und Vektoren auf Kachelgröße• Trenne Schleifen in Kachelschleifen und Intrakachelschleifen• Bringe alle Intrakachelschleifen innerhalb der Kachelschleifen

• In bottom-up Algorithmus über Syntaxbaum zähle Cache Misses

• Iteratiere über Kachelgrößen um optimale Lösung zu finden

DatenzugriffsoptimierungDatenzugriffsoptimierung

• Einleitung


• Algorithmen



• Gut strukturiertes Anwendungsgebiet• Suchalgorithmen zur Optimierung• Empirisch erarbeitete Kostenmodelle• Compilerentwicklung in Java

• Zukünftige Erweiterungen– Heuristiken für Operationsminimierung– Schleifenfusion mit dynamischer Speicherallokierung– Dünn besetzten Arrays, Symmetrie, azyklische Graphen– Anwendungsspezifische Optimierungen

Zusammenfassung und Aktueller StandZusammenfassung und Aktueller Stand

Documents

Optimierung einer Klasse von Elektronischen Strukturberechnungen durch Abwägen von Speicherbedarf und Rechenzeit Gerald Baumgartner, Ohio State Daniel