Fakultät für Elektrotechnik und Informationstechnik ... · Communication Networks Institute Prof. Dr.-Ing. Christian Wietfeld S MAR T C2NE T Software-Defined Networking für fehlertolerante

Fakultät für Elektrotechnik und Informationstechnik

Communication Networks Institute

Prof. Dr.-Ing. Christian Wietfeld

S T TMAR C NE2

Software-Defined Networking für fehlertolerante

Kommunikation in intelligenten Energiesystemen

Fabian Kurtz

Communication Networks Institute (CNI)

TU Dortmund

Themenabend der Gesellschaft für Informatik

„Software Defined Networks / Network Function Virtualisation“09. März 2016

FOR1511




Fabian Kurtz | Software-Defined Networking für fehlertolerante Kommunikation in intelligenten Energiesystemen 2

Agenda

Vorstellung Communication Networks Institute

Motivation für neue IKT-Lösungen im Smart Grid

Software-Defined Networking (SDN) und Open Flow

“SDN for Critical Infrastructures” (SDN4CI) Ansatz in Smart Grids

Leistungsbewertungsansatz – Testaufbau

Szenarien und Analyseergebnisse

Dienstgütegarantien für Smart Grid Verkehr

Schnelle Wiederherstellung des Smart Grid Verkehrs nach Leitungsausfall

Zusammenfassung

Ausblick





Eckdaten des CNI

Team aus 16+ Wissenschaftlern und

20+ Studenten (75 % Drittmittelfinanzierung)

Forschung zu robusten, drahtlosen Netzwerken für

Cyber-Physische Systeme für Energie, Transport

und Produktion/Logistik

Aktuell 15 Forschungsprojekte gefördert von EU,

Bundesministerien, DFG und dem Land NRW

Laborausstattung und Experimentalausrüstung: LTE/5G/SDR/SDN Networks Lab

Robot Swarm Control Lab

Smart Grid Communications Lab

Electric Vehicle Interoperability Lab

„Best Paper“ Auszeichnungen für

Veröffentlichungen auf internationalen

Konferenzen bzw. in Zeitschriften

Ausgründung: comnovo GmbH, Dortmund





Aufbau zukünftiger Energiesysteme…

Übertragungsnetz

Verteilnetz






Übertragungsnetz

Verteilnetz

Verteilte, erneuerbare

Energiequellen (EE)

Elektrofahrzeuge

Energie Management

Systeme

Zählerauslesung

(Smart Metering)

Bidirektionaler Leistungsfluss





Hohe Belastung des Energienetzes

Stabilität wird gefährdet






Übertragungsnetz

Verteilnetz


Energiequellen (EE)

Elektrofahrzeuge

Energie Management

Systeme

Zählerauslesung

(Smart Metering)


Neue Herausforderungen

Echtzeit-Überwachung

Erhöhte Frequenz von

Schutz- und

Regeleingriffen

Große Anzahl an Geräten

/ Teilnehmern

Signifikante Datenmenge





IKT-Konzepte für Smart Grids…

Übertragungsnetz

Verteilnetz


Energiequellen (EE)

Elektrofahrzeuge

Energie Management

Systeme

Zählerauslesung

(Smart Metering)


Bedarf an…

…

…

…

IKT-Infrastruktur mit

…

…Unterstützung von

…

zuverlässiger

fehlertoleranter

echtzeitfähiger

Dienstgütegarantien

heterogenem

Verkehr, Protokollen

und Technologien

Kosteneffizienz





IKT-Konzepte für Smart Grids…

zuverlässiger

fehlertoleranter

echtzeitfähiger


heterogenem

Verkehr, Protokollen

und Technologien

Software-Defined

Networking

Kosteneffizienz





Software-Defined Networking und Open Flow

Kontrollebene

Datenebene

IKT-Netz

Trennung von Daten-

und Kontrollebene





Software-Defined Networking und Open Flow

Applikationsebene

Kontrollebene

Datenebene

Programmierbarer

Controller zur

Bestimmung des

Netzverhaltens

OpenFlow Protokoll für

Controller-Switch

Kommunikation

Trennung von Daten-

und Kontrollebene

if(!knownFlow){

if(highPrio){

route=shortest();

result.add(route);

}

else if(lowPrio){

route=optimal();

result.add(route);

}

flows.add(this);

routes.add(route);

}

OpenFlow

Schnittstelle zu

Applikationen

Northbound API

Southbound API





Mehrschichtiger SDN4Critical Infrastructures Ansatz

Smart Grid Applikationen

Kontrollebene

Datenebene

Entwicklung von

Funktionen für den

SDN4CI Controller um

Zuverlässigkeit,

Echtzeitfähigkeit und


herzustellen

Definition der East-

Westbound API für

Controller-Controller

Kommunication

OpenFlow

Definition der North-

bound API für Smart

Grid Applikationen

Northbound API

Southbound API

if(!knownFlow){

if(highPrio){

route=shortest();

result.add(route);

}

else if(lowPrio){

route=optimal();

result.add(route);

}

flows.add(this);

routes.add(route);

}





BERCOM* – Motivation und Architektur

Modulare Architektur zur Anpassung an diverse Anwendungen

Technologien des Projekts übertragbar auf verschiedenste

Kritische Infrastrukturen

Berücksichtigt Europäischen Kontext im System-Design*Blueprint for Pan-European Resilient Critial Infrastructures based on LTE communications

Distributed

Energy

Systems

Multi-purpose

LTE4CI

Network

SCADA

Other distributed critical infrastructures (dams, transport networks,

etc.) dependent on energy & comm. systems

Resilient BERCOM-enabled

Infrastructures Monitoring &

Control Centres

Supervisory

Control

And

Data Acquisition





Weitere Features des Aufbaus:

Sechs Host-Computer

Zwei Switches zur Trennung von

Kontroll- und Wartungsnetz

Gateway für Fernzugriff

Flexible Erstellung von Netz-

Topologien über Patch-Panel

Steckbrücken

Switch Ports Details

4x SoftSwitch 4 + 1 Ubuntu 14.04 Server

Open vSwitch 2.40

Switching in Software

5x Pica8 3297 48 + 1 PicOS (Debian 7 Fork)

Open vSwitch 2.31*

Switching in Hardware

* modifiziert

SoftSwitch / vSwitch

PC mit 4 Port

Netzwerkkarte

Pica8 3297

Bare-Metal Switch

Experimenteller Versuchsaufbau





Experimenteller Versuchsaufbau - Topologie

OpenFlow

IEC 61850 MMS3

TCP/IP-basierte

Client-Server Kommunication

IEC 61850 Sampled Values2

setzt direkt auf der

Sicherungsschicht auf

SDN4CI

Controller1

1 Fork des Floodlight Controller2 eigene Entwicklung3 basierend auf libIEC61850





Besondere Relevanz für die Nutzung

öffentlicher Infrastrukturen

- Reservierung virtueller Ressourcen für

Smart Grid Verkehr

- Ressourcen dynamisch allokierbar

- Verwendung fein-granularer


- Flexible Priorisierung mit Abstufungen:

Systemkritische Anwendungen,

Echtzeitanwendungen, sonstige Dienste

- Nebeneffekt: bessere Ausnutzung

existierender Infrastrukturen (Load Balancing)

Switch 1 Switch 4

Switch 2

Switch 3

SDN4CI-Controller

Server 2

Client

Szenarien and AnalyseergebnisseDienstgütegarantien für Smart Grid Verkehr





Server 1

Server 2

Client

SDN4CI-Controller

1. Warteschlangen an

OpenvSwitches definieren mit

minimalen und maximalen

Datenraten-Anforderungen

020

40

60

80

100

Da

tara

te[M

bps]

Re-routing ofBackgroundData Traffic

Switch 2

MMS TrafficBackground Data Transfer

Background Real-Time TrafficTotal Traffic

0 50 100 150 200

020

40

60

80

100

Time [s]

Da

tara

te[M

bps]

Minimum Data RateGuarantee for

Smart Grid Traffic

Switch 3

Switch 1 Switch 4

Switch 2

Switch 3


Da

ten

rate

[M

bp

s]

Da

ten

rate

[M

bp

s]

Zeit [s]

MMS Verkehr

Hintergrund-Datentransfer

Hintergrund-Echtzeitverkehr

Gesamtverkehr





Server 1

Server 2

ClientSwitch 1 Switch 4

Switch 2

Switch 3

2. Prioriäten und Mindestdatenraten-

Anforderungen zu

Kommunikationsdiensten /

Verkehrsflüssen zuordnen

(Smart Grid Verkehr mit höchster

Priorität)

020

40

60

80

100

Da

tara

te[M

bps]


Switch 2



0 50 100 150 200

020

40

60

80

100

Time [s]

Da

tara

te[M

bps]


Smart Grid Traffic

Switch 3

SDN4CI-Controller


Da

ten

rate

[M

bp

s]

Da

ten

rate

[M

bp

s]

Zeit [s]

MMS Verkehr



Gesamtverkehr





Server 1

Server 2

Client

020

40

60

80

100

Da

tara

te[M

bps]


Switch 2



0 50 100 150 200

020

40

60

80

100

Time [s]

Da

tara

te[M

bps]


Smart Grid Traffic

Switch 3

3. Neuer Verkehrsfluss durch

Controller identifiziert prüfen, ob

Anforderungen auf optimalem Pfad

erfüllt werden

Switch 1 Switch 4

Switch 2

Switch 3

SDN4CI-Controller

Hintergrund

Datenverkehr


Da

ten

rate

[M

bp

s]

Da

ten

rate

[M

bp

s]

Zeit [s]

MMS Verkehr



Gesamtverkehr





020

40

60

80

100

Da

tara

te[M

bps]


Switch 2



0 50 100 150 200

020

40

60

80

100

Time [s]

Da

tara

te[M

bps]


Smart Grid Traffic

Switch 3

3. Neuer Verkehrsfluss durch

Controller identifiziert prüfen, ob

Anforderungen auf optimalem Pfad

erfüllt werden

Switch 1 Switch 4

Switch 2

Switch 3

SDN4CI-Controller

Hintergrund

Echtzeitverkehr

Server 1

Server 2

Client


Da

ten

rate

[M

bp

s]

Da

ten

rate

[M

bp

s]

Zeit [s]

MMS Verkehr



Gesamtverkehr





020

40

60

80

100

Da

tara

te[M

bps]


Switch 2



0 50 100 150 200

020

40

60

80

100

Time [s]

Da

tara

te[M

bps]


Smart Grid Traffic

Switch 3

4. Datenrate nicht ausreichend

Umrouten von am wenigsten

wichtigen Verkehrsflüssen bis

Anforderungen eingehalten

Switch 1 Switch 4

Switch 2

Switch 3

SDN4CI-Controller

Smart Grid

Verkehr

Server 1

Server 2

Client

Szenarien and AnalyseergebnisseDienstgütegarantien – Garantierte Mindestdatenraten

Da

ten

rate

[M

bp

s]

Da

ten

rate

[M

bp

s]

Zeit [s]

MMS Verkehr



Gesamtverkehr

Umrouten des

Hintergrund-

Datentransfers

Minimale Datenraten-

Garantie für Smart

Grid Verkehr





020

40

60

80

100

Da

tara

te[M

bps]

Re-routing ofBackground

Data and Real-Time Traffic

Switch 2



0 50 100 150 200

020

40

60

80

100

Time [s]

Da

tara

te[M

bps]

Link Reservation forSmart Grid Traffic

Switch 3

5. Pfad reserviert für Smart Grid

Verkehr (höchste Priorität), all

anderen Verkehrsflüsse werden

umgeroutet

Switch 1 Switch 4

Switch 2

Switch 3

SDN4CI-Controller

Server 1

Server 2

Client

Szenarien and AnalyseergebnisseDienstgütegarantien – Ressourcen-Reservierung

Da

ten

rate

[M

bp

s]

Da

ten

rate

[M

bp

s]

Zeit [s]

MMS Verkehr



Gesamtverkehr

Umrouten des

Hintergrund-

Datentransfers

und –Echtzeit-

verkehrs

Pfad-Reservierung für

Smart Grid Verkehr





Szenarien and AnalyseergebnisseSchnelle Wiederherstellung nach Leitungsausfall

SDN4CI-Controller

Switch 1

Switch 2

Switch 4

Switch 3

Server 1

Server 2

Client





SDN4CI-Controller

Switch 1

Switch 2

Switch 4

Switch 3

Server 1

Server 2

Client






SDN4CI-Controller

Switch 1

Switch 2

Switch 4

Switch 3

Server 1

Server 2

Client






Client 1

Client 2

ServerSwitch 4

Switch 2

Switch 3

SDN4CI-Controller

1. Leitungsausfall wird durch Switch

identifiziert – OpenvSwitch wird

informiert

Switch 1






Server 1

Server 2


Switch 2

Switch 3

SDN4CI-Controller



informiert

2. SDN Controller wird durch

OpenvSwitch in Kenntnis gesetzt






Server 1

Server 2


Switch 2

Switch 3

SDN4CI-Controller



informiert



3. Alternativroute wird durch SDN

Controller nachgeschlagen


Verarbeitungszeit

am Controller

Ve

rzö

ge

run

g [m

s]





Server 1

Server 2


Switch 2

Switch 3

SDN4CI-Controller



informiert






Verarbeitungszeit

am Controller

Ve

rzö

ge

run

g [m

s]

Gesamtverzögerung

am Controller





Server 1

Server 2


Switch 2

Switch 3

SDN4CI-Controller



informiert





4. Neue Routeninformation wird zum

Switch übermittelt


Verarbeitungszeit

am Controller

Ve

rzö

ge

run

g [m

s]

Gesamtverzögerung

am Controller





Server 1

Server 2

Client

SDN4CI-Controller

Switch 1 Switch 4

Switch 2

Switch 3



informiert





4. Neue Routeninformation wird zum

Switch übermittelt

5. FlowTables der Switche werden

aktualisiert


Verarbeitungszeit

am Controller

Ve

rzö

ge

run

g [m

s]

Gesamtverzögerung

am Controller

Gesamtverzögerung

am Switch





IEC 61850 Sampled Values

„ifdown“ Kommandozeileneingabe

Switch 1 Switch 4

Switch 2

Switch 3

SDN4CI-Controller

Server 1

Server 2

Client


Vert

eilu

ngsfu

nktion

Verzögerung [ms]

SV – Unterbrechungsbefehl





IEC 61850 Sampled Values

Kabel physikalisch getrennt

Switch 1 Switch 4

Switch 2

Switch 3

SDN4CI-Controller

Server 1

Server 2

Client


Vert

eilu

ngsfu

nktion

Verzögerung [ms]


SV – physik. Unterbrechung





IEC 61850 MMS


Server Client Server Client Server ClientDataData

ACK

DataData

ACK

DataData

ACK

Data Data Data

Data

ACK

Dup

ACK

RT

O

RT

OR

TO

RT

OR

TO

Data

Data

Disturbance Disturbance

Disturbance

MMS Case 1 MMS Case 2 MMS Case 3

Switch 1 Switch 4

Switch 2

Switch 3

SDN4CI-Controller

Server 1

Server 2

Client


Vert

eilu

ngsfu

nktion

Verzögerung [ms]



MMS – Unterbrechungsbefehl





IEC 61850 MMS



ACK

DataData

ACK

DataData

ACK

Data Data Data

Data

ACK

Dup

ACK

RT

O

RT

OR

TO

RT

OR

TO

Data

Data


Disturbance


Server 1

Server 2


Switch 2

Switch 3

SDN4CI-Controller


Vert

eilu

ngsfu

nktion

Verzögerung [ms]








IEC 61850 MMS

Kabel physikalisch getrennt


ACK

DataData

ACK

DataData

ACK

Data Data Data

Data

ACK

Dup

ACK

RT

O

RT

OR

TO

RT

OR

TO

Data

Data


Disturbance


Switch 1 Switch 4

Switch 2

Switch 3

SDN4CI-Controller

Server 1

Server 2

Client


Vert

eilu

ngsfu

nktion

Verzögerung [ms]




MMS – physik. Unterbrechung





Kernanforderung kritischer Anwendungen:

Permanente Garantie der Ende-zu-Ende Verbindung auch im Fehlerfall

Minimale

Erkennungverzögerung

bei Verbindungsausfällen

(Link Failure)

Schnelle

Wiederherstellung der

Konnektivität

Einsatz von Software-Defined Networking

zur Realisierung von Fehlertoleranz in Kommunikationsnetzen






Weiterentwicklung zur Reduktion der Ausfalldauer

2) “Failover” Gruppen

- Alternative Routen von Anfang

an bei Switch hinterlegt

- Pro Verkehrsfluss: Gruppe von

Ausgangs-Ports – jeder Port ist

Teil eines anderen

Alternativpfads


1) Verbesserte Detektion von

Leitungsausfällen

- Verbindungs-Prüfung mit Hearbeat-

Paketen

a) regelmäßiger Versand durch

Controller

b) Spiegeln der Paketen zwischen

Switches

c) Im Fehlerfall Rückmeldung an

Controller





Zusammenfassung

Einführung von Software-Defined Networking als Basis für die IKT-

Infrastruktur zukünftiger Smart Grids

Ermöglicht Fehlertoleranz und Dienstgütegarantien

Implementierung und Validierung von:

Mechanismus zur schnellen Wiederherstellung nach Leitungsausfall

Starke Abhängigkeit von Fehlerdetektion und eingesetztem Verkehr (Protokolle)

Priorisierungs-Mechanismus für Smart Grid Vekehr

Verbesserungen bzgl. Warteschlangen-Konfiguration mittels OpenFlow erforderlich

Vergleichbare Ergebnisse wie mit bekannten Techniken (MPLS,

Dynamisches Routing) erzielbar

Vorteil: dynamischer Ansatz

flexible Integration unterschiedlicher Mechanismen bei hoher Transparenz





Vergleich von virtualisierten und Bare-Metal Switching Ansätzen

Einsatz verbesserter Verfahren zur schnellen Wiederherstellung

Erweiterung von SDN auf weitere kritische Infrastrukturen im Kontext von

BERCOM und CPS-Hub

Ausnutzung der Northbound-Schnittstelle zur Realisierung von

Anwendungs-gewahren Applikationen

Absicherung des SDN-Controllers unter Einsatz der West-/Eastbound

Schnittstellen

Ausblick





Fabian Kurtz | Wissenschaftlicher Mitarbeiter

Communication Networks Institute | Technische Universität Dortmund

[email protected]

Vielen Dank für Ihre Aufmerksamkeit!

Documents

Fakultät für Elektrotechnik und Informationstechnik ... · Communication Networks Institute Prof. Dr.-Ing. Christian Wietfeld S MAR T C2NE T Software-Defined Networking für fehlertolerante