Skalierbare virtuelle Netz-Testbeds für Lehr- und Forschungsumgebungen mit VIRL

10. DFN-Forum Kommunikationstechnologien, 2017, BerlinSebastian Rieger, Hochschule Fulda, Fachbereich Angewandte Informatik

• Problemstellung

• Vor- und Nachteile von Netz-Emulatoren

• Virtual Internet Routing Lab (VIRL)

• Beispiele für virtuelle Netz-Topologien

• Herausforderungen in Bezug auf die Skalierung

• Evaluation

• Fazit und Ausblick

S. Rieger: Skalierbare virtuelle Netz-Testbeds für Lehr- und Forschungsumgebungen mit VIRL2

Agenda

Netzwerk-Labor “NetLab” an der Hochschule Fulda

S. Rieger: Skalierbare virtuelle Netz-Testbeds für Lehr- und Forschungsumgebungen mit VIRL3

Netzwerk-Labor “NetLab” an der Hochschule Fulda

S. Rieger: Skalierbare virtuelle Netz-Testbeds für Lehr- und Forschungsumgebungen mit VIRL4

• Praxisnahe Übungen/Praktika, Forschungsprojekte im Bereich Netztechnologien und -dienste

• Verschiedene Hard- und Softwarelösungen für Netz-Testbeds im Einsatz

• Zunehmende Praxisnähe: großer Aufwand/Komplexität, Fokus auf Theorie: zunehmend abstrakt

• Weitere Aspekte: z.B. Eignung für Lehre (Skalierbarkeit, Collaboration/E-Learning, Vor-/Nachbereitung)

• Mittelweg: Virtuelle Testbeds (vgl. weitere Paper DFN-Forum 2016/2017) und Emulation von Netzen

S. Rieger: Skalierbare virtuelle Netz-Testbeds für Lehr- und Forschungsumgebungen mit VIRL5

Problemstellung

Vorteile der Emulation

• Vgl. z.B. Paper aus Forschungsgruppe um Nick McKeown zu mininet (siehe Table 1 rechts)

• Integration reale Netze/Tools/Images, geringe Vor-/Nachbereitungszeit bei Übungen vgl. mit virtuellen oder physikalischen Testbeds

Nachteile der Emulation

• Virtuelle Images von realen Netzkomponenten brauchen „viele“ Ressourcen (RAM, CPU)

• Teilweise höhere Komplexität (Verwendung und Administration)

Trade-off: Ressourcen vs. Praxisnähe

S. Rieger: Skalierbare virtuelle Netz-Testbeds für Lehr- und Forschungsumgebungen mit VIRL6

Vor-/Nachteile von Netz-Emulatoren

Verschiedene Software-Lösungen für Netz-Emulation getestet bzw. noch im Einsatz:

• Enterprise Network Simulation Platform (eNSP): primär auf Huawei Komponenten ausgerichtet

• IOS on Unix (IOU): nur Cisco-intern verfügbar

• Emulated Virtual Environment Next Generation (EVE-NG): Alpha-Status

• mininet: primärer Fokus SDN, Netz-Konfiguration über Python API, keine VMs/Images

• Graphical Network Simulator 3 (GNS3): interessante Alternative, Marketplace, OpenSource

… bieten keinen Cluster/Load Balancing, scale-out und zentrale Administration eingeschränkt

… teilweise Collaboration-Funktionen und verfügbare Images ebenfalls eingeschränkt

S. Rieger: Skalierbare virtuelle Netz-Testbeds für Lehr- und Forschungsumgebungen mit VIRL7

Verwendete Netz-Emulatoren im NetLab

Seit 2015 im Test - Virtual Internet Routing Lab (VIRL) von Cisco (Version 1.2.83)

• Netz-Virtualisierungs- und Orchestrierungsplattform

• Lokale Installation oder zentral bzw. VIRL Cluster (bietet scale-out)

• Automatische Konfiguration für Netz-Design (AutoNetKit)

• Integration reale Netze (Layer-2 „flat“, NAT), OpenVPN in virtuelle Testbeds, reale Geräte-Konfigs

• Cisco Images IOS, IOS Layer-2, IOS XE/XR, NX-OS, ASA, 3rd Party: Arista, Juniper, FortiNet, Cumulus …

• Open Source als Basis: Ubuntu, OpenStack, KVM und LXC, linux-bridge (VXLAN)

• Eclipse-basierter Client (frei, auch von zu Hause für Studierende nutzbar), Web-Interface, REST-API

• Nachteile: Lizenz (in den letzten Jahren freie F&L-Lizenz), geplant max. 20 Cisco Nodes Einzelplatzlizenz, Weiterentwicklung bzgl. Cisco Modeling Labs (CML)

S. Rieger: Skalierbare virtuelle Netz-Testbeds für Lehr- und Forschungsumgebungen mit VIRL8

Verwendete Netz-Emulatoren im NetLab (2)

a) 4 Arista vEOS „diamond shape“• Virtuelle Version von Arista EOS, fast alle Layer-2/3/Management Features• Spanning Tree Protocol (STP)• Link-Aggragation (LACP)• Multi-Chassis Link Aggregation (MLAG)b) Leaf-Spine Architektur (2 Spines, 4 Leaves)• BGP Fabric (IOSv, NX-OSv), Equal Cost Multi-Path (ECMP)• Linux Container (LXC) mit iperf• Verwendung regulärer IOS und Linux Commands• Wireshark für Traffic Capture• Nodes/Links up/down setzbar, QoS Emulation (Delay, Loss, …)

S. Rieger: Skalierbare virtuelle Netz-Testbeds für Lehr- und Forschungsumgebungen mit VIRL9

Beispiele für verwendete Topologien im NetLab

c) SDN Topologie

• OpenDaylight Controller, Definition von Flow für client und server

• Arista vEOS OpenFlow Switch

d) Beispiel für einfachere Topologie im Bachelor

• Troubleshooting (u.a. ping, traceroute/mtr, Wireshark)

• Fehler z.B.: ARP, Routing/Switching, Delay/Packet Loss, Port Status

• Zugriff auf Server B (Ubuntu mit Apache) aus Lab (OpenVPN)

• ISP nutzt WAN-Emulation, bindet Topology per NAT an Internet an

• Alle Topologien per Git bereitgestellt, Zugriff in VIRL integriert

• Weitere Images in VIRL: Docker, kali, ostinato, vyatta, …

S. Rieger: Skalierbare virtuelle Netz-Testbeds für Lehr- und Forschungsumgebungen mit VIRL10

Beispiele für verwendete Topologien im NetLab

Teaching/Collaboration

• Komplexität für Verwendung und Administration

• Kann durch zentrale Bereitstellung/Vorkonfiguration und Tutorials abgefedert werden

Skalierbarkeit

• Topologien brauchen aufgrund realitätsnaher VMs mehrere Minuten für Start (Simulator/mininetbraucht nur wenige Sekunden, aber geringerer Funktionsumfang)

• Hohe Anforderung an Ressourcen (z.B. 1-2 GB RAM, 1-2 vCPU Cores pro Node in Topologie)

VIRL Benchmarking und Perfomance-Optimierung

• Cluster aus 4x VIRL Host, 64 GB RAM, 32 vCPUs als VM in VMware vSphere 6.5 (nestedvirtualization)

• Test: Paralleler Start von mehreren Topologien mit 4 Arista vEOS Nodes per REST-API

S. Rieger: Skalierbare virtuelle Netz-Testbeds für Lehr- und Forschungsumgebungen mit VIRL11

Herausforderungen

• Topologie 4x Arista vEOS(8 GB RAM, 4 vCPUs pro Topologie)

• Paralleler Start mehrerer Topologien über VIRL REST-API

• Automatisierter Test/Python-Skript, Mittelwert aus 10 Tests

• Start Time: Zeitpunkt nachdem REST-API Start quittiert hat

• Active Time: VMs für Arista vEOSstarten (KVM)

• Usable Time: alle Topologien und darin enthaltene Experimente laufen, Konsole aller virtuellen Nodes nutzbar

S. Rieger: Skalierbare virtuelle Netz-Testbeds für Lehr- und Forschungsumgebungen mit VIRL12

Evaluation 2-Node Cluster

Startzeit4Arista vEOS Topologie– 2-NodeCluster

• 4-Node Cluster erlaubt >10 parallele Topologien, ca. 45 sec weniger bei 10 vgl. mit 2-Node Cluster

• Rechts: manuelle Erhöhung Worker Processes OpenStack (Nova, Neutron) zus. ca. 90 sec weniger

S. Rieger: Skalierbare virtuelle Netz-Testbeds für Lehr- und Forschungsumgebungen mit VIRL13

Evaluation 4-Node Cluster und Optimierung von OpenStack Konfiguration

• Cluster Größe erlaubt erwartungsgemäß größere/mehr Topologien

• SSD/ramdisk von Cisco empfohlen, im Test bei <20 Topologien jedoch kaum relevant, da Images eh im Cache, Verlust an RAM kritischer

• Bei < 10 Topologien in Evaluation leichter Zuwachs von Usable Time (Scheduling, Management in VIRL und OpenStack), darüber >20% Reduktion möglich

• Optimierung Worker Prozesse Neutron (Anlegung virtueller Netze) und Nova (Virtuelle Maschinen) bringt ~11% Reduktion (z.B. 1 Neutron-Server in VIRL standard, erhöht auf 10)

• OpenStack/VIRL Overhead hat massiven Einfluss, braucht selbst viele Ressourcen, weitere Optimierung möglich

S. Rieger: Skalierbare virtuelle Netz-Testbeds für Lehr- und Forschungsumgebungen mit VIRL14

Diskussion, Grenzen und Alternativen

Zukunft VIRL• Probleme Lizenz, akademische Lizenz (79€/Jahr) seit 1.1.2017 gestrichen, Umstieg Cisco Modeling

Labs unattraktiv, Lösung ggf.: Einzellizenz (199€/Jahr max. 20 Cisco Nodes, beliebig viele Arista etc.)• Weiterentwicklung stockt seit Oktober?, Strategie-Wechsel bei Cisco?Alternative: GNS3 (seit 5/2017 Version 2.0, viele Verbesserungen), EVE-NG, …• Großes Potenzial, GNS3 zudem bereits einige Vorteile zu VIRL, aber kein scale-out inkl. Lastverteilung• Im Bereich SDN bleibt mininet die primäre AlternativeAusblick auf weitere Entwicklung und Lösung im NetLab• VIRL Scheduler für automatisches Starten vor Lehrveranstaltung, ggf. Erweiterung GNS3 etc.• Weitere Performance-Steigerungen: Kernel Samepage Merging (KSM), Optimierung OpenStack Konfig• Tools (Benchmark, Scheduler), Topologien: https://gogs.informatik.hs-fulda.de/srieger

Vielen Dank für die Aufmerksamkeit! Gibt es Fragen?

S. Rieger: Skalierbare virtuelle Netz-Testbeds für Lehr- und Forschungsumgebungen mit VIRL15

Fazit und Ausblick