Neue Router-Technikfür das X-WiN

45. DFN-BT, 18.10.2006Henning Irgens

Dimension Data BerlinHenning.Irgens@eu.didata.com

version

Ein Blick zurück: Die Architektur des G-WiN

10 „Core“-Standorte (Ballungszentren): sog.„Level1-“Standorte (Core und Access)17 zusätzliche „Access“-Standorte: „Level2“Kernnetzverbindungen (Vermaschung der L1) mit622M/2,5G (/10G) SDH/POSRedundanter Anschluss der L2/L3-Standorte andie L1-Knoten mit 2 x 622M, später mit 2 x 2,5GKundenanschlüsse 128k .. 622M, später bis 2,5GVerbindungen: gemietete SDH-transp. Wellenl.

version

Die Toplogie des G-WiN (Ausbaustufe 4)

Leipzig

Berlin

Frankfurt

Karlsruhe

Garching

Kiel

Dresden

Aachen

Regensburg

KaiserslauternAugsburg

Hannover

ErlangenHeidelberg

IlmenauWürzburg

Magdeburg

Oldenburg

Essen

St. Augustin

Kernnetzknoten10 Gbit/s2,4 Gbit/s2,4 Gbit/s

Stand: 15.03.2004

Rostock

Global Upstream

GEANT

Hamburg

Stuttgart

Braunschweig

Marburg

Bielefeld

GöttingenLeipzig

Berlin

Frankfurt

Karlsruhe

Garching

Kiel

Dresden

Aachen

Regensburg

KaiserslauternAugsburg

Hannover

ErlangenHeidelberg

IlmenauWürzburg

Magdeburg

Oldenburg

Essen

St. Augustin

Kernnetzknoten10 Gbit/s2,4 Gbit/s2,4 Gbit/s

Stand: 15.03.2004

Rostock

Global Upstream

GEANT

Hamburg

Stuttgart

Braunschweig

Marburg

Bielefeld

Göttingen

version

X-WiN-Ausschreibung: Ersatz der Mietleitungen

Ziel: Ein neues Kernnetz ab 2006Europaweite Ausschreibung in 2004Vier unabhängige Lose: Wellenlängen, dark fiber,Veredelung dark fiber (WDM-Technik), BetriebTeilstrecken werden entweder als (gemietete) darkfiber oder als (einzelne) Wellenlänge beauftragtWo dark fiber verfügbar, wird WDM-Technik inst.Beauftragung als DienstleistungsvertragZuschlag zweite Jahreshälfte 2004Inbetriebnahme bis Ende 2005

version

28.02.2005

Faser KPN

Faser GL

Faser GC

Faser vorhanden

X-WiN-Netzentwurf (Fasern KPN, Gasline)

GAR

ERL

BAY

MUE

FZJ

AAC BIR

DES

HAM

POTTUB

FZK

GSI

DUI

BRE

HAN

BRA MAGBIE

FRA

HEI

STU

REG

DRE

CHE

ZIB

ILM

LEI

JENWEI

version

Ergebnis der X-WiN Ausschreibung

Faser oder Wellenlängen?Überraschendes und vorteilhaftes Ergebnis!Fasern wirtschaftlicher als WellenlängenDie meisten Standorte sind mittels „dark fiber“wirtschaftlich erreichbar (etwa 85%)Das neue Kernnetz: X-WiN ab Januar 2006- vorwiegend Fasern, ergänzend Wellenlängen- mathematische Optimierung (ZIB)Neue Kostenstrukturen ermöglichten neueEntgeltordnung (ohne Volumenbegrenzung)

version

X-WiN Migration Phase 1

Abbildung der G-WiN Punkt-zu-Punkt Verbindungenauf die X-WiN „dark-fiber“ Trassen-TopologieErgänzend dazu:

Neue Access-Stand-orte aufbauen

„Standort-Ketten“bilden u. einbinden(z.B. GOE/KAS/MAR/GIE v. HAN n. FRA)

Weitgehend mit denvorhandenen Routern

Zus. 8 x Cisco7609

version

IP-Infrastruktur ans X-WiN anpassen

Bis zu 4 verschiedene Geräte (GSR12416, 12008,Cat6k, 7507/4), teilw. 5-6 Geräte pro StandortAufwändige Ersatzteilvorhaltung (Servicekosten)Router teilweise überaltert (7507 bis zu 9 Jahre alt)Fehlende Redundanz bei wichtigen KomponentenTeure POS (10G) Interface-Technik bei weitererNachrüstung der Core-Router GSR 12416Wechsel von POS-Schnittstellen auf (10)GE auchim WAN (Verbindung Core-Core u. Access-Core)Gute Erfahrungen mit den ersten 8 Routern 7609

version

28.02.2005

Faser KPN

Faser GL

Faser GC

Faser vorhanden

Positionierung der neuen „Core“-Router

GAR

ERL

BAY

MUE

FZJ

AAC BIR

DES

HAM

POTTUB

FZK

GSI

DUI

BRE

HAN

BRA MAGBIE

FRA

HEI

STU

REG

DRE

CHE

ZIB

ILM

LEI

JENWEI

CRS-8/S CRS-8/S

CRS-8/SCRS-8/S

10GE-WAN-Verbindung

Im Vergleich zurArchitektur im G-WiN werden dieCore-Router auf 4Standorte reduziert(bisher 10).

version

Collapsed Core Design fürs XWiNAusstattung der 4 hochverfügbaren CRS-1 Systeme

10GE10GE

CRS-1 (8-Slot)

Cisco 7609

1 GE1 GE

X-WiN Core

CRS-8/S CRS-8/S

CRS-8/S CRS-8/S Edge Aggregation mittelsCisco 7600 Router

• CRS-8/S (8-Slot Chassis):• redundante Route-Prozessoren• redundante Switching-Fabrics• redundante Power Supplies

Schnittstellen pro Standort:• zwei 8-Port 10GE Line Cards (PLIMs plus MSC)• ein SIP-800 (SPA Trägerkarte) mit 8 PortGE SPA (plus MSC)

version

CISCO CRS-1

CRS-1 Overview

Roland SchönSystems Engineer ,Public Sector Germanyrschoen@cisco.com

© 2005 Cisco Systems, Inc. All rights reserved.

version

Drastically Reduce Total Cost of OwnershipSimplify Network Design with Cisco CRS-1

CoreCore

EdgeEdge

ServiceAggregationServiceAggregation

PeerPeerPeeringPeering

OpticalOptical

Today

Cisco 12000

Cisco 12000

Cisco 12000

Cisco 12000Cisco 7600Cisco 10000

OpticalOptical

EdgeEdge

CoreCore

PeerPeer

CiscoCRS-1

Future

• Simplify PoP architecture• Investment protection—Cisco

12000 migrates from core to MultiService edge

Cisco 12000Cisco 7600Cisco 10000

CustomerCustomer

version

CRS-1 Product FamilyOptional as Multi-Chassis Solution...

LINE CARD SHELVESFABRIC SHELVES

100mFront:24 Fabric Cards2 Shelf Controller Cards

Back:Optical Fiber Interconnect Panels

• Optical Backplane

• Redundant Fans andPower Supplies

Front:16 or 8 Interface Slots

2 Route Processor SlotsBack:

16 or 8 Line Card Slots8 or 4 Fabric Card Slots

• Mid-Plane Design

• Redundant Fans andPower Supplies

We distinguish between Fabric-Chassis and Line Card-Chassis !

The 4-Slot Systemhas MSC & PLIMsat the front and theFabric Cards in therear !

version

3.6 Tbps System

Fabric Shelf Line Card Shelf´s

version

640Gbps/1.2 Tbps System

π Standalone LC chassis– 8/16 LC and PLIM slots– 2 Route Processor slots– No Fabric chassis required– S1/2/3 Fabric Cards

version

Multi-Chassis Phase 1

Multi-Chassis Phase 2

An Upgrade of the Switch Fabrics does no impact system operation

Max Line CardChassis

(full LC chassis only*)

Max FabricChassisSystem Configuration

1 0

18 2

72 8

Max Number of40G Slots

8/16

288

1152

Max BandwidthTbps

640G/1.2Tbps

23Tbps

92Tbps

Standalone System

Cisco CRS-1 System ScalabilityOverview

version

Cisco CRS-1 SystemMechanical Overview

π Available Slots– Front

• 16 PLIM Slots• 2 RP Slots + 2 Fan Controllers

– Back• 16 Line Card Slots• 8 Fabric Cards

π Dimensions:– 23.6” W x 41*” D x 84” H– (60 W x 104.2 D x 213.36H (cm))

π Power: ~12000 Watt (AC or DC)

π Weight: ~1600 lbs/723kgπ Deat Diss.: 41000 BTUs

16 Slot – full Rack-Unit

π Available Slots– Front

• 8 PLIM Slots• 2 RP Slots

– Back• 8 Line Card Slots• 4 Fabric Cards

π Dimensions:– 17.5” W x 41*” D x 38.5” H– (44.5 W x 104.2 D x 97.8H (cm))

π Power: ~8700 Watt (AC or DC)

π Weight: ~647 lbs/294kgπ Heat Diss: 25196 BTUs

8 Slot – half Rack-Unit

version

Front

Back Fan

FanPower Supply (2)

Line Cards(8)

PLIMs (8)

RPs (2)

SwitchingFabrics (4)

Air intake

Exhaust

CRS-1 Product FamilySystem Overview of the 8-Slot Chassis (Half Rack-Unit)

PLIM Line Card

FanAir flow

Intake ExhaustAir flow

Mid-plane

Fan

The Midplane Design

PLIM = Physical Line Interface ModuleRP = Router Processor

version

Basic Router Architecture

3 MAIN COMPONENTS: LINE CARDS, SWITCHING MECHANISM,ROUTE PROCESSOR(S) & ROUTING APPLICATIONS

Control Components

Forwarding Component

Interconnect

version

Cisco CRS-1 Line Card OverviewMSC and PLIM Architecture

MODULAR SERVICES CARD (MSC)

πSilicon Packet Processor– 40G of line rate Forwarding capability (IPv4)– Hardware based prefix lookup

for (IPv4/IPv6/MPLS)– Flexible microcoded massively parallel

forwarding engineπExtensive Queuing capability

– 8K Queues ingress/egress– Configurable Mapping

π800 Mhz PPCπ2GB CPU memory/2GB packet memory

PLIM & modular interfacesπ16-Port OC-48c/STM-16c POSπ4-Port OC-192c/STM-64cπ1-Port OC768c/STM256c POSπ8-Port 10GE

πCRS1-SIP-800 with SPAs @ FCS- SPA-8X1GE- SPA-4XOC3-POS- SPA-OC192POS-XFP

πFuture – additional SPAs

MODULAR SERVICES CARD

IngressQueuingIngressQueuing

RX SPPL3Engine

RX SPPL3Engine

CPUCPUSquidGW

SquidGW

FromFabricASIC

FromFabricASIC

TX SPPL3 EngineTX SPP

L3 EngineEgress

QueuingEgress

Queuing

MIDPLANE

InterfaceModuleASIC

OC192FramerandOptics

OC192FramerandOptics

OC192FramerandOptics

OC192FramerandOptics

OC192FramerandOptics

OC192FramerandOptics

OC192FramerandOptics

OC192FramerandOptics

PHYSICAL LINEINTERFACE MODULE

To Fabric

FromPLIM

To PLIM

From Fabric

Ingress Packet Flow

Egress Packet Flow

5

213

4

6 78

version

MSCModular Services Card

CRS1-SIP-8006 SPAs Slots

CRS-1 Line Card OverviewCRS-SIP Architecture (i-Flex)

CRS-SIP-800π Supports 6 half-height 10G SPA slotsπ 2 half-height slots can support one Full height slotπ All slots can be used no restrictions

Midplane

6 ports of 10GE or6 ports of OC192 POS allowed

MSC will only provide 40Gof forwarding

version

IOS XR Kernel—Key Benefits

FEATUREPreemptive scheduler with support for process priority

Micro-KernelMonolithic

Kernel

Protected memory architecture for application processes

Protected memory architecture for system processes

Fault protection for application processes

Fault protection for Kernel processes

Fault protection for Host Stack

Fault protection for device drivers

Fault protection for file system

In Service SW Upgrade for application processes

In Service SW Upgrade for Infrastructure processes (IPC),kernel processes and device drivers

POSIX API

Yes

Yes

NOYes

NO

NO

NO

NO

Yes

NO

Yes

Yes

Yes

Yes

Yes

Yes

Yes

Yes

Yes

Yes

Yes

Yes

version

IOS XR Modular Packaged Software

π Upgrade specific packages/Composites– Across Entire system

• Useful once a feature is qualified and you want to roll it without lot of commands– Targeted Install to specific cards

• Useful while a feature is being qualified–reduces churn in the system to card boundary

π Point Fix for software faults

DRP LCRP

SC

Manage-ability Security

GMPLS Multi-cast

Opt’l

Mand

Opt’l

Mand

Opt’l

Mand

Mand

Mand

RPL BGP

ISISOSPF

Forwarding

Base

Admin

OS

Base

OS

Forwarding

Forwarding

Manage-ability Security

GMPLS Multi-cast

RPL BGP

ISISOSPF Base

OS

Line Card

GMPLSMulti-cast

Base

Admin

OS

232323© 2005 Cisco Systems, Inc. All rights reserved.

mandatory and optional packages...

version

Example:Logical, Virtual Routers and VRF

π LOGICAL ROUTER– A routing entity that emulates multiple physical routing entities

(via hardware based partitioning); this logical router shares all common chassis resourcesexcept RP and LCs

π VIRTUAL ROUTER– A routing entity that emulates (via software based partitioning), multiple virtual routing

entities; a virtual router shares all common chassis resources; can have dedicated / sharedRP and LC

π VRF´s– Multiple routing table and Multiple forwarding table instances

version

Logical, Virtual Routers and VRFe.g. for Core , Peering and Edge separation

LC

LC

LC

LC

LC

LC

RP

RP

DRP

DRP

LC

LC

LC

LC

LC

LC

FAN

C

FAN

C

LC

LC

1 Logical RouterOwner_LR

1 Logical Router ALR_A

1 Virtual RouterVR Red

1 Virtual RouterVR Blue

version262626

Ende des Vortragsteils von

version

Beispiel: Typischer Level 1 IP-Knoten im G-WiN

Access ab 155 Mbit/sGSR 12008

Access bis 155 Mbit/s

Cisco7507/4

Kernnetz-Router

GSR 12416

LokalerGE-Switch

Cat6k

version

Collapsed Core Design für XWiN [Kettenmodell]4 x CRS-1 im Kernnetz , 7609 im Edge, überwiegend verkettet

ZIBZIB

HEIHEI

HANHAN

FRAFRA

FZKFZK STUSTU

SAASAA

GARGAR

REGREG

BIRBIR

AACAAC

DUIDUI

MUEMUE

BIEBIE

ERLERL

GOEGOE

KAS KAS

MAR MAR

GIE GIE

BRE BRE

10G

E K

ette

HA

NFR

A

HAM HAM BRA BRA

GRE GRE KIEKIEOLDOLD ROSROS

POT POT TUB TUB

ADH ADH

WUEWUEAUGAUG

HUB HUB

Geánt

ILMILM

JENJEN

DREDRE

LEILEI

CHECHE

10GE10GE

CRS-1 (8-Slot)

Cisco 7609

1 GE1 GE

BAY BAY

FFOFFO

X-WiN Core

X-WiN Core

CRS-8/S

MAGMAG

7600eram CRS-1 Standort

CRS-8/S CRS-8/S

ZIB ZIB

CRS-8/S

GSIGSI

version

Kettenmodell:

Warum Standort-Ketten bilden ?Mehrere Standorte im Verlauf einer LWL-Trasse werden als

„Kette“ verbunden, und mit jeweils einer 10GE Schnittstelle anzwei verschiedene Core-Router angeschlossen:

π Im Trassenverlauf nur eine Bandbreite 10G belegt: „Lamda-schonend“

π Wirtschaftlichkeit: pro 10G-Kette nur zwei 10GE-Ports am CRS-1belegt.

π Bei einer LWL-Störung werden alle Kettenglieder versorgt

π Cisco 7609 geeignet für Transitverkehr

version

Collapsed Core Design für XWiNAusstattung der hochverfügbaren 7609 Systeme

An 45 X-WiN Standorten werden Cisco Router 7609 installiert• Cisco 7609 (9-Slot Chassis)• redundante Prozessoren (SUP720-3BXL)• redundante Switching-Fabrics (integriert: SUP720-3BXL)• redundante Power Supplies• redundante Backbone-Anbindung (2 x 4-Port 10GE Line Cards)

Schnittstellen für Kundenanschlüsse (nach Bedarf):• 4-Port 10GE Line Cards (WS-X6704-10GE)• 24-Port GE Line Cards (WS-X6724-SFP)• 48-Port 10/100/1000 BaseT Line Cards (WS-X6748-GE-TX)

Für die „klassischen G-WiN“-Schnittstellen:• Universelle SPA Interface Prozessoren (7600-SIP-200)• SPA-Module nach Bedarf (für E1, E3, STM1)

version

Danke

Danke für ihre

Aufmerksamkeit !