iSCSI

neue Wege zum SAN

MT

ZDV

Pfad der Darstellung

Was ist SCSI?

Was ist ein SAN?

Die aktuelle Situation: Fibre Channel SAN

Probleme

Eine Lösung: iSCSI

Bericht über unsere Tests

– Setup

– Lies, DAMN Lies and BENCHMARKS

Demo

Was ist SCSI?

SCSI (gesprochen skasi) Small Computer System Interface

ANSI Standard

Eine Gruppe von Interfacedefinitionen zur Kommunikation von Computersystemen

Meist benutzt für Peripheriegeräte

Wichtigster Fortschritt (Anfang der 80er) war die logische Blockadressierung an Stelle der physikalischen (CHS).

Der originale Standard definierte Protokoll, Schnittstellen und Signalisierung

Was ist SCSI? (2)

Topologie: BUS

Im Anfang 8Bit, asynchron 5MHz, Synchron 5-10MHz

Single ended -5(2)m; Differential 12M?

SCSI2. (ua:)16Bit (wide), Fast (20MHz); HD-Stecker

Später: Ultra(40MHz), Ultra2(80MHz).......

SCSI3 teilte den Standard auf in Protokolle und Transportschichten (und Interfaces)

– Bei den Protokollen gab es auch serielles SCSI

– Transporte sind: FC, Firewire, SSA

Probleme von SCSI

Dicke Kabel mit monströsem Stecker: Fehlerträchtig

16(7) Geräte

Kabellängen klein besonders bei SE

Multihosting erfordert DIFF sonst instabil

DIFF teuer und selten

BUS!??

Meist durchgeschleifter BUS!?????

TERMINATION

Was ist ein SAN?

SAN: A network whose primary purpose is the transfer of data between computer systems and storage elements and among storage elements. Abbreviated SAN. A SAN consists of a communication infrastructure, which provides physical connections, and a management layer, which organizes the connections, storage elements, and computer systems so that data transfer is secure and robust. The term SAN is usually (but not necessarily) identified with block I/O services rather than file access services.

Quelle: Storage Networking Industry Association

www.snia.org

Was ist ein SAN?

• Sternförmige Vernetzung

• Serial SCSI3 über Fibre Channel (FCP)

• Switches für die Übermittlung

• Müssen auch `Sicherheit‘ herstellen

• Herstellerübergreifende Mangementtools vorhanden

• Aber sehr teuer

• Analysegeräte für FC vorhanden

• Noch teuerer

JoGuSAN V2

EC1

EC2 MS2CS

MS1TSM

DR1 T3 2T3 1

VA

DR2

ITL1 ITL2

Brocade 3800 SAN A

JBOD

Brocade 3800 SAN B

NTAP2NTAP1

Was Stimmt nicht mit FC?

Entdeckungen: Erste Wahrheit über SANs(Fast) Alles was Sie Böses über Interoperabilität gehört haben ist wahr! Es wird nicht besser sondern schlimmer!

– Die Sun (mit Sun Treibern) loggen sich nicht im Fabric ein (loopmode)

-mittlerweile: mit Tip von SE * Wartungsvertrag + patches für alle FC Software

– Mit MultipathIO wird der HP Va nicht als 1 Gerät erkannt

– T3 Luns zur Hälfte als unformatiert erkannt??

– Mit der SUN in der Zone sichtbar booten die W2K Cluster member nicht

– Auf dem HP Compute server bleibt der ioscan hängen, falls der T3 Array in seiner Zone sichtbar ist, ziehen des FCKabel beendet den unkillbaren Prozess, alles ok danach!

– Linux+Emulex HBA: nur LUNs zusammenhängend ab 0 gefunden

auch Solaris 9

Was stimmt nicht mit FC?

Interoperabilität (Fortsetzung):

• Cannot assume anything will just work. It has to be prequalified.

• Jacob Farmer, Cambridge Computer Services, Lisa02

Preis

• Die FC Adapter sind schweineteuer?

• Aufsattler, AKSYS 2003 Witten

• It can be cost-prohibitive for many applications ...... Per host cost for redundant connection = $5K-$10K(nach oben offen)

• Jacob Farmer, Cambridge Computer Services, Lisa 02

• Wer ein SAN will muss 2 kaufen.

• MT, AKSYS2002

Es ist Rettung in Sicht

Andere Transportschichten für Serial SCSI möglich

– Beispiele: (nicht für SANs)

– Firewire und SSA im Standard, in Nutzung USB und IDE/Atapi

ALSO: wähle billige vernetzbare Transportschicht: IP

iSCSINetwork Working Group

Request for Comments: 3347

Category: Informational

Small Computer Systems Interface protocol over the Internet (iSCSI)

Requirements and Design Considerations

iSCSI Layers

SCSI

iSCSI

Upper Functional Layers (e.g. SSL)

TCP

Lower Functional Layers (e.g. IPSec)

IP

LINK

Vorteile von iSCSI

Niedrige Kosten für Switches

Niedrige Kosten für HBA?– Software Implementierung teilweise umsonst

Linux, M$, NetApp

– Hardware HBA sollen auch preiswert werden Singlechip Lösungen in Arbeit

– Diskarrays auf IDE Basis angekündigt NexSan $10K/TB (ATABeast wird billiger)

Vorhandene Infrastruktur evtl mitnutzbar– Nicht bei Hochgeschwindigkeitslösungen

– Nicht bei hohen Sicherheitsanforderungen

Probleme für iSCSI

Sicherheit

– Offene Netze, daher Authentisierung nötig

Datenintegrität (TCP Checksum nur 16 Bit)

– Optionale Header und Daten CRC32 definiert

– Software Implementierungen leiden darunter

Kommandoreihenfolge über multiple Pfade

– Nummerierung der Kommandos: CmdSN

SCSI entwickelt für niedrige Latenz

– Command Collapsing

– Status mit Daten|Error code mit Ceck Condition

Implementierungen (SW)

Freie: Source Forge

– Linux-iscsi (cisco Projekt nach source forge migriert)

Nur Host (Initiator)

– Intel referenz Implementierung

Initiator + Target, Scheint alter draft zu sein

Alle drafts nach 0.8 sollten kompatibel sein(teilweise)

Kostenlosen (ohne Source)

– Microsoft

Noch Beta, auch für Hardware HBAs geeignet

– Netapp

Nur für Lizenzinhaber, nur Target

Implementierungen (hw)

HBAs von intel, Adaptec Emulex, Qlogic (etc)

– SCSI Chip mit TCPoE(1Gb), evtl. weiter Funktionen (IPsec)

– In Vorbereitung (Betaphase)

– Ende des Jahres 10Gb (PCI-X)

Diskarrays ( meist in Vorbereitung )

– IBM IP Storage 200i seit 2002 (noch?)

– verfügbar bis Mitte 03: NexSAN

– Viele andere

Router: (eigentlich inverse router)

– Cisco SN5420 SN5428 MDS95xx

– andere

Switches???????

Cisco Storage Networking Products

CurrentCurrent Q4 CY 2002Q4 CY 2002 1H CY 2003 1H CY 2003

SN5428

SN5420

MDS 9509 MDS 9506 MDS 9513

Storage GatewayStorage Gateway

Workgroup SAN

Workgroup SAN

Multilayer Fabric Switch

Multilayer Fabric Switch

Multilayer Director

Multilayer Director

MDS 9216

16-port FC 32-port FC

Supervisor-1

8-port IP

SAN-OSSAN-OS

Fabric ManagerFabric

Manager

MDS 9000 Modules

MDS 9000 Modules

Fabric Mgr7200 FCIP

PAM

iSCSI Tests 0

10.2002 Cisco SN5420 an unserem SAN

Linux Driver Draft 8, – Arbeitsplatzrechner über 100MBit und das ganze

Campusnetz

– DELL 2650 über GBit und wenige Switches

Zugriff auf JBoD Platten und T3

Zugriff klappt mkfs übersteht auch 1-2 Minutenlange Netzstörung

Performance an 100MBit 11.5 MB/s

Performance über GBit limitiert durch SB5420 60-70MB/sec gemessen (Cisco: 70-80 mit Tuning)

iSCSI Test 1

Setup:

Netapp Test Maschine FAS825:

– 825 Cluster mit je 1 TB/Node, 2x FC/Node zu 2 Brocade

– Gbit in für iSCSI, Os 6.4xy

Zugriffe von

W2K mit INTEL Beta HBA

W2k mit Microsoft Beta Software Initiator

Linux mit linux-iscsi (Cisco, sourceforge)

iSCSI Test 1 ....

W2K mit INTEL Beta HBA

– Funktionierte (problematisch:SW upgrade der Adaptern)

– War aber langsamer als dieselbe Operation über FC

W2k mit Microsoft Beta Software Initiator

– Konfiguration wirklich Beta

– mindesten 17 positionelle Kommandozeileargumente etc

– Funktionierte und war SCHNELL (ca2 mal Hardwareadapter!)

– (DEMO)

iSCSI Test 1 ....

Linux mit linux-iscsi (Cisco, sourceforge)

– Versionen von 3.1.0.18 bis3.2.0.1 getestet

– Funktionalität ok,

findet auch einzelne lun >>0

allerdings neue devices nicht direkt sichtbar

– Stabilität überraschend gut

– Performance (Client Dell 1650, 2CPU PIII 993MHz):

Operation Datenrate NetApp LinuxMB/sec CPU CPU

Read 104 55% 23%Write 37 75% 8%Read 69 62% 64%Write 35 86% 29%Read 42 47% 37%Write 31 80% 25%

iSCSI,5 Switches4 Prozesse, 64KB blks

Fibre Channel4 Prozesse, 64KB blksiSCSI,1 Switch4 Prozesse, 64KB blks