Embed Size (px)
Citation preview
IT-Symposium 2007 18.04.2007
www.hp-user-society.de 1
1
IVV NaturwissenschaftenIV der Fachbereiche Biologie • Chemie • Physik
Westfälische
Wilhelms-Universität
Münster
IT-Symposium 200716.-20. April, Nürnberg
Integrity Superdome in Forschung und Lehre
Vorstellung des Itanium²-Projektes in den Naturwissen-schaften der Universität Münster
2F05 18.04.2007
Heinz-Hermann Adam([email protected])
Was ist die IVV Naturwissenschaften?
o Teil des dezentralen IV-Systems der UniversitätMünster
o Zusammenschluß dernaturwissenschaftlichenFachbereiche
o Ziel: GemeinsameBefriedigung des Bedarfs an fachspezifischen IV-Mitteln(Hardware, Software, Dienste)n Selbsthilfeorganisationn Nutzung von Synergieeffekten
o Kein “Rechenzentrum”
o Active Directory Domänen ca. 20 Servern über 3.000 Arbeitsplätzen Über 8.000 Benutzer
o Betriebssystemen Linux (16%)n OpenVMSn Mac OS (6%)n Tru64 UNIXn Windows (78%)
2
IT-Symposium 2007 18.04.2007
www.hp-user-society.de 2
Bedarfe der Nutzer
o Anwendungenn Office Applications
p Word, Excel, ...p Adobe p Corel Draw
n Datenanalyse und Visualisierungp DNASTAR Lasergenep Matlabp Femlab/Comsol Multiphysicsp Mathematicap Maple
n Programmentwicklungp Visual Studiop Intel Fortran, C/C++
o Wissenschaftliches Rechnenn Theoretische Chemie
p Quanten-Monte-Carlon Theoretische Physik
p Nano-Strukturbildungn Festkörpertheorie
p Rekonstruktion von Nanooberflächen
n Geophysikp Fluiddynamik
n Bioinformatikp BLAST
n Kernphysikp GRID-Computing (LHC)
3
Ausgangssituation
o Infrastruktur & Wissenschaftliches Rechnen (1998)
n 4-Wege AlphaServer unter OpenVMS und Tru64 UNIXp Batchqueues
p Interaktive Dienste
p Windows Domäne
o Active Directory (2002 )
n ProLiant basierte Windows und Linux Server
4
IT-Symposium 2007 18.04.2007
www.hp-user-society.de 3
Ausgangssituation
o High Throughput Computing (2004)n Morfeus GRIDn Rechenkapazität der Infrastruktur nicht mehr
ausreichendn Viele unausgelastete und leistungsfähige
Arbeitsplatzrechnern Windows, Linux, Macn Condor Technologie
o Network Attached Storage (2005)n Windows Storage Servern SAN-Storage
5
Serverersatz 2006
o Erste größere Beschaffungsmaßnahme seit 1998n Geplant seit 2003
o Gesamte Infrastruktur wird erneuert
o Alte Systeme sind zu ersetzen, zu erneuern oder zu ergänzen
o Ausgangssituationn Daten-Silos mit Direct Attached
Storagep OpenVMSp Windowsp Tru64 UNIXp Linux
NWZDC1
NWZNASUI D
1
2
Simp
lex
Dup
lexc
hch
21
00
113
32
2
44
55
Tape
S tor ag e
S er ve r
UID
1
2
Simp
lex
Dup
lexch
ch
21
00
113
32
2
44
55
Tape
S tor ag eS er ve r
UI D
E S C EN T ER
UI D
E S C EN T ER
HPS to rag eW o rk s
hs v2 00
HPS to rag eW o rk s
hs v2 00
FSMO-DC, SFU, WINSVMware Guest auf NWZGSX1
NWZNAS2ProLiant DL 380 G4
2 X-3400 CPU,3,5 GB RAM
NWZNAS1ProLiant DL 380 G4 2 X-3400 CPU,3,5 GB RAM
NWZEVA1
Enterprise Virtual Array 30002 HSV 100, 2 GB Cache,
4088 GB Storage
NWZSamba
FS, WS, CMProLiant ML350 G4
2 X-3000 CPU,2 GB RAM,
950 GB Storage
2 30 1 4 5
BC A
hp proliant ML350g4
AlphaServer ES40
VNWZ03
SD
latigidSD
latigid
VNWZ01/2
h p P ro L ia n t ML 1 1 0
NWZMGMTNWZLinux
0
UI D
U ID 1 2
1 2
3 S tor ag e S e rve r
H p Pr oL ian t D L1 00
SD
latigid
XNWZ01
NWZLicense
NWZSUSLinus1
IV der Fachbere iche Biologie Chemie Physik· ·Naturwissenschaften
IVV4
NWZDC2
DC, WINSVMware Guest auf NWZGSX2
PR OLIANT M L 370
Ω
NWZDC3
DC, WINSProLiant ML 3701 PIII-800 CPU,
1 GB RAM, 72,8 GB Storage
hp ProLi ant ML530
NWZRIS
NWZGSX1
hp ProLi ant ML350
NWZGSX2
hp ProLi ant ML350
NWZHome
U I D N I C
2
N I C
1
P r o L i a n t D L 3 6 0
1 8 . 2 G BU L T R A 3 S C S I
1 8 . 2 G BU L T R A 3 S C S I
1 5 K1 5 K
NWZSAN
6
IT-Symposium 2007 18.04.2007
www.hp-user-society.de 4
Ziele
o Konsolidierungn „Zentrales“ Speichersystem
p Plattenplatzp Datensicherungp Ausfallsicherheit
n Hochverfügbarer Fileservicep Transparent für alle Systeme
n Einheitliches, hochverfügbares Rechnersystemp Für Scientific Computingp Für Grundversorgung (Active Directory & Co.)
n Man-Powero Daten-Pools
7
Rechnersystem
o Weiterführung des Konzeptes von 1998
n Wenige, gleiche Systemen Für Grundversorgung (Infrastruktur) und
wissenschaftliches Rechnen
o Partitionierbares SMP-System
n Verschiedene Betriebssysteminstanzen gleichzeitign Windows, Linux, ...
o Ausfallsicher, redundant über zwei Standorte verteilt
o Erweiterbar
8
IT-Symposium 2007 18.04.2007
www.hp-user-society.de 5
Scientific Computing
o Scientific Computing → High Performance Computing
n SMP-System mit mehr als 4 CPU
n Shared-memory System (ccNUMA)
n 64-bit Architektur
o Gegenpol zu PC-Clustern (Linux-Cluster, Morfeus GRID)
9
Möglichkeiten (2003)
o Partitionierbare Systeme, die mehrere (auch verschiedene) Betriebssysteminstanzen „in einer Box“ zulassen
o Alpha Server ES80, GS1280n Begrenzte Betriebssystemunterstützung
p Z.B. Kein Windowsn Ende der Roadmap ist abzusehen
o Itanium-Plattformn SGI Altix
p Selbes Problem wie Alpha Servern HP Integrity Server
p rxXXXXp Superdome
10
IT-Symposium 2007 18.04.2007
www.hp-user-society.de 6
Konzept Superdome
o Mehrere Partitionen
o Betriebssystemoptionen
n Linuxn HP-UXn OpenVMSn Windows
o Virtualisierung
n Integrity VMp Bessere Ausnutzung der nicht-compute Partitionen
11
Planung Superdome
o Superdome 32 mit 24 CPUsn 4 Partitionen
p 2 Windowsp 2 Linux
n Integrity VM noch nicht absehbarp Option für später
o Zusätzlichn Network Attached Storage
p Nutzerdaten und Applikationenn Storage Area Network
p Speicherplatz für alle Systeme
12
IT-Symposium 2007 18.04.2007
www.hp-user-society.de 7
Realisierung Superdome 2006
o Superdome 32 mit 24 Itanium² Montecito CPUsn 4 Partitionenn Linux & Windows
o SAN-Speichersystemn 2 x HP Enterprise Virtual Array 8000n 4 x HP ProLiant Storage Server
o Infrastrukturdiensten Windows auf Itanium
o Konzentration der Superdome auf Scientific Computing
13
Windows auf Itanium
o Kein Windows Server 2003 R2 für Itanium
o Keine Microsoft Services for Unix auf Itanium
o Daher z.Zt. DC-Infrastuktur mit Windows auf Itanium nicht möglich
o Warten/Hoffen auf Longhorn?
14
IT-Symposium 2007 18.04.2007
www.hp-user-society.de 8
Longhorn Itanium Roadmap
o Fokus auf
n Datenbanken (MS SQL, Oracle)
n LOB-Applikationen (SAP, Siebel)
n ISV-Applikationen
o Entfallende Funktionen
n Active Directoryn File Servern Print Server
n Terminal Servern Sharepoint Services
o Kein vollwertiger Windows Server mehr
n Kann die Infrastrukturdienste nicht versehen
o Déjà-vu
n 1999: Windows NT 64-bit
15
Superdome Konfiguration
o 4 Hardpartitions
o 8 Cellboards
o 24 Itanium² Montecito CPUs
n Dual-Core
n Hyperthreading
o 96 GB Speicher
o Je Partition
n Ethernet
n SAN
n SCSI
n RAID
4GB
4
GB
16
IT-Symposium 2007 18.04.2007
www.hp-user-society.de 9
Superdome Konfiguration
o Partition 0n Windows Server 2003
p 1 Cellp 2 CPUp 8 GB RAMp Partitionmanagement
o Partition 1n Red Hat Enterprise
Linux Advanced Server 4 Update 4p 4 Cellp 16 CPUp 64 GB
o Partition 2n RHEL AS 4U4
p 2 Cellp 4 CPUp 16 GB RAM
o Partition 3n RHEL AS 4U4
p 1 Cellp 2 CPUp 8 GB RAMp RAM
17
Softwareausstattung
o Alle Partitionenn Intel Compiler
p Fortranp C/C++
n Intel Math Kernel Libraryn Intel Vtune Performance Analyzer
o Linux-Partitionenn Batchqueue
p Torque/Maui
o Windows-Partitionn Batchqueue
p Condor
18
IT-Symposium 2007 18.04.2007
www.hp-user-society.de 10
Installationserfahrungen
o Windows Partition
n Einbindung in Active Directory problemlosp „Just another Windows Server“
n Softwareunterstützungp McAfee Virusscan
n Crasht System bei Netzwerkzugriffp Alladin eToken
n Keine Unterstützung von 64-bit Windows
n Fehlendes Core-I/O auf SX2000 Maschinenp Special Access Console und Graphical User Interface vertragen sich nicht
19
Installationserfahrungen
o Ausfallsichere Netzwerkanbindungn NIC-Teaming per GUI
p System unerreichbar bis auf SAC (cmd.exe)
n cqniccmd /d löst Team wieder auf
n Neue Konfiguration per GUIp System unerreichbar
n cqniccmd /d findet kein Teamn Dritte Netzwerkkarte vom HP
Service für unabhängigen RDP-Zugang installiert
n NIC-Teaming Treiber deinstalliert und Registry von Hand gereinigt
n Treiber neuinstalliert und konfiguriertp Endlich funktionsfähige
Konfiguration gefunden
20
IT-Symposium 2007 18.04.2007
www.hp-user-society.de 11
Installationserfahrungen
o Linuxpartitionenn Zum Installationszeitpunkt der Hardware keine
unterstütze Linuxdistributionp Vorab-Freigabe von RHEL AS 4U4p „Delivery to boot prompt“
n Einbindung in Active Directory problemlosp „Just another Linux PC“ – if you know Red Hat ...
n Treiberunterstützung Itanium Superdomep HP Integrity Essentials Foundations Pack
Starting hpima
This hardware is type: server SD32B
It is not supported. Continue [Y/n]?
21
Erste Ergebnisse
o Lokalisation an Nano-Oberflächenn Laserstrahl auf
Silberoberflächep Definiert Oberfläche:
bekanntp Statistische Oberfläche:
unbekanntp Statistik: viele Samples
n Reflexion des Lichtes wird „gemessen“p Wie verhalten sich die
Oberflächen bei Anregung
22
o Modell
n Lösung von gekoppelten Integralgleichungen (reduced Rayleigh equations)
n Komplexe Matrizen > 4.000 x 4.000 Elemente
n Je Element Integrale mit 10.000 – 20.000 Stützstellen
IT-Symposium 2007 18.04.2007
www.hp-user-society.de 12
Erste Ergebnisse
o Performancen Pentium 4: 9,5 Stundenn Core 2 Duo: 6,5 Stundenn Itanium² Montecito: 4
Stunden
o Conclusionn Größere Matrizen sind
möglichp > 10.000 x 10.000 für
realistische Oberfläche
n 64-bit wird dann notwendig wg. Speicherbedarf
23
Infrastruktur
o Fortführung dessen was mit Superdome Partitionierung angedacht war
n VMware Virtual Infrastructure 3 Enterprise
n HP c-Class BladeSysteme
o Windows Server und x86-basierte Linuxserver als virtuelle Maschinen
Details: Vortrag 1F02 - Virtualisierung überall24
IT-Symposium 2007 18.04.2007
www.hp-user-society.de 13
hp StorageWorks
!
!
146
GB
Ultra 320
146
GB
Ultra 320
146
GB
Ultra 320
146
GB
Ultra 320
146G
BUltra 320
146GB
Ultra 3
20
146G
BUltra 320
146G
BUltra 320
Der Weg zu Daten-Pools
hp St ora ge Work s
!B a y 1 B a y 1 4
hp St ora ge Work s
!B a y 1 B a y 1 4
hp St ora ge Work s
!B a y 1 B a y 1 4
hp St ora ge Work s
!B a y 1 B a y 1 4
hp St ora ge Work s
!B a y 1 B a y 1 4
hp St ora ge Work s
!B a y 1 B a y 1 4
hp St ora ge Work s
!B a y 1 B a y 1 4
hp St ora ge Work s
!B a y 1 B a y 1 4
hp St ora ge Work s
!B a y 1 B a y 1 4
hp St ora ge Work s
!B a y 1 B a y 1 4
hp Sto ra ge Wor ks
hp Sto ra ge Wor ks
UID
E SC E NTE R
UID
E SC E NTE R
HP
S torag eWo rk sh sv2 10
HPS torag eWo rk s
h sv2 10
300GB 10k
FibreChannel
300G
B 10k
FibreChannel
300GB
10k
FibreChannel
300GB 1
0k
FibreChannel
300GB
10k
FibreChannel
300GB 10k
FibreChann
el
300G
B 10k
FibreChannel
300GB
10k
FibreChannel
300GB
10k
FibreChannel
300G
B 10k
FibreChannel
300GB 10k
FibreChann
el
300GB
10k
FibreChannel
300GB 1
0k
FibreChannel
300GB
10k
FibreChannel
300GB 1
0k
FibreChannel
300GB 10k
FibreChannel
300GB
10k
FibreChannel
300G
B 10k
FibreChannel
300GB 10k
FibreChann
el
300GB
10k
FibreChannel
300GB 1
0k
FibreChannel
300GB 10k
FibreChannel
300GB 10k
FibreChannel
300G
B 10k
FibreChannel
146GB
10k
FibreChannel
146G
B 10k
FibreChannel
146GB 10k
FibreChann
el
146GB
10k
FibreChannel
146GB 1
0k
FibreChannel
146GB
10k
FibreChannel
146G
B 10k
FibreChannel
146GB 10k
FibreChannel
146GB 10k
FibreChannel
146G
B 10k
FibreChannel
146GB 10k
FibreChannel
146GB 1
0k
FibreChannel
146GB
10k
FibreChannel
146GB 1
0k
FibreChannel
146GB 10k
FibreChann
el
146G
B 10k
FibreChannel
146GB
10k
FibreChannel
146GB
10k
FibreChannel
146GB 10k
FibreChannel
146GB 1
0k
FibreChannel
146GB 10k
FibreChannel
146G
B 10k
FibreChannel
146GB 10k
FibreChannel
146GB 1
0k
FibreChannel
146GB
10k
FibreChannel
146GB 1
0k
FibreChannel
146GB
10k
FibreChannel
146GB 10k
FibreChann
el
146G
B 10k
FibreChannel
146GB
10k
FibreChannel
146GB 10k
FibreChannel
146G
B 10k
FibreChannel
o Zentraler Plattenspeicher
n Inkrement 1 GBo Anbindung aller Systeme
über SAN
o NAS-Cluster für Filesharing
n NAS-SAN-Fusiono Paritionierbares SMP-System
n Itanium²n 2-24 CPU
o Bladesystem
n x86-64n VMware Virtual
Infrastructure
DOWN
UP
DO WN U P
100- 240V~50/60Hz.2A
RPS Input __27V.12A MAX
R EF ER TO IN ST RU C TIO N
M AN U AL FO R C OR R EC T
S EL EC TIO N OF PO WE R CO RD
MAC Ad d r:3 CR 1 7 4 5 0 -9 1
Se r ia l No.
3 Co m Su pe r Sta c k- 3 Switc h 3 8 70 24 - po rt
Cab inet Numb er
HKP
4 8V
GSP
Att en tion
Rem ote
hp Integrity Superdome
hp StorageWorks
OK
N IC1
N IC2
N IC3
N IC4
U ID
HP P roLiant
B L480c
N IC1
N IC2
N IC3
N IC4
U ID
H P P roLiant
B L480c
N IC1
N IC2
N IC3
N IC4
U ID
H P P roLiant
B L480c
2 30 1 4 5
BC A
hp proliant ML350g3
Ultr
a 3
SC
SI
300
GB
hp StorageWorksTape Array 5300
hp S torageWorks DVD hp S torageWorks DVD
hp S torageWorks DVD hp S torageWorks DVD
25
26
Q & A – Fragen und Antworten
NWZnet.uni-muenster.de
