LBS-Hosting 3.0Updates aus der Systemtechnik
Dennis Benndorf / Steffen Haupt / Sascha Henkel - Systembetreuung -
26.11.2019
Inhaltsverzeichnis
1. Hardware-Hosting Solaris-Server
2. Ceph Infrastruktur
3. Verteiltes Installationsverfahren der LBS4-Software
LBS-Hosting 3.0 – Updates aus der Systemtechnik
2
1. Hardware-Hosting Solaris-Server
LBS-Hosting 3.0 – Updates aus der Systemtechnik
3
Überblick der LBS-Hosts
• Produktion ➢2x SPARC T4-4 512GB RAM ➢4x SPARC T4-2 512GB RAM
• Test ➢2x T4-2 256GB RAM
LBS-Hosting 3.0 – Updates aus der Systemtechnik
4
• Quelle:www.dmgi.net
Virtualisierung der LBS-Zonen
LBS-Hosting 3.0 – Updates aus der Systemtechnik
5
Virtualisierungsschicht
8x
26x Produktion
38x Test
• Quelle:www.dmgi.net
• Quelle:yEd • Quelle:yEd • Quelle:yEd • Quelle:yEd • Quelle:yEd
Verfügbarkeit der LBS-Hosts
LBS-Hosting 3.0 – Updates aus der Systemtechnik
6
Oberer Maschinenraum
Unterer Maschinenraum• Quelle:yEd • Quelle:yEd
• Quelle:www.dmgi.net
• Quelle:www.dmgi.net
• Quelle:www.dmgi.net
• Quelle:www.dmgi.net
• Quelle:www.dmgi.net
• Quelle:www.dmgi.net
• Quelle:www.dmgi.net
• Quelle:www.dmgi.net
Hardware-Ausbau der LBS-Hosts
LBS-Hosting 3.0 – Updates aus der Systemtechnik
7
• Installation einer zusätzlichen PCI-Express-Erweiterungskarte
➢2 Ports mit je 10 Gbit/s Übertragungsrate
➢Anbindung Ceph-Storage
Quelle: www.storesys.de
Netzwerkangriffserkennung für LBS-OPAC
• Verteilter Angriff auf LBS-OPACs am 29.04.2019
• Konfiguration eines Intrusion Prevention System Filters ➢SNORT auf Sophos-Firewall ➢Überprüfung der vom Client gelieferten Netzwerkpakete ➢Bereitgestellte IPS-Signaturen für Apache und PHP ➢Bei Erkennung: Verwerfen von Netzwerkpaketen
Quelle:www.aboutdebian.com
LBS-Hosting 3.0 – Updates aus der Systemtechnik
8
IPS der VZG im Einsatz
• Auszug IPS-Policy Apache
• Auszug IPS-Log
LBS-Hosting 3.0 – Updates aus der Systemtechnik
9
2. Ceph Infrastruktur
LBS-Hosting 3.0 – Updates aus der Systemtechnik
10
Aufbau und Schnittstellen
LBS-Hosting 3.0 – Updates aus der Systemtechnik
!11
Physische Verteilung und Skalierung
LBS-Hosting 3.0 – Updates aus der Systemtechnik
…
…
Opelhaus
MRU
MRO
Mon
itore
● Ungerade Anzahl Monitore zur Statusüberwachung ● N Storageserver je in den Maschinenräumen mit M
Replikaten in S Standorten ● Skaliert in die Breite!
…
!12
Physische Verteilung und Skalierung
LBS-Hosting 3.0 – Updates aus der Systemtechnik
…
…
Opelhaus
MRU
MRO
Mon
itore
● Ausfall eines gesamten Serverraumes ist erlaubt!
…
!13
Physische Verteilung und Skalierung
LBS-Hosting 3.0 – Updates aus der Systemtechnik
MRU MROBackend (40 Gbit)
ISCSI 1 (10 Gbit)ISCSI 2 (10 Gbit)
● Mehr Server führen zu ● Mehr Speicherplatz ● Mehr CPU-Leistung ● Mehr RAM als Read-Cache ● Mehr IO-Leistung durch Festplatten und
Controller
!14
● Sind die Daten in allen Replikaten gleich? ● Bitflip ● Fehlerhafter Sektor
=> Scrubbing Gegenlesen und Vergleich der Replikate
=> Checksum on Read Checksummen Vergleich zum Stand der Abspeicherung beim Lesezugriff
Konsistenzcheck
!15
LBS-Hosting 3.0 – Updates aus der Systemtechnik
Management:Vergrößerung durch neuen Server
● 3 Server + ein neuer Server ● Automatische Daten- und Lastverteilung
Füllstand der Festplatten der Server Füllstand der Festplatten der Server
!16
LBS-Hosting 3.0 – Updates aus der Systemtechnik
● Erstellt bei Ausfall eines Servers(einer Festplatte) Kopien auf verbliebenen Servern ● Kapazität als Global Spare ● Cluster sollte nie voll sein!
Füllstand der Festplatten der Server
Management:Ausfall eines Servers
Füllstand der Festplatten der Server
!17
LBS-Hosting 3.0 – Updates aus der Systemtechnik
root@ceph-node-mro-3:~# ps -ef |grep osd
ceph 31016 1 2 May24 ? 03:52:42 /usr/bin/ceph-osd -f --cluster ceph --id 120 --setuser ceph --setgroup ceph ceph 31277 1 2 May24 ? 03:17:56 /usr/bin/ceph-osd -f --cluster ceph --id 121 --setuser ceph --setgroup ceph ceph 31569 1 1 May24 ? 02:37:15 /usr/bin/ceph-osd -f --cluster ceph --id 122 --setuser ceph --setgroup ceph
root@ceph-node-mru-1:~# ps -ef |grep ceph-mon
ceph 1973 1 2 May03 ? 14:43:51 /usr/bin/ceph-mon -f --cluster ceph --id ceph-node-mru-1 --setuser ceph ….
● Nutzt Mehrkernsysteme ● Jeder Datenträger ist ein Prozess
Management:Alles ist ein Prozess
!18
LBS-Hosting 3.0 – Updates aus der Systemtechnik
● systemctl stop [email protected]
● # Dies führt zu einem Recovery der ausgefallenen Kopien ● # Es sei denn, die Option ● # ceph osd set noout ● # ist zuvor gesetzt. Sollte nicht dauerhaft gesetzt sein.
Management:OSD außer Betrieb nehmen
!19
LBS-Hosting 3.0 – Updates aus der Systemtechnik
● ceph osd reweight osd.120 0 (OSD bleibt online, aber keine Daten werden gehalten) ● ceph osd reweight osd.120 0.5 (OSD bekommt nur 50% des Datengewichts)
Management:OSD Füllstand manipulieren
!20
LBS-Hosting 3.0 – Updates aus der Systemtechnik
● ceph tell osd.* injectargs '–osd_recovery_sleep=2'
Management:Recovery-Geschwindigkeit anpassen
!21
LBS-Hosting 3.0 – Updates aus der Systemtechnik
● ceph tell osd.* injectargs '–osd_scrub_sleep=2'
Management:Scrub-Geschwindigkeit anpassen
!22
LBS-Hosting 3.0 – Updates aus der Systemtechnik
Management:ISCSI-Pfade live migrieren
!23
LBS-Hosting 3.0 – Updates aus der Systemtechnik
Monitoring: Das Dashboard
!24
LBS-Hosting 3.0 – Updates aus der Systemtechnik
Monitoring: Des gesamten Cluster im Überblick
!25
LBS-Hosting 3.0 – Updates aus der Systemtechnik
Monitoring: Der einzelnen Ceph-Node
!26
LBS-Hosting 3.0 – Updates aus der Systemtechnik
Monitoring: Aus Sicht von VMware
!27
LBS-Hosting 3.0 – Updates aus der Systemtechnik
Migration:
● Migration von 92% aller Serversysteme abgeschlossen ● Datenbanken der LBS-Testsysteme seit langem im Ceph ● Eigener NVMe-SSD Pool für Produktionssdatenbanken ● Zuletzt installierte Instanzen werden zuerst migriert:
● SBB ● Kiel ● Erfurt ● HSU
● Auch in Vorbereitung der Migration auf Linux: ● Migration der Datenbanken der übrigen Systeme ● Downtime nötig, da BCP notwendig.
!28
LBS-Hosting 3.0 – Updates aus der Systemtechnik
3. Verteiltes Installationsverfahren der LBS4-Software
LBS-Hosting 3.0 – Updates aus der Systemtechnik
29
LBS-Hosting 3.0 – Updates aus der Systemtechnik
30
LBS-Hosting 3.0 – Updates aus der Systemtechnik
31
LBS-Hosting 3.0 – Updates aus der Systemtechnik
32
Voraussetzungen: •mind. Version 2.10 mit EAServer-Failover•Loan 4
(erfüllt bei 18 Testsystemen, Stand Nov.2019)
LBS-Hosting 3.0 – Updates aus der Systemtechnik
33
als sybase @ <LBSHost>• Log- Dump ; Dboptions an
als jaguar @ <LBSHost>• LBS4- Software kopieren und installieren
als sybase @ <LBSHost>• Dboptions aus ; Komplettsicherung
LBS-Hosting 3.0 – Updates aus der Systemtechnik
34
# script LBSRemoteInst…# OS ermitteln, usr-profile festlegen
OS=$( ssh $LBSusr@${LBShost} uname )
case $OS in
'SunOS') uProfile=.profile ;;
'Linux') uProfile=.bash_profile ;;
esac
# Software kopieren
scp $Repo/$LBSversion/Software/$LBSfile $LBSusr@${LBShost}:tar
# Auspacken
ssh $LBSusr@${LBShost} tar xf tar/$LBSfile
# LBS4 stoppen
ssh $LBSusr@${LBShost} com/lbs4 stop
# DB-Namen, -Server-Namen und -Host ermitteln
dbn=$(ssh $LBSusr@$LBShost grep lbs.database.url confdir/lbs.properties | cut -d '/' -f 2 )
dbs=$(ssh $LBSusr@$LBShost grep ^[a-z] EAServer/openclient-12.5.1/interfaces | tail -1)
dbh=$(ssh $LBSusr@$LBShost cat EAServer/openclient-12.5.1/interfaces | awk '{ if ($1 == "'$dbs'" ) { getline; print $4} }' | tail -1)
# DB-Optionen setzen ("trunc", "select into/bulkcopy")
ssh sybase@${dbh} com/dboptions $dbs true
LBS-Hosting 3.0 – Updates aus der Systemtechnik
35
ssh-copy-id sybase @ LBSHost ssh-copy-id jaguar @ LBSHost
lbs4_2.12.1.rc xerf.rc
LBS-Hosting 3.0 – Updates aus der Systemtechnik
36
LBS-Hosting 3.0 – Updates aus der Systemtechnik
37
lbs4-2.12.1 auf 14 Testsystemen ausgerollt
LBS-Hosting 3.0 – Updates aus der Systemtechnik
38
Vielen Dank für die Aufmerksamkeit
Fragen?