LBS-Hosting 3 - Verbundzentrale des GBV · LBS-Hosting 3.0 Updates aus der Systemtechnik Dennis Benndorf / Steffen Haupt / Sascha Henkel - Systembetreuung - 26.11.2019

LBS-Hosting 3.0Updates aus der Systemtechnik

Dennis Benndorf / Steffen Haupt / Sascha Henkel - Systembetreuung -

26.11.2019

Inhaltsverzeichnis

1. Hardware-Hosting Solaris-Server

2. Ceph Infrastruktur

3. Verteiltes Installationsverfahren der LBS4-Software

LBS-Hosting 3.0 – Updates aus der Systemtechnik

2

1. Hardware-Hosting Solaris-Server


3

Überblick der LBS-Hosts

• Produktion ➢2x SPARC T4-4 512GB RAM ➢4x SPARC T4-2 512GB RAM

• Test ➢2x T4-2 256GB RAM


4

• Quelle:www.dmgi.net

Virtualisierung der LBS-Zonen


5

Virtualisierungsschicht

8x

26x Produktion

38x Test


• Quelle:yEd • Quelle:yEd • Quelle:yEd • Quelle:yEd • Quelle:yEd

Verfügbarkeit der LBS-Hosts


6

Oberer Maschinenraum

Unterer Maschinenraum• Quelle:yEd • Quelle:yEd









Hardware-Ausbau der LBS-Hosts


7

• Installation einer zusätzlichen PCI-Express-Erweiterungskarte

➢2 Ports mit je 10 Gbit/s Übertragungsrate

➢Anbindung Ceph-Storage

Quelle: www.storesys.de

Netzwerkangriffserkennung für LBS-OPAC

• Verteilter Angriff auf LBS-OPACs am 29.04.2019

• Konfiguration eines Intrusion Prevention System Filters ➢SNORT auf Sophos-Firewall ➢Überprüfung der vom Client gelieferten Netzwerkpakete ➢Bereitgestellte IPS-Signaturen für Apache und PHP ➢Bei Erkennung: Verwerfen von Netzwerkpaketen

Quelle:www.aboutdebian.com


8

IPS der VZG im Einsatz

• Auszug IPS-Policy Apache

• Auszug IPS-Log


9

2. Ceph Infrastruktur


10

Aufbau und Schnittstellen


!11

Physische Verteilung und Skalierung


…

…

Opelhaus

MRU

MRO

Mon

itore

● Ungerade Anzahl Monitore zur Statusüberwachung ● N Storageserver je in den Maschinenräumen mit M

Replikaten in S Standorten ● Skaliert in die Breite!

…

!12



…

…

Opelhaus

MRU

MRO

Mon

itore

● Ausfall eines gesamten Serverraumes ist erlaubt!

…

!13



MRU MROBackend (40 Gbit)

ISCSI 1 (10 Gbit)ISCSI 2 (10 Gbit)

● Mehr Server führen zu ● Mehr Speicherplatz ● Mehr CPU-Leistung ● Mehr RAM als Read-Cache ● Mehr IO-Leistung durch Festplatten und

Controller

!14

● Sind die Daten in allen Replikaten gleich? ● Bitflip ● Fehlerhafter Sektor

=> Scrubbing Gegenlesen und Vergleich der Replikate

=> Checksum on Read Checksummen Vergleich zum Stand der Abspeicherung beim Lesezugriff

Konsistenzcheck

!15


Management:Vergrößerung durch neuen Server

● 3 Server + ein neuer Server ● Automatische Daten- und Lastverteilung

Füllstand der Festplatten der Server Füllstand der Festplatten der Server

!16


● Erstellt bei Ausfall eines Servers(einer Festplatte) Kopien auf verbliebenen Servern ● Kapazität als Global Spare ● Cluster sollte nie voll sein!

Füllstand der Festplatten der Server

Management:Ausfall eines Servers

Füllstand der Festplatten der Server

!17


root@ceph-node-mro-3:~# ps -ef |grep osd

ceph 31016 1 2 May24 ? 03:52:42 /usr/bin/ceph-osd -f --cluster ceph --id 120 --setuser ceph --setgroup ceph ceph 31277 1 2 May24 ? 03:17:56 /usr/bin/ceph-osd -f --cluster ceph --id 121 --setuser ceph --setgroup ceph ceph 31569 1 1 May24 ? 02:37:15 /usr/bin/ceph-osd -f --cluster ceph --id 122 --setuser ceph --setgroup ceph

root@ceph-node-mru-1:~# ps -ef |grep ceph-mon

ceph 1973 1 2 May03 ? 14:43:51 /usr/bin/ceph-mon -f --cluster ceph --id ceph-node-mru-1 --setuser ceph ….

● Nutzt Mehrkernsysteme ● Jeder Datenträger ist ein Prozess

Management:Alles ist ein Prozess

!18


● systemctl stop [email protected]

● # Dies führt zu einem Recovery der ausgefallenen Kopien ● # Es sei denn, die Option ● # ceph osd set noout ● # ist zuvor gesetzt. Sollte nicht dauerhaft gesetzt sein.

Management:OSD außer Betrieb nehmen

!19


● ceph osd reweight osd.120 0 (OSD bleibt online, aber keine Daten werden gehalten) ● ceph osd reweight osd.120 0.5 (OSD bekommt nur 50% des Datengewichts)

Management:OSD Füllstand manipulieren

!20


● ceph tell osd.* injectargs '–osd_recovery_sleep=2'

Management:Recovery-Geschwindigkeit anpassen

!21


● ceph tell osd.* injectargs '–osd_scrub_sleep=2'

Management:Scrub-Geschwindigkeit anpassen

!22


Management:ISCSI-Pfade live migrieren

!23


Monitoring: Das Dashboard

!24


Monitoring: Des gesamten Cluster im Überblick

!25


Monitoring: Der einzelnen Ceph-Node

!26


Monitoring: Aus Sicht von VMware

!27


Migration:

● Migration von 92% aller Serversysteme abgeschlossen ● Datenbanken der LBS-Testsysteme seit langem im Ceph ● Eigener NVMe-SSD Pool für Produktionssdatenbanken ● Zuletzt installierte Instanzen werden zuerst migriert:

● SBB ● Kiel ● Erfurt ● HSU

● Auch in Vorbereitung der Migration auf Linux: ● Migration der Datenbanken der übrigen Systeme ● Downtime nötig, da BCP notwendig.

!28


3. Verteiltes Installationsverfahren der LBS4-Software


29


30


31


32

Voraussetzungen: •mind. Version 2.10 mit EAServer-Failover•Loan 4

(erfüllt bei 18 Testsystemen, Stand Nov.2019)


33

als sybase @ <LBSHost>• Log- Dump ; Dboptions an

als jaguar @ <LBSHost>• LBS4- Software kopieren und installieren

als sybase @ <LBSHost>• Dboptions aus ; Komplettsicherung


34

# script LBSRemoteInst…# OS ermitteln, usr-profile festlegen

OS=$( ssh $LBSusr@${LBShost} uname )

case $OS in

'SunOS') uProfile=.profile ;;

'Linux') uProfile=.bash_profile ;;

esac

# Software kopieren

scp $Repo/$LBSversion/Software/$LBSfile $LBSusr@${LBShost}:tar

# Auspacken

ssh $LBSusr@${LBShost} tar xf tar/$LBSfile

# LBS4 stoppen

ssh $LBSusr@${LBShost} com/lbs4 stop

# DB-Namen, -Server-Namen und -Host ermitteln

dbn=$(ssh $LBSusr@$LBShost grep lbs.database.url confdir/lbs.properties | cut -d '/' -f 2 )

dbs=$(ssh $LBSusr@$LBShost grep ^[a-z] EAServer/openclient-12.5.1/interfaces | tail -1)

dbh=$(ssh $LBSusr@$LBShost cat EAServer/openclient-12.5.1/interfaces | awk '{ if ($1 == "'$dbs'" ) { getline; print $4} }' | tail -1)

# DB-Optionen setzen ("trunc", "select into/bulkcopy")

ssh sybase@${dbh} com/dboptions $dbs true


35

ssh-copy-id sybase @ LBSHost ssh-copy-id jaguar @ LBSHost

lbs4_2.12.1.rc xerf.rc


36


37

lbs4-2.12.1 auf 14 Testsystemen ausgerollt


38

Vielen Dank für die Aufmerksamkeit

Fragen?

Documents

LBS-Hosting 3 - Verbundzentrale des GBV · LBS-Hosting 3.0 Updates aus der Systemtechnik Dennis Benndorf / Steffen Haupt / Sascha Henkel - Systembetreuung - 26.11.2019