Von der Strategie zur Praxis - Installationen und Updates global ausgerollt

© OPITZ CONSULTING GmbH 2013 Seite 1DOAG 2013 – Von der Strategie zur Praxis: Installationen und Updates global ausgerollt

Andreas Haak und Dirk Gießler

OPITZ CONSULTING Deutschland GmbH

Installationen und Updates global ausgerollt

DOAG Konferenz 2013, Nürnberg, 21.11.2013

Von der Strategie zur Praxis

Seite 1


Systemumgebung

Global agierendes Unternehmen mit mehr als 40.000 Mitarbeitern

Systemarchitektur Serverarchitektur global verteilt mit zwei zentralen Rechenzentren in

Europa und USA und zahlreichen lokalen Systemen Mehr als 3.000 Server (50% Linux / 40% Windows / 10% UNIX) Mehr als 10.000 Datenbanken (60% Oracle / 40% SQL Server) 90 % der Oracle Datenbanken laufen unter RedHat Linux

IT-Organisation nach ITIL Etabliertes Release Management / Change Management Systemarchitektur zentral dokumentiert


Anforderungen

Reduzierung der IT-Kosten bei Erhöhung der Service-Qualität durch

Globale, einheitliche Release-Strategie Betriebssystem, Oracle (DB, Middleware, EM GC, … )

Regelmäßige Updates Major – Minor Releases Scheduling, Automatisierung Maintenance Windows

Qualitätssicherung Freigabe geprüfter Releases Abweichung durch Monitoring erkennen (gültiges Release, „Fehler“)

Bestellverfahren Automatische Installation des Unternehmensstandards


Inhalt

1. Architekturkonzept

2. Distribution der Software

3. Architektur RPM Release

4. Anwendungsbeispiele

5. Automatisierung und Update-Zyklen


1Architekturkonzept


Anforderungsszenario Beispiel Oracle Datenbank

OS (RHEL)

ORACLE BINARIES

DB Instanz

DB Instanz

DB Instanz

Netzwerkkonfiguration

Backupkonfiguration

Monitoringkonfiguration

Umgebungskonfiguration

Dokumentation


Lösungsarchitektur Distributionsstandard RPM

Anbindung der Serverarchitektur an zentrales Installationsrepository (RedHat Satellite)

Bereitstellung standardisierter RPM Installationspakete (RedHat Paket Manager) Installation Softwarekomponenten Konfiguration Systemumgebung Administrationstools

Flexible Konfiguration über zentrale Release XMLs Definition von validierten OS und Oracle Releases (linux.xml, oracle.xml) Distribution auf alle Server


Warum RPM?

Robustheit Standardisiertes Produkt mit definierten Eigenschaften Bewährt – millionenfach im Einsatz

Flexibilität Gut dokumentiert Sehr mächtig durch Unterstützung von UNIX Shell und Skriptlets Abbildung komplexer Installationen über Phasenmodell Leichte Portierbarkeit auf alternative Linux Distributionen

Funktionalität Einfache Anwendung durch leistungsfähigen Paketmanager

wenige Befehle (install, update, remove) automatische Abhängigkeitsauflösung

Unterstützung für zentrales Repository


Beispiel 1

Paketierung (RPM)

Hersteller RPMs

kernel-2.6.18-308.4.1.el5

device-mapper-1.02.67-2.el5

hpdiags-8.7.0-26

hp-ilo-8.5.0-1.rhel5

TIVsm-API-6.2.4-1

TIVsm-BA-6.2.4-1

Versionsbezeichnunglt. Hersteller


Beispiel 2

Paketierung (RPM)

Entwicklung eigener RPMs

oc-oracle-preparations-1.6-5.el5

Interne Versionierung

oc-oracle-rdbms-ora11r2-3-3-1.0-1

oc-release-4.3-1

oc-tdpo-1.1-2

oc-perl-libs-1.1-4

- Konfiguration- Skripte- Skript Libraries- ( … )


2Distribution der Software


Red Hat Network Satellite Server

FWRed Hat Network

Repository DB

RHN Core System

RPM FilesConfig File

Apache HTTP Server

https

https


Bereitstellung der RPMs – Software Channels

Zuordnung der RPMs zu Software Channels

<Release-Channel>

<Sub-Cannel 1> <Sub-Cannel 2>

( … )

<Sub-Cannel n>

<RPM-1> <RPM-2> ( … )

<RPM-n>

<RPM-001> ( … )

<RPM-00n>

<RPM-011> ( … )

<RPM-01n>

<RPM-021>

<RPM-02n>

( … )


Zentrale Verwaltung im Red Hat Satellite

OC-RHEL5-4OC-RHEL5OC-LINUX

OC-RHEL5-4.0OC-RHEL5-4.0 AppsOC-RHEL5-4.0 BackupOC-RHEL5-4.0 ClusteringOC-RHEL5-4.0 Oracle Server OC-ORA11OC-RHEL5-4.3 Security UpdateOC-RHEL5-4.3 Update

abonniert

OC

-LINU

X-R

HE

L5-4.3

Satellite Repository

Softwarechannels

Konfigurationschannels


Beispiel: Konfiguration Channels


Installations- und Updateprozess

System X

Software /Konfiguration Channels Download RPMs Download Konfig.

System X

OC Linux 5.4-1OC Oracle 11.3.2

Einheitlicher Installationsprozess

RPM/Konfig..


Bedingungen für Installation und Update

Installation und Update nur über Satellite Server möglich

Alle Server haben Zugriff auf das Repository

Definition eines Release durch RPM-Versionen und Konfigurationsdateien

Definition in zentralen XML Dateien (linux.xml, oracle.xml)

Nur Installation validierter („gültiger“ Releases)


3 Architektur RPM Release


OC Release

Aufbau OC Release-Schema

RPM Package

SPEC File

Installationsdateien

Zusätzliche Installationsdateien

Configuration XML


RPM (Red Hat Package Manager)

Definition eines SPEC Files (Beispiel) Summary:

Version:

License:

Group:

%build

%install

%clean

%files

%pre

%preun

%post

%postun

Eigenschaften

Aufbau, Clean-up, Dateien

Pre-/Post Install und Uninstall


Aufbau RPM SPEC Oracle RDBMS (Ausschnitt)


RPM generieren und installieren

Generierung eines RPM aus den SPEC Files

rpmbuild <Optionen> <Spec-File> Generiert <RPM-Name>.rpm

Installation und Update eines RPM Installation rpm –ivh <RPM-Name>.rpm

Update rpm –Uvh <RPM-Name>.rpm

Installation / Update via Red Hat Satellite

yum [install|update] <RPM-Name>.rpm


Upgrade des Systems mittels RPMs

Installation / Upgrades von RPMs in der Reihenfolge ihrer Abhängigkeit

Die Abhängigkeiten sind im RPM selbst definiert

Die Inhalte und Reihenfolge der Pre-/und Post Installation sind im RPM selbst definiert

Weiter Pre-/Post Installation Tasks sind in der zentralen XML Datei vorgeben (linux.xml,oracle.xml)

Nach Installation / Upgrade: Validierung des Installationsstandes der RPMs gegen die XML Datei

Validiertes ( = „gültiges“ Release)


4Anwendungsbeispiele


Anforderungsszenario Beispiel Oracle Datenbank

OS (RHEL)

ORACLE BINARIES

DB Instanz

DB Instanz

DB Instanz

Netzwerkkonfiguration

Backupkonfiguration

Monitoringkonfiguration

Umgebungskonfiguration

Dokumentation


Oracle XML – zentrale Konfigurationsdatei

Enthält alle wesentlichen Konfigurationsparameter Packagedeklaration (Checksum, Packageversionierung, ...) Pre/Post Update Erweiterungen Installationsparameter (Kernelparameter, Homesize, Instanzparameter, …) Standardreleasedeklaration über

Standardpatches und Lebenszyklusmodell

…

Auswertung erfolgt vom innersten Knoten (Leaf) zum äußersten Knoten (Tree) Tag-Suche wird nach Treffer beendet

– Ermöglicht maximale Flexibilität bei minimaler Größe

Liegt zentral auf Repository Server (Satellite), wird vor jeder Installation / Update per wget vom Satellite Server geladen


Aufbau Oracle XML Tree – produktspezifische Deklarationen

Branch Major – Release-übergreifende Deklarationen

Major Minor – Release-übergreifende Deklarationen

Minor Leaf – Release-spezifische Deklarationen


Installation Oracle Software

Oracle System Preparation•Preparation•Lokale Plattenkonfiguration•Useranlage•Basisverzeichnisanlage•Etc.

•Systempakete •Backup•Etc.

•Oracle RPM - Requirements

Oracle System Configuration•Maintenance•Logbereinigung

•Startupconf•Autostartfunktionalitäten

•Netconf•Oracle Netzwerkkonfiguration

•Scripts•Instanzerstellung

•rda

Oracle Product Installation•Oracle Client•Oracle Datenbank•Oracle Agent


Installationsprozess Beispiel Oracle RDBMS

Zweiteiliger Installationsmechanismus RPM Package mit Installationslogik und Pre/Post-Installationschecks

(wenige KB) Tar File (mehrere GB) mit komplettem Oracle Home

RPM von Repository holen

Auflösung der Abhängigkeiten durch Paketmanager

Durchführung von Systemchecks

Oracle Tar File von Repository holen und entpacken

Oracle Clone-Prozedur

Post-Installationschecks


Oracle Update 1

Stage-Routinen für automatisierte Updates Stage0 Pre-Update Checks Stage1 Oracle Software-Installation Stage2 Oracle Instanz-Update

Unterstützte updates Updates innerhalb Oracle Major Release (11R2,10R2) unterstützt Updates zwischen Major Releases manuell über Export/Import

Stage0 Holt aktuelle oracle.xml vom repository Server Prüft Systemumgebung (Cluster, Single Server) Prüft ob es sich um ein Standardrelease handelt Prüft ob die Zielversion des Updates bereits installiert ist Prüft ob das update für die Zielinstanz unterstützt wird


Oracle Update 2

Stage1 (optional) Installiert Oracle Software nach Oracle Software-Installationsverfahren

Stage2 Setzt Blackout für Instanzmonitoring und Freeze der Clusterservices Führt Pre-Update Steps aus oracle.xml aus Switch des Oracle Home

Update oratab Update Links zu zentralen Konfigurationsdateien (TNS-Names, init.ora,…)

Instanz-Upgrade Führt Post-Update Steps aus oracle.xml aus Nachgelagerte Update Checks Auflösung Blackout


Anforderungsszenario Linux Upgrade

Pre-installation Tasks

Update der RPMs

Get all RHN Config Files

Post-installation Tasks

Bei Major Update Reboot

OC LINUX-RHEL5-3.2

Installation OC-RHEL Update ToolsZuweisung Channels

OC LINUX-RHEL5-4.3


Aufbau Linux XML analog Oracle XML

<tree name=„OC-LINUX"> <pre_upgrade_rpm value=„oc-customization yum rhn*"/><post_upgrade_rpm value=„oc-customization bibit"/><pre_upgrade_service_major value="rgmanager|stop"/> <post_upgrade_shell_minor value="killall -9 clurgmgrd"/> <UpdateExclude value=„oc-oracle* ocbit*"/> <branch name="RHEL6"> <leaf_major_version name="3"

<leaf_minor_version name= "2" status="productive"><kernel_version value="2.6.32-279.el6.x86_64"/><RPM_required value="device-mapper-multipath-0.4.9-56.el6.x86_64

lvm2-2.02.95-10.el6.x86_64 sssd-1.8.0-32.el6"/><RPM_optional value="rzoper-3-0.noarch ocbit-3.6-1 oc-ovoagt-8.6-7 cfg2html-linux-1.74-1.noarch"/><CONFIG_optional value="/etc/snmp/snmpd.conf /opt/hp/hpsmh/conf/smhpd.xml "/>

( ... )


5Automatisierung und Update-Zyklen


Automatisierung – Oracle Self Service

Automatisch erfolgt: Systemprüfung Bereitstellung der Software-Installation Erstellung der Instanz nach

Kundenparametern Einbindung in Monitoring Einbindung in Backup Management Systemabnahme Erstellung der Systemdokumentation Benachrichtigung nach Fertigstellung

Ohne manuelle Eingriffe!


Release-Zyklus Linux/Oracle 1

Development Aktuelle Arbeitsversion Kann manuell für Tests installiert werden, keine Installation mit

Standard-Installationsverfahren Kein Support durch OS/Datenbankbetrieb

Default Standard-Release Bevorzugtes Release für Standard-Installationsverfahren Support durch OS/Datenbankbetrieb

Produktiv Produktives Release Installation bei begründeten Anforderungen möglich Support durch OS/Datenbankbetrieb


Release-Zyklus Linux/Oracle 2

Phase Out Unterstütztes Release Keine Installation mit Standard-Installationsverfahren Support durch OS/Datenbankbetrieb

Terminated Nicht unterstütztes Release Keine Installation mit Standard-Installationsverfahren Kein Support durch OS/Datenbankbetrieb


Beispiel Update-Zyklen Linux OS

Minor Updates in monatlichen Zyklen analog den MS Windows Updates Automatisiert über den Red Hat Satellite in einzelnen Waves Patchwaves: Zeitzonen gesteuert

Major Updates in Quartalszyklen Reboot erforderlich Manueller (kontrollierter) oder automatischer Start

Automatische Koordination mit Oracle Updates


Beispiel Update-Zyklen Oracle DB Instanz

Minor-Updates in monatlichen Zyklen Minor Update Prozess komplett automatisiert Automatische Software Installation Teil des Update Prozesses Instanz-Updates analog Linux Updates über Satellite in Patchwaves

Major-/ Non Standard-Updates in Quartalszyklen Updates werden manuell gestartet und ausgewertet Software Installation als Oracle Self Service verfügbar

Automatische Koordination mit Linux Updates


Diskussion


Kontakt

Andreas Haak, Seniorberater


Standort Bad [email protected] +49 6172 66260-0Mobil +49 173 7279053

youtube.com/opitzconsulting

@OC_WIRE

slideshare.net/opitzconsulting

xing.com/net/opitzconsulting

Dirk Gießler, Seniorberater


Standort Bad [email protected] +49 6172 66260-0Mobil +49 173 7276090

mailto:[email protected]



Technology

Von der Strategie zur Praxis - Installationen und Updates global ausgerollt