www.messe.de

Praxisbericht

SAP Datenbank (Oracle) Upgrade nach 11gR2

Andreas Ellerhoff, DBA Deutsche Messe

Seite: 2

Can this work … ? Yes it can … !

Seite: 3Seite: 3

Agenda

• Wer ist die „Deutsche Messe“ ? … CeBIT ?

• SAP Landschaften bei der Deutschen Messe

• SAP Hinweise + Oracle Notes für das Upgrade

• Upgrade der Datenbank nach 11.2

• Vergleich 10.2 zu 11.2 ( Q/E/T - Landschaft )

• Bewertung und Ausblick

Seite: 4

Top 10 der weltweit größten Messen

495.265

345.000

321.754

284.000

263.888

248.141

230.837

227.380

213.813

206.000

Hannover

Milano (Rho/new site)

Frankfurt (Main)

Cologne

Düsseldorf

Chicago

Valencia

Paris expo

Moskau (Crocus Expo IEC)

Paris – Nord Villepint

Quelle: AUMA 04/08

DE

IT

DE

DE

DE

USA

ES

FR

RUS

FR

Messeplatz

• Hannover Messe (60 Jahre)

• CeBIT (25 Jahre)

• EXPO 2000• IAA (Nutzfahrzeuge)

• EMO (Maschinenbau)

• Agritechnika (Landmaschinen)

• EuroTier (Landwirtschaft)

• Ligna (Holzmaschinen)

• Domotex (Bodenbeläge)

• CeMAT (Logistik)

• EuroBLECH (Blechverarbeitung)• ...

internationale LeitmessenHallenfläche

in m²

Seite: 6

CeBIT2012 06.03. – 10.03.

Seite: 7Seite: 7

AgendaAgenda

• Wer ist die „Deutsche Messe “? … CeBIT ?

• SAP Landschaften bei der Deutschen Messe

• SAP Hinweise + Oracle Notes für das Upgrade

• Vorbereitung der Oracle Datenbank für das Upgrade

• Upgrade nach 11.2

• Vergleich 10.2 zu 11.2 im SAP ( QS Systeme )

• Bewertung und Ausblick

SAP Landschaften (ERP, CRM, BW, RM)

Oracle SAP Datenbanken:• ERP: 4DBs• CRM: 4DBs• BW: 4DBs + 4HilfsDBs• RM: 3DBs• SM: 1DB• ZBV: 1DB• TREX: 1DB

Seite: 9Seite: 9

SAP 4-System-Landschaft BW

Cold Failover

Cluster

RZ1 RZ2

RZ3

1 KM Distanz

EMC SRDF Replikation

EMC Storage

Tower 1

EMC Storage

Tower 2

Centrix Store

Backup Server

BW Produktion Cold Failover

BW Produktion

LISTENER1

BW Test

BW QS

BW Entwicklung

BW Java

BW Java

BW Java

BW Java

Upgrade Status

11g - Datenbanken:• ERP: 3DBs• CRM: 3DBs• BW: 3DBs + 3HilfsDBs• RM: 2DBs

CQ Upg

rade

(11.

2.0.

2.2,

SBP20

1102

)

CQ3 U

pgra

de (1

1.2.

0.1.

1)

CT Upg

rade

(11.

2.0.

2.2

SBP2011

05)

CE Upg

rade

(11.

2.0.

2.2

, SBP20

1105

)

CP U

pgra

de (1

1.2.

0.2.

2 SBP20

1105

)

- 2010 - KW7 KW25 KW26 KW32

Seite: 11Seite: 11

• Wer ist die „Deutsche Messe “? … CeBIT ?

• SAP Landschaften bei der Deutschen Messe

• SAP Hinweise + Oracle Notes für das Upgrade

• Vorbereitung der Oracle Datenbank für das Upgrade

• Upgrade nach 11.2

• Vergleich 10.2 zu 11.2 im SAP BW (System QS)

• Bewertung und Ausblick

Agenda

Seite: 12Seite: 12

SAP Hinweise

SAP Hinweis zu init.ora Parametern• 1431798 - Oracle 11.2.0: Einstellungen der Datenbankparameter

• 1171650 - Automatisierter Oracle DB Parametercheck

SAP Hinweise zu Datenbank Features (Compression, etc.)• 1436352 - Oracle 11g: Advanced Compression für SAP-Systeme

• 701235 - Verwendung der Oracle-Komprimierung und BW

• 1109743 - Komprimierung von Indexschlüsseln für Oracle-Datenbanken

SAP Hinweise zu BR Tools• 1430669 - BR*Tools Unterstützung für Oracle 11g

• 1464156 - Unterstützung für Index-Komprimierung in BRSPACE 7.20

• 1080376 - Erweiterungen in Reorganisation und Rebuild

SAP Hinweise

SAP Hinweise zum Upgrade (insbes. SAP Upgrade Guide)• 1431793 - Oracle 11.2.0: Upgrade-Skripte (11ginstall-11202-028-complete.zip)

• 1431794 - Oracle 11.2.0: Instant Client

• 1524205 - Oracle 11.2.0: Database Software Installation

• 819829 - Oracle Instant Client: Installation/Konfiguration unter Unix

• 1519872 - SAP-Datenbankbenutzerprofil SAPUPROF

SAP Hinweise zur Durchführung des Upgrade• 1431800 - Oracle 11.2.0: Central Technical Note

• 1326067 - Vorhaltezeit für Automatic Workload Repository konfigurieren

Oracle Notes – Reorganisation/ Upgrade

• Oracle Notes zur Reorganisation der Datenbank• [ID 1148577.1] How To Gather and Display The Workload System Statistics? • [ID 742760.1] ORA-01426 Identify the Object/Extents at the End of the Datafile Before Reclaiming Space• [ID 130866.1] How to Resolve ORA-03297 When Resizing a Datafile by Finding the Table Highwatermark• [ID 1109438.1] Oracle Demantra Shrink vs. Rebuild Schema Fragmentation/Chaining Elimination• [ID 1223705.1] Master Note for OLTP Compression• [ID 1061366.1] List of Critical Patches Required For Oracle 11g Table Compression• [ID 785787.1] 11g new features:Advanced Compression overview and advantages

• Oracle Notes zum Upgrade• [ID 988222.1] Oracle Database 11g Release 2 Information Center • [ID 742060.1] Release Schedule of Current Database Releases• [ID 884522.1] How to Download and Run Oracle's Database Pre-Upgrade Utility• [ID 567506.1] Maximum SHMMAX values for Linux x86 and x86-64 (max. 4GB für LINUX-64)• [ID 169706.1] Oracle Database on Unix AIX,HP-UX,Linux,Mac OS X,Solaris,Tru64 Unix Operating Systems Installation and

Configuration Requirements Quick Reference (8.0.5 to 11.2) (ab 11.2 min. 4GB) • [ID 870814.1] Complete checklist to upgrade the database to 11g R2 using DBUA• [ID 837570.1] Complete Checklist for Manual Upgrades to 11gR2• NOTE:785351.1 - Oracle 11gR2 Upgrade Companion

• Oracle Upgrade Links • http://www.oracle.com/technetwork/database/upgrade/upgrade11gr2-2day-workshop-73044.pdf (!)• http://www.oracle.com/technetwork/database/upgrade/index.html

Release Schedule of Current Database Releases [ID 742060.1]

Seite: 16Seite: 16

Agenda

• Wer ist die „Deutsche Messe “? … CeBIT ?

• SAP Landschaften bei der Deutschen Messe

• SAP Hinweise + Oracle Notes für das Upgrade

• Upgrade nach 11.2

• Vergleich 10.2 zu 11.2 im SAP BW (System QS)

• Bewertung und Ausblick

Gründe für den Upgrade nach 11g

• Gute Erfahrungen mit 11g Datenbanken• Technische Neuerungen der letzten 5J• Komprimierung + Tuning• Umfassendes Monitoring• Management im Grid

• Wartung für Oracle10gR2 endet 07/2011• http://www.oracle.com/us/support/057419.pdf#page=6• Oracle 10gR2 Patche bis 04/2011

• Anpassungen der Infrastruktur• File system (mount Parameter: -noatime -notail)• OS (SLES 10sp2 -> 10sp4) höherer PatchSet

• Reorganisation der Datenbanken• Data Pump (DBs <500GB)

Seite: 18

(warum, wie , womit) Upgrade zur Version 11g

• warum: Gründe für den Upgrade nach 11g

• wie: Vorbereitungen (SAP Upgrade Guide als Leitfaden)

• womit: OUI, DBUA, opatch

• INSTALLER_CHECK (runInstaller) – Parameter korrigieren, diverse Prüfungen mit Skripten

• INSTALLER (runInstaller, )- Oracle Base ( 11.2.0.2+PSU2 )

• mopatch SBP201105 Installation für Binaries etc. (+PSU2)

• dbua.sap.sh (DBUA) – das Datenbank Upgrade kann beginnen

Seite: 19

Konsolidierung der 10.2 Datenbanken ?

• Reorganisation und Drücken der HWM (->DataPump)

• 10g-DBs mit neuem PSU7 und SBP vor Upgrade bestücken? unterschiedliche Patch Stände gibt ? Finale Patche für 10.2 ? (??? notwendig ???)

• komplexe SAP Skripte für INITORA Empfehlungen• Parameterempfehlung zu 10.2 + 11.2 . beachten – viele Hinweise beachten

• init.ora Parameter sind in 11g überschaubar (verglichen mit 10g)

• Für PSU existieren eindeutige Zuordnungen für Parameter. konsistente spfile- Skripte zur Zeitersparnis? Teilweise in SBP201105 von der SAP umgesetzt.

SAP UPGRADE GUIDE 11g Release 2 (11.2)

nur „50 Seiten“+ viele Hinweise

ORACLE_HOME=/oracle/<SID>/112_64

ORACLE_HOME=/oracle/<SID>/11202

Aufruf des OUI – check inklusive ?

• INSTALLER + INSTALLER_CHECK• Prüfung auf Installationsanforderungen ist umfassend (OS

Packages+Params) • Bei der Parameterkonfiguration für das OS (SLES10) helfen

darüberhinaus Fix-Skripte des OUI

• multi-user-Instanz-Konfigurationen• oraInst.loc muß auf das richtige oraInventory zeigen, da in der

Regel mehrere vorhanden sind• ORACLE_BASE ( /oracle ) ist entweder mit erweiterten Rechten

ausgestattet und für die installierten ora<SID> user zugänglich.• /oracle/cfgtoollogs muß während des Upgrade für die betreffenden

user im Zugriff sein

• Deinstallation von ORACLE_HOMEkallisto:oracq3 89> /oracle/CQ3/102_64/oui/bin/runInstaller –silent -detachHome ORACLE_HOME="/oracle/CQ3/112_64"

Starting Oracle Universal Installer...'DetachHome' was successful.

Specials

• PROFILE SAPUPROF• CREATE PROFILE SAPUPROF LIMIT FAILED_LOGIN_ATTEMPTS UNLIMITED

PASSWORD_LIFE_TIME UNLIMITED;• ALTER USER SAPDMA PROFILE SAPUPROF;

• ALTER USER SAPDMADB PROFILE SAPUPROF;

• remote_os_authent ( init.ora Parameter )

• Meldungen hierzu ignorieren – andernfalls ist der interne SAP Connect zur Datenbank nicht mehr möglich und der AppServer startet nicht mehr.

• Komponenteninformationen• SAP_BASIS – 701- 0005

• SAP_BASIS – 701- 0007

• SAP_BASIS – 700- 0013

Oracle Base Installation mit INSTALLER (+PSU) + SAP BundleSet MOPatch

SAP Bundle Patch Set:SAP_112022_201105_LINX8664.zip/stage/112_64

Oracle Base Installation (inkl. PatchSet):/stage/112_64

SAP UPGRADE Skript:11ginstall-11202-028-complete.zip/stage/112_64/database/SAP( ./INSTALLER oder ./INSTALLER_CHECK )

ZIELVERZEICHNIS:Da wir die QS-Systeme schon anhand GUIDEv114 umgestellt hatten:ORACLE_HOME=/oracle/<SID>/112_64

Empfehlung SAP GUIDE v201:ORACLE_HOME=/oracle/<SID>/11202

Probleme bei BIN - INSTALLER

• OH – Verzeichnis ist zu klein !• Eine adhoc Gegenmaßnahme: aus OH 10g

$ORACLE_HOME/.patch_storage vorher verschieben

• Nach der SBP201105 Installation haben Sie weniger als die üblichen 38 Patche ! (z.B. nur 29)

• /$ORACLE_HOME/OPatch/opatch lsinventory• Neuinstallation des OH, wenn auch hier Platzprobleme.

(OH mit mehr Platz versorgen!)

⇒11g OH benötigt min. 6GB (inkl. 1GB Reserven) ⇒11g OH + SBP min. 10GB (inkl. 2-3GB Reserven)

(leider gibt es keine Warnung vor der SBP Installation, wenn der Platz im file system nicht ausreicht)

DBUA – nun das Datenbank Upgrade

Oracle Upgrade Assistent:

./dbua.sap.sh

(.../dbua )

Probleme beim Upgrade mit DBUA ?

• Der DBUA läuft in eine Endlosschleife• LOG Dateien mit Prüf-SQLs editieren (/oracle/cfgtoollogs/dbua/CE2/upgrade1/sqls.log)

• Beim Prüfen, ob der RMAN aktiv auf der Instanz arbeitet, wird die DD viewSYS.V_$RMAN_BACKUP_JOB_DETAILS zugegriffen

• Eine Instanz befand sich bzgl. DD und controlfile in inkonsistenem Zustand • view ließ keinen Zugriff auf Daten zu, dennoch keine Fehlermeldung!• Erfolgreiche Maßnahme: Neuerstellung des Controlfile der Datenbank !

• OEM Agent läuft während des Upgrade• Für das DD wichtige Tabellen X$DIAG* konnten nicht angelegt werden und waren

offensichtlich blockiert.⇒Datenbank konnte nach dem Upgrade Abbruch nicht mehr gestartet werden, so daß

ein RMAN restore+recover notwendig wurde⇒Agent stoppen und nach dem Upgrade Neuinstallation des Oracle Agent

• Meldung „unable to extend …“ während des Upgrade• NICHT ignorieren! Datenfiles mit geeigneten Mitteln erweitern

• 2 „unechte Fehlermeldungen“ müssen auftreten. • Wenn diese bei etwa 75% des Upgrade-Verlaufs nicht aufpoppen, ist der Dialog

vielleicht im Hintergrund versteckt !?

Upgrade Abfolge und offline Zeit

Online30Min

Umgebung umstellen (SAP shellskripte)Instantclient10gBRTOOLS (neue Version)

SAP

startsapSAP

offline15MinSBP_05_2011 ( psu2 post upgrade, spfile anpassen )SAP

offline30MinUpgrade RDBMS ( +psu2 post upgrade )Oracle

stopsapSAP

online15Min10g DB preparieren (PreUpgrade Skripte)Oracle

online15MinUmgebung preparieren (INST GUIDE)Oracle

online30MinInstallation SBP ( inkl. PSU2 + div. Patche )SAP

online30MinInstallation BASE 11.2.0.2.Oracle

offlinemehrere hFS Mount Parameter umstellenOS

offline/online4hUpgrade OS SLES10u4OS

DB Downtime ?DauerMaßnahmeBetroffen

Postinstallation

• SAP UPGRADE GUIDE befolgen• @?/sapbundle/SAP_112022_201105/catsbp.sql • Parameter _FIX_CONTROL setzen• Parameter EVENT setzen• SQL> select comments from registry$history;

CE2 (SAP Entwicklungsdatenbank)

2x PSU 11.2.0.2.2 ???

LOG: /oracle/cfgtoollogs/dbua/CT1/upgrade1/Oracle_Server.log:…• Rem Call catbundle.sql to apply PSU• @@catbundle.sql << 2 arguments passed >>

catbundle_PSU_CT1_GENERATE_2011Jun22_07_50_54.log:...Current bundle installed: (0) - NoneStarting bundle ID: 1 Processing components and files for bundle 1: PSU 11.2.0.2.1 Processing components and files for bundle 2: PSU 11.2.0.2.2 Apply SQL file: /oracle/CT1/112_64/rdbms/admin/catbundle_PSU_CT1_APPLY.sql...

catbundle_PSU_CT1_GENERATE_2011Jun23_13_16_15.log:...Current bundle installed: (2) - PSU 11.2.0.2.2Starting bundle ID: 2 Processing components and files for bundle 1: PSU 11.2.0.2.1 Processing components and files for bundle 2: PSU 11.2.0.2.2 Apply SQL file: /oracle/CT1/112_64/rdbms/admin/catbundle_PSU_CT1_APPLY.sqlRollback SQL file: /oracle/CT1/112_64/rdbms/admin/catbundle_PSU_CT1_ROLLBACK.sql ...

Weitere Maßnahmen -> Benefits realisieren

• Erwartung: Komprimierung mit den brtools• Datenformate konvertieren (long->lob)

• Strukturen verbessern („initial extend“- Korrekturen)

• Datenmenge reduzieren (netto Füllstände)

• Wunsch: Reorganisation mit der Data Pump• HWM reduzieren -> file systeme entlasten

• Datendichte erhöhen

• Beseitigung korrupter Blöcke ( Q-Systeme )

• Einsatz erlaubt, aber kein SAP-Support

brspace Beispiele: Datentypkonvertierung (LONG nach LOB)

brspace -u / -f tbreorg -a long2lob -o sapdma -s PSAPDMA -t allsel -n PSAPDMA -c ctablob -lc medium –SCT

-u system (oracle) user internal /

-f Funktion tbreorg

-a Aktivität long2lob

-o sap (schema) user sapdma

-s TBS quelle PSAPDMA

-n TBS neu PSAPDMA_C

-t Tabellenauswahl allsel

-c Komprimierungsoption ctablob

-ic IndexKomprimierung Auswahlfunktion ora_proc

-p Parallelität 4

brspace Beispiele: Indizes komprimieren

brspace -u / -c force -f idrebuild -o sapdma -s PSAPDMA -i allsel -c cind_only -ic ora_proc -l 1 -p 7

-u system (oracle) user internal / -f Funktion idrebuild

-o sap (schema) user sapdma-s TBS quelle PSAPDMA -n TBS neu PSAPDMA_C -t Tabellenauswahl allsel-c Komprimierungsoption cind_only-ic IndexKomprimierung Auswahlfunktion ora_proc-l initial extent (1=16K, 2=64K)-p Parallelität ( 4 bzw. 6 )

brspace Beispiele: Tabellen komprimieren

brspace -u / -f tbreorg -a reorg -o sapdma -s PSAPDMA -t allsel -c ctab -SCT -l 2 -p 7

-u system (oracle) user internal / -p Profil mit Ausnahmetabellen reorgEXCL.tab-f Funktion tbreorg

-o sap (schema) user sapdma-s TBS quelle PSAPDMA -n TBS neu ( PSAPDMA_C oder denselben )-t Tabellenauswahl allsel-c Komprimierungsoption ctab-ic IndexKomprimierung Auswahlfunktion ora_proc-l initial extent (1=16K, 2=64K)-p Parallelität ( 4 bzw. 7 )

„Komprimierung“ und „Initial Size“

BW – Komprimierung – konkret

• Welche Resultate werden erzielt ? • BRSPACE ( – 3 Kommandos – „+X“ )• Ausgangsposition0 (exist. 10g Datenbank): 287,896GB• Ausgangsposition1 (reorg. Datenbank ohne PSA): 192,197GB• Ausgangsposition2 (InitExt Problem Index gefixt): 174,757GB• BRSPACE Funktion long_to_lob (10Min): 174,634GB• BRSPACE Funktion Tabellen Komprimieren (10h): 167,726GB• BRSPACE Funktion Indizes Komprimieren: 167,344GB• BRSPACE InitExt v. Tabelle "/BI0/ASD_O0500" runter: 165,688GB• BRSPACE InitExt v. Index "RSMONMESS~TIM" runter: 163,702GB• ...• Schätzung ~100,000GB

Data Pump: Reorganisation der Tabellen/Indizes

• Focus: TBS „PSAPDATA“ / Schema „SAPDMA“ und deren HWM reduzieren, um das Dateisystem zu entlasten

• Einsatz von Datapump (expdp/impdp) erzielt implizite Reorganisation

• Für die Parallelisierung (z.B. 4) benötigt die Instanz genug Ressourcen

Achtung: Vor dem Löschen des Schemas SAPDMA + Einsatz der Data Pump

• Beim „Bewegen von Daten“ mit der Data Pump oder „Löschen von Daten“ entsteht massiver Redolog (!)

• Datenbank sollte im noarchivelog Mode sein• Keine gleichzeitigen Backups fahren

• Löschen des users sapdma ist langsam • evtl. zuvor mit Skript Tabellen entfernen

• Performance der Data Pump• Einsatz mehrerer Directory Pfade und DMP Dateien auf Platten verteilen• PARALLEL Option nutzen• DB Parameter:

• DB_BLOCK_CKECKING=FALSE• DB_BLOCK_CHECKSUM=FALSE• SHARED_POOL_SIZE groß genug• db_cache_advice = OFF• session_cached_cursors = 800• …

• Performanceprobleme bei Data Pump Export/Import • 10g: CRM <2h / BW <2h /ERP <4h (tägliche logische Sicherung)• 11g: CRM >15h / BW >7h / ERP x (Bug, Oracle Support, workaround vorgeschlagen)

Agenda

• Wer ist die „Deutsche Messe “? … CeBIT ?

• SAP Landschaften bei der Deutschen Messe

• SAP Hinweise + Oracle Notes für das Upgrade

• Upgrade nach 11.2

• Vergleich 10.2 zu 11.2 im SAP (vorher-nachher)

• Bewertung und Ausblick

Vergleich 10.2 zu 11.2 im SAP (ERP/CRM/BW)

• Speicherverhalten (Backup, Platte)

• Laufzeiten des Backup

• Funktions/Performance Tests durch Tester („Gefühlter Faktor“)

CT – Landschaft nach Komprimierung und Reorganisation (Data Pump)

2,12,066,267,9137,8BW

2,32,184,792,0197,1CRM

2,42,4-146,6349,8ERP

Faktor2Faktor1nacher(Reorg)

nacher(Komp)vorher

NETTO (GB)

Datenbanksicht

CT – Landschaft nach der Reorganisation

5,567,8370,0BW

2,586,0210,8CRM

1,0414,6414,6ERP

Faktornacher(Reorg)vorher

HWM (GB) OS Systemsicht

CT – Landschaft BACKUP Laufzeiten

1,41,347,052,067,0BW

2,01,767,079,0133,0CRM

-1,4-115,0166,0ERP

Faktor2Faktor1nacher(Reorganisation)

nacher(Komprimierung)vorher

Backup full+online (Minuten)

Seite: 43

Zusammenfassung und Bewertung

• Viele „aufgestaute Probleme“ wurden in der Upgrade Phase zusätzlich gefixt :• Überdimensionierte Initial Extents bei Indizes/Tabellen• IO-System mit schwachen mount Optionen (jetzt mit noatime,notail Option) korrigiert• OS wurde gepatched -> SLES10sp4 • Init.ora-Parameter justiert und standardisiert (setall, HW1171650)• SPBs wurde nun erstmalig vollständig installiert

• Das Upgrade lässt im Prinzip kaum Fehler zu• Der parametrisierte DBUA arbeitet sehr zuverlässig und ist transparent. • Der sich weiterentwickelnde SAP Upgrade Guide ist eine gute Grundlage• Ernste Probleme gab es mit dem OEM Agent da das Blockieren von X$DIAG Tabellen zu

unreparablen Schäden im DD führt und damit den Verlust der Instanz. ->Agent down

• Die 11.2 Datenbank arbeitet „gefühlt“ erheblich schneller. • Plattenspeicher wird reduziert

• CT: ERP:2.4, CRM:2.1,BW:2.0• Backup ist erheblich schneller und kleiner• Data Pump „klemmt“ unter 11.2 (Bug: 5x langsamer als unter 10g)

• Die SAP Anwendung arbeitet gemäß Testprotokolle erheblich schneller• Tester erzielen beim Umstieg auf neue IO Parameter >50% Performancegewinn

• BRTOOLS fallen positiv auf. (Kommandozeilenorientiert – mit Erfolgsgarantie)

• Mit 3 Aufrufen von BRSPACE ist die DB komprimiert.