MySQL Cluster 7 - twg-it: Oracle Datenbankberatung in …€¢ Grid 11.2.0.1 plus Oracle Enterprise Edition 11.2.0.1 • Storage auf Openfiler 2.1 über iSCSI angebunden • RAC mit

science + computing ag

IT-Dienstleistungen und Software für anspruchsvolle Rechnernetze

Tübingen | München | Berlin | Düsseldorf

RAC Prozessarchitektur Ist der Überblick noch zu retten?

DOAG Nürnberg, Jahrestreffen 2010 Thorsten Grebe ([email protected])

© 2010 science + computing ag Seite 2

• Begriffsklärung

• Die Prozesse

• Die logische Sicht

• Die chronologische Sicht

• Die funktionale Sicht

• Die wahre Sicht

• Zusammenfassung

Agenda


Was ist Clusterware?

Begriffsklärung


Definition aus:

Clusterware Administration and Deployment Guide (e16794, 08.2010)

Aus dem Glossar:

Oracle Clusterware

Software that allows groups (clusters) of connected servers

to operate or be controlled as a unit.

Oracle Clusterware stack

The Oracle Clusterware stack includes Oracle Clusterware,

Event Manager, Cluster Synchronization Services, and Oracle ASM (if used).

Begriffsklärung: Was ist Clusterware?

Begriffsklärung

RAC-Semantik

Clusterware Stack = Clusterware + EVM + CSS + ASM


Aus Anhang E (CRSCTL Command Reference):

Aus Befehlshilfe:

Begriffsklärung: Was ist Clusterware?

Begriffsklärung

Definition aus:


crsctl stop cluster

... Oracle Clusterware stops the Oracle Clusterware stack...

RAC-Semantik

Clusterware Stack = Clusterware + EVM + CSS + ASM

[root@node1 ~]# crsctl stop --help

...

crsctl stop crs [-f]

Stop OHAS on this server

...

crsctl stop cluster [[-all]|[-n <server>[...]]] [-f]

Stop CRS stack

CRS Stack != CRS

CRS Stack = Cluster = Clusterware Stack ?

CRS = High Availability Services ?


Definition aus:


Aus Introduction to Oracle Clusterware 1-1:

Aus Introduction to Oracle Clusterware 1-7:

What is Oracle Clusterware?

Oracle Clusterware enables servers to communicate...

Oracle Clusterware provides the infrastructure...

Begriffsklärung ?

The Oracle Clusterware Stack

Oracle Clusterware consists of two separate stacks: an upper stack anchored by the

Cluster Ready Services (CRS) daemon (crsd) and a lower stack anchored by the

Oracle High Availability Services daemon (ohasd).

Clusterware (Stack) = zwei Stacks, nämlich:

Stack 1 wird kontrolliert vom CRSD Cluster Ready Services Stack

Stack 2 wird kontrolliert vom OHASD High Availability Services Stack

2 Stacks oder 3 Stacks?

Erkenntnis: Der Umgang mit den Begriffen Clusterware (Stack),

CRS (Stack), OHAS (Stack) ist entspannt.


Die Stacks der/des Clusterware (Stacks) Auszug aus

Clusterware Administration and Deployment Guide (e16794, 08.2010), Seite 1-8:

The Cluster Ready Services Stack

The list in this section describes the processes that comprise CRS. ...

■ Cluster Ready Services (CRS)...

■ Cluster Synchronization Services (CSS)...

■ Oracle ASM...

■ Cluster Time Synchronization Service (CTSS)...

■ Event Management (EVM)...

■ Oracle Notification Service (ONS)...

■ Oracle Agent (oraagent)...

■ Oracle Root Agent (orarootagent)...

The Oracle High Availability Services Stack

The list in this section describes the processes that comprise

the Oracle High Availability Services stack. ...

■ Cluster Logger Service (ologgerd)...

■ System Monitor Service (osysmond)...

■ Grid Plug and Play (GPNPD)....

■ Grid Interprocess Communication (GIPC)...

■ Multicast Domain Name Service (mDNS)...

■ Oracle Grid Naming Service (GNS)...

Begriffsklärung ?



• Die Prozesse




• Die wahre Sicht

• Zusammenfassung

Agenda


RAC - Testsystem

• Oracle VM Template Oracle Enterprise Linux (OEL) 5.4 64bit

• Grid 11.2.0.1 plus Oracle Enterprise Edition 11.2.0.1

• Storage auf Openfiler 2.1 über iSCSI angebunden

• RAC mit 3 Knoten

• Basisinstallation mit ASM und ACFS-Dateisystem

Die Prozesse: Testsystem


[oracle@node1 ~]$ ps -ef | egrep 'init.d|grid'

root ... /bin/sh /etc/init.d/init.ohasd run

root ... /opt/oracle/app/grid/11.2.0/bin/ohasd.bin reboot

oracle ... /opt/oracle/app/grid/11.2.0/bin/oraagent.bin

oracle ... /opt/oracle/app/grid/11.2.0/bin/gipcd.bin

oracle ... /opt/oracle/app/grid/11.2.0/bin/mdnsd.bin

oracle ... /opt/oracle/app/grid/11.2.0/bin/gpnpd.bin

root ... /opt/oracle/app/grid/11.2.0/bin/cssdmonitor

root ... /opt/oracle/app/grid/11.2.0/bin/cssdagent

root ... /opt/oracle/app/grid/11.2.0/bin/orarootagent.bin

oracle ... /opt/oracle/app/grid/11.2.0/bin/ocssd.bin

oracle ... /opt/oracle/app/grid/11.2.0/bin/diskmon.bin -d -f

root ... /opt/oracle/app/grid/11.2.0/bin/octssd.bin reboot

oracle ... /opt/oracle/app/grid/11.2.0/bin/evmd.bin

oracle ... /opt/oracle/app/grid/11.2.0/bin/oclskd.bin

root ... /opt/oracle/app/grid/11.2.0/bin/crsd.bin reboot

root ... /opt/oracle/app/grid/11.2.0/bin/oclskd.bin

oracle ... /opt/oracle/app/grid/11.2.0/bin/evmlogger.bin -o ...

oracle ... /opt/oracle/app/grid/11.2.0/bin/oraagent.bin

root ... /opt/oracle/app/grid/11.2.0/bin/orarootagent.bin

oracle ... /opt/oracle/app/grid/11.2.0/opmn/bin/ons -d

oracle ... /opt/oracle/app/grid/11.2.0/opmn/bin/ons -d

oracle ... /opt/oracle/app/grid/11.2.0/jdk/jre//bin/java ...eonsd ...

root ... /opt/oracle/app/grid/11.2.0/bin/gnsd.bin ...

oracle ... /opt/oracle/app/grid/11.2.0/bin/tnslsnr LISTENER -inherit

2. Architektur / Installation

$ ps -ef | egrep -i 'init.d|grid|acfs|oks|asm|ora_|orcl' | grep -v grep | wc -l

118

ca. 120 RAC Prozesse auf jedem Knoten

nach Basisinstallation mit ASM und ACFS

Die Prozesse: ps



• Die Prozesse




• Die wahre Sicht

• Zusammenfassung

Agenda


Zeichnung aus Metalink-Note 1053147.1 (11gR2 Clusterware and Grid Home - What You Need to Know)

Komplexität

Clusterware Prozesse: Die logische Sicht

einzelne

Prozesse

Ressourcen

nicht sichtbar auf

Prozessebene

dutzende

Prozesse

ursprünglich aus: Clusterware Administration and Deployment Guide (E10717-03, 08.2009)

(es fehlen Diskmon,GIPCD,

ACFS-Treiber, ACFS-Registry,

Diskgroup, Services)

?



Komplexität


einzelne

Prozesse

Ressourcen

nicht sichtbar auf

Prozessebene

dutzende

Prozesse


(es fehlen Diskmon,GIPCD,

ACFS-Treiber, ACFS-Registry,

Diskgroup, Services)

?

Stand 4.9.2010, Fehlerhafte Dokumentation zur Abbildung

http://download.oracle.com/docs/cd/E11882_01/rac.112/e10717/img_text/cwadd004.htm

The orarootagent starts ctssd,

the CSSD Monitor,

diskmon (Disk Monitor daemon),

gipcd (Grid IPC daemon),

and crsd.

Sind Überblick, Vollständigkeit und Fehlerfreiheit bei dem

aktuellen Komplexitätsgrad der Clusterware nicht mehr

miteinander vereinbar?

http://download.oracle.com/docs/cd/E11882_01/rac.112/e10717/img_text/cwadd004.htm



Komplexität


Level 1

Vier Level zum Clusterstart: Level 2

Level 3

Level 4

Level 1: Ohasd

Agenten

CSSD-Monitor

Level 2: HA-Ressourcen

ACFS-Treiber

Level 3: Agenten

Level 4: CRS-Ressourcen


crsctl status res -t -init

crsctl status res -t

undokumentierte Option "-init"


Clusterware Prozesse: Die logische Sicht- Korrektur

?

?

?

Nach Korrektur:

• CSSD-Monitor fehlt (neu)

(noch falsch im Kommentar)

• network fehlt (neu)

• ora.gns.vip fehlt (neu)

• cssdagent verwaist (neu)

• GNSD jetzt unter CRS-Oraagent

und unter OHASD-Rootagent

NEU: Zeichnung aus dem Clusterware Administration and Deployment Guide (E16794-07, 08.2010)




?

?

?

Nach Korrektur:








alte Version von August 2009



GNSD

?

Nach Korrektur:









ora.gnsd.vip Tragik der Korrektur?

Zu komplex?



• Die Prozesse




• Die wahre Sicht

• Zusammenfassung

Agenda


25

Clusterware Prozesse: Die chronologische Sicht

oraagent.bin 2

oraagent.bin 1

3

mdnsd.bin

Multicast Domain

Name Service

mDNS 5 gipcd.bin GIPC 4

gpnpd.bin GPNP 6

Grid Plug & Play

OHASD (r) 2

9

crsd.bin (r) 19

orarootagent.bin 2 22

init.ohasd (r) 1

11

I/O-Fencing in

Exadata Storage

diskmon.bin CTSS octssd.bin (r)

Cluster Time

Synchronization

Service

12

evmd.bin EVM 13

evmlogger.bin 14

ons 2 24

21 20

ons 1

23

Notification

Service

eONS

29

tnslsnr Listener

27

tnslsnr 28

SCAN-

Listener

ASM-Instanz 16

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28 29

Kill Daemon 1

oclskd.bin 17

oclskd.bin

Kill Daemon 2

cssdmonitor 7

cssdagent.bin 8

ocssd.bin 10

CSS

CSSD

15 oks_wkq

acfsioerrorlog

acfs_bast[0-7]

18 oks_rbld 3x

oks_conn

asmError0

asmShutdown

26 oks_comm 3x

acfsvol0

acfsds0

acfssnap0

SCAN VIP

Node VIP

Network

GNS VIP

ACFS Registry

Ressourcen

CRS

ASM Res.? Ressourcen

DB Res.

Diskgroups

gnsd

orarootagent.bin 1

Services

GNS

DB-Instanz 30


25


oraagent.bin 2

oraagent.bin 1

3

mdnsd.bin

Multicast Domain

Name Service


gpnpd.bin GPNP 6

Grid Plug & Play

OHASD (r) 2

9

crsd.bin (r) 19


init.ohasd (r) 1

11

I/O-Fencing in

Exadata Storage


Cluster Time

Synchronization

Service

12

evmd.bin EVM 13

evmlogger.bin 14

ons 2 24

21 20

ons 1

23

Notification

Service

eONS

29

tnslsnr Listener

27

DB-Instanz 30 tnslsnr

28

SCAN-

Listener

ASM-Instanz 16

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28 29

Kill Daemon 1

oclskd.bin 17

oclskd.bin

Kill Daemon 2

cssdmonitor 7

cssdagent.bin 8

ocssd.bin 10

CSS

CSSD

15 oks_wkq

acfsioerrorlog

acfs_bast[0-7]

18 oks_rbld 3x

oks_conn

asmError0

asmShutdown

26 oks_comm 3x

acfsvol0

acfsds0

acfssnap0

SCAN VIP

Node VIP

Network

GNS VIP

ACFS Registry

Ressourcen

CRS


DB Res.

Diskgroups

gnsd

orarootagent.bin 1

Services

GNS

Level 1

Level 2

Level 3

Level 4 Die "logische" Sicht auf die Clusterprozesse stimmt nicht

exakt mit der "chronologischen" Sicht auf Prozessebene überein.



• Die Prozesse




• Die wahre Sicht

• Zusammenfassung

Agenda


The Cluster Ready Services Stack

The list in this section describes the processes that comprise CRS. ...

■ Cluster Ready Services (CRS)...

■ Cluster Synchronization Services (CSS)...

■ Oracle ASM...

■ Cluster Time Synchronization Service (CTSS)...

■ Event Management (EVM)...

■ Oracle Notification Service (ONS)...

■ Oracle Agent (oraagent)...

■ Oracle Root Agent (orarootagent)...

The Oracle High Availability Services Stack

The list in this section describes the processes that comprise

the Oracle High Availability Services stack. ...

■ Cluster Logger Service (ologgerd)...

■ System Monitor Service (osysmond)...

■ Grid Plug and Play (GPNPD)....

■ Grid Interprocess Communication (GIPC)...

■ Multicast Domain Name Service (mDNS)...

■ Oracle Grid Naming Service (GNS)...

CSS wird direkt vom

OHASD gestartet

ASM, CTSS, EVM

werden von OHASD-

Agenten gestartet,

gehören aber in den

CRS-Stack

Erst ab 11.2.0.2, nicht in

11.2.0.1 (CHM muss

manuell nachinstalliert

werden)

es fehlen:

ACFS-Prozesse

Kill-Daemon

Diskmon

OHASD-Agenten

DB-Instanz

GNS steht unter Kontrolle

des CRS-Stacks

Verwirrend

Die Stacks der Clusterware Auszug aus

Clusterware Administration and Deployment Guide (e16794, 08.2010), Seite 1-8:

Clusterware Prozesse: Die funktionale Sicht


25


oraagent.bin 2

oraagent.bin 1

3

mdnsd.bin

Multicast Domain

Name Service


gpnpd.bin GPNP 6

Grid Plug & Play

OHASD (r) 2

9

crsd.bin (r) 19


init.ohasd (r) 1

11

I/O-Fencing in

Exadata Storage


Cluster Time

Synchronization

Service

12

evmd.bin EVM 13

evmlogger.bin 14

ons 2 24

21 20

ons 1

23

Notification

Service

eONS

29

tnslsnr Listener

27


28

SCAN-

Listener

ASM-Instanz 16

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28 29

Kill Daemon 1

oclskd.bin 17

oclskd.bin

Kill Daemon 2

cssdmonitor 7

cssdagent.bin 8

ocssd.bin 10

CSS

CSSD

15 oks_wkq

acfsioerrorlog

acfs_bast[0-7]

18 oks_rbld 3x

oks_conn

asmError0

asmShutdown

26 oks_comm 3x

acfsvol0

acfsds0

acfssnap0

SCAN VIP

Node VIP

Network

GNS VIP

ACFS Registry

Ressourcen

CRS


DB Res.

Diskgroups

gnsd

orarootagent.bin 1

Services

GNS

OHASD

Stack laut Doku

CRS Stack laut Doku



• Die Prozesse




• Die wahre Sicht

• Zusammenfassung

Agenda


[root@node1 ~]# crsctl stop --help

...

crsctl stop crs [-f]

Stop OHAS on this server

...

crsctl stop cluster [[-all]|[-n <server>[...]]] [-f]

Stop CRS stack

Was nach crsctl stop cluster übrig bleibt, muss der OHASD-Stack sein.

Clusterware Prozesse: Die wahre Sicht


25

oraagent.bin 2

oraagent.bin 1

3

mdnsd.bin

Multicast Domain

Name Service


gpnpd.bin GPNP 6

Grid Plug & Play

OHASD (r) 2

9

crsd.bin (r) 19


init.ohasd (r) 1

11

I/O-Fencing in

Exadata Storage


Cluster Time

Synchronization

Service

12

evmd.bin EVM 13

evmlogger.bin 14

ons 2 24

21 20

ons 1

23

Notification

Service

eONS

29

tnslsnr Listener

27


28

SCAN-

Listener

ASM-Instanz 16

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28 29

Kill Daemon 1

oclskd.bin 17

oclskd.bin

Kill Daemon 2

cssdmonitor 7

cssdagent.bin 8

ocssd.bin 10

CSS

CSSD

15 oks_wkq

acfsioerrorlog

acfs_bast[0-7]

18 oks_rbld 3x

oks_conn

asmError0

asmShutdown

26 oks_comm 3x

acfsvol0

acfsds0

acfssnap0

SCAN VIP

Node VIP

Network

GNS VIP

ACFS Registry

Ressourcen

CRS


DB Res.

Diskgroups

gnsd

orarootagent.bin 1

Services

GNS

# crsctl stop cluster Clusterware Prozesse: Die wahre Sicht


25

oraagent.bin 2

oraagent.bin 1

3

mdnsd.bin

Multicast Domain

Name Service


gpnpd.bin GPNP 6

Grid Plug & Play

OHASD (r) 2

9

crsd.bin (r) 19


init.ohasd (r) 1

11

I/O-Fencing in

Exadata Storage


Cluster Time

Synchronization

Service

12

evmd.bin EVM 13

evmlogger.bin 14

ons 2 24

21 20

ons 1

23

Notification

Service

eONS

29

tnslsnr Listener

27


28

SCAN-

Listener

ASM-Instanz 16

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28 29

Kill Daemon 1

oclskd.bin 17

oclskd.bin

Kill Daemon 2

cssdmonitor 7

cssdagent.bin 8

ocssd.bin 10

CSS

CSSD

15 oks_wkq

acfsioerrorlog

acfs_bast[0-7]

18 oks_rbld 3x

oks_conn

asmError0

asmShutdown

26 oks_comm 3x

acfsvol0

acfsds0

acfssnap0

SCAN VIP

Node VIP

Network

GNS VIP

ACFS Registry

Ressourcen

CRS


DB Res.

Diskgroups

gnsd

orarootagent.bin 1

Services

GNS

# crsctl stop cluster Clusterware Prozesse: Die wahre Sicht

4

3

6

9

oraagent.bin 1

mdnsd.bin

Multicast Domain

Name Service

mDNS 5 gipcd.bin GIPC

gpnpd.bin GPNP

Grid Plug & Play

OHASD (r) 2 init.ohasd (r) 1

15 oks_wkq

acfsioerrorlog

acfs_bast[0-7]

orarootagent.bin 1 OHASD

Stack der wahre ausgeblendet:

CRS Stack der wahre

Diese Prozesse, die nach crsctl stop cluster (Stop des CRS-Stacks) übrigbleiben,

sind nicht deckungsgleich mit Level 1 oder Level 2 aus Metalink-Note 1053147.1.

Sie sind nicht deckungsgleich mit den Prozessen des OHASD-Stacks aus dem Clusterware Guide.


25

oraagent.bin 2

oraagent.bin 1

3

mdnsd.bin

Multicast Domain

Name Service


gpnpd.bin GPNP 6

Grid Plug & Play

OHASD (r) 2

9

crsd.bin (r) 19


init.ohasd (r) 1

11

I/O-Fencing in

Exadata Storage


Cluster Time

Synchronization

Service

12

evmd.bin EVM 13

evmlogger.bin 14

ons 2 24

21 20

ons 1

23

Notification

Service

eONS

29

tnslsnr Listener

27


28

SCAN-

Listener

ASM-Instanz 16

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28 29

Kill Daemon 1

oclskd.bin 17

oclskd.bin

Kill Daemon 2

cssdmonitor 7

cssdagent.bin 8

ocssd.bin 10

CSS

CSSD

15 oks_wkq

acfsioerrorlog

acfs_bast[0-7]

18 oks_rbld 3x

oks_conn

asmError0

asmShutdown

26 oks_comm 3x

acfsvol0

acfsds0

acfssnap0

SCAN VIP

Node VIP

Network

GNS VIP

ACFS Registry

Ressourcen

CRS


DB Res.

Diskgroups

gnsd

orarootagent.bin 1

Services

GNS

Clusterware Prozesse: Die wahre Sicht

init.ohasd (r) 1

# crsctl stop crs

# crsctl stop crs

hat die gleich Wirkung wie

# /etc/init.d/ohasd stop

Kontraintuitive Begriffswahl. "stop crs" stoppt nicht den

CRS-Stack, sondern den

OHAS-Stack



• Die Prozesse




• Die wahre Sicht

• Zusammenfassung

Agenda


Zusammenfassung

• Positiv:

Die Automatisierung der RAC-Verwaltung wurde in 11gR2 deutlich erweitert.

IP-Adressen werden vom GNS automatisch verwaltet,

GPnP erlaubt das automatisierte Erweitern eines RAC um neue Knoten.

ACFS lässt sich spielerisch verwalten.

• Negativ:

Sehr hoher Komplexitätsgrad.

Der Umgang mit den Begriffen Clusterware (Stack), CRS (Stack), OHAS (Stack) ist

nicht immer stimmig.

Die Clusterware Dokumention 11.2 wirkt teilweise unvollständig.

• Take Home:

Die Clusterprozesse können chronologisch, logisch (Level 1-4) oder funktional

(OHAS-Stack, CRS-Stack) betrachtet werden. Die verschiedenen Sichten lassen

sich nicht 1:1 aufeinander abbilden.

"Die frühen Prozesse", ps -ef

"die Level 1 und Level 2 Prozesse", Metalink 1053147.1

"die Prozesse des OHAS-Stacks", Clusterware Guide

beschreiben nicht dasselbe, sondern nur ungefähr das gleiche.


RAC-Poster

Email: [email protected]

Download: http://www.science-computing.de/oracle

mailto:[email protected]



http://www.science-computing.de/oracle



Documents

MySQL Cluster 7 - twg-it: Oracle Datenbankberatung in …€¢ Grid 11.2.0.1 plus Oracle Enterprise Edition 11.2.0.1 • Storage auf Openfiler 2.1 über iSCSI angebunden • RAC mit