Toms PPT Präse - doag.org · © OPITZ CONSULTING 2016 OC Powerpoint Design 2017 V 0.91 / LTA / TGA / 14.10.2016 überraschend mehr Möglichkeiten! Layout: Titelfolie

© OPITZ CONSULTING 2016

OC Powerpoint Design 2017 V 0.91 / LTA / TGA / 14.10.2016

überraschend mehr Möglichkeiten!

Layout: Titelfolie Einsatz: Für den Titel einer Präsentation Inhalt: Haupttitel, Untertitel, Referent Tipps: /

© OPITZ CONSULTING 2016 Hinweis MKTG: Die Jahreszahl muss

hier und auf der Toplevel Masterfolie

ggf. pro Jahr angepasst werden!

Michael Schulze, Senior Consultant

Tools zur Diagnose von Weblogic

Performanceengpässen und

Fehlerzuständen DOAG Konferenz 2017 , 22.11.2017



Seite 2

Layout: Agenda Einsatz: Für Inhaltsangaben bei weniger als 5 Teilen Inhalt: Überschrift (bspw. Inhalt, Agenda, ...) Tipps: Alternatives Layout „Agenda > 5 Teile“ überzählige blaue Zahlenboxen löschen!

Agenda

1

2

3

4

5

Einleitung in die Thematik

Ressourcenprobleme OS-seitig

diagnostizieren

Betrachtung Weblogic /FMW Teil

Analyse von Java-Problemen im WLS /

FMW Kontext

Zusammenfassung der vorgestellten Tools

Tools zur Diagnose von Weblogic Performanceengpässen und

Fehlerzuständen



Seite 3

Layout: Teiltrenner Einsatz: Für die Abtrennung von Kapiteln Inhalt: Überschrift des Teils/Kapitels Tipps: Optional sind hier Detail-Inhaltsangaben mögl.

Einleitung in die Thematik

Performanceprobleme und

Fehleranalysen

Klassifizierung

Betrachtung von OS, Weblogic, Java

Vorstellung ausgewählter Tools

Linux-Umfeld, plattformübergreifend bei

Weblogic/Java

1


Fehlerzuständen



Layout: Titel & 1 Inhalt Einsatz: Standardfolie Inhalt: Überschrift, variabler Inhalt Tipps: Bitte Überschrift 1zeilig; div. Inhaltstypen sind möglich

Betrachtete Komponenten


Fehlerzuständen



Seite 5


Ressourcenprobleme OS-seitig

diagnostizieren

2


Fehlerzuständen

Betriebssystem (OS)

· Prozesse, limits, Kernelparameter· Systemressourcen analysieren (CPU, MEM, Platz)· Ressourcenverhalten über einen Zeitraum




Kontrolle Limits und Kernelparameter

Gesetzte Kernelparameter prüfen: /etc/sysctl.conf

mit aktuellen Werten im System

vergleichen (z.B. Shared Memory)


Fehlerzuständen

OS-Limits prüfen:

/etc/security/limits.conf

Vergleich mit aktuellen Limits des Users




IST-Aufnahme: Struktur des Systems ermitteln (1)

Verwendung von Remote

Diagnostic Agent (RDA) RDA über Metalink für verschiedene

Plattformen verfügbar

http://support.oracle.com

Doc ID 314422.1

Fragestellung:

Wie hängen Komponenten zusammen,

was wird verwendet?

Vorteil: Vorabanalyse


Fehlerzuständen

IST-Aufnahme Schritte

Download RDA-Version z.B. für Linux-

x64 + entpacken

Konfigurieren von RDA für jeweilige

Umgebung

Generieren der RDA-Daten

Auswerten der RDA-Daten mittels

Browser

http://support.oracle.com/






praktische Anwendung am Beispiel einer Forms-Domain Konfigurieren von RDA für jeweilige Umgebung

generieren der RDA-Daten für weitere Analyse


Fehlerzuständen





Auswerten der RDA-Daten für WLS / FMW Bereich insbesondere

Domain-Overview interessant

Ermittlung von Aufbau und Strukturen

bei großen Clusterumgebungen wertvolle

Grundlage


Fehlerzuständen




Aktuellen Systemstatus ermitteln (1)

Zielstellung: Analyse aktueller

Systemzustand (Performance,

Auslastung)

mit OS Mitteln möglich, aber

aufwändig

Vorstellung von 2 Tools einen für

gezielten Überblick


Fehlerzuständen

htop

http://hisham.hm/htop/

ncurses basiertes Tool für die

Commandline

quasi grafisches top

für verschiedene Plattformen verfügbar

glances

https://nicolargo.github.io/glances/

Python basiertes Tool mit Commandline

und Webserverfunktionalität

Vorteil von glances: umfassender

Ressourcenüberblick

http://hisham.hm/htop/







htop Überblick: Installieren aus Quelle nach Entpacken

z.B.

top kompatibel, grafische Darstellung der

Ressourcenauslastung

viele Optionen


Fehlerzuständen

htop in Action:





glances, es geht noch besser intuitive Nutzung durch Verwendung von

Farbgebung

Python-Anwendung mit vielen Optionen

Systemvorbereitung:

glances setzt Python2.7 mit passendem

PIP-Modul voraus und Installation einiger

Python-Module


Fehlerzuständen

Start der Anwendung:

Und jetzt glances in Action…




Aktuellen Systemstatus ermitteln (3) glances CLI, alles auf einen Blick:

Systeminfos

Ressourcen CPU, MEM …

Network

Disk IO

Filesysteme

Prozesse

glances Webinterface

analog zu CLI Variante möglich

Über Browser aufzurufen

Was will man mehr?


Fehlerzuständen




Systemanalyse über einen bestimmten Zeitraum (1)

oswatcher Analyse von Systemressourcen über

bestimmten Zeitraum

Bereitstellung über Metalink

http://support.oracle.com

Doc ID 301137.1

Bestandteil von Tracefile Analyzer (TFA)

Beschreibung: Starten oswatcher


Fehlerzuständen

Auswertung eines Zeitraums

ASCII und GUI-Variante möglich

Nutzung eines Java-Archives

wenig Ressourcenanspruch, unkritisch

im Einsatz

Tipp:

oswatcher als festen Bestandteil

integrieren

Vorteil: vergangene Werte verfügbar







Systemanalyse über einen bestimmten Zeitraum (2)

oswatcher Report, Beispiel:


Fehlerzuständen

Top Down Analyse



Seite 16


Betrachtung Weblogic (WLS) Teil

3


Fehlerzuständen

Weblogic / FMW-Komponenten

· IST-Analyse Konfiguration: AdminConsole, EM, WLST

· Logfileanalyse· Nutzen von ADRCI




Status Check Domain (1)

Nutzung der Adminconsole Fragestellung: Zustand

Domainkomponenten, Fehlerzustände,

Verfügbarkeit Datasources


Fehlerzuständen

Möglichkeit: Enterprise Manager insbesondere für Administration und

Zustandsermittlung von FMW-

Komponenten sinnvoll (z.B. Forms,

SOA..)





über Weblogic Scripting Tool hier im Bsp. mittels WLST unter Eclipse

(OEPE)


Fehlerzuständen

Thema detaillierter in meiner

veröffentlichten Artikelreihe https://www.opitz-

consulting.com/fileadmin/user_upload/Collater

als/Artikel/red-stack-magazin-2017-

02_WebLogic-WLST-Programmierung-unter-

Eclipse-mit-dem-Oracle-OEPEPlug-in-und-

PyDev_Schulze_sicher.pdf

https://www.opitz-consulting.com/fileadmin/user_upload/Collaterals/Artikel/red-stack-magazin-2017-02_WebLogic-WLST-Programmierung-unter-Eclipse-mit-dem-Oracle-OEPEPlug-in-und-PyDev_Schulze_sicher.pdf







































Prüfen Java Optionen (MEM-

Parameter)

Ermittlung java-Prozesse auf OS-Ebene

Check / Vergleich mit Konfiguration:


Fehlerzuständen

Check Memory-Ressourcen über

AdminConsole




Logfileanalyse in Weblogic (1)

Weblogic Logfiles $DOMAIN_HOME/servers/<SERVER>/logs

$DOMAIN_HOME/nodemanager

hierbei sind zu unterscheiden Domain-Log (enthält alles)

AdminServer-Log

jeweilige ManagedServer-Logs

Nodemanager-Log

Suche, Filterung Logfile nach BEA-, ORA- o.ä. durchsuchen

gefundene Klassifizieren nach z.B.

WARNING, ERROR


Fehlerzuständen

Recherche Fehlermeldungen

z.B: Weblogic-Fehler:

https://docs.oracle.com/cd/E24329_01/d

oc.1211/e26117/chapter_bea_messages

.htm

ORA- Fehler in Logfiles deuten auf

Backend-Datenbank Probleme hin

müssen auf DB-Zielsystemen

weiterverfolgt werden

https://docs.oracle.com/cd/E24329_01/doc.1211/e26117/chapter_bea_messages.htm








glogg Tool zur Unterstützung der

Logfileanalyse (allgemein)

http://glogg.bonnefon.org/download.

html

für verschiedene Betriebssysteme

Beispiel eines AdminServer.log

Filterung durch farbige

Unterscheidung z.B. nach String-

Kriterien wie: ERROR, WARNING

möglich


Fehlerzuständen

weiterer Vorteil: Direktsuche nach Einzelstrings

http://glogg.bonnefon.org/download.html









Verwendung von ADRCI Automatic Diagnostic Repository

Command Interpreter

insbesondere aus dem Oracle-DB-

Umfeld bekannt kann aber auch in

Weblogic/FMW-Umgebungen

verwendet werden

schnellere Ermittlung von

Fehlermeldungen mit ARDCI möglich

bestehende Issues und relevante

Meldungen werden dort angezeigt

Diagnosepaket für Oracle Support kann

generiert werden


Fehlerzuständen

Beispiel in einer Forms-Domain



Seite 23


Analyse von Java Problemen im WLS

/ Fusion Middleware (FMW) Kontext

4


Fehlerzuständen

Java Prozesse

· Erstellen und Auswertung Threaddumps· Einsatz von Java Mission Control (JMC), Flight

Recorder (JFR) · aktuelle Situation und Zeitraumbetrachtung durch

Nutzen von Java Flightrecorder




Threaddump erzeugen, Analyse und Auswertung (1)

Vorbereiten der Weblogic Umgebung Fehlersimulation in Weblogic

StuckTreadForFree, Application die dieses

Verhalten erzeugen kann

http://www.munzandmore.com/2012/ora/w

eblogic-stuck-threads-howto

Application muss zunächst deployed

werden

Aufruf über Browser

Im Beispiel: 3 Threads mit Laufzeit von

700s die Last erzeugen

Zustand ist Grundlage für die folgenden

Analysen


Fehlerzuständen

deployed application

Erzeugen des Fehlerzustands

http://www.munzandmore.com/2012/ora/weblogic-stuck-threads-howto














Erzeugen eines Thread Dumps über AdminConsole:

Enviroment > Servers > [SERVER] >

Monitoring > Threads

über WLST:

wlst starten, connect zum Server,

erstellen

File: Thread_Dump_[SERVER].txt wird

in aktuellen Pfad geschrieben

über OS:

kill -3 PID (Threaddump wird in

STDOUT geschrieben)


Fehlerzuständen





Auswertung des Threaddumps Threadlogic

https://github.com/roskens/threadlogic

Samurai

http://samuraism.jp/samurai/en/index.html

ermöglichen strukturierte Analyse von

Java-Threads zu best. Zeitpunkt

hier: Threadlogic zur Analyse des TD

blockierte Threads (erzeugt von

StuckTreadForFree)

htop zeigt Last

Analyse in komplexen Umgebungen

aufwändig


Fehlerzuständen








Analyse von Java Prozessen im Weblogic Umfeld (1)

Java Mission Control (JMC) und

Flight Recorder (JFR) nutzen

JMC stammt aus Jrockit JVM (BEA)

in jeder Java Installation (ab v7u40)

enthalten

Nutzung von JMC / JFR erzeugt

Lizenzkosten wenn in

Produktionsumgebungen verwendet

ermöglicht “Realtime Java Prozess

Monitoring” und Aufzeichnung über

Zeitraum (JFR-Feature)

GUI und Commandline

Freischaltung von JFR erforderlich


Fehlerzuständen

über setDomainEnv.sh

erst aktiv nach Restart der Weblogic-

Komponente

setzen über JDK-Commandline

Tool (jcmd)

ermittleln der Prozesse

setzen und prüfen des Features





JMC Realtime Monitoring

starten der GUI (ggf. setzen $DISPLAY

erforderlich

wählen des Java-Prozesses


Fehlerzuständen

Realtime Monitor nach provoziertem

Fehler mit StuckTreadForFree





Flight Recorder nutzen für

Zeitraumbetrachtung

Nach der Aufzeichnung kann .jfr File

ausgewertet werden


Fehlerzuständen

Lastverhalten des Prozesses und

STUCK Threads




Zusammenfassung der vorgestellten Tools

os specific

domain specific

java specific


Fehlerzuständen



Seite 31


Fazit

Problemanalyse stark von jeweiliger Installation und

Kundenumgebung abhängig

IST-Analyse immer erforderlich

Unterstützung der Problemanalyse durch: vorhandene On-Board Werkzeuge

Tools aus dem Oracle Stack

ausgewählte 3rd Party Anwendungen

6


Fehlerzuständen



Seite 32

Layout: Q&A Einsatz: Für eine Fragen & Antworten Seite Inhalt: Eigentlich kein echter Inhalt Tipps: /


Fehlerzuständen

Fragen



überraschend mehr Möglichkeiten!

Layout: Kontakt 2fach Einsatz: Abspann mit Statement, 2Fotos, 2xKontaktinfos Inhalt: Logo, Claim, Kontaktinfos Tipps: /

@OC_WIRE OPITZCONSULTING opitzconsulting WWW.OPITZ-CONSULTING.COM


Fehlerzuständen

Kontaktdaten

Michael Schulze

Senior Consultant

OPITZ CONSULTING Deutschland GmbH Tempelhofer Weg 64, 12347 Berlin, Germany

Phone: +49 173 7279404 Mail: [email protected] @? https://??

https://twitter.com/OC_WIRE

https://www.youtube.com/user/OPITZCONSULTING

http://www.slideshare.net/opitzconsulting

http://www.opitz-consulting.com/



mailto:[email protected]



https://svenbernhardt.wordpress.com/

https://svenbernhardt.wordpress.com/

Documents

Toms PPT Präse - doag.org · © OPITZ CONSULTING 2016 OC Powerpoint Design 2017 V 0.91 / LTA / TGA / 14.10.2016 überraschend mehr Möglichkeiten! Layout: Titelfolie