Effizienz im Fokus: Clients, Server Systeme überwachen, analysieren und optimieren (We4IT))

... oder auch: „Ein Bild sagt mehr als tausend Worte“

Effizienz ist das Verhältnis zwischen einem definierten Nutzen und dem Aufwand der zu dessenEffizienz ist das Verhältnis zwischen einem definierten Nutzen und dem Aufwand, der zu dessen Erreichung notwendig ist.

© 2007 - 2012 panagenda

AgendaAgenda

Coming up next …

Wer bin ich? … und über panagenda

Grundlagen: Was eigentlich möglich ist – oder auch: Womit Administratoren und IT-Abteilungen zu kämpfen haben

Ans Eingemachte … Die 30 wichtigsten Serverstatistiken (von 2.000)

… und Clients?

… und Gruppen?pp

… und Datenbanken?

Effizienz im Fokus: Clients, Server und Systeme überwachen, analysieren und optimieren 2

Vorstellung


Über Florian VoglerÜber Florian Vogler

CEO & CTO – (hoffentlich) repräsentativ für die grossartige Arbeit meiner Kollegen bei panagenda

Geboren in Hamburg (DE), gelebt in London (UK),Wien (AT), Frankfurt (DE), Alicante (ES);dzt. wieder in Frankfurt (DE)( )

Lotus Notes / Domino seit 1992

Begonnen mit Notes bei Raiffeisen Österreich Administration und Entwicklung 35,000 Benutzer weltweit (heute > 100,000)

Seit 2002 Kernkompetenz Client Management,Notes / Domino Infrastruktur-Analyseund -Optimierung

*Viel*reisender, Kunden in vielen verschiedenen Ländern


Ländern

Über panagendaÜber panagenda

Symbiotische Geschäftsbeziehungen mit Kunden und Partnern

HQ: Wien/AT, Niederlassungen in Heppenheim bei Frankfurt/DE, Boston/USAEntwicklung von Standardprodukten4++ Millionen Lizenzen in über 70 Ländern

IBM Lotus NotesClClient ManagementMarvelClient :: „‘99%‘ manageability “

(nicht nur“ IBM Lotus Domino)(nicht „nur IBM Lotus Domino)Server Analytics, Monitoring & ReportingGreenLight :: Echtzeit, Langzeit, Smart

Gruppen, Certifier und ACLs analysierenGroupExplorer :: Transparenz, Sicherheit & Automation


plus: NameChanger (Namensänderungen), DatabaseExplorer (Design-Analyse), Notes2Web (Web-Transformation)

AgendaAgenda

Coming up next …



Ans Eingemachte … Die 30 wichtigsten Serverstatistiken (von 2.000)

… und Clients?

… und Gruppen?pp



Womit Administratoren und IT-Abteilungen zu kämpfen habenWomit Administratoren und IT-Abteilungen zu kämpfen haben

• Allem voran: Unwissen (Verzeihung) Hauptsächlich auf Grund von Überforderung

K i Z it ( h ) fü di I i “ (i ki ) Cli t S d S t Keine Zeit (mehr) für die „Innereien“ (inner workings) von Clients, Servern, und Systemen Zunehmende Komplexität

einzelner Systeme Zunehmende Zahl an Systemen

Gewachsene Umgebungen – große Server unterscheiden sich fundamental von kleinen; neue (8) von alten (< 8)!y

Aufzucht ja –(proaktive) Pflege kaum bis gar nicht

Fehlende Wissensquellen

• Zeitmangel „Wer keine Zeit hat, hat auch keine Ewigkeit“

(Deutsches Sprichwort)(Deutsches Sprichwort) „Wer keine Zeit hat, wird nicht reif“

(Chinesisches Sprichwort)


• „Falsche“ &| fehlende Werkzeuge

Womit Administratoren und IT-Abteilungen zu kämpfen habenWomit Administratoren und IT-Abteilungen zu kämpfen haben

Innersystemische Wechselwirkungen – am Beispiel Lotus Notes / Domino

Server

Hardware (CPU, Hauptspeicher)DatenhaltungNetzwerkanbindungK fi tiÜbergreifend KonfigurationDatenbanken, Tasks, Mailverkehr…

ÜbergreifendGeographieNetzwerk (Bandbreiten, Struktur)Online/OfflineClustering/Loadbalancing…

ODSGröße

HardwareDatenhaltung

DatenbankenClients LeserfelderDesign# & Größe Dokumente

NetzwerkanbindungKonfigurationDatenbanken


……

Werkzeuge am Beispiel des Domino ServersWerkzeuge am Beispiel des Domino Servers

Es gibt …

Öffentliches Adressbuch– Server

– Cluster

– Benutzer/Gruppen

– Verzeichnisse

– Mail

– Replikation

P li i– Policies

– Web Konfiguration



… und es gibt …

Öffentliches Adressbuch (8) Log.nsf

V hi d– Verschiedenes(!!)

– Mail

– Replikation

– Datenbank‐Nutzung

– Passthroughg



Öffentliches Adressbuch (8) Log.nsf (5)

d l Admin Client– Monitoring

Tip 1: Health‐Monitoring in Admin‐Vorgaben aktivieren

Tip 2: „Server‐Bookmarks aktualisieren“ deaktivieren




d l Admin Client– Monitoring (1)

– Analyse( 15)(~15)(ACL,Catalog,AdminP, ...), )

– Statistiken (1 bzw. ~1.200)

– Activity Trends („1“)

M i ( 1“)– Messaging („1“)

– Replikation („1“)




d l ( ) Admin Client (20) Events (1) & DDM …

– Probes

– Filter

– Collection Hierarchie

– Event Handlers

– Event Generators




d l ( ) Admin Client (20) Events & DDM (6) Monitoring Results

( t t )(statrep)– Alarms

– Events

– Statistic Reports




d l ( )

Ob hl 42 di A f d

Admin Client (20) Events & DDM (6) Monitoring Results

( t t ) (3)Obwohl 42 „die Antwort auf das Leben, Universum, und Alles ist“

(statrep) (3)

8 + 5 + 20 + 6 + 3 = 42

(gemäß Hitchhikers Guide to the Galaxy)

hilft das leider nur wenig für Das sind mindestens 42

Ansichten / Bereiche, die man ggf überwachen

Domino Überwachung & Analyseman ggf. überwachenmuss / „möchte“ ...


Tip 3: Wenn Sie Hitchhikers Guide to the Galaxy von Douglas Adams nicht kennen Lesen

Bevor wir ans Eingemachte gehenBevor wir ans Eingemachte gehen …

• Viele Unternehmen nutzen nicht einmal das bereits Vorhandene … Wie bereits angesprochen: Realtime Server Monitoring mit Health-Monitoring DDM – Domino Domain Monitoring (manchmal etwas zuviel des Guten, aber viel besser als nichts!) Regelmäßiges Review von Gruppen Regelmäßige Prüfung der

i h i S S i ikwichtigsten Server-Statistiken(dazu später mehr)

Durchsicht von Lotusphere-PräsentationenPräsentationen

… Regelmäßige Durchsicht

der Usage-Ansichten in log nsf;der Usage Ansichten in log.nsf;dazu ein Beispiel …


Eine Beispiel-Auswertung der Usage Informationen aus log nsfEine Beispiel-Auswertung der Usage Informationen aus log.nsf

(die Sie einfach selbst vornehmen können)

Copy/Paste in Excel Daten Sortieren nach z BDaten Sortieren nach z.B.Transaktionen


Bevor wir ans Eingemachte gehen noch ein paar Worte zu:Was noch alles möglich ist …

I h j d d t B i h• In nahezu jedem der vorgenannten Bereiche kann – und sollte man – „Tief(er)tauchen“

• Tieftauchen bedarf leider zumeist der (aufwendigen) Korrelation von Daten z B(aufwendigen) Korrelation von Daten, z.B. … Verbindungsdokumente und log.nsf (db usage): Welcher Mail- und/oder Replikationstraffic herrscht

zwischen welchen Servern vor? Clients und log.nsf - Datenbank-Nutzung (db usage): Welche Benutzer verursachen welche Last?

Datenbankinformationen von Clients und Servern: Wer hat Repliken on Datenbanken a f die er/sie Wer hat Repliken von Datenbanken auf die er/sie

keinen Zugriff mehr hat? Wer hat unverschlüsselte Repliken von kritischen

Datenbanken? Netzwerk-Komprimierung zwischen Servern und Clients

• Viele der Daten sind bereits da oder verhältnismäßig einfach einholbar


verhältnismäßig einfach einholbar• Die Korrelation lohnt sich (sehr) …

Ein Bild sagt mehr als tausend WorteEin Bild sagt mehr als tausend Worte …

Topologische Visualisierung von Mail- & Replikations-Verkehr zwischen Servern



Eine Sicht auf Netzwerk-Verkehr-Komprimierung

87% = 1 Server87%of your IBM Lotus Domino servers use port compression(33 of 38 servers)

75%of your IBM Notes Clients use port compression

= 1.000 Clients

(32.780 of 43.512 clients)



Die andere Sicht auf Netzwerk-Verkehr-Komprimierung

4

saved (GByte)

2,303,30

1,650

2 saved (GByte)transfered (GByte)

current setup no port compression full port compression

● Network transfer volume per day: 3,3 Gbyte

● Current settings: 60% configured „correctly“ ~1 GByte / 30% saved

● Applying port compression to all your servers and clients could save you an additional ~0,65 GByte every day which is an additional 28% reduction / absolute 50% reductionof traffic


of traffic

AgendaAgenda

Coming up next …



Ans eingemachte … Die 30 wichtigsten Serverstatistiken (von 2.000)

… und Clients?

… und Gruppen?pp



Bevor wir uns einzelne Statistiken ansehenBevor wir uns einzelne Statistiken ansehen …

Zu Risiken und Nebenwirkungen fragen Sie Ihren Arzt oder Apotheker

• Schwer bis nicht unter Laborbedingungen testbar• Fangen Sie mit offensichtlichen / einfachen Dingen an• Notieren Sie sich Einstellungen bevor Sie diese ändern• Bedenken Sie mögliche Wechselwirkungen• „Zuviel des Guten“ kann Performance verschlechtern,

bi hi O f M “ b dbis hin zu „Out of Memory“ bedeuten• Drehen Sie nicht an mehreren Schrauben gleichzeitig es sei denn, es ist absolut notwendig / so „dokumentiert“B b ht Si Ih S h Ä d i• Beobachten Sie Ihre Server nach Änderungen eine (sinnvolle) Zeit lang Werten Sie aus, ob es Ihrem Server besser geht

• Google“• „Google• Denken Sie bitte mit• Trauen Sie sich• Das hier ist erst der Anfang bleiben Sie neugierig!


• Das hier ist erst der Anfang – bleiben Sie neugierig!

Noch eine VorbemerkungNoch eine Vorbemerkung …

• Viele der nachfolgenden Statistiken sind mit einem „einmaligen“ ‚sh sta‘ nicht ausreichend erfassbar; die Werte sollten bzw. müssen auf einem Zeitstrahl ausgewertet werden

N r so ist greifbar ob nd ann es sich m da erhafte / iederkehrende Probleme handelt Nur so ist greifbar, ob – und wann – es sich um dauerhafte / wiederkehrende Probleme handelt Nur so ist tatsächlich überprüfbar, ob Änderungen helfen oder nicht (oder „verschlimmbessern“) Ein Bild sagt mehr als tausend Worte …

• Mit (leider größeren)Einschränkungen können Siesich mit dem Admin Clientbehelfen …

• Ohne Einschränkungen gehtit h h lles nur mit hohem manuellen

Aufwand oder Zusatz-Lösungen(ein paar Links dazu gibt esam Ende)


am Ende)

ViewRebuildDir & Disk Optimierungenp g

ll f l l• Allem voran: freier Plattenplatz(„30%“ um Fragmentierung zu vermeiden)

• Jeweils eigene Disks für …– Translog

– Data– Ggf. page file/OS eigene disk– ViewRebuildDir“=– „ViewRebuildDir =…

view indexing auf eigene disk– Ab 8.5.3. ggf. .ft‐Verzeichnisse

/(so nötig/gewünscht)– DAOS („günstig“)


Server.Availabilityy• Sagt in % aus wie verfügbar = „antwortbereit“ ein Server ist (response times)• Spätestens ab < 30% Verfügbarkeit wird es meistens problematisch;

WENN denn der Availability‐Index überhaupt stimmt … (Nur!) wenn der Server gut beschäftigt ist: ‚sh ai‘ auf Console;( ) g g ‚ ;

gibt Empfehlung zur Anpassung von SERVER_TRANSINFO_RANGE in notes.ini

• Ab Notes 8 5 empfiehlt sich:• Ab Notes 8.5 empfiehlt sich:– notes.ini: Server_MinPossibleTransTime=1500– notes.ini: Server_MaxPossibleTransTime=20000000Wichtig:loadmon.ncf löschenwenn Server runter‐gefahren ist, um alteWerte zu löschen


Monitor.* Warnungen im Auge behalten; BeispieleMonitor. Warnungen im Auge behalten; Beispiele

i OC SS i ( i h) i k i i• Monitor.Last.ADMIN PROCESS.Warning(High)Text = Disk space statisticscould not be found on Servername/Cert.

• Monitor.Last.EVENT MONITOR.Warning(High)Text = Event: Error adding eventdocument to Domino Domain Monitoring: Event correlation cache is full. Youcan increase its size via the NOTES.INI settingEVENT_CORRELATION_POOL_SIZE.

• Monitor.Last.INDEX ALL.Warning(High)Text = Error updating view '#4538' inmail\nameabc.nsf: The single copy template associated with this databasecannot be located.

• Monitor.Last.SMTP SERVER.FailureText = SMTP Server: Initializationfailure: Message Queue name already in use.

• Monitor.Last.STATISTICS.Warning(High)Text = Unable to update activitydocument in log database for mail\namexyz.nsf: In Datenbank kann nichtgeschrieben werden, da die Datenbank die erlaubte Größeüberschreiten würde.


Server.Sessions.Droppedpp

b f d l• Gibt an, wie oft seit dem letzten Serverstart Sessions ‚gedropped‘ wurden

• Verursacht durch „Drop all“ und/oder Client‐seitigem Ctrl+Break(Frust‐/Problem‐Indikator)

„Drop all“

(Frust /Problem Indikator)

• Server.Sessions.Dropped = 25407

„anderes“Problem

• 28.6. ‐ 18.10 = 4*30=120 Tage• 25407/120=211 Sessions dropped /

dayday• Weiterführend in Verhältnis zu Peak

# of users setzen


Platform.LogicalDisk.*g

Pl tf L i lDi k 1 A i dN D Pl tf L i lDi k 2 A i dN CPlatform.LogicalDisk.1.AssignedName = DPlatform.LogicalDisk.1.AvgQueueLen = 0Platform.LogicalDisk.1.AvgQueueLen.Avg = 0,01Platform.LogicalDisk.1.AvgQueueLen.Peak = 1,01Pl tf L i lDi k 1 B t R dP S 0

Platform.LogicalDisk.2.AssignedName = CPlatform.LogicalDisk.2.AvgQueueLen = 0,01Platform.LogicalDisk.2.AvgQueueLen.Avg = 0,73Platform.LogicalDisk.2.AvgQueueLen.Peak = 34,74Pl tf L i lDi k 2 B t R dP S 17 272 75Platform.LogicalDisk.1.BytesReadPerSec = 0

Platform.LogicalDisk.1.BytesWrittenPerSec = 10.172,49Platform.LogicalDisk.1.PctUtil = 0,22Platform.LogicalDisk.1.PctUtil.Avg = 0,86Pl tf L i lDi k 1 P tUtil P k 101 07

Platform.LogicalDisk.2.BytesReadPerSec = 17.272,75Platform.LogicalDisk.2.BytesWrittenPerSec = 63.697,52Platform.LogicalDisk.2.PctUtil = 1,11Platform.LogicalDisk.2.PctUtil.Avg = 72,8Pl tf L i lDi k 2 P tUtil P k 3 473 81Platform.LogicalDisk.1.PctUtil.Peak = 101,07

Platform.LogicalDisk.1.ReadsPerSec = 0Platform.LogicalDisk.1.WritesPerSec = 2,07

Platform.LogicalDisk.2.PctUtil.Peak = 3.473,81Platform.LogicalDisk.2.ReadsPerSec = 2,58Platform.LogicalDisk.2.WritesPerSec = 7,3

InterpretationGUT < 2% < AvgQueueLen > 5% > SCHLECHT (1‐100% = 0,01 – 1,0!)GUT P tUtil 80% (1 100% 1 100)GUT = PctUtil < 80% (1‐100% = 1‐100)HINWEIS: ggf. durch # Spindeln zu dividieren SAN/NAS

Lösung


gDiverse Parameter (bufferpool, cache, namelookup), und OS / Disk Tuning

Platform.LogicalDisk.#.PctUtilg


Mail.Mailbox.*

/• (Mail.Mailbox.AccessConflicts/Mail.Mailbox.Accesses) x 100• Muss < 2 sein; ansonsten eine weitere Mailbox

( b i / fü f M ilb i d d B fit“ h d i )(ab vier / fünf Mailboxen wird der „Benefit“ zunehmend geringer)

B i i l• Beispiel:• Mail.Mailbox.AccessConflicts = 1636

Mail Mailbox Accesses 189864Mail.Mailbox.Accesses = 189864

0 86 k• = 0,86 = ok


Update.PendingListp g

• Update.PendingList = Anzahl i dUpdate.PendingList Anzahl von Ansichten die auf Aktualisierung warten

Hintergrund:• Wenn Sie viele Anwendungen haben …• … und einen vielbeschäftigten

• WennUpdate.PendingListl f d“ d

Update Task– View updates sind beeinträchtigt, solange Full

Text Index Aktualisierungen in Arbeit sind

„laufend“ > 0, dann …• Notes.ini:

U d t F llt t Th d 1

• FTI Update von View Update trennen– FTI erfolgt dann in eigenem Memory Thread

• Verbessert PerformanceUpdate_Fulltext_Thread=1FTUPDATE_IDLE_TIME=4

• Update_Fulltext_Thread=1

Wenn wir schon beim Thema Volltext‐Index sind:Sie können den FTI thread aus dem limitierten Domino update pool isolieren:

ftg_use_sys_memory=1Der FTI thread bekommt dann Memory vom OS pool


Der FTI thread bekommt dann Memory vom OS poolGibt Domino System Memory frei

Database.Database.BufferPool.*

• Database.Database.BufferPool.PerCentReadsInBuffer = 78,96

• SCHLECHT < 90% < PercentReadsInBuffer < 98% < PERFEKT• 99.9% ist schlecht ...

– Führt meist dazu, dass zuviele Anfragen auf Disk rausgeschrieben werden– Der Server benötigt einen größeren BufferPool

• Lösung: notes.ini NSF_Buffer_Pool_Size_MB=n (in MB)─ Default: 512 MB─ Default: 512 MB


Database.DbCache.*

• Database.DbCache.CurrentEntries = 1647Database.DbCache.HighWaterMark = 1691Database DbCache MaxEntries = 1536Database.DbCache.MaxEntries = 1536Database.DbCache.OvercrowdingRejections = 0

• GUT = HighWaterMark < MaxEntriesGUT = 0 OvercrowdingRejectionsg j

• Lösung:Lösung:– notes.ini NSF_DbCache_MaxEntries = n

• Default: NSF_BUFFER Pool size x 3


Replica.Cluster.*p

l l l d• Replica.Cluster.FailedReplica.Cluster.SecondsOnQueueReplica.Cluster.WorkQueueDepth

• PERFEKT < 10 < SecondsOnQueue > 15 > SCHLECHTPERFEKT < 10 < WorkQueueDepth > 15 > SCHLECHTPERFEKT < 10 < WorkQueueDepth > 15 > SCHLECHT

• Lösung:g– Weitere Cluster Replikatoren

hinzufügen– Auslastung der Cluster‐Server

optimieren (z.B. aktive Userim Cluster aufteilen /Load Balancing)


Server.Trans.PerMinute

• Server.Trans.PerMinute=956S U 26Server.Users = 26 956/26=36,7

• HEAVY < 30 < Trans.PerMinute (per User) > 10 > LIGHT

• Lösung:Last erzeugende User identifizieren (db usage View!)– Last erzeugende User identifizieren (db usage‐View!)


Database.NAMELookupCache*p

b k h h• Database.NAMELookupCacheCacheSize = 2.513.328Database.NAMELookupCacheHits = 24.628.339Database.NAMELookupCacheMisses = 48.160.502

• WICHTIG: NoHitHits! • Miss > Hits: PRÜFEN h kl i d ß(!)• Cache zu klein oder zu groß(!)

ini: NLCache_Size=16000000


Server.ConcurrentTasks*

• Server.ConcurrentTasksServer.ConcurrentTasks.Waiting

• Waiting sollte NULL sein

• Lösung:Server Pool Tasks n ( z B 80)─ Server_Pool_Tasks = n ( z.B. 80)

─ Server_Max_Concurrent_Trans = m(z.B. Server Pool Tasks * Anzahl Ports)(z.B. Server_Pool_Tasks Anzahl Ports)


Platform.PagingFile.Total.*g g

l f l l lPlatform.PagingFile.Total.PctUtil = 0,28Platform.PagingFile.Total.PctUtil.Avg = 0,14Platform.PagingFile.Total.PctUtil.Peak = 0,8

OK < 0% < PctUtil.Avg > 10% > SCHLECHT

OS Level tuning, Check Memory

Hinweis: Wenn ‚sh sta’ keine Platform.*Statistiken ausgibt Admin‐Hilfe


AgendaAgenda

Coming up next …




… und Clients?

… und Gruppen?pp



Alternativlose“ Werbepause„Alternativlose Werbepause

http://panagenda.com/giftoftransparency

• Alternativenlos nicht etwa weil Sie nicht weglaufen könnten(bitte nicht) – sondern weil effiziente Server- und Client Analysen ohne zusätzliche Werkzeuge unmöglich sindAnalysen ohne zusätzliche Werkzeuge unmöglich sind

• Wir stellen Ihnen panagenda GreenLight – unsere Server-Monitoring- und Reporting-Lösung – gerne für 4 Wochen kostenlos zur Verfügungg g

• Wir schenken Ihnen panagenda MarvelClient Analyzefür ein Jahr kostenlos Die Ergebnisse sprechen schon auf der Clientseite für sich Die Ergebnisse lassen sich für weitere Abgleiche mit Ihrem Server- und

Datenbank-Haushalt heranziehen

• Für Gruppen und Datenbanken haben wir natürlich auch etwas• Für Gruppen und Datenbanken haben wir natürlich auch etwas(GroupExplorer und DatabaseExplorer) Ob wir Ihnen helfen dürfen, bestimmen Sie,

ebenso wie das Tempo und den Fokus


„Alles auf einmal“ ist fast immer zuviel

AgendaAgenda

Coming up next …


Grundlagen Eine Übersicht was ein Notes 8 Client so mit sich bringt


… und Clients

… und überhaupt p


EndspurtEndspurt

45 Minuten für dieÜberwachung von

Servern, Clients, und Systemenreichen gerade einmal für einenSpaziergang über den EisbergSpaziergang über den Eisberg –

wir haben Lösungen für eine MENGE mehr business cases als nur die vorher genannten.

Falls Ihr Problem nicht in dieser Session zur Sprache kam – sei es ein Problem mit Clients, Servern, Design/Entwicklung, Administration, g g,

oder etwas ganz anderes:Wir würden uns freuen von Ihnen zu hören!


Danke für Ihre Geduld – Fragen? Antworten!Danke für Ihre Geduld – Fragen? Antworten!


Ich würde mich freuen von Ihnen zu hören!Ich würde mich freuen von Ihnen zu hören!

panagenda GmbH

Doblhoffgasse 7 / 6a :: 1010 Vienna :: AustriaWeb: http://www.panagenda.com

Email: [email protected]: +43 1 89 012 89 – 15


Ressourcen / LinksRessourcen / Links

• Daniel Nashed, Nash!Com• LS08: BP112• LS11: BP102, BP110, BP118• LS12: BP110, BP121, ID112, ID114• Windows Indexing: http://bit.ly/ACzO6Z• „The internet“ – google „Domino performance ibm“;

great IBM Whitepapers and articles, some very good sites out there


Business

Effizienz im Fokus: Clients, Server Systeme überwachen, analysieren und optimieren (We4IT))