The Story of Stonebranch at AXA · 2017-10-12 · Scheduling (OPC, TWS, IWS…),...

©Stonebranch2017.Allrightsreserved.

AutomationBestPracticeTheStoryofStonebranchatAXAThomasPalm,AXATech

Wer binich ?

Vorstellung

©Stonebranch2017.Allrightsreserved. Oktober2017 Seite2

§ Name: ThomasPalm§ Alter: 48§ Kinder: Ja,2alles MädchenJ§ Hobbies: Jogging,SquashundMotorrad fahren§ Work: AXAseit Juli 2000.

Verantwortlich für…Scheduling(OPC,TWS,IWS…),Stonebranch-Produkte (UEM,UDM,UCMD,USAP)nationalundinternational,Cleo´sB2B;FileTransfergenerell

AXA- Einige Zahlen derAXATechnologyServicesGermanyGmbH

©Stonebranch2017.Allrightsreserved. Oktober2017 Seite3

§ Versicherung,Vermögensanlagen undFinanzierungen§ Zentrale inParisbeheimatet§ 5Rechenzentren verwaltet vonAXATechnology§ 166,000Mitarbeiter weltweit (2016),Einnahmen €100,2Milliarden (2016)

§ AXATechnologyServicesGermanyGmbH§ NESD-Region(DeutschlandundBelgien)§ ProMonat:§ ~1,5- 2MJobsdezentral (Linux,Windows)+~400kSAPJobs§ ~ 3500– 4000servers,1Mainframe(steht inParis),8Umgebungen

Agenda– DieReise beginnt

010203

UniversalCommand(UCMD)– Scriptcontrolfür Linux/WindowsUniversalDataMover(UDM)– FileTransfer

UniversalEventMonitor(UEM)– eventdriven&demanddrivenUniversalConnectorforSAP(USAP)– ABAPcontrol

04050607

AccessControlList(ACL)

Vorteile durch diesesSetupmit Hilfe vonStonebranchProdukten

Typische Benutzung im täglichen Geschäft

Grundsätzliches setup/standards

Oktober2017©Stonebranch2017.Allrightsreserved. Seite4

Zusammenarbeit mit Stonebranch

Grundsätzliches setup/standards1/4

§ Welche Szenarien mussich betrachten ?§ Womöchte ich skripte speichern ?§ Security?(Verschlüsselung,logon,user….)§ Wie viele Jobserwarte ich ?§ Verzeichnis-Struktur aufdezentralen Maschinen§ Joblog's

Allgemeines

©Stonebranch2017.Allrightsreserved. Oktober2017 Seite5

Grundsätzliches setup/standards2/4

§ Menge: WLMundspezielle jobclass

§ Workstations: Eine workstationprologische Einheit

§ SpecialResources: Eine SpecialResourceproMaschine

§ Troubleshooting: Jobname=Skript name/ABAP1logischer Stepprojob

Wie kann ich denunterschiedlichen Szenarien begegnen ?

©Stonebranch2017.Allrightsreserved. Oktober2017 Seite6

Grundsätzliches setup/standards3/4

§ Workstation:CDM1 CPUFiletransferviaUDMCM01 CPUControlWindowsviaUCMDCPU1 CPUControlLINUXviaUCMDCS00 CPUControlSAPviaUSAPCUEM CPUEventcontrolviaUEMCMAI Maintenancedezentral

§ SpecialResource:UDM: Jede teilnehmende MaschineUCMD: -i Parameterà SpecialRessource nameUEM: -i ParameteràSpecialRessource nameUSAP: Instanzname undMandant

WorkstationundSpecialResources

©Stonebranch2017.Allrightsreserved. Oktober2017 Seite7

Grundsätzliches setup/standards4/4

§ WirmusstendieProzedurenvonStonebranchanpassendamitsiezuunserenStandardspassen

§ NachfolgendeinBeispielausderUDM-ProzedurB0CVUDM:

§ //UDMGEUX0DDDISP=SHR,DSN=&UNVPRE1..PWD.PROD(UDMGEUX0)

Prozeduren vonStonebranch

©Stonebranch2017.Allrightsreserved. Oktober2017 Seite8

UniversalCommand(UCMD)– ScriptControlfür LinuxundWindows1/3

//§AIZAS10 JOB '860000-PROD','UCMD-HOLLIP03', // MSGCLASS=4,CLASS=B,REGION=20M, ….

//ST010 EXEC B0CVUCMD Jobname = Script name (ohne das erste Zeichen) //SCRIPT DD * /customer/sbin/pexec PROD Produser AIZAS10//SYSIN DD * -i HOLLIP03 hostname (-i Parameter ) àSpecial resource -x FILELX verschlüsselter technischer User-s SCRIPT -cmdid %cmdid-restart AUTO

%OADID.%OJOBNAME.%OOPNO.%CYYMMDD.%CHHMMSSX

Ein typischer Linuxjob

Oktober2017©Stonebranch2017.Allrightsreserved. Seite9

UniversalCommand(UCMD)– ScriptControlfür LinuxundWindows2/3

§ /admin/sbin/pexec oder /customer/sbin/pexec

• Selbst geschrieben• Erlaubt denZugriff unddieAusführung vonSkripten mit sicheren technischen Usern /

Umgebung• Ändert jeden Returncode zwischen 1-7zu 8• Nur für Linuxverfügbar

pexec fürLinux

Oktober2017©Stonebranch2017.Allrightsreserved. Seite10

UniversalCommand(UCMD)– ScriptControlfür LinuxundWindows3/3

//§AI99A05JOB'860000-PROD','UCMD-HOLMFS04',

//MSGCLASS=4,CLASS=B,REGION=20M,

//COND=(4,LT)

….

//ST010EXECB0CVUCMD

//SCRIPTDD*

c:\Batch\PROD\AI99A05.cmd

//SYSINDD*

-i holmfs04

-xFILEMSDE

-sSCRIPT

-cmdid %cmdid

-restartAUTO

Ein typischer Windowsjob

Oktober2017©Stonebranch2017.Allrightsreserved. Seite11

UniversalDataMover(UDM)– ManagedFileTransfer1/4

§ Prozeduren wurden erstellt umdiesyntaxim jobzu minimieren§ 6Prozeduren…

§ UDMS2MFT/UDMS2MFB§ UDMMF2ST/UDMMF2SB§ UMDMF3PT/UDMMF3PB

StandardsundProzeduren

Oktober2017©Stonebranch2017.Allrightsreserved. Seite12

UniversalDataMover(UDM)– ManagedFileTransfer2/4

callUDMMF3PB +

sserver=l13app01.applications.services.axa-tech.intraxa +

udmusrs=UDMGEUX0 +

tserver=ftst21.applications.services.axa-tech.intraxa +

udmusrt=UDMGEUX0 +

sfile=/transfer/prod/trans/*.req +

tfile=/transfer/ge/prod/out/AVBBC01/

§ callUDMMF3PBcopy=move +

Aufruf Prozedur UDMMF3PB als Beispiel

Oktober2017©Stonebranch2017.Allrightsreserved. Seite13

UniversalDataMover(UDM)– ManagedFileTransfer3/4

setcopy=copyif$(debug.exists)EQyessetecho=yesend

reportprogress=yesprintmsg="###Sourceserver=$(sserver)"printmsg="###Targetserver=$(tserver)"printmsg="###copy=$(copy)"

….

Prozedur UDMMF3PBals Beispiel

Oktober2017©Stonebranch2017.Allrightsreserved. Seite14

UniversalDataMover(UDM)– ManagedFileTransfer4/4

if$(encrpt.exists)EQnosetencrpt=AES256-SHAif$(comp.exists)EQnosetcomp=haspend

opensource=$(sserver)xfile=$(udmusrs) +target=$(tserver)xfile=$(udmusrt) +encrypt=$(encrpt)compress=$(comp)+

nft=$(nft)

….

Prozedure UDMMF3PBals Beispiel

Oktober2017©Stonebranch2017.Allrightsreserved. Seite15

UniversalEventMonitor(UEM)

Wann sollte UEMineventdrivenmodegenutzt werden ?

• 24Stunden Überwachung• Keine Ahnung ob oder wann eine Datei erscheint• Keine Ahnung wie viele Dateien

Wann sollte UEMindemanddrivenmodegenutzt werden ?

• Eine definierte End-Zeit oder eine bestimmte Überwachungsdauerwird benötigt

• Für denFalldaseine Datei nicht indervorgegebenen Zeit erscheint,soll eine Reaktion erfolgen

Eventoder demanddriven?

Oktober2017©Stonebranch2017.Allrightsreserved. Seite16

UniversalEventMonitor(UEM)– eventdriven1/4

begin_event

event_id FS01A00

event_type FILE

comp_name uems

stateenable

handler_opts "FS01A00"

triggered_id start_ETT

filespec "/transfer/ge/prod/in/ship2/SHP_forex_*"

rename_file yes

rename_filespec "/transfer/ge/prod/in/ship2/tmp/$(origname).$(origext)"

end_event

Setupfür UEM,eventdefinition

Oktober2017©Stonebranch2017.Allrightsreserved. Seite17

UniversalEventMonitor(UEM)– eventdriven2/4

begin_handler

handler_id start_ETT

handler_type SCRIPT

begin_script

stmt "#!/bin/bash"

stmt "exec1>/tmp/udm_$1.log"

stmt "exec2>>/tmp/udm_$1.log"

stmt "mv$UEMRENAMEDFILE$UEMRENAMEDPATH/$UEMORIGFNAME"

stmt "/opt/universal/bin/udm -s/opt/universal/scripts/S2MF -

-oett=$1"

stmt "exit"

end_script

userid AVUSERP

end_handler

Setupfür UEM,handlerdefinition

Oktober2017©Stonebranch2017.Allrightsreserved. Seite18

UniversalEventMonitor(UEM)– eventdriven3/4

opentarget=cpub xfile=/etc/universal/pwdfiles/udmgeux0

…

filesys target=dsn

attrib targetcreateop=replacelrecl=80dataclas=DVFBdsorg=PSunit=PRODrlse=RLSE

copylocal=/opt/universal/scripts/ett_file.txttarget='VPAX.JOB.$(ett).ETT'

if$(_rc)NE0

set_rc=8

exit

end

close

Setupfür UEM,handlerdefinition

Oktober2017©Stonebranch2017.Allrightsreserved. Seite19

UniversalEventMonitor(UEM)– eventdriven4/4

§ UsingETT(EventTriggerTracking)

§ VPAX.JOB.FS01A00.ETTFS01A#PCORE1#FRX

Vorteile aus derKombination vonUEMundTWS:

• SinglepointofcontrolinTWS,nur derAnstoß ist nicht inrealtime zu sehen

• Joblogswerden z.B.:inBETA92zentral aufdem Mainframegespeichert (Revision,ein Ortfür alle logs)

• Dasselbe Verhalten für LinuxundWindows

Setupfür UEM,TWS

Oktober2017©Stonebranch2017.Allrightsreserved. Seite20

UniversalEventMonitor(UEM)– demanddriven1/1

//ST010EXECB0CVUEM

//SYSINDD*

-i ftst21.applications.services.axa-tech.intraxa

-xUDMGEUX0

-event_type file

-filespec /transfer/ge/prod/in/copernic/0004/acs/COP_FR_004_*.*

-rename_file no

-inact_date_time +15

-laudit-max_count 1

//ST030EXECPGM=COLBR14,PARM='8',

//COND=(0,EQ,ST010.UEM)

Setupfür UEM,TWS

Oktober2017©Stonebranch2017.Allrightsreserved. Seite21

UniversalConnectorforSAP(USAP)1/1

§ Auch hier,

ABAP=Jobname

§ //SAPDEST=EEP100,à Dieser Eintrag findet sich inderrfc.iniwieder.Dortist ein SAPRouterStringhinterlegt

§ //SAPPWD=EEPà Verschlüsselte user-credentials

Ein Sap-Jobbesteht aus 2Schritten :

§ 1.)SAP-Jobidauslesen

§ 2.)Startdesaktuellen undgültigen ABAPals Kopie derDefinitionim SAP

Wie steuern wir ABAPs?

Oktober2017©Stonebranch2017.Allrightsreserved. Seite22

AccessControlList(ACL)

ucmd_access ALL,Production,Production,allow,authucmd_access ALL,*,Production,deny,authucmd_access ALL,XXXI,XXXI,allow,authucmd_access ALL,*,XXXI,deny,authucmd_access ALL,XXXZ,XXXZ,allow,authucmd_access ALL,*,XXXZ,deny,auth

Standardisierte ACLfür alle Server

Oktober2017©Stonebranch2017.Allrightsreserved. Seite23

Vorteile aus diesem Setupmit Hilfe vonStonebranchProdukten….

§ …PatchTagfür Windows?à Schließe dieWorkstationCM01

§ …Servermit Problemen ?à Schließe dieSpecialResource(hostname)

§ …zuhoherworkloadaufderMaschine ?à limitiere dieAnzahl paralleler Jobsfür diese SpecialRessource

§ ...IPLaufeiner CPU?à Nimm dieCPUaus derWorkloadraus

§ …SAP-Instanz mit Problemen ?à Schließe dieSpecialResource(SAP-Instancename)

§ …DisasterRecoveryTest?à Schließe alle Workstationsaußer CMAI

Duerreichst….

§ standardjobs

§ Standardisierte Prozeduren selbst bei Umgebungswechsel

§ standardACL

§ restartoptionzu jedem Zeitpunkt

Daist ein (e)….

Oktober2017©Stonebranch2017.Allrightsreserved. Seite24

Typische Nutzung im täglichen Geschäft

Welche Schritte mussich durchführen ?UCMD :• Ändere Prozedurnamen vonB0CVUCMDzu BICVUCMD• Ändere “PRODProd-userscriptname”zu “INTEInte-userscriptname”UDM• Ändere Prozedurename vonB0CVUDMzu BICVUDM• Ändere Verzeichnisstruktur vonprodnach inteUEM§ Ändere Verzeichnisstruktur vonprodnach inte§ Ändere ggf.hostnamen

Kopieren vonJobsaus Produktion zu Integration

Oktober2017©Stonebranch2017.Allrightsreserved. Seite25

Zusammenarbeit mit Stonebranch1/3

1. Reconnectfähigkeit bei SAP-Jobs2. cancelundcanceldump bei SAP-jobs3. cancelundcanceldump bei Skriptenausführungen (Windows/Linux)4. Übersichtlicheres joblog bei UDM-Jobs5. UpdatederAgenten mit Hilfe vonSkripten ineinem halb-automatischen Ablauf

ChristianBrunsbei AXA

Oktober2017©Stonebranch2017.Allrightsreserved. Seite26

Zusammenarbeit mit Stonebranch2/3

Alte JoblogsProcessingscript:UDMMF3PB###DefaultWerte für genutzte Variablen###halton=warn###createop=replace###trim=no###encrpt=AES256-SHA###comp=hasp###nft=yes###copy=copy###UDMDefaultWerteUNV3992Icontrol:Host=10.174.155.205,Port=6306Datasessionestablishedusingcipher:AES256-SHThirdpartysessionestablishedwithsource(comTransfermodesettings:type=binarytrim=noSessionoptions:KeepAliveInterval:120NetworkFaultTolerant:yes###Werte für denaktuellen Transfer,im Jobgesetzt###Sourceserver=lhuinfaa.applications.services.axa-tech.intraxa###Targetserver=ftst21.applications.services.axa-tech.intraxa###copy=moveTransfermodesettings:type=binarytrim=no

ChristianBrunsbei AXA,Übersichtlicheres joblog bei UDM-Jobs

Oktober2017©Stonebranch2017.Allrightsreserved. Seite27

Zusammenarbeit mit Stonebranch3/3

Neue JoblogsProcessingscript:dd:UNVSCRProcessingscript:UDMMF3PB##############################################genutzte Variablen indiesem Lauf######Lauf vom: 26.09.201703:57:49###Jobname/Nummer: §FCA5A31,JOB33112###Sourceserver: lhuinfaa.applications.services.axa-tech.intraxa###Targetserver: ftst21.applications.services.axa-tech.intraxa###Sourcefile: /u050/appdata/infa_shared/copernic/MAGN/in/COP_AC_010_*###Targetfile: /transfer/ge/prod/out/copernic/0010/###FileName2 kein file2indiesem Lauf###FileName3 kein file3indiesem Lauf###FileName4 kein file4indiesem Lauf###createop: replace###trim: no###halton: 0###encrpt: AES256-SHA###compression: hasp###nft: yes###copyoder move: move###########################################

ChristianBrunsbei AXA,Übersichtlicheres joblog bei UDM-Jobs

Oktober2017©Stonebranch2017.Allrightsreserved. Seite28

Questions?

WageDichzu fragen ….J

Oktober2017©Stonebranch2017.Allrightsreserved. Seite29

Schlußendlich

§ FallsKritik geübt werden soll,dann bitte bei mir persönlich.AmBesten anderBarmit einemBierJ

§ FallsLobgeübt werden soll,dann bitte jetzt undlaut§ Für alle anderen Fälle…Klatschen…

Vielen Dankfür Ihre Aufmerksamkeit undIhre Geduld.

Alldiesist nur möglich ineinem guten Team.MeinKollege PeterMulorzist ein wichtiger Teil diesesTeams!

Danke auch anDich,Peter….

Oktober2017©Stonebranch2017.Allrightsreserved. Seite30

Danke schön !Kontakt Information

ThomasPalmSpezialist

AXATechnologyServicesGermanyT:+49 (0)22114824819

thomas.palm@axa-tech.com

©Stonebranch2017.Allrightsreserved.