Informationstechnologie am Institut für Meteorologie · Subversion Gitlab IT-Monitoring 15/20. Allgemeiner Uberblick Rechenzeit und Speicherplatz - Planungen Software fur Lehre und

Allgemeiner UberblickRechenzeit und Speicherplatz - Planungen

Software fur Lehre und WissenschaftJobklassen und Monitoring

Systemsoftware und SoftwareprojekteDiskussion

Informationstechnologie am Institut furMeteorologie

Ingo Kirchner und Thomas Bergmann

Institut fur MeteorologieFreie Universitat Berlin

12/Dez/2016

1 / 20




Ablauf

1 Allgemeiner Uberblick

2 Rechenzeit und Speicherplatz - Planungen

3 Software fur Lehre und Wissenschaft

4 Jobklassen und Monitoring

5 Systemsoftware und Softwareprojekte

6 Diskussion

2 / 20




Topologie 2014

3 / 20




Topologie 2016

4 / 20




Aufgabenbereiche und Organisation

IT-Aktiv Planung und Absprachen, Vorlagen erarbeitenKoordination Ingo K., Vertreter jeder AG

Administration der Arbeitsplatz-PCs, Server und SoftwareThomas B., Mark N., Lorenzo M.

Netzwerk G-Bit und WLanZEDAT AG Netze

Sekretariat-PCs Windows, Office-ApplikationenFB Geo, Maik Albrecht, Sascha Wunderlich

e-mail, Webseiten @met.fu-berlin.de, www.met.fu-berlin.dePetra G. (zentrale Inhalte), jede AG

5 / 20




Informationen

Intranetseiten http://www.met.fu-berlin.de/ → Internes1 Wissenschaftliches Rechnen2 Mailinglisten3 Tipps und Tricks4 Datenmanagement und Klimadaten-Links5 ...

Intranet-Portalhttp://www.geo.fu-berlin.de/met/internes/IfM-Portal/

1 Linksammlung2 Monitoring3 ...

Hilfe-WiKi http://butler.met.fu-berlin.de/Hilfe/

6 / 20




HPC - Modalitaten

DKRZ Mistral 3000 Knoten / 240 TB Mem / 54 PB Storage

HLRE Projekt per Antrag im April undOktober fur FolgejahrWLA vergibt im Mai und November Rechenzeithttps://www.dkrz.de/Nutzerportal

ZIB Konrad 1872 Knoten / 120 TB Mem /4.2 PB Storage

Großprojekte sind Quartalsweise zu beantragenhttps://zulassung.hlrn.de/index gp.html

7 / 20




HPC - im Haus

ZEDAT Soroban 112 Knoten / 5.5 TB Mem / 0.2 TB Storage

Formlose e-mail mit Projektbeschreibung,ZEDAT Account notwendighttp://www.zedat.fu-berlin.de/HPC/Home

calc03 24 CPUs / 150 GB Mem



Speicherpool ca. 400 TB Storage

8 / 20




Datenprojekte

Policy http://www.geo.fu-berlin.de/met/internes/service/info/policy-datenprojekte-v3.pdf

Datenprojekt hat genau einen Verantwortlichen/daten/[NAME]/ ...

arch/ strukturierte Ablagework/ liegt in Nutzerhand

Datenprojekt (DP) = UNIX-Gruppe = Administrationsaccount (DPAA)

GROSSE Datenprojekte (ab 40 TB) bedurfeneiner Freigabe

Auslastung Kapazitat 390 TB, davon 87% zugeteiltca. 80 TB alter als 5 JahreErweiterungsbedarf → Umfrage !!!

9 / 20




Unterstutzung der Erdsystemforschung

Reanalysen/Analysen Auswertung und Zugriff auf verschiedeneDatensatze → Lizenz beachten!

Analyse Plug-Ins https://freva.klimod.de/

Im-Haus-Daten ... Stadtmessnetzhttp://mevis-www.met.fu-berlin.de/

Synoptik ... operationelle Daten Ninjo-Server

Modellierung zentrale Modellinstallationen (Referenz)

Terminalebene ... /home/model/WebGUI/Lehre ... https://vast.klimod.de/

10 / 20




Slurm

Jobscheduler fur Linux/Unix Systeme

Simple Linux Utility for Resource Management

Viele Supercomputer und Rechencluster nutzen SLURM

kostenlose open-source Software (GNU GPL)

sehr modular aufgebaut

11 / 20




Slurm am IfM

Partitionen

Name Rechner Nutzer

main/calc calc03,calc04,calc05 Mitarbeitercip cip01-37 (nicht permanent) Lehrefreva frevacalc ext. Frevauserwekuw WEKUW-System Lehre

Limits? Keine.

max. LaufzeitAnzahl gleichzeitiger Jobs pro User

12 / 20




Slurm Befehle

sinfo Infos uber Partitionen und Rechenknoten

squeue Infos uber laufende und wartende Jobs

sbatch Batchjob abschicken

scancel Job abbrechen

sacct Jobinformationen abrufen

13 / 20




Datenprojektmonitoring

Warum Datenprojektmonitoring?

Datenprojekte uber mehrere Datenserver verteilt

Planungen fur Speichererweiterungen (Admin)

Wo habe ich Daten zu liegen? (Nutzer)

14 / 20




Uberblick

Module-System

Projektmanagement chiliproject

Subversion

Gitlab

IT-Monitoring

15 / 20




Modules

Tool zum Verwalten von Softwareumgebungen

mehrere Versionen eines Programm deren Umgebungen

die Version kann dynamisch gewechselt werden

kann auf vorgefertigte Konfiguration zuruckgreifen (spartArbeit)

16 / 20




Modules-Befehle im Uberblick

module av[ailable] - Anzeige verfugbarer Module

module li[st] - Anzeige geladener bzw. aktivierter Module

module load/add modulefile - Modul laden

module unload/rm modulefile - Modul entfernen

module switch/swap [modulefile1] modulefile2 - Modulwechseln

module whatis modulefile - Modulbeschreibung anzeigen

module disp[lay]/show modulefile - Anzeige derEnvironment Anderungen

module purge - alle Module entfernen

17 / 20




weitere Softwareangebote

Projektmanagement mit Chiliproject

https://cladev.met.fu-berlin.de

zentrales Subversionrepository

svn info https://cladev.met.fu-berlin.de/svn/ProjektEinrichtung und Zugriffsrechte durch Admin

Gitlab zentrales Repository fur GIT

https://gitlab.met.fu-berlin.deZugriff auf Projekt durch User konfigurierbar

18 / 20




IT-Monitoring

icinga2 zur Uberwachung der IT-Systeme

364 Services und 45 Server werden uberwacht

Webdienste, Updatestand, Systemfilesysteme, Auslastung,Hardware wie Festplatten, Netzteile etc., Fernwartung,Drucker

19 / 20




Wunsche und Anregungen

Was erwarten die Anwender von der IT-Betreuung?

Wie kann die IT-Betreuung unterstutzt werden?

20 / 20

Documents

Informationstechnologie am Institut für Meteorologie · Subversion Gitlab IT-Monitoring 15/20. Allgemeiner Uberblick Rechenzeit und Speicherplatz - Planungen Software fur Lehre und