Unix-Einführung - Universität Heidelberg · Unix-Einführung 08 Universität Heidelberg -...

Unix-Einführung 08

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

Werkzeuge unter WindowsUnix-GrundlagenBenutzung von Programmen auf dem Cluster

Windows-Werkzeuge

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

Zugang mit Textkonsole: ssh-client http://www.urz.uni-heidelberg.de/Dokumentation/IBM-PCs.shtml

Putty http://www.chiark.greenend.org.uk/~sgtatham/putty/

Kopieren von Dateienssh-client http://www.urz.uni-heidelberg.de/Dokumentation/IBM-PCs.shtml

winscp http://winscp.net/eng/download.php

Graphische Anzeige unter Windows winaXe http://www.urz.uni-heidelberg.de/Dokumentation/IBM-PCs.shtml

Windows-Werkzeuge

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

für ‚Experten‘cygwin: http://www.cygwin.com

komplette Unix-Umgebung unter WindowsKostenlosX11 (graphische Oberfäche), Gnome/KDECompiler (gcc etc.)Skriptsprachen (perl, python, ruby etc.)gut zum Testen/Üben (Administration)

Grundlagen Terminologie

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

Serverentfernter Rechner oder Dienst

Clientlokaler Dienst, der auf den Server zugreift

Protokollein Kommunikationskanal z.B http: 80, ssh: 22

www.uni-heidelberg.de = www.uni-heidelberg.de:80

Dienstein vom Server angebotenes Protokoll

ssh dienstX11 Protokoll

Grundlagen Windowmanager

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

X11-Protokoll

lokal Windows-PC

X-Serverremote

Linux-PC

Anmelden am server (chi) per ssh-ProtokollAuf dem server

Starten eines graphischen Programms lokale Darstellung mittels X-Server (Vorsicht andere Terminologie)

ssh-Protokoll

Grundlagen Windowmanager

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

X11-Protokoll„getunnelt“

lokal Windows-PC

X-Server remoteLinux-PCz.B. chi

X11-Protokoll unsicher deshalb Tunneln des Protokolls innerhalb sshnur so graphische Fenster auf chi

ssh-Protokoll

Grundlagen Zugang

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

mit VPN (virtual private network)

ssh

lokal Windows-PC

X-Server remoteLinux-PC

server

innerhalb der Uni

VPN

lokal Windows-PC

X-Server remoteLinux-PC

server

Zugang CiscoVPN

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

innerhalb der Uni (ACI/OCI/PCI etc.)direkt

außerhalb (auch WLAN)Cisco-Client http://www.urz.uni-heidelberg.de/zugang/vpn/index.html

URZ-account

Andere Zugänge zum Netz im ACI

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

Hausnetz-Computer MitarbeiterStand PCs

Computer vor Bunsen-SaalStudentenEingeschränkte Möglichkeiten

Lokale Netze der AksLaptopsFür Praktika / Mitarbeiter Laptops etc. (AK Admin)

Für diese Netze: kein VPN nötig

X-Server winaXenach Installation: xsettings als Administrator ausführen

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

ssh-client putty

X11-forwarding anschaltenKonfigurationspeichern

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

ssh-client putty

Profil abspeichern Universität Heidelberg - Institut für Anorganische Chemie

Dr. Bodo Martin

Zugang zu Server (von Windows aus)

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

1. ggf. CiscoVPN starten2. winaXe starten3. Putty (oder Winssh) starten, Profil laden

Zugang auf Server

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

Textzugangschnell, auch von zuhause (mit VPN)zum Kontrollieren von Rechnungen meist ausreichendshell: bash (bourne again shell)

Graphischer ZugangVisualisierung von MolekülenDatenbanken (CSD)KomfortFrontends (Maestro, Molden) Kommando-Prompt

konsole

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

komfortable Version der TexteingabeTeil der KDE-Oberfläche (Linux)

läuft lokal

läuft auf dem Server! Die Ausgabe wird übertragen, Anzeige durch winaXe

konsole

Programme auf chi

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

Dokumentation https://chi.aci.uni-heidelberg.de

wichtigste Infos

Account:ab Diplomand/AFPbei AK-Sekretariat

oder AK-AdminFormular auf chi

Unix Essentials

bash = bo(u)rn(e) again shellDateisystemGrundlegende Befehle

Nomenklatur für Beispiele:<name> : Namen einsetzen

/home/<name> /home/kurs1 etcCluster <chi> bzw. angegeber Namefett: Unix-Commando

Unix Dateisystem 1

Root = / Verzeichnistrenner: / (nicht \ !)Wo bin ich: pwdVerzeichniswechsel: cdHome-Verzeichnis: /home/<name>

Unix Dateisystem 2

Relative und absolute Pfade: / vs. ~Tilde: ~ cd /home/martin oder cd ~

Leerzeichen in Dateinamen vermeiden:Sonderzeichen: _ - , keine Umlaute!

Besondere Dateien: . und ..cd .. : ein Verzeichnis nach obencd . : aktuelles Verzeichnis

Unix Dateisystem 3

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

RechteUser, Group, others jeweils Dreiergruppen: (Oktalformat) rwx

r = read, w = write, x = executeModifikation von Benutzerrechten mit chmod

a = all, u = user, g = group -rwxrwxrwx = 777

Gruppenrechtechmod g+rw hallo.txt chmod og-rwx hallo.txt

000 = 0010 = 2011 = 3100 = 4101 = 5110 = 6111 = 7

Reguläre Ausdrücke: regular expressions

Selektive Platzhalter

Alle Dateien : * (nicht *.*)Alle .com Dateien: *.comAlle hallo-<ziffer>: hallo-?

Beispiel*.com : alle .com Dateien im aktuellen Verzeichnis

Unix Befehle: ls

Auflisten von Dateien

Eine Datei: ls halloAlle .com Dateien: ls *.com(Fast) alle Dateien im Verzeichnis: ls * oder lsWeitere Formen: ll = ls -l , la = ls -a

nicht überall verfügbar (aber auf chi)aber nachrüstbar: alias ll=′ ls -l′

Unix Befehle: pwd / cd

Aktuelles Verzeichnis: pwdVerzeichniswechsel: cdpwd; cd . ; pwd; cd ..

Verzeichnis: /home/muster/kurs/test/cd /home/muster/kurs/test/cd test2cd ~/kurs/test/test2

Unix Befehle: touchErzeugen leerer Dateien

touch testls test

Später: Editoren: vi, emacs, nedit

Löschen des Bildschirms : clearNeuinitalisierung: reset

Unix Befehle: mkdir/rmdirErstellen von Verzeichnissen

mkdir ~/test-dirmkdir /home/muster/test-dirmkdir ../muster/test-dir

Löschen von leeren Verzeichnissen

rmdir ~/junk-dir

Unix Befehle: cpKopieren von Dateien und Verzeichnissen

Dateien: cp hallo hallo2

Verzeichnisse: cp -r testdir testdir2cp -r testdir/ .cp -rv testdir/ testdir2

-r : rekursiv-v : verbose auch -a : archive

Unix Befehle: mvDateien verschieben/umbenennen

Datei: mv hallo hallo_altVerzeichnis: mv hallo hallo_altIm Dateibaum: mv ~/test1.com dir2

wenn dir2 existiert (als Verzeichnis): dir2/test1.comwenn nicht : Umbenennen in dir2 (Datei)

Unix Befehle: rmLöschen von Dateien/Verzeichnissen

ACHTUNG: KEIN Papierkorb!rm halloInteraktiv: rm –i halloRekursiv: rm –r test-dirOhne Nachfrage: rm –rf * !!besser:

cd folder_to_deletepwdrm –ri *cd ..rmdir folder_to_delete

Unix Befehle: man/info

Hilfesysteme: 1. man 2. infoEingabe von: man man

Bsp: man less : Hilfe über Aufrufparameter.info less : moderneres Hilfesystem.

Einfachster Zugang über emacs. (C-h i)

Unix: ProzesseBefehle parallel ausführen

cp –r alles backup & Vorsicht!Anzeige mit: jobsKontrolle über die Shell: CTRL-zfg und bg%1&

Unix: bashHistory: mit Pfeiltasten ↑↓Ergänzung mit TAB CTRL-a und CTRL-e

Sprung an Anfang/Ende der ZeileLetzter Befehl mit !<Name>history

dann !123 führt entsprechnenden Befehl ausLetzen Befehl teilweise eingeben, dann PgUp/PgDown

Exit aus der Shell: exit oder CTRL-d (nicht X)

Pager less

Anzeige einer Datei ohne sie zu verändernwichtig bei laufenden Rechnungen!

less <dateiname> Quit : q Follow mode: SHIFT-fAnfang: p Ende SHIFT-g SPC, b, Suche: /SCF , dann n oder SHIFT-n

Prozessanzeige top

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

Anzeige über Auslastung der CPUsload-Anzeige

maximal 1 pro Core Beenden (in top) eigner Prozesse: mit k(ill)

Anzeige von Prozessen: psPID: process IDbeenden eingener Prozesse mit kill <PID>zombies ..

Unix: Editoren Gebräuchlichste Editoren

vi schnell, mächtig, kryptischemacs sehr gut, aber umfangreich (und kryptisch) nedit einfach, intuitiv, nicht überall verfügbar

Funktion ∝ 1/Einarbeitungszeit

Editor vi

Einfüge- und Kommandomodus, Umschalten mit ESC, Kommando mit :Insert :i Replace :r (ein Zeichen), :RLöschen :dd (eine Zeile), :x (Zeichen) ESC :wq write and quitHilfe: vi :help

Editor nedit(N)irwana (Edit)or

menügesteuertAufruf: nedit datei &Copy & pasteSteuerung an Windows angelehntMenü / Help

Editor (x)emacs

Anleitung: https://chi.aci.uni-heidelberg.de

Graphischer Modus auch für Einsteiger.sowohl emacs als auch xemacs

Textmodus mit emacs –nw (für console)

Komplexer Editor (aber gut!)META-Taste = ALT , also M-x = ALT-xHilfe: CTRL-h i (Hilfe-Index)Probieren: M-x doctor RET

Kommandos emacs

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

C- : ctrl-TasteM- : Alt-Taste

cluster

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

45 Opteron Rechner, 100+ Cores16 AMD MP Rechner, 32 Cores5 Xeon Dual-QuadcoresMaster Quad-XeonArbeitskreis-Rechenknoten

Chi (master node)

AMD XP 1900 16x2

AMD Opteron45x2 AMD Quad Xeons

cluster Schlangensystem

Anzeige laufender Rechnungenlistnodes

Jobs werden der Reihe nach verarbeitet. Status R: running Q: queued

Anhalten/Löschen von Jobskilljob <jobid>

cluster listnodes

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

Beispiel Quantenmechanik

Gaussian 03

Input erstellen Abschicken

Inputs erstellen

xyz KoordinatenZ-Matrix(redundant coordinates)

Alles Textdateien! Mit jedem Editor zu öffnen

Eingabe: Z-Matrix

Beschreibung des Moleküls in internen Koordinaten (keine Translation, keine Rotation)

Bindungen, Winkel, Diederwinkel (Torsionen)

Vorteil: klare Beschreibung (e.g. Torsionsprofil von Ethan)

Z-Matrix

1. Atom: keine Freiheitsgrade!2. Atom: Bindung zu 1.2. Atom: Bindung und Winkel3+. Atom: Bindung, Winkel, Torsion

Rein geometrische Beschreibung, kein Kraftfeld! (Elektronendichte)

Eingabe: g03 – H2O

#P HF/6-31G* opt iop(6/7=3) geom=printinputorient gfinputLeerzeile

Water optimizationLeerzeile

0 1H1O2 H1 r1H3 O2 r1 H1 a1Variables:r1 1.0a1 104.5

Leerzeile

XYZ Input

Leichter aus anderen Programmen / Formaten zu erhalten;Reihenfolge der Atome unwichtig (keine Abhängigkeiten) Für große Moleküle empfehlenswert

Eingabe XYZ

#P HF/6-31G* opt iop(6/7=3) geom=printinputorient gfinputLeerzeile

Formaldehyde optimizationLeerzeile

0 1C 0.0 0.0 z1O 0.0 1.22 0.0 H 0.94 -0.54 0.0H -0.94 -0.54 0.0Variables:z1

Leerzeile

Rechnung abschicken 1-2-3

1. Input erstellen (mit nedit/emacs/vi) h2o.com2. Abschicken: g03 h2o.com3. Schlangensystem: listnodes4. less h2o.out (kein &!)5. In less: SHIFT-f (follow mode)6. In less: CTRL-c , (q)

QM-Rechnung Files

Endung Inhalt

.com g03 Eingabedatei

.out g03 Ausgabedatei

.chk.bz2 Komprimiertes Checkpointfile

.fchk.bz2 Formatiertes Checkpointfile

Visualisierung z.B. molden

1. Eingabe von: molden & 2. Öffnen der h2o.out Datei3. Visualisierung der Optimierung etc.4. Orbitale, HOMO/LUMO5. Ändern der Z-Matrix möglich.

andere Möglichkeitengaussview 4.1 (gv41)molekel

Visualisierung Gaussview 4.1

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

Gaussview 4.1Lokale Kopie (Windows) erhältlich ab FP / Diplomand

Tools grepDurchsuchen von Textdateien

Beispiel: SCF Done in h2o.outgrep "SCF Done" h2o.outgrep "SCF Done" h2o.out | less

siehe: man grep

Tools bzip2/bunzip2Komprimieren von Dateien

Komprimieren bzip2 h2o.outErgebnis : h2o.out.bz2

Dekomprimierenbunzip2 h2o.out.bz2Ergebnis: h2o.out

analog mit gzip/gunzip (Endung .gz)

Tools zipErstellen von Archiven (Windows-compatibel)

zip –r zipfile.zip g03-files/erstellt komprimiertes Archiv mit allen Dateienin g03-files

unix-tool: tarErstellen

gzip: tar czvf tarfile.tar.gz g03-filesbzip2: tar cjvf tarfile.tar.bz2 g03-files

Entpackentar xzvf tarfile.tar.gztar xjvf tarfile.tar.bz2

Tools bc/xcalc"Taschenrechner"

bc -l1.234+4.321quit

xcalc

Tools > >> | < <<File-IO umleiten und Pipes

cat hallo > hallo2Inhalt der Datei hallo nach hallo2 schreiben

cat hallo >> hallo2Inhalt der Datei hallo an Datei hallo2 anfügen (append)

grep "SCF Done" h2o.out | lessSuche nach Zeilen mit „SCF Done“ und Anzeige in less

grep "A" *.out | grep "B" | lessPipe-Symbol : Verknüpfung von Input und Output

Tools (windows) winzipKopieren von Dateien zwischen Windows und Linux

frei erhältlichExplorer-Interface (zwei Fenster nebeneinander)sicher, einfachunter XP/Vista eigentlich überflüssig …

Tools Dateiformate

Universität Heidelberg - Institut für Anorganische ChemieQM-Methoden in der Anorganischen Chemie

WS05/06P C b / B d M i

Umwandlung verschiedener Formate mit newzmat

z.B. Aus dem checkpoint file eine neue Eingabestruktur:1. bunzip2 h2o.chk.bz22. newzmat 03 –ichk h2o.chk –ocart h2o-o.com3. bzip2 h2o.chk.bz2

andere MöglichkeitenBabel (openbabel, www.openbabel.org)maestro (graphische Oberfläche, frei, www.schrodinger.com )mercury (graphisch, Teil der CSD-Datenbank)Molekel http://www.bioinformatics.org/molekel/wiki/