Unix-Einführung - Universität Heidelberg · Unix-Einführung 08 Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin ` Werkzeuge unter Windows ` Unix-Grundlagen

Unix-Einführung 08

Universität Heidelberg - Institut für Anorganische ChemieDr. Bodo Martin

Werkzeuge unter WindowsUnix-GrundlagenBenutzung von Programmen auf dem Cluster

Windows-Werkzeuge


Zugang mit Textkonsole: ssh-client http://www.urz.uni-heidelberg.de/Dokumentation/IBM-PCs.shtml

Putty http://www.chiark.greenend.org.uk/~sgtatham/putty/

Kopieren von Dateienssh-client http://www.urz.uni-heidelberg.de/Dokumentation/IBM-PCs.shtml

winscp http://winscp.net/eng/download.php

Graphische Anzeige unter Windows winaXe http://www.urz.uni-heidelberg.de/Dokumentation/IBM-PCs.shtml

Windows-Werkzeuge


für ‚Experten‘cygwin: http://www.cygwin.com

komplette Unix-Umgebung unter WindowsKostenlosX11 (graphische Oberfäche), Gnome/KDECompiler (gcc etc.)Skriptsprachen (perl, python, ruby etc.)gut zum Testen/Üben (Administration)

Grundlagen Terminologie


Serverentfernter Rechner oder Dienst

Clientlokaler Dienst, der auf den Server zugreift

Protokollein Kommunikationskanal z.B http: 80, ssh: 22

www.uni-heidelberg.de = www.uni-heidelberg.de:80

Dienstein vom Server angebotenes Protokoll

ssh dienstX11 Protokoll

Grundlagen Windowmanager


X11-Protokoll

lokal Windows-PC

X-Serverremote

Linux-PC

Anmelden am server (chi) per ssh-ProtokollAuf dem server

Starten eines graphischen Programms lokale Darstellung mittels X-Server (Vorsicht andere Terminologie)

ssh-Protokoll

Grundlagen Windowmanager


X11-Protokoll„getunnelt“

lokal Windows-PC

X-Server remoteLinux-PCz.B. chi

X11-Protokoll unsicher deshalb Tunneln des Protokolls innerhalb sshnur so graphische Fenster auf chi

ssh-Protokoll

Grundlagen Zugang


mit VPN (virtual private network)

ssh

lokal Windows-PC

X-Server remoteLinux-PC

server

innerhalb der Uni

VPN

lokal Windows-PC

X-Server remoteLinux-PC

server

Zugang CiscoVPN


innerhalb der Uni (ACI/OCI/PCI etc.)direkt

außerhalb (auch WLAN)Cisco-Client http://www.urz.uni-heidelberg.de/zugang/vpn/index.html

URZ-account

Andere Zugänge zum Netz im ACI


Hausnetz-Computer MitarbeiterStand PCs

Computer vor Bunsen-SaalStudentenEingeschränkte Möglichkeiten

Lokale Netze der AksLaptopsFür Praktika / Mitarbeiter Laptops etc. (AK Admin)

Für diese Netze: kein VPN nötig

X-Server winaXenach Installation: xsettings als Administrator ausführen


ssh-client putty

X11-forwarding anschaltenKonfigurationspeichern


ssh-client putty

Profil abspeichern Universität Heidelberg - Institut für Anorganische Chemie

Dr. Bodo Martin

Zugang zu Server (von Windows aus)


1. ggf. CiscoVPN starten2. winaXe starten3. Putty (oder Winssh) starten, Profil laden

Zugang auf Server


Textzugangschnell, auch von zuhause (mit VPN)zum Kontrollieren von Rechnungen meist ausreichendshell: bash (bourne again shell)

Graphischer ZugangVisualisierung von MolekülenDatenbanken (CSD)KomfortFrontends (Maestro, Molden) Kommando-Prompt

konsole


komfortable Version der TexteingabeTeil der KDE-Oberfläche (Linux)

läuft lokal

läuft auf dem Server! Die Ausgabe wird übertragen, Anzeige durch winaXe

konsole

Programme auf chi


Dokumentation https://chi.aci.uni-heidelberg.de

wichtigste Infos

Account:ab Diplomand/AFPbei AK-Sekretariat

oder AK-AdminFormular auf chi

Unix Essentials

bash = bo(u)rn(e) again shellDateisystemGrundlegende Befehle

Nomenklatur für Beispiele:<name> : Namen einsetzen

/home/<name> /home/kurs1 etcCluster <chi> bzw. angegeber Namefett: Unix-Commando

Unix Dateisystem 1

Root = / Verzeichnistrenner: / (nicht \ !)Wo bin ich: pwdVerzeichniswechsel: cdHome-Verzeichnis: /home/<name>

Unix Dateisystem 2

Relative und absolute Pfade: / vs. ~Tilde: ~ cd /home/martin oder cd ~

Leerzeichen in Dateinamen vermeiden:Sonderzeichen: _ - , keine Umlaute!

Besondere Dateien: . und ..cd .. : ein Verzeichnis nach obencd . : aktuelles Verzeichnis

Unix Dateisystem 3


RechteUser, Group, others jeweils Dreiergruppen: (Oktalformat) rwx

r = read, w = write, x = executeModifikation von Benutzerrechten mit chmod

a = all, u = user, g = group -rwxrwxrwx = 777

Gruppenrechtechmod g+rw hallo.txt chmod og-rwx hallo.txt

000 = 0010 = 2011 = 3100 = 4101 = 5110 = 6111 = 7

Reguläre Ausdrücke: regular expressions

Selektive Platzhalter

Alle Dateien : * (nicht *.*)Alle .com Dateien: *.comAlle hallo-<ziffer>: hallo-?

Beispiel*.com : alle .com Dateien im aktuellen Verzeichnis

Unix Befehle: ls

Auflisten von Dateien

Eine Datei: ls halloAlle .com Dateien: ls *.com(Fast) alle Dateien im Verzeichnis: ls * oder lsWeitere Formen: ll = ls -l , la = ls -a

nicht überall verfügbar (aber auf chi)aber nachrüstbar: alias ll=′ ls -l′

Unix Befehle: pwd / cd

Aktuelles Verzeichnis: pwdVerzeichniswechsel: cdpwd; cd . ; pwd; cd ..

Verzeichnis: /home/muster/kurs/test/cd /home/muster/kurs/test/cd test2cd ~/kurs/test/test2

Unix Befehle: touchErzeugen leerer Dateien

touch testls test

Später: Editoren: vi, emacs, nedit

Löschen des Bildschirms : clearNeuinitalisierung: reset

Unix Befehle: mkdir/rmdirErstellen von Verzeichnissen

mkdir ~/test-dirmkdir /home/muster/test-dirmkdir ../muster/test-dir

Löschen von leeren Verzeichnissen

rmdir ~/junk-dir

Unix Befehle: cpKopieren von Dateien und Verzeichnissen

Dateien: cp hallo hallo2

Verzeichnisse: cp -r testdir testdir2cp -r testdir/ .cp -rv testdir/ testdir2

-r : rekursiv-v : verbose auch -a : archive

Unix Befehle: mvDateien verschieben/umbenennen

Datei: mv hallo hallo_altVerzeichnis: mv hallo hallo_altIm Dateibaum: mv ~/test1.com dir2

wenn dir2 existiert (als Verzeichnis): dir2/test1.comwenn nicht : Umbenennen in dir2 (Datei)

Unix Befehle: rmLöschen von Dateien/Verzeichnissen

ACHTUNG: KEIN Papierkorb!rm halloInteraktiv: rm –i halloRekursiv: rm –r test-dirOhne Nachfrage: rm –rf * !!besser:

cd folder_to_deletepwdrm –ri *cd ..rmdir folder_to_delete

Unix Befehle: man/info

Hilfesysteme: 1. man 2. infoEingabe von: man man

Bsp: man less : Hilfe über Aufrufparameter.info less : moderneres Hilfesystem.

Einfachster Zugang über emacs. (C-h i)

Unix: ProzesseBefehle parallel ausführen

cp –r alles backup & Vorsicht!Anzeige mit: jobsKontrolle über die Shell: CTRL-zfg und bg%1&

Unix: bashHistory: mit Pfeiltasten ↑↓Ergänzung mit TAB CTRL-a und CTRL-e

Sprung an Anfang/Ende der ZeileLetzter Befehl mit !<Name>history

dann !123 führt entsprechnenden Befehl ausLetzen Befehl teilweise eingeben, dann PgUp/PgDown

Exit aus der Shell: exit oder CTRL-d (nicht X)

Pager less

Anzeige einer Datei ohne sie zu verändernwichtig bei laufenden Rechnungen!

less <dateiname> Quit : q Follow mode: SHIFT-fAnfang: p Ende SHIFT-g SPC, b, Suche: /SCF , dann n oder SHIFT-n

Prozessanzeige top


Anzeige über Auslastung der CPUsload-Anzeige

maximal 1 pro Core Beenden (in top) eigner Prozesse: mit k(ill)

Anzeige von Prozessen: psPID: process IDbeenden eingener Prozesse mit kill <PID>zombies ..

Unix: Editoren Gebräuchlichste Editoren

vi schnell, mächtig, kryptischemacs sehr gut, aber umfangreich (und kryptisch) nedit einfach, intuitiv, nicht überall verfügbar

Funktion ∝ 1/Einarbeitungszeit

Editor vi

Einfüge- und Kommandomodus, Umschalten mit ESC, Kommando mit :Insert :i Replace :r (ein Zeichen), :RLöschen :dd (eine Zeile), :x (Zeichen) ESC :wq write and quitHilfe: vi :help

Editor nedit(N)irwana (Edit)or

menügesteuertAufruf: nedit datei &Copy & pasteSteuerung an Windows angelehntMenü / Help

Editor (x)emacs

Anleitung: https://chi.aci.uni-heidelberg.de

Graphischer Modus auch für Einsteiger.sowohl emacs als auch xemacs

Textmodus mit emacs –nw (für console)

Komplexer Editor (aber gut!)META-Taste = ALT , also M-x = ALT-xHilfe: CTRL-h i (Hilfe-Index)Probieren: M-x doctor RET

Kommandos emacs


C- : ctrl-TasteM- : Alt-Taste

cluster


45 Opteron Rechner, 100+ Cores16 AMD MP Rechner, 32 Cores5 Xeon Dual-QuadcoresMaster Quad-XeonArbeitskreis-Rechenknoten

Chi (master node)

AMD XP 1900 16x2

AMD Opteron45x2 AMD Quad Xeons

cluster Schlangensystem

Anzeige laufender Rechnungenlistnodes

Jobs werden der Reihe nach verarbeitet. Status R: running Q: queued

Anhalten/Löschen von Jobskilljob <jobid>

cluster listnodes


Beispiel Quantenmechanik

Gaussian 03

Input erstellen Abschicken

Inputs erstellen

xyz KoordinatenZ-Matrix(redundant coordinates)

Alles Textdateien! Mit jedem Editor zu öffnen

Eingabe: Z-Matrix

Beschreibung des Moleküls in internen Koordinaten (keine Translation, keine Rotation)

Bindungen, Winkel, Diederwinkel (Torsionen)

Vorteil: klare Beschreibung (e.g. Torsionsprofil von Ethan)

Z-Matrix

1. Atom: keine Freiheitsgrade!2. Atom: Bindung zu 1.2. Atom: Bindung und Winkel3+. Atom: Bindung, Winkel, Torsion

Rein geometrische Beschreibung, kein Kraftfeld! (Elektronendichte)

Eingabe: g03 – H2O

#P HF/6-31G* opt iop(6/7=3) geom=printinputorient gfinputLeerzeile

Water optimizationLeerzeile

0 1H1O2 H1 r1H3 O2 r1 H1 a1Variables:r1 1.0a1 104.5

Leerzeile

XYZ Input

Leichter aus anderen Programmen / Formaten zu erhalten;Reihenfolge der Atome unwichtig (keine Abhängigkeiten) Für große Moleküle empfehlenswert

Eingabe XYZ

#P HF/6-31G* opt iop(6/7=3) geom=printinputorient gfinputLeerzeile

Formaldehyde optimizationLeerzeile

0 1C 0.0 0.0 z1O 0.0 1.22 0.0 H 0.94 -0.54 0.0H -0.94 -0.54 0.0Variables:z1

Leerzeile

Rechnung abschicken 1-2-3

1. Input erstellen (mit nedit/emacs/vi) h2o.com2. Abschicken: g03 h2o.com3. Schlangensystem: listnodes4. less h2o.out (kein &!)5. In less: SHIFT-f (follow mode)6. In less: CTRL-c , (q)

QM-Rechnung Files

Endung Inhalt

.com g03 Eingabedatei

.out g03 Ausgabedatei

.chk.bz2 Komprimiertes Checkpointfile

.fchk.bz2 Formatiertes Checkpointfile

Visualisierung z.B. molden

1. Eingabe von: molden & 2. Öffnen der h2o.out Datei3. Visualisierung der Optimierung etc.4. Orbitale, HOMO/LUMO5. Ändern der Z-Matrix möglich.

andere Möglichkeitengaussview 4.1 (gv41)molekel

Visualisierung Gaussview 4.1


Gaussview 4.1Lokale Kopie (Windows) erhältlich ab FP / Diplomand

Tools grepDurchsuchen von Textdateien

Beispiel: SCF Done in h2o.outgrep "SCF Done" h2o.outgrep "SCF Done" h2o.out | less

siehe: man grep

Tools bzip2/bunzip2Komprimieren von Dateien

Komprimieren bzip2 h2o.outErgebnis : h2o.out.bz2

Dekomprimierenbunzip2 h2o.out.bz2Ergebnis: h2o.out

analog mit gzip/gunzip (Endung .gz)

Tools zipErstellen von Archiven (Windows-compatibel)

zip –r zipfile.zip g03-files/erstellt komprimiertes Archiv mit allen Dateienin g03-files

unix-tool: tarErstellen

gzip: tar czvf tarfile.tar.gz g03-filesbzip2: tar cjvf tarfile.tar.bz2 g03-files

Entpackentar xzvf tarfile.tar.gztar xjvf tarfile.tar.bz2

Tools bc/xcalc"Taschenrechner"

bc -l1.234+4.321quit

xcalc

Tools > >> | < <<File-IO umleiten und Pipes

cat hallo > hallo2Inhalt der Datei hallo nach hallo2 schreiben

cat hallo >> hallo2Inhalt der Datei hallo an Datei hallo2 anfügen (append)

grep "SCF Done" h2o.out | lessSuche nach Zeilen mit „SCF Done“ und Anzeige in less

grep "A" *.out | grep "B" | lessPipe-Symbol : Verknüpfung von Input und Output

Tools (windows) winzipKopieren von Dateien zwischen Windows und Linux

frei erhältlichExplorer-Interface (zwei Fenster nebeneinander)sicher, einfachunter XP/Vista eigentlich überflüssig …

Tools Dateiformate

Universität Heidelberg - Institut für Anorganische ChemieQM-Methoden in der Anorganischen Chemie

WS05/06P C b / B d M i

Umwandlung verschiedener Formate mit newzmat

z.B. Aus dem checkpoint file eine neue Eingabestruktur:1. bunzip2 h2o.chk.bz22. newzmat 03 –ichk h2o.chk –ocart h2o-o.com3. bzip2 h2o.chk.bz2

andere MöglichkeitenBabel (openbabel, www.openbabel.org)maestro (graphische Oberfläche, frei, www.schrodinger.com )mercury (graphisch, Teil der CSD-Datenbank)Molekel http://www.bioinformatics.org/molekel/wiki/

Documents

Unix-Einführung - Universität Heidelberg · Unix-Einführung 08 Universität Heidelberg - Institut für Anorganische Chemie Dr. Bodo Martin ` Werkzeuge unter Windows ` Unix-Grundlagen