Synchronisation und verteilte Dateisystemeubicomp/projekte/master07-08-aw/gaerner/...MotivationSynchronisationDateisystemeDatenbankenFazitLiteratur Inhalt 1 Motivation 2 manuelle Synchronisation

Motivation Synchronisation Dateisysteme Datenbanken Fazit Literatur

Synchronisation und verteilteDateisysteme

Sven Gärner

Studiendepartment InformatikHochschule für Angewandte Wissenschaften Hamburg

08. Januar 2008

Sven Gärner Synchronisation und verteilte Dateisysteme


Inhalt

1 Motivation

2 manuelle SynchronisationrsyncUnison

3 verteilte DateisystemeFicus und RumorOceanStoreThe Free Network ProjectThe Fast Secure File SystemSSHFS

4 Datenbanken

5 Fazit



Inhalt

1 Motivation



4 Datenbanken

5 Fazit



Synchronisation von Verzeichnissen

automatischeSynchronisation vonVerzeichnissenlokal oder auf andereRechneralle Teilnehmer sindbekanntalle Teilnehmer sindgleichberechtigtAnzahl der Teilnehmerleicht veränderbar

Abbildung: Synchronisationvon s/downloads


Motivation Synchronisation Dateisysteme Datenbanken Fazit Literaturrsync Unison

Inhalt

1 Motivation



4 Datenbanken

5 Fazit



rsync [6]

„rsync is an open source utility that provides fastincremental file transfer.“ (rsync Website, [6])

unidirektionale Replikationmöglichst nur unterschiedliche Daten übertragen

Berechnung von Checksummen für einzelne Blöckenur unterschiedliche Blöcke übertragenBlockgröße hängt von Dateigröße ab

zustandslos (keine Speicherung von Meta-Daten)auch als Server einsetzbar



Unison [14]

Datei-Synchronisation zweier Replikateerlaubt unabhängige Änderungen an beidenReplikatenimplementiert Funktionalitäten von

Version Control Programmen (CVS [3], Subversion[9], . . . )verteilten Dateisystemen (Coda [5], . . . )rsync. . .

benötigt Profile und speichert Meta-DatenVerhalten komplett spezifiziert


Motivation Synchronisation Dateisysteme Datenbanken Fazit LiteraturFicus OceanStore freenet FSFS SSHFS

Inhalt

1 Motivation



4 Datenbanken

5 Fazit



Ficus und Rumor I [8]

Ficus:entwickelt an derUniversity of California,Los Angeles(1991–1996)implementiert alsKernel-Treiber fürSunOSverwendetoptimistischeReplikation Abbildung: Ficus und Rumor



Ficus und Rumor II

Ficus:Netzwerk-Zugriff für Clients bisher nur via NFS [10]Replikation erfordert keine permanente Verbindungder Server untereinander

Rumor:verwendet für Ficus entwickelte Algorithmenimplementiert als Benutzerprozess, keinDateisystemReplikation in einer Peer-to-Peer Umgebung



OceanStore I [13]

globaler Datenspeicherauf nichtvertrauenswürdigenServernServer dürfen jedesbeliebige Datenobjektcachen

Reduzierung vonNetzwerk-Trafficgeringere Latenzbeim ZugriffErhöhung derAusfallsicherheit

Abbildung: OceanStore Logo



OceanStore II

Server können ausfallen oder anderweitigbeeinträchtigt werdenintegrierte Archivfunktion

jede Version einer Datei wird gespeichertVerwendung von Erasure-Codes1

→ es müssten sehr viele Server ausfallen, um dasarchivierte Objekt zu löschen

Verwendung von Tapestry (siehe [13]) zurObjekt-Lokalisierung

1Wikipedia: http://en.wikipedia.org/wiki/Erasure_codeSven Gärner Synchronisation und verteilte Dateisysteme

http://en.wikipedia.org/wiki/Erasure_code


The Free Network Project I [1]

jeder soll publizieren könnenZugriff via HTTP-ProxyImplementation als Peer-to-Peer Netzwerkjeder Teilnehmer stellt Speicherplatz als LRU-Cachezur Verfügungjeder Knoten cached verschlüsselt Dateien

entweder selbst nachgefragte Dateienoder weitergeleitete Dateien



The Free Network Project II

ein Teilnehmer kennt den Inhalt seines CachesnichtErweiterungen erlauben

das Versenden/Empfangen von EMailsFilesharingzukünftig den Zugriff via Dateisystem mit Hilfe vonFUSE [4]

aktuelle Version beruht auf dem Prinzip des smallworld networks

jeder kontaktiert einen oder mehrere Vertrautevermutlich erreicht man damit alle Knoten imNetzwerk



The Fast Secure File System [2]verteiltes DateisystemKommunikation erfolgt verschlüsselt mittelsOpenSSL [12]jede Datei wird auf dem Client verschlüsseltServer verwaltet nur verschlüsselte DateienClient cached bisher nur Datei- undVerzeichnisnamenimplementiert als User-Dateisystem mit FUSE [4]

Abbildung: The Fast Secure File System



SSHFS [11]User-Dateisystem unter Verwendung von FUSEDateisystem-Zugriff auf fremden Rechner via SSH[7]Verbindung verschlüsselt und authentifiziertnur Meta-Daten werden im Cache vorgehaltenlokale Dateisysteme auf entferntem Rechnermounten

Abbildung: SSHFS / OpenSSH



Inhalt

1 Motivation



4 Datenbanken

5 Fazit



Datenbanken IVorteile

Daten sehr stark strukturiertgute Synchronisationsmöglichkeiteninzwischen auch „offline“ Operation möglichgute Abfragemöglichkeitenfein konfigurierbare Berechtigungsprofile



Datenbanken IINachteile

Dateien sind unstrukturiert aus Dateisystem-Sichtimmer Client-Server Architekturkeine Dateisystem-Schnittstellenicht von jeder Anwendung nutzbar



Inhalt

1 Motivation



4 Datenbanken

5 Fazit



Fazit I

rsynceffizient und flexibel beim Übertragen ganzerDateien

unisonoptimiert auf Synchronisation vieler Verzeichnisse

Ficus und RumorReplikation auf Dateisystem- undBenutzerprozess-Ebene

OceanStoreReplikation und VersionierungArchivierung mit Hilfe von Erasure Codes



Fazit II

The Free Network ProjectCachingPeer-to-Peer System

The Fast Secure File SystemVerschlüsselung von DateienZugriff auf entferntes Dateisystem

SSHFSverschlüsselter und authentifizierter Zugriff via SSH

DatenbankenReplikation und SynchronisationVersionierung



Literatur I

I. Clarke, M. Toseland, O. Sandberg, et al.The Free Network Project.[letzter Zugriff: 29. Dezember 2007].

N. Cocchiaro.Fast Secure File System.[letzter Zugriff: 29. Dezember 2007].

Free Software Foundation.Concurrent Versioning System.[letzter Zugriff: 27. Juli 2007].

FUSE Developers.FUSE - Filesystem in Userspace.[letzter Zugriff: 27. Juli 2007].



Literatur II

M. Satyanarayanan and Carnegie Mellon UniversityStudents.Coda.[letzter Zugriff: 27. Juli 2007].

P. Mackeras, A. Tridgell, and W. Davison.rsync.[letzter Zugriff: 27. Juli 2007].

OpenBSD.OpenSSH.[letzter Zugriff: 27. Juli 2007].

D. G. Popek, D. P. Reiher, et al.Ficus and Rumor.[letzter Zugriff: 29. Dezember 2007].



Literatur III

Subversion Development Team.Subversion.[letzter Zugriff: 27. Juli 2007].

Sun Microsystems.Network File System.[letzter Zugriff: 27. Juli 2007].

M. Szeredi.SSHFS.[letzter Zugriff: 27. November 2007].

The OpenSSL Project.OpenSSL.[letzter Zugriff: 06. Januar 2008].



Literatur IV

UC Berkeley Computer Science Division.Ocean Store.[letzter Zugriff: 29. Dezember 2007].

unison Development Team.unison.[letzter Zugriff: 27. Juli 2007].


Documents

Synchronisation und verteilte Dateisystemeubicomp/projekte/master07-08-aw/gaerner/...MotivationSynchronisationDateisystemeDatenbankenFazitLiteratur Inhalt 1 Motivation 2 manuelle Synchronisation