Internet-Charakteristiken

Qualitativ

Burghard Güther, Christiane Wilke: Internet Charakteristiken Sommersemester 2000

Seminar „Suchmaschinen – Prinzipien und Algorithmen“, Peter K. Ibach

Inhalt:

Internet – Geschichte

Protokolle im Internet (IP, TCP, serielle Protokolle)

IP-Adressierung

DNS

Internet-Organisationen

HTTP

FTP

Topologie

Backbones

Knoten

Internet: Geschichte

- Urprung im ARPANET (1969)

- dezentrale Kommunikationslösung, die auch unter ungünstigsten Umständenein Maximum an Funktion gewährleistet

- statt Leistungsorientierte nun Paketorientierte Datenübertragung

Daten werden in Pakete aufgeteilt, jedes Packet enthält Sendeadresse, Empfangsadresse und Sequenznummer,

Vermitteln der Pakete von speziellen Computern (Routern) in Abhängigkeit von Verfügbarkeit, Verkehrsbelastung, Übertragungszeit (jedes Paket kann unterschiedlichen Weg nehmen)

Verfahren wesentlich fehlertoleranter

-1973 Internetprojekt – Versuch der Vereinigung von verschiedenen Implementationen paketorientierter Übertragungsmechanismen:

Arpanet, Satelliten-Netzwerk, Funk-Netzwerk und Ethernet über TCP/IP verbunden (Ur-Internet)

- 1983 Umstellung der Arpanet-Knoten auf TCP/IP

OSI-7-Schichtenmodell (Kommunikationsprotokolle zwischen Computern)

OSI-Schicht 1 –Bitübertragungsschicht (Physical Layer), z.B. RS 232

elektrische und mechanische Parameter der Übertragung

OSI-Schicht 2 – Sicherungsschicht (Data Link Layer)

Aufteilung der Daten in Datenpakete und Fehlerkontrolle

OSI-Schicht 3 – Vermittlungsschicht (Network-Layer), z.B. IP, X.25, IPX

Auswahl der Übertragungswege für Datenpakete

OSI-Schicht 4 – Transportschicht (Transport-Layer), z.B. TCP, UDP, ATP

Vermittlung der Datenformate zwischen Schicht 5 und Schicht 3

OSI-Schicht 5 – Sitzungsschicht (Session-Layer), z.B. DNS, NetBIOS, NetBEUI

Verwaltung verschiedener Sessions

OSI-Schicht 6 – Darstellungsschicht (Presentation-Layer)

Konvertierung interner Darstellungsformate (z.B. ASCII) in Netzwerkdarstellung

OSI-Schicht 7 –Anwendungsschicht (Application-Layer), z.B. Telnet, FTP ...

Dienstprogramme, die über Netzwerk realisiert werden

IP: OSI-Schicht 3 Protokoll

- verschickt Datenpakete zwischen zwei Computern, Transportmechanismen wie lokale Netze, Weitverkehrsnetze und serielle Übertragungsmethoden werden benutzt

- paketorientiert, verbindungslos, nicht garantiert

Besondere Merkmale:

IP sieht Zerlegung in Unterpakete vor, wenn Paket der ursprünglichen Größe nicht übertragen werden kann – Pakete können von IP wieder zusammengesetzt werden

Jedes Datenpaket hat ein TTL-Feld (time to life). Dieses gibt an, wie lange ein Paket im Internet unterwegs sein darf, bis es verworfen wird

Aufbau eines IP-Paketes, Quelle: Kyas94

Bemerkung:

Flag und Fragment-Offset für Zerlegung in Unterpakete

TCP: OSI-Schicht 4 Protokoll

- stellt virtuelle Verbindung zwischen zwei Computern im Internet her

- garantierte Übertragung

Funktionsweise:

TCP unterteilt Daten in Pakete

(Standardgröße TCP 536 Bytes + 40 Byte IP-Header = Standardgröße IP 576 Bytes)

jedes Paket trägt Segment-Nummer, Empfangsstation kann Vollständigkeit der Pakete prüfen und Reihenfolge wiederherstellen

Vollständigkeit wird nur für Gruppen von Paketen (=Fenster) verschickt, bei erneuter Übertragung muß gesamtes Fenster wiederholt werden

Aufbau eines TCP-Paketes, Quelle: Kyas94

TCP-Port:Software-Adresse, die bestimmte Dienstprogramme auf Computer ansprechenz.B. 21 ftp, 23 telnet, 79 finger

Internet-Protokolle für die serielle Leitung

• SLIP (Serial Line Internet Protocol)

einfaches Protokoll für Wählleitungen

Nachteile:

- keine Adreßinformationen austauschbar (IP-Adressen müssen bekannt sein)

- nur ein Protokoll gleichzeitig übertragbar

- keine Fehlerkorrekturmechanismus (zwar über TCP/IP, aber ineffizient)

• PPP (Point to Point Protocol), RFC 1331, Dez. 1993

wesentlich komplexer als SLIP

- Möglichkeit der Zuweisung von Netzwerkadressen

- Unterstützung unterschiedlicher Netzwerkprotokolle (IP, IPX, DECnet...)

- Fehlerkorrektur

IP-Adressierung im Internet (IPv4):

• jeder Teilnehmer im Internet besitzt IP-Adresse, bestehend aus 4 Bytes, z.B. 141.20.20.1

• IP-Adresse ist weltweit einmalig

• theoretisch 4,3 Milliarden Adressen, durch Reservierungen prinzipiell 3,7 Milliarden

• wird unterteilt in Netzidentifikation (net-id) und Benutzeridentifikation (host-id)

•Je nach Klasse (A, B, C) unterscheiden sich jeweils Länge der Teile:

Quelle:Kyas94

Problem bei IPv4:

Knappheit vor allem bei Klasse B-Adressen, da zugehörige Netzwerke kaum 65024 Hosts ausschöpfte, aber zu viele Netzwerke mit Bedarf größer 254 Hosts

Zwischenlösung: 1993 Classless Interdomain Routing (CIDR)

Zusatzprotokoll auf IP-Routern, die bestimmte Class-B- oder Class-C-Adressen zu einem Subnetz zu kombinieren.

Besetzung des IPv4 Adreßraumes

Der A-Klasse Adreßraum ist am dünnsten besiedelt, obwohl dort am meisten Adressen vorhanden

(16 Millionen Hosts pro Adresse)

Adressen sind vergeben z.B. an:

IANA, Defensive Information System Agency, Intel, Apple ...

Quelle: c‘t 9/99

Lösung des Problems: IPv6

• Erweiterung von 32 auf 128 Bit

• 8 durch Punkte getrennte 16 Bit-Zahlen

• Aufspaltung in zwei Teile:

- erster Teil austauschbar, dient dem Routing

- zweiter Teil global eindeutige Identifizierung

- Großer Vorteil z.B. für Mobilfunkanwendung: jedes Endgerät kann sich in beliebigem Netz anmelden

•IPv6 soll IPv4 zwischen 2003 und 2005 ablösen

Domain Name System (DNS):

In den Anfängen des Internet wurde jedem Computer neben seiner Adresse ein Namen zugeordnet.

Eine Liste mit Namen und zugehörigen Adressen wurde dann regelmäßig an alle Rechner im Netz verteilt.

1986 enthielt die Namensliste 3600 Namen.

Es wurde klar, dass durch die ständig wachsende Anzahl von Netzteilnehmern die lokale Adressenverwaltung dem nicht lange gerecht bleiben konnte.

Die Domainnamen mussten hierarchisch strukturiert werden:

[host.subdomain.]...subdomain.top-level-domain Bsp.: www.informatik.hu-berlin.de/

(Jede subdomain muß innerhalb ihrer domain eindeutig sein.)

Um diese „aufwändigeren“ Internetadressen verwalten zu können, wurde ein dezentral verteiltes Directory-System benötigt. Es wird von bestimmten Servern (DNS-Servern) verwaltet.

Das TCP/IP wurde 1986 um das DNS erweitert.

Domain Name System (DNS):

Adressanfragen lokaler Systemen koennen nun vom dezentralen DNS-Server beantwortet werden.

Wie findet der lokale DNS-Server eine Adresse?

1. der lokale DNS-Server kennt die Adresse, da es sich um eine Adresse auf dem lokalen Server handelt2. der lokale DNS-Server kennt die Adresse, da bereits schon zuvor nach der Adresse gefragt wurde. Der DNS-Server behält die die gesuchte Adresse eine gewisse Zeit für spätere Suchanfragen (name caching)3. der lokale DNS-Server kennt die Adresse noch nicht und muss sie erst herausfinden

- Zuerst kontaktiert er den root-Server.

- Dieser kennt alle Adressen der jeweiligen Top-Level-Domain-DNS-Server. Der root-Server kontaktiert dann die jeweilige Top-Level-Domain und erfragt dort die Adresse des entsprechenden Sub-Domain-DNS-Servers usw.

-Der lokale DNS-Server kontaktiert dann den so ermittelten DNS-Server und erfährt die Adresse des gesuchten hosts. Diese wird dann auch gecacht.

Domain Name System (DNS)

Domain Name System (DNS)

com kommerzielle Einrichtungen

edu Universitäten, Schulen...

gov US-Regierung

mil US-Militär

org nicht-kommerzielle Einrichtungen

net Netzwerk Ressourcen

ISO-Ländercodes (z.B. de für Deutschland)

Top-Level-Domains:

Stammt noch aus der Zeit, da Internet hauptsächlich von Nordamerika geprägt war

Internet-Organisationen:

• Internet Society ISOC

Internationale Gesellschaft zur Weiterentwicklung des Internets

• Nordamerikanischer Raum: Internet Architecture Board (IAB)

Unterteilt in (Internet Engeneering Task Force) IETF und IRTF

• Internet Assigned Numbers Authority (IANA)

Organisation für Vergabe von IP-Adressen und Top-Level-D.

• Internet Corporation for Assigned Numbers and Names (ICANN).

neue Organisation für Verwaltung und IP-Adressen

• RIPE-NCC (Europa), APNIC (Asien) und ARIN (Nordamerika)

Vergabe von Domains

• National Science Foundation (NSF)

Amerikanisches Gegenstück zum DFN, Backbonebetreiber

• Internet-Standards:

RFC – Request for comment (verwaltet von IAB)

Das HTTP-Protokoll

• einfaches und schnelles Protokoll zum Abrufen von Dateien

• HTTP 0.9

• HTTP 1.0 (1992 - Mai 1996), RFC 1945

kein eigentlicher Standard,da von Servern und Browsern bestimmt,daher nur beschrieben einem Internet Draft von Tim Berners-Lee, Roy Fielding und Hendrik Nielsen

• HTTP 1.1 (1997 - Jul 1999), RFC 2616

IETF - Hypertext Transfer Protocol (HTTP) Working Group des W3C

Das HTTP-Protokoll

Ablauf des Protokolls HTTP 0.9:

TCP/IP-Verbindung (Port 80)

Client schickt request der Form:

get document.html?suchbegriff1+suchbegriff2 CRLF

Server antwortet Response: File als ASCII-Stream

Client sollte Antwort so schnell wie möglich lesen, also z.B. nicht auf User-Kommandos warten

Fehler werden als normale HTML-Seite versandt; es gibt keinen Weg, einen gescheiterte Abfrage von einer geglückten zu unterscheiden

Nach der Übertragung wird TCP/IP-Verbindung gekappt

HTTP 1.0:

Nun nicht nur Übertragung der Datei, sondern Header mit zusätzlichen Informationen verschickt

Möglichkeiten für weitere Optionen (request-fields im header) und Status-Codes

• Inhalts-Codierung (Content-Encoding), z.B. x-gzip, Länge (Content- Lenth), Content-Type, z.B. text/plain, text/html, image/gif

• Datum (Date), Datum der letzen Modifikation (Last-Modified), Verfallsdatum der Datei (Expires), Umleitung (Location)

• Caching-Direktiven (Pragma)

• von wem kommt die Anfrage (From)

• Abfrage des Datums der letzten Aktualisierung (If-Modified-Since)

• Angabe der Software (User-Agent), des Verweislinks (Referer)

• Client kann Request mit Authentifikation senden (Authorization)

• meist als Reaktion auf Server mit unauthorized respond (401) und Signalisierung des Parameters (WWW-Authenticate)

HTTP 1.0:

Befehle über get hinausgehend:

•head (wie get, aber nur Header des HTTP-Protokolls)

• Senden von Daten (post),

z.B. für Webformulare, Message für Diskussions-Foren, Datenbanken

• genau Interpretation von post vom Server

• zusätzliche Daten im MIME-Format möglich (für post)

HTTP 1.1:

•Neue request-Methoden:Speichern und Löschen von Files (put,delete,link,unlink)Frage nach Methoden (options) und debugging (trace)

• Verbindung wird nun nicht nach jeder gesendeten Datei unterbrochen sondern kann offengehalten werden; mehrer Requests gleichzeitig bearbeitbar

• Immer größeren Dateien Rechnung getragen durch byte-range-operations(Content-Range) - auch für seitenweises Abrufen von PDF

• Content negotiation - akzeptieren oder präferieren von bestimmten Filetypen (Accept), Formaten (Accept-encoding), Sprachen (Accept-Language) und Zeichensätzen (Charset)

• Bezahlung (Charge-To)

• besserer Cachingsupport (If-None-Match,If-Range, If-Unmodified-Since, Cache-Controle mit Werten wie: no-cache, no-store, max-age, max-stale, min-fresh, no-transform, only-if-cached) - nötig wegen zunehmend dynamischen Seiten

• verbesserte Authentifizierung (keine Klartext-Übertragung)

tango bguether 27 ( ~ ) > telnet www.rz 80Trying 141.20.1.45...Connected to webmania.rz.hu-berlin.de.Escape character is '^]'.HEAD /index.html HTTP/1.0

HTTP/1.1 200 OKDate: Mon, 29 May 2000 11:51:03 GMTServer: Apache/1.3.12 (Unix) PHP/3.0.15Last-Modified: Tue, 16 May 2000 14:31:44 GMTETag: "3aff5-18b8-39215bd0"Accept-Ranges: bytesContent-Length: 6328Connection: closeContent-Type: text/html

Connection closed by foreign host.

Beispiel für HTTP-Protokoll (1):

tango bguether 31 ( ~ ) > telnet www.rz 80Trying 141.20.1.45...Connected to webmania.rz.hu-berlin.de.Escape character is '^]'.HEAD /index.html HTTP/1.1HOST: bla.comCONNECTION: CLOSE

HTTP/1.1 200 OKDate: Mon, 29 May 2000 12:28:26 GMTServer: Apache/1.3.12 (Unix) PHP/3.0.15Last-Modified: Tue, 16 May 2000 14:31:44 GMTETag: "3aff5-18b8-39215bd0"Accept-Ranges: bytesContent-Length: 6328Connection: closeContent-Type: text/html

Connection closed by foreign host.

Beispiel für HTTP-Protokoll (2):

tango bguether 63 ( ~ ) > telnet www.rz 80Trying 141.20.1.45...Connected to webmania.rz.hu-berlin.de.Escape character is '^]'.HEAD /Newsletter/ HTTP/1.0

HTTP/1.1 301 Moved PermanentlyDate: Mon, 29 May 2000 13:20:59 GMTServer: Apache/1.3.12 (Unix) PHP/3.0.15Location: http://www.hu-berlin.de/htdig/suche-rzmit.htmlConnection: closeContent-Type: text/html; charset=iso-8859-1

Connection closed by foreign host.

Beispiel für HTTP-Protokoll (1):

FTP - File Transfer Protokoll:

• erster Filetransfer-Mechanismus 1971, um an Servern im M.I.T. implementiert zu werden (RFC114)

• definiert, um Dateien effizient und zuverlässig zwischen Rechnern zu übertragen und Daten ferngesteuert speichern zu können (RFC 430, 1973)

• Spezifikation für TCP (RFC 765)

• Standard: RFC 959 Oktober 1985

Merkmale:

•Transparenz für den Anwender Der User muß keine Kenntnis über das Betriebssytem haben, auf das er per FTP zugreifen will, es reicht aus, die FTP-Kommandos zu kennen. Der FTP-Server übernimmt dieUmsetzung der FTP-Befehle in die entsprechenden Kommandos des Betriebssystems.

• Zuverlässige und effizente Datenübertragung • Mit FTP können verschiedene Dateitypen übertragen werden• User FTP und Anonymous-FTP

- bei User-FTP mit Loginnamen und Passwort anmelden: gleiche Zugriffsrechte, wie direktes einloggen auf Server- bei Anonymous-FTP meist mit „Anonymous“ und EMailadresse als Passwort anmelden, Zugriff auf öffentlichen Teil des FTP-Servers – Dateien für alle Internet-Nutzer

• FTP benötig zwei separate TCP-Verbindungen: - für Kommandos und Antworten (command channel), Port 21, nach dem Telnet Protokoll- für die Daten (data channel), Port und andere Parameter von Daten-Verbindung festgelegt- Senden und Empfangen gleichzeitig auf data channel möglich (duplex)

ascii Switch to ascii mode. Ascii mode is the default mode and used for transferring text files

binary Switch to binary mode. For transferring binary files like .ZIP files, .Z files and the like

cd Change the directory on the remote computerdir List the files in the current directory on the remote computer.ls Same as 'dir', but shows less information sometimes.get Copy a file from the remote computer to yourshash Puts a '#' on the screen for every <number> of bytes transferred. <number> is

1024 in some cases, 2048 in others but is between 1024 and 4096 in mostcases. Check the ftp 'help' function for more info on the number for yourclientprogram.

help Gives help on the use of commands within the ftp programlcd Change the directory on your computer (the 'l' is for local)lpwd Shows the present working directory (pwd) on your computer (the 'l' is for

local). Note: this may not work on all machines. On a Unix machine, try !pwdif lwpd doesn't work.

mget Copy multiple files from the remote computer to yourspwd Shows the present working directory (pwd) on the remote computer

Topologie:

Internet besteht aus vielen Netzwerken unterschiedlicher Größenordnung:

• Computerpool

• Fachbereich Informatik

• Humboldt-Universität zu Berlin

• Netzwerk zwischen Berliner Unis

• DFN-Netzwerk

• Knoten zu anderen Netzwerken (kommerziell)

Daher gibt es keine Abbildung mehr der aktuellen Topologie des Internets, sondern nur der Teilnetze

Bei den Hauptverbindungen von größeren Netzen spricht man von Backbones:

Uni ER

Uni WÜ

KU EI

Uni N

Uni BT

Nürnberg

MPI

München

Stuttgart

Köln

Hamburg

LRZ M

Uni FF

Uni K

Uni W

Uni E

Uni DU

GMD St.Aug

Frankfurt

Uni DUni HA

Karlsruhe

FU B

Uni Kiel

DESY, DKRZ, TU HHGKSS, Uni BW, Uni HH

Uni S

Uni HRO

TU BS

Uni H

Uni HAL

Uni MD

TU CLZ

Uni OS

TUB, HUB, ZIB, WISTABBB, MPG, GMD

Berlin

Uni ER

Uni A

LRZ M

Uni PA

Uni P

DWD

TH DA

Uni KS

Uni F Uni BA

Uni MR

BA WEUni J

FH EF

GwD GÖ

Uni HI

TU IL

Uni OL

DLR K

Hannover

FZ JÜLUni Bo

Uni DO

Uni MS

RWTH AC

Uni R

Uni HGW

HS HWI

FH NB

FH HSTIAP

Uni L TU DD

Uni KL

TU C

Uni LGUni HB

Uni BI

Uni GI

Uni BN

Uni Si

Uni PB

Leipzig

Uni HD

Uni BW-M

Backbone:

DFN-Netz B-Win

Quelle:

http://www.dfn.de

Quelle:

http://www.nacamar.de

Kommerzieller Backbone:

Nacamar

Quelle:

http://www.tcpip-gmbh.de/

Kommerzieller Backbone:

TCP/IP

Quelle:

http://www.gtsgroup.com/

Europäischer Backbone:

GTS Trans European Network

(u.a. Ebone)

Quelle:

http://www.psinet.com/

Internationaler Backbone:

PSINet

Notwendig: Datenaustauschknoten für verschiedene Netze

• bis 1995 gesamter innerdeutscher Verkehr über USA geroutet, da innerdeutsche Provider keine direkten Verbindungen hatten

• Deutscher Commercial Internet Exchange (De-CIX)

• Mehr als 60 Internet Service Provider (ISP) bilden Netzwerk innerhalb von Räumen des De-CIX und wickeln innerdeutschen Verkehr ab

• 85% des deutschen, 35% des europäischen Datenverkehrs über Knoten in Frankfurt

• Internationale Austauschpunkte: z.B. mae-east, mae-west, Linx London

Quelle:

http://www.nacamar.de/

Zugangstechniken und Preise: Nacamar

Literatur:

Kyas94: Othmar Kyas, Internet: Zugang, Utilities, Nutzung, Datacom-Verlag, 1994

Ed Krol, The whole internet: User‘s Guide &Catalog, O‘Reilly &Associates, Inc., 1994

c‘t 9/99: Richard Sietmann, Nummernspiele: Ressourcenkonflikte um Namen und Adressen bleiben ein Politikum, c't 9/99, Heise Verlag, S.180

Netplanet: http://www.netplanet.org/De-CIX: http://www.eco.de/Nacamar: http://www.nacamar.de/GTS: http://www.gtsgroup.com/DFN: http://www.dfn.de/W3C: http://www.w3c.org/

Und andere Internet-Sourcen...