Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
Sprachenerkenner
www-lib
SquidSquid
Neighbors
Internet
PerlCrawler
Vorgeparsed-tesFile für den
Sprachenerkenner
www-lib
Squid
HTML-Parser
Einlesen derKonfiguration
Crawlerdurchläuft dieverschiedenen
Seiten
Benutzer-eingaben
Datenbank über die Positondes Crawlers
Regeln zum Parsen derSeiten
Regeln zum Durchsuchendes Internets
Fetcher
Internet
Hoover
Fetcher Fetcher
Fetcher
Fetcher
Internet
FetcherController
HypertextDokumente- Inhalt- Beinhaltete Links
HooverController
Anfragen
Fetcher
HypertextDokumente- Inhalt- Beinhaltete Links
Anfragen
Fetcher
HypertextDokumente- Inhalt- Beinhaltete Links
Anfragen
HooverController
Configuration File General Scanner
FetcherController
Sites sorted by nextaccessdate
SiteDictionary
SiteScanner
SiteDictionary
SiteScanner
SiteDictionary
SiteScanner
Sites Dictionary
fetched PagesExterne Fetcher
Fetcher Array
Externe Fetcher
Externe Fetcher
Netzwerk
Persistent SitesDictionary
Hoover
Fetcher
LokalesNetzwerk
ThreadController
HTMLScanner
Worker
HTMLScanner
Worker
HTMLScanner
Worker
Internet
0
.32
.65
.98
1.3
1 2 3 4 5
Übe
rtag
ene
Dat
en in
Meg
abyt
e
Zeit t in Minuten
Objective-C
Perl hot cache
Perl cold cache
0
10
20
30
40
50
60
70
80
1 2 3 4 5 6 7 8 9 10
15
20
Nur Daten
Objekte
Übe
rtag
ene
Dat
en in
Meg
abyt
e
Zeit t in Minuten
0.0001
0.000137382
0.000188739
0.000259294
0.000356225
0.00048939
0.000672336
0.000923671
0.00126896
0.00174333
0.00239503
0.00329034
0.00452035
0.00621017
0.00853168
0.011721
0.0161026
0.0221222
0.030392
0.0417532
0.0573615
0.0788046
0.108264
0.148735
0.204336
0.280722
0.385662
0.529832
0.727895
1
0 .5 1 1.5 2 2.5 3 3.5 4 4.5 5
Position des Wortes in der Wortliste in Tausend
Fre
quen
zhäu
figke
it de
s W
orte
s in
10%
englishdeutsch
dänisch
finnisch
Zipfpunkt
0
70
140
210
280
350
Zipf
Zipf und Trigramm
Anz
ahl d
er e
rkan
nten
Sät
ze
100Prozentsatz der erkannten Sprache
Hypertextdokument
DDieser Text handelt über das Lebenund den Tod am Beispiel einesgroßen Komponisten - hier sei erwäh
Hypertextdokument
C
Mehr Informationenüber das Leben vonMozart
Hypertextdokument
BHypertextdokument
A
Hier findenSie etwas
über Mozart
BekannteKomponisten z.B.
Mozart
Hypertextdokument
DDieser Text handeltüber das Leben vonMozart und dessenfrühen Tod.
Hypertextdokument
C
Lebensläufe bekannterKomponisten
Mehr Informationenüber das Leben vonMozart
Hypertextdokument
B
Die kleine NachtmusikDie Enführung aus dem Serail
Hypertextdokument
A
Das Leben von Brahms
Biographienvon anderenKomponisten
bekannte Werke
Herzlich Willkommen im Fachbereich 07 -Informatik / Mathematik!
Dies ist der Hypermedia-Informationsserver des Fachbereiches 07 an der Fachhochschule München. Das Informationssystem ist einTeil des internationalen World Wide Web.
Grußwort des Dekans
Der Fachbereich 07 - Informatik / Mathematik
Aktuelle Informationen, Termine und Veranstaltungen
Internet-Services des FB 07
Impressum, München, 17. Februar 1995
[english] [FHM] [Index] [Suchen] [Brief senden]