Open Day Berlin - 02.12.09 - Track 3 - Neofonie

Making news aggregation fair

1

Making news aggregation fairGeschäftsmodell & Technologie hinter nachrichten.de

präsentiert von Daniel Prawdzik

�„Topic Detection and Tracking“

Das Ziel

→ Nachrichten-Erkennung und -Verfolgung

2neofonie�Technologieentwicklung und�Informationsmanagement GmbH�


Das Ziel


�Ziel: Gruppierung aller Meldungen zu einem Ereignis



Das Ziel


�Ziel: Gruppierung aller Meldungen zu einem Ereignis

�Online-Clustering des eingehenden Meldungsstroms


Vom Ereignis zur Nachricht

Ereignis


Nachricht MeldungMeldungMeldung


Ereignis

Wird in Meldungen beschrieben




Ereignis

Entsteht aus Meldungen


Entsteht aus Meldungen



Ereignis

Beschreibt Ereignis



Wie wird der Inhalt einer Meldung

ermittelt?

Wie wird der Inhalt einer Meldung

ermittelt?

9

�Was ist wo geschehen?

Wie wird der Inhalt einer Meldung ermittelt?



�Welche Personen sind beteiligt?








�Themen:

� Personen/Unternehmen/Organisationen (Wer)

�Orte (Wo)

�Datumsangaben (Wann)


� Schlagworte (Was)




Themen werden

automatisch auf dem

Meldung

Themenerkennung

… …

automatisch auf dem

Text extrahiert.

Themenprofil


… …

…


Meldung

Themenerkennung

Themenprofil

Themenprofil

charakterisiert den Inhalt

der aktuellen Meldung.

… …


… …

…

Wie entsteht eine Nachricht?


16

�dpa-Meldung „TV-Debatte“ thematisiert Ereignis als erste




�Nachricht zur „TV-Debatte“ wird erzeugt








�Themenprofil der neuen Nachricht wird durch Themenprofil

der ersten Meldung charakterisiert


Wie wird eine Meldung einer

Nachricht zugeordnet?

Wie wird eine Meldung einer

Nachricht zugeordnet?

20

�Meldung und Nachricht teilen viele Themen

→ hohe Ähnlichkeit

Wie wird eine Meldung einer Nachricht zugeordnet?







�Meldung und Nachricht teilen wenig Themen

→ geringe Ähnlichkeit






�Meldung und Nachricht teilen wenig Themen


�Verwendung eines Vektorraummodells (VSM)






�Meldung und Nachricht teile wenig Themen


�Verwendung eines Vektorraummodells (VSM)

� Jedes Thema entspricht einer Dimension


� Themenprofile werden im Vektorraum abgebildet


Thema "Angela Merkel"

Cluster zur

„TV-Debatte“


Thema"Frank-Walter Steinmeier "

Thema "Gesundheits-

reform"



X



Thema "Gesundheits-

reform"

X


Y




Thema "Gesundheits-

reform"



Z



Thema "Gesundheits-

reform"



FOCUS Online

Meldung

„TV-Debatte“



Thema "Gesundheits-

reform"

�Neue Meldung wird existierender Nachricht hinzugefügt




�Themenprofile von Nachricht und Meldung werden



verschmolzen






verschmolzen

�Wissenschaftlicher Ausdruck: Zentroid

� Zentroid: arithmetischer Mittelwert aller Themenprofile




Wann entsteht eine neue Nachricht?


34





Thema "Gesundheits-

reform"



Spiegel Online:

Barack Obamas Rede

zur Gesundheitsreform



Thema "Gesundheits-

reform"



Abstand groß → Ähnlichkeit klein



Thema "Gesundheits-

reform"


• Schwellenwert Thema "Angela Merkel"

• Schwellenwert

entscheidet

• Cosinus Similarity



Thema "Gesundheits-

reform"

�Cosinus Similarity: errechnet den Winkel zwischen den

Themenprofilen


Themenprofilen



Themenprofilen


Themenprofilen

�Kondensationspunkt für weitere Meldungen zu dem Ereignis



Themenprofilen


Themenprofilen

�Kondensationspunkt für weitere Meldungen zu dem Ereignis

�Driften der Nachrichten/Zentroiden in Grenzen erlaubt


Von der Meldung zur Nachricht

Meldung

Themenerkennung

Topic Detection & Tracking

Nachrichten

Themenprofil

• Errechnet die Ähnlichkeit

einer Meldung zu allen

Nachrichten.

• Vektorraum mit ca. 1

Millionen Dimensionen.


TrackingNachrichten

Nachricht


Meldung

Themenerkennung

Nachrichten

Themenprofil

Speicherung aller

Nachrichten, die verarbeitet

wurden (4.000 – 20.000

Nachrichten).



Nachrichten

Nachricht

Tracking


Meldung

Themenerkennung

Nachrichten

Themenprofil


• Neue Nachricht?

• oder: Zuordnung zu

vorhandener Nachricht?


Nachrichten

Nachricht

Tracking


Meldung

Themenerkennung

Nachrichten

Themenprofil

Ausgabe der

Nachricht!



Nachrichten

Nachricht

Tracking

�Erkennen der einzelnen Ereignisse komplex

Herausforderungen bei der Nachrichtenerkennung?



�Verschiedene Ereignisse verfügen teilweise über ähnliches



Themenprofil

� z.B. Bundestagswahl 2009






Themenprofil


�Nachrichten altern






Themenprofil


�Nachrichten altern

�Nachrichten werden geschlossen

� verhindert das Nachrichten zu groß werden


� verhindert das Nachrichten zu groß werden

Daniel Prawdzik: Lead Developer


Daniel Prawdzik: Lead Developer

Topic Detection & TrackingTopic Detection & TrackingTopic Detection & Tracking

neofonie:

Technologieentwicklung und

Informationsmanagement GmbH

Robert-Koch-Platz 4

neofonie:

Technologieentwicklung und

Informationsmanagement GmbH

Robert-Koch-Platz 4

50

Robert-Koch-Platz 4

10115 Berlin

www.neofonie.de

Robert-Koch-Platz 4

10115 Berlin

www.neofonie.de

Herzlichen Dank!Herzlichen Dank!

51

Technology

Open Day Berlin - 02.12.09 - Track 3 - Neofonie