Embed Size (px)
Citation preview
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
MythMinerEin Empfehlungssystem für Fernsehprogramme auf Basis von
RapidMiner
Balázs Bárány
Predictive-Analytics-Konferenz 2012
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Inhalt
1 Das MythMiner-ProjektMotivation und GeschichteRezeption
2 Voraussetzungen
3 Implementation
4 Lessons learnedMöglichkeiten für Weiterentwicklung
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Motivation und Geschichte
Motivation
Lern- und Übungsprojekt für Text Mining
Eigene Nutzung
Open-Source-Verö�entlichung
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Motivation und Geschichte
Geschichte
Beginn der Entwicklung: November 2010
Verö�entlichung am 30. 1. 2011
Ankündigung in RapidMiner- und MythTV-ForenMyExperiment.orgProjekt auf Freecode.com (ehemals Freshmeat.net)MythTV-Wiki
Vortrag bei den Linuxwochen in Wien am 7. 5. 2011
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Motivation und Geschichte
Geschichte
Beginn der Entwicklung: November 2010
Verö�entlichung am 30. 1. 2011
Ankündigung in RapidMiner- und MythTV-ForenMyExperiment.orgProjekt auf Freecode.com (ehemals Freshmeat.net)MythTV-Wiki
Vortrag bei den Linuxwochen in Wien am 7. 5. 2011
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Motivation und Geschichte
Geschichte
Beginn der Entwicklung: November 2010
Verö�entlichung am 30. 1. 2011
Ankündigung in RapidMiner- und MythTV-ForenMyExperiment.orgProjekt auf Freecode.com (ehemals Freshmeat.net)MythTV-Wiki
Vortrag bei den Linuxwochen in Wien am 7. 5. 2011
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Rezeption
Rezeption
Im RapidMiner-Forum positive Postings mit Bitte um weitereInformationen
Im Mai im o�ziellen Rapid-I-Blog erwähntTestinstallation bei Rapid-I
Auf der MythTV-Mailingliste keine Reaktionen
Beim Linuxwochen-Vortrag etwa 10 Zuhörer
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Rezeption
Rezeption
Im RapidMiner-Forum positive Postings mit Bitte um weitereInformationen
Im Mai im o�ziellen Rapid-I-Blog erwähntTestinstallation bei Rapid-I
Auf der MythTV-Mailingliste keine Reaktionen
Beim Linuxwochen-Vortrag etwa 10 Zuhörer
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Rezeption
Rezeption
Im RapidMiner-Forum positive Postings mit Bitte um weitereInformationen
Im Mai im o�ziellen Rapid-I-Blog erwähntTestinstallation bei Rapid-I
Auf der MythTV-Mailingliste keine Reaktionen
Beim Linuxwochen-Vortrag etwa 10 Zuhörer
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Rezeption
Nutzungsstatistiken
41 Downloads auf MyExperiment.org
Ca. 30 Downloads von der Homepage seit Anfang 2012
Drei Abonnenten auf Freecode.com
Mail-Kontakt mit zwei verschiedenen Usern
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
MythTVOpen Source Digital Video Recorder
Komplettlösung für �Unterhaltungscomputer�
Fernsehen, Video, Audio, Bilder, Wetter, Nachrichten, ...
Verteilte Architektur
Web-Frontend
Theme-Support
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Installation und Nutzung von MythTVVoraussetzungen
Angepaÿte Hardware empfehlenswert
Wohnzimmer-PCFernsehkarte, FernbedienungHDMI
Fertiges Paket in Linux-Distribution oder
Eigene Distribution: Mythbuntu, MythDora, KnoppMyth
Programminformationen für EPG notwendig
Bei DVB-T automatisch dabeikommerzielle und Community-Anbieter
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Installation und Nutzung von MythTVVoraussetzungen
Angepaÿte Hardware empfehlenswert
Wohnzimmer-PCFernsehkarte, FernbedienungHDMI
Fertiges Paket in Linux-Distribution oder
Eigene Distribution: Mythbuntu, MythDora, KnoppMyth
Programminformationen für EPG notwendig
Bei DVB-T automatisch dabeikommerzielle und Community-Anbieter
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Installation und Nutzung von MythTVVoraussetzungen
Angepaÿte Hardware empfehlenswert
Wohnzimmer-PCFernsehkarte, FernbedienungHDMI
Fertiges Paket in Linux-Distribution oder
Eigene Distribution: Mythbuntu, MythDora, KnoppMyth
Programminformationen für EPG notwendig
Bei DVB-T automatisch dabeikommerzielle und Community-Anbieter
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
RapidMinerOpen-Source-System für Data Mining
Komplette Umgebung für Data Mining:
Gra�sche Ober�äche, visuelle ModellierungExplorative DatenanalyseDatenintegration
Data-Mining-Verfahren: hunderte eingebaut
zusätzlich Weka-, R- und Octave/Matlab-Plugins
Berichtsfunktionen: Tabellen und Diagramme in HTML, PDFPlugins für diverse Aufgaben: Web-Mining, automatischeProzesserstellung, Empfehlungssysteme, Image Mining, ...Groÿe Community und Plugin-Ökosystem
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
RapidMinerOpen-Source-System für Data Mining
Komplette Umgebung für Data Mining:
Gra�sche Ober�äche, visuelle ModellierungExplorative DatenanalyseDatenintegration
Data-Mining-Verfahren: hunderte eingebaut
zusätzlich Weka-, R- und Octave/Matlab-Plugins
Berichtsfunktionen: Tabellen und Diagramme in HTML, PDFPlugins für diverse Aufgaben: Web-Mining, automatischeProzesserstellung, Empfehlungssysteme, Image Mining, ...Groÿe Community und Plugin-Ökosystem
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
RapidMinerOpen-Source-System für Data Mining
Komplette Umgebung für Data Mining:
Gra�sche Ober�äche, visuelle ModellierungExplorative DatenanalyseDatenintegration
Data-Mining-Verfahren: hunderte eingebaut
zusätzlich Weka-, R- und Octave/Matlab-Plugins
Berichtsfunktionen: Tabellen und Diagramme in HTML, PDFPlugins für diverse Aufgaben: Web-Mining, automatischeProzesserstellung, Empfehlungssysteme, Image Mining, ...Groÿe Community und Plugin-Ökosystem
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
RapidAnalytics
Serverversion von RapidMiner
Community- vs. Enterprise-VersionRepository für TeamsProzesserstellung in RapidMiner, Verwaltung der Prozesse inder Web-Ober�äche
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
MythMiner installieren
MythTV installieren und einige Wochen lang benutzen!
RapidMiner installieren
MythMiner herunterladen:http://tud.at/programm/mythminer/
entpacken
In RapidMiner ö�nen und kon�gurieren
Datenbankverbindung zu MythTV�Con�gure process�
(optional RapidAnalytics)
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
MythMiner installieren
MythTV installieren und einige Wochen lang benutzen!
RapidMiner installieren
MythMiner herunterladen:http://tud.at/programm/mythminer/
entpacken
In RapidMiner ö�nen und kon�gurieren
Datenbankverbindung zu MythTV�Con�gure process�
(optional RapidAnalytics)
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
MythMiner installieren
MythTV installieren und einige Wochen lang benutzen!
RapidMiner installieren
MythMiner herunterladen:http://tud.at/programm/mythminer/
entpacken
In RapidMiner ö�nen und kon�gurieren
Datenbankverbindung zu MythTV�Con�gure process�
(optional RapidAnalytics)
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
MythMiner-Kon�guration
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Ergebnis der Ausführung
HTML-Datei
Optional: Umwandlung mit dem mitgelieferten Shellskript
Optional: tägliche E-Mail
Ergebnisse nicht immer optimal
Trotzdem nützlich
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Ergebnis der Ausführung
HTML-Datei
Optional: Umwandlung mit dem mitgelieferten Shellskript
Optional: tägliche E-Mail
Ergebnisse nicht immer optimal
Trotzdem nützlich
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Ergebnis der Ausführung
HTML-Datei
Optional: Umwandlung mit dem mitgelieferten Shellskript
Optional: tägliche E-Mail
Ergebnisse nicht immer optimal
Trotzdem nützlich
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Beispiel für Ergebnis-Mail
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Überblick
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Herausforderungen
Aus schlechten Trainingsdaten schlechte Ergebnisse
Aber es kann schwer sein, gute Trainingsdaten zu bekommen!
Wörter in den Beschreibungen nicht das einzige Kriterium
Eine Krankenhausserie holt andere nachSerien mit allgemeinem Inhalt verwässern die Ergebnisse
Unterschiedliche Daten bei verschiedenen EPG-Quellen
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Herausforderungen
Aus schlechten Trainingsdaten schlechte Ergebnisse
Aber es kann schwer sein, gute Trainingsdaten zu bekommen!
Wörter in den Beschreibungen nicht das einzige Kriterium
Eine Krankenhausserie holt andere nachSerien mit allgemeinem Inhalt verwässern die Ergebnisse
Unterschiedliche Daten bei verschiedenen EPG-Quellen
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Herausforderungen
Aus schlechten Trainingsdaten schlechte Ergebnisse
Aber es kann schwer sein, gute Trainingsdaten zu bekommen!
Wörter in den Beschreibungen nicht das einzige Kriterium
Eine Krankenhausserie holt andere nachSerien mit allgemeinem Inhalt verwässern die Ergebnisse
Unterschiedliche Daten bei verschiedenen EPG-Quellen
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Beschreibungslänge
(X-Achse auf 2.500 Zeichen eingeschränkt; einige Beschreibungen haben bis zu3.600 Zeichen)
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Möglichkeiten für Weiterentwicklung
Möglichkeiten für Weiterentwicklung
Verbesserung der Ergebnisse
Ungenutzte Sender automatisch ignorieren?
Bessere Erkennung von Wiederholungen undMehrfach-Ausstrahlungen
Modularisierung
Benutzerkon�guration von der Prozessdatei getrennt
Anwendung auf die Daten anderer Unterhaltungssysteme(Windows Media Center, Dreambox, VDR)
Parameteroptimierung beim Enduser
Mehr Information
�Top keywords�
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Möglichkeiten für Weiterentwicklung
Möglichkeiten für Weiterentwicklung
Verbesserung der Ergebnisse
Ungenutzte Sender automatisch ignorieren?
Bessere Erkennung von Wiederholungen undMehrfach-Ausstrahlungen
Modularisierung
Benutzerkon�guration von der Prozessdatei getrennt
Anwendung auf die Daten anderer Unterhaltungssysteme(Windows Media Center, Dreambox, VDR)
Parameteroptimierung beim Enduser
Mehr Information
�Top keywords�
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Möglichkeiten für Weiterentwicklung
Möglichkeiten für Weiterentwicklung
Verbesserung der Ergebnisse
Ungenutzte Sender automatisch ignorieren?
Bessere Erkennung von Wiederholungen undMehrfach-Ausstrahlungen
Modularisierung
Benutzerkon�guration von der Prozessdatei getrennt
Anwendung auf die Daten anderer Unterhaltungssysteme(Windows Media Center, Dreambox, VDR)
Parameteroptimierung beim Enduser
Mehr Information
�Top keywords�
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Möglichkeiten für Weiterentwicklung
Möglichkeiten für Weiterentwicklung
Verbesserung der Ergebnisse
Ungenutzte Sender automatisch ignorieren?
Bessere Erkennung von Wiederholungen undMehrfach-Ausstrahlungen
Modularisierung
Benutzerkon�guration von der Prozessdatei getrennt
Anwendung auf die Daten anderer Unterhaltungssysteme(Windows Media Center, Dreambox, VDR)
Parameteroptimierung beim Enduser
Mehr Information
�Top keywords�
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Möglichkeiten für Weiterentwicklung
Möglichkeiten für Weiterentwicklung
Verbesserung der Ergebnisse
Ungenutzte Sender automatisch ignorieren?
Bessere Erkennung von Wiederholungen undMehrfach-Ausstrahlungen
Modularisierung
Benutzerkon�guration von der Prozessdatei getrennt
Anwendung auf die Daten anderer Unterhaltungssysteme(Windows Media Center, Dreambox, VDR)
Parameteroptimierung beim Enduser
Mehr Information
�Top keywords�
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Möglichkeiten für Weiterentwicklung
Möglichkeiten für Weiterentwicklung
Verbesserung der Ergebnisse
Ungenutzte Sender automatisch ignorieren?
Bessere Erkennung von Wiederholungen undMehrfach-Ausstrahlungen
Modularisierung
Benutzerkon�guration von der Prozessdatei getrennt
Anwendung auf die Daten anderer Unterhaltungssysteme(Windows Media Center, Dreambox, VDR)
Parameteroptimierung beim Enduser
Mehr Information
�Top keywords�
Balázs Bárány
MythMiner
Das MythMiner-Projekt Voraussetzungen Implementation Lessons learned Schluÿ
Schluÿ
Fragen?
http://tud.at/programm/mythminer/
mailto:[email protected]
Balázs Bárány
MythMiner
![Data Mining Studie 2013 | Praxistest & Benchmarking€¦ · RapidMiner fälschlicherweise als nominal er-kannt [siehe Abb.29]. Dieser Umstand lässt sich in RapidMiner](https://img.pdfslide.org/doc/110x75/5b0139497f8b9af1148dd132/data-mining-studie-2013-praxistest-benchmarking-rapidminer-flschlicherweise.jpg)
