Themenblock: Data Warehousing II · • Nutzen multidimensionale Struktur der Daten • Erlauben einfache Modifikation von Anfragen • …zu inhaltlich ähnlichen Anfragen • …zu

Systeme der InformationsverwaltungUniversität Karlsruhe (TH)

Themenblock: Data Warehousing II

Praktikum:Data Warehousing und

Data Mining


Praktikum Data Warehousing und Mining 2

Agenda• Wiederholung: multidimensionale Operatoren• Cognos• Cognos Report Studio• Cognos Analysis Studio• Hinweise zur Bearbeitung



Pivotieren

Geographie

Produkt

Zeit

Geographie

Produkt

Zeit

Geographie

Produkt

Zeit



Roll-up und Drill-down

Geographie

Produkt

Februar

Geographie

Produkt

1. QuartalJanuar

März

2. Quartal

3. Quartal

2

4

3

21

33

12

29

455

11 36 107

18

15

25

51

58

22

Roll-up

Drill-down



Slicing und Dicing

Produkt

Geographie

Produkt

Zeit Zeit

Geographie



Zusammenfassung: multidim. Operatoren• Nutzen multidimensionale Struktur der Daten• Erlauben einfache Modifikation von Anfragen

• …zu inhaltlich ähnlichen Anfragen• …zu strukturell ähnlichen Anfragen

• Sind auf die Fragestellungen im Data Warehouse zugeschnitten

• Ergänzen bisher bekannte Operatoren






Cognos• Ermöglicht Erstellen von

• Ad-hoc-Anfragen (Query Studio)• Berichten (Report Studio)• Multidimensionalen Anfragen (Analysis Studio)

• Backend• Data Cube• Relationale Daten

• Anmeldung• Internet-Explorer• URL: http://i40virt01.ipd.uni-karlsruhe.de/cognos8• Benutzername: <Benutzername>• Passwort: <Passwort>



Cognos - Startbildschirm



QueryStudio vs. ReportStudio• QueryStudio (für einfache Anfrage)

• „In Echtzeit“• Visuell

• ReportStudio (für komplexe Berichte)• Visuell• Ergebnisgenerierung auf Befehl• Bedingte Variablen• Dynamische Berichte• Layout individueller anpassbar

• AnalysisStudio (für multidimensionale Sicht)• „In Echtzeit“• Visuell






ReportStudio

• Erstellen komplexer Berichte• vielfältige Ausgabe- und Darstellungsoptionen• Parameterabfrage bei Anfrageaufruf• Relationale Sicht auf die Daten



Aufbau



Grundlegende Berichtsstruktur• Layout

• Menge von Seiten• Bestimmt Aussehen und Formatierung eines Berichts

• Seiten• Container für Objekte• Kopf/Fußzeile

• Objekte• Eigentliche Informationen• Typen

• Listen• Pivottabellen• Diagramme



Grundlegende Berichtsstruktur• Abfragen

• Auf Basis „relationaler“ Anfragesprachen• Bilden Grundlage für Berichte

• Vorgehen Berichterstellung• Datenquelle (Package) angeben• Berichtsvorlage auswählen• Abfrageelemente hinzufügen• Speichern und ausführen des Berichts



Abfragen erstellen• Vorgehen

• Quelldaten wählen• Daten anpassen

• Aggregate berechnen• Daten filtern• Daten sortieren

• Visualisierung wählen• Ergebnis speichern



Daten einfügen• Baumstruktur

• Enthält Zeichenketten• Enthält Werte• Oder Sonstiges

• Einfache Anfragen stellen• „Drag and drop“

• Baumelemente auf Arbeitsfläche• Elemente auf Arbeitsfläche verschieben



Menü - Daten bearbeiten• Anwendung gängiger SQL-Anweisungen

• Filtern• Sortieren• Aggregate berechnen

• Vorgehen• Daten im Arbeitsbereich markieren• Funktion anklicken• Dialog befolgen

• Hinweis:Die Funktionen in der Shortcutleiste sind nicht mit den Befehlen hier identisch!



Menü - Berechnete Attribute• Berechnung neuer

Attribute

• Unterstützte Funktionen• Grundrechenarten• Runden• Abrunden• Quadratwurzel• usw.



Menü - Filter• Cognos erkennt,

ob Attribut • kategorisch

• Filter auf Menge von Attributwerten

• …oder numerisch• Filter auf Wertebereich

• Optional • Ausnahmebehandlung bei fehlenden Werten



Menü - Sortieren• Sortieren nach

mehreren Attributen• Sortierung von links

nach rechts

• Modi• Einmaliges Anklicken:

aufsteigende Sortierung• Zweimaliges Anklicken:

absteigende Sortierung• Dreimaliges Anklicken:

Aufhebung der Sortierung



Menü - Aggregatfunktion• Aggregate über Attribute

• Wird automatisch eingeblendet

• Modi• Diverse Aggregate

• Summe• Anzahl• Durchschnitt• Maximum• Minimum

• Ausblenden



Menü – Struktur ändern• Änderung der Darstellungsweise

• Gruppieren / Gruppierung aufheben• Pivotieren• Tabelle gemäß eines Attribut

unterteilen• Liste in Kreuztabelle umwandeln



Menü – Gruppieren



Menü –Pivottabelle erstellen



Menü –Pivotieren



Menü – Abschnitte erstellen



Einfügbare Objekte – Diagramm



Report Studio Basiswissen I• Seiten-Explorer

• Verwaltung Berichtsseiten • Erstellen• Anzeigen• Manipulieren• Neue hinzufügen

• Dient• Strukturierung• graphischer Aufbereitung



Report Studio Basiswissen II• Abfragen-Explorer

• Abfragen• Erstellen• Anzeigen• Ändern



Report Studio Basiswissen III• Bedingungs-Explorer

• Variablen • Sichten• Verwenden

• Bedingte Formatierung• z.B. Hinterlegung ausgezeichneter

Werte



Zusätzliche Funktionen vgl. mit Query Studio

• Automatische Anpassung

• Bedingte Formatierung



Bericht mit Eingabeparametern

• Vorgehen• Entsprechendes Attribut

markieren• Eingabeaufforderungsseite

erstellen anklicken• Seite über Seiten-Explorer

öffnen• Einstellungen über

Eigenschaften-Dialog verfeinern



Bedingte Formatierung• Vorgehen

• Im Bedingungsexplorer auf Variablen klicken

• Name eingeben und Typ boolsch auswählen



Bedingte Formatierung• Ausdrucksdefinition

eingeben• im Bedingungs-Explorer

„neue Variable“ „ja“ auswählen (um festzulegen, was passiert, wenn die Bedingung erfüllt ist)

• Bedingter Stil: Variable auswählen

• Hintergrundfarbe wählen





AnalysisStudio – Aufbau



Sicht auf die Daten• Blättern in der

Hierarchie möglich

• Ähnlich MDX Tools in SQL Server

• Unterscheidung zwischen Fakten und Dimensionen



Multidimensionale Operationen• Rechtsklick auf Spalten

bzw. Zeilennamen

• Kontextmenü erlaubt • Drilldown und Drillup• Slicing und Dicing

(über Ausschließen)

• Pivotieren analog ReportStudio

• Entsprechendes Icon im Menü anklicken







Hinweise zur Bearbeitung• Erreichen der Tools

• Internet Explorer• URL: http://i40virt01.ipd.uni-karlsruhe.de/cognos8

• ReportStudio bevorzugt nutzen• Performance!

• Daten des Data Cubes aus• Package: DWM Relational / DWM Multidimensional

• Ergebnis in „Eigenem Ordner“ speichern


Lösungen last.fm Übungsblatt:Preprocessing

Lösungen nachMatthias Huber


Identifikation relevanter Künstler I


• Idee:Ausblenden von Künstlern, …… die von wenigen Nutzern gehört werden

• Motivation:selten gehörte Künstler sind uninteressant(Ausreißer, …)


Identifikation relevanter Künstler II• Idee:

Kombination der relevanten Künstler mit Tags

• Motivation:nur so können Tags erhalten bleiben

• Ergebnis: Liste aller relevanten Künstler + Tags



Anzeigen nur relevanter Künstler bei Nutzern• Idee:

Auch Nutzerdaten sollten nur wichtige Künstler enthalten



Lösungen last.fm Übungsblatt:Aufgabe 1



• Bisher:Ausreißer eliminiert

• Idee:Anwenden von k-means

• Ergebnis:GleichgroßeCluster

Identifikation der Cluster



Identifikation der Tags• Bisher:

10 Cluster bestimmt,mit Band-Häufigkeiten pro Cluster

• Idee:Identifikation der häufigsten Tags



Unsere Erwartungen• Ergebnisse ähnlich zu bisherigen Folien

• Identifikation sinnvoller Clusterzahlen mit alternativem (hierarchischem) Clustering

• Sinnvolle Benennung der Cluster

• Text in managerfreundlicher Version



Häufige Fehler / Schwächen• Ausreißer nicht eliminiert

• Attribute nicht / unzureichend normiert

• Designentscheidungen nicht diskutiert

• Nicht auf Vorteile / Nachteile unterschiedlicher Lösungen eingegangen



Lösungen last.fm Übungsblatt:Aufgabe 2



Identifikation der häufigsten Künstler• Vorgehen:

Einfache Aggregation undBestimmung der häufigsten Künstler



Identifikation von Assoziationsregeln• Bisher:

Identifikation der häufigsten Künstler

• Jetzt:Bestimmen von Assoziationsregeln



Beliebteste Künstler• Jetzt:

Bestimmen von Assoziationsregeln(hier: mit minSupp = 10%, minConf = 65%)



Portishead• Jetzt:

Vorgehen Analog zu beliebtesten Künstlern,aber: mit minSupp = 1%, minConf = 50%(beide geringer)



Unsere Erwartungen• Normalisierung der Nutzer

• Identifikation der Assoziationsregeln

• Nutzen unterschiedlicher minConf und minSupp

• Auswahl geeigneter Assoziationsregeln und Begründung

• Vorschläge für das ManagementPraktikum Data Warehousing und Mining 56


Häufige Fehler / Schwächen• Entscheidungen für das Management nicht

formuliert / begründet

• minConf und minSupp nicht variiert

• minConf zu gering für Cross-Selling

• Keine / unbegründete Normalisierung der Nutzer



Alternativen• Identifizierung der Cluster mit hohem

Portishead-Anteil

• Formulierung als Klassifikations- oder Regressionsproblem (auf Basis gehörter Musikrichtungen oder Bands)

• Einbeziehung des bisherigen Portishead-Hörverhaltens ist sinnvoll


Ergebnisse Aufgabe DM II


DMC DM IIVorname Name Vortrag Top-X Einzel Gruppe

Michael Knoll 1,5 0,20 6,00 6,00 2

Roland Görlitz 1,5 0,17 6,00 6,00 2

Hristina Taneva 1 0,23 6,00 6,00 1,5

Grigor Gyorev 1 0,24 6,00 6,00 1,5

Kirstina Uzunova 1 0,22 6,00 6,00 1,5

Christopher Oßner 1,5 0,21 6,00 5,00 2

Robert Jungblut 1,5 0,15 6,00 5,00 2

Fabian Lehn 1,5 0,46 4,00 5,00 2

Dan Dragan 1,5 0,27 5,00 6,00 2

Tilmann Böhme 2 0,32 5,00 5,00 2,5

Matthias Stumpp 1,5 0,28 5,00 6,00 2

Benjamin Kille 1,5 0,19 6,00 6,00 2

Marcel Noe 2 0,29 5,00 5,00 2,5

DMC DM IIVorname Name Vortrag Top-X Einzel Gruppe

Moritz Lapp 2 5,00 2,5

Alexander Turek 1,5 0,43 4,00 6,00 2

Martin Zang 1,5 0,41 4,00 5,00 2

Mirko Wächter 1,5 0,14 6,00 5,00 2

Pierre Weber 1 0,22 6,00 6,00 1,5

Xiajun Feng 1,5 0,45 4,00 5,00 2

Ahmet Göcksel 1,5 0,13 6,00 6,00 2

Mathilde Janin 2 5,00 2,5

Elena Blazheva 1,5 0,33 5,00 5,00 2

Kiril Aleksandrov 1,5 0,33 5,00 5,00 2

Norbert Ottahal 1,5 0,13 6,00 6,00 2

Xiang Lei 1,5 0,31 5,00 6,00 2



QuellenangabenA. Bauer, H. Günzel: „Data Warehouse

Systeme – Architektur, Entwicklung, Anwendung“, dpunkt.verlag, 2004.

Documents

Themenblock: Data Warehousing II · • Nutzen multidimensionale Struktur der Daten • Erlauben einfache Modifikation von Anfragen • …zu inhaltlich ähnlichen Anfragen • …zu