Citizen Data Science...Selbständiger Data Scientist SCO2T Roller-Sharing in Wien Citizen Data...

Über Einführung: Data Science Werkzeuge und Methoden Citizen Data Science Zusammenfassung

Citizen Data Science

Balázs Bárány

Linuxwochen Wien 2016

29. April 2016

Citizen Data Science Linuxwochen Wien 2016

Inhalt

Einführung: Data Science

Werkzeuge und Methoden

Citizen Data ScienceDaten holenDaten verstehenDaten-VorverarbeitungPrädiktive ModellierungAnwendungen im privaten Kontext

Zusammenfassung

Über mich

Selbständiger Data Scientist � https://datascientist.at

SCO2T � Roller-Sharing in Wien � https://sco2t.com

Über mich

Selbständiger Data Scientist � https://datascientist.at

SCO2T � Roller-Sharing in Wien � https://sco2t.com

�Sexiest job of the 21st century�

I Sagen Google, LinkedIn, ...

I Wer ist ein Data Scientist?

�Sexiest job of the 21st century�

I Sagen Google, LinkedIn, ...

I Wer ist ein Data Scientist?

Data Science Venn Diagram

(c) Drew Conway, 2010. CC-BY-NC

Was machen Data Scientists?

Aufgaben

I Daten holen und zusammenführen

I Verknüpfen und umformen für Analytik

I Analysieren und visualisieren

I Vorhersagen und Handlungen empfehlen

I Operationalisieren

I Big Data?

Aufgaben

I Big Data?

Aufgaben

I Big Data?

Aufgaben

I Big Data?

Aufgaben

I Big Data?

Aufgaben

I Big Data?

The Data Mining process

Cross Industry Standard Process for Data Mining (Kenneth Jensen/Wikimedia Commons)

Fehlende Data Scientists

I Prognosen: 50 % der Stellen nicht besetzbar

I Ausbildung kommt nicht nach

I Citizen Data Scientists

Fehlende Data Scientists

I Prognosen: 50 % der Stellen nicht besetzbar

I Ausbildung kommt nicht nach

I Citizen Data Scientists

Werkzeuge und Methoden

Scripting und Programmierung

I Python mit Modulen

I Octave/Matlab, andere mathematische Sprachen

I Hadoop, Big Data libraries (Java)

I Cloud services

Gra�sche Werkzeuge

I (teilweise) Open Source: RapidMiner, KNIME, Orange

I Open-Source-Data-Warehouse-Werkzeuge mit Erweiterungenfür Analytik: Pentaho, Talend

I Kommerzielle Werkzeuge, z. B. SAS, IBM SPSS

I Hadoop-Newcomer: z. B. Datameer

Daten-Infrastruktur

I Datenbanken und Datenspeicher

I Relational, NoSQLI Hadoop-ClusterI In-memory

I Datenströme

I Unstrukturiert: Text, Bilder, Video, Audio, ...

I Web APIs

I Open Data

Daten holen und zusammenführen

I Daten im �Rohformat�

I Join, Aggregierung, Filterung, Berechnung, ...

I Säuberung

I Fehlende WerteI Ausreiÿer

I Ergebnis: Für Analytik geeignete Tabelle

I Säuberung

Prädiktive Modellierung

I Zielvariable bekannt?

I Supervised/unsupervised (überwacht/unüberwacht)

I Klassi�kation (supervised): Vorhersage einer Kategorie

I Regression (supervised): Vorhersage eines numerischen Wertes

I Clustering (unsupervised): Automatische Gruppierung

I Assoziationsanalyse, Ausreiÿererkennung, Zeitreihen-Prognose,...

Operationalisierung

I Anwendung des Modells auf neue Daten ergibt Vorhersage

I (+ Kon�denz)

I Im ERP- oder CRM-System speichern

I Aufmerksam machen (E-Mail, Popup)

I Markieren (z. B. E-Mail als Spam)

I Transaktion unterbrechen

I Waren nachbestellen

Operationalisierung

I (+ Kon�denz)

Operationalisierung

I (+ Kon�denz)

Citizen Data Science

Data Science für Alle

Mein Werkzeugkasten

I Datenbank: PostgreSQL

I Features, Erweiterungen, Ökosystem, ...

I Programmiersprache: R

I Geschmackssache

I Gra�sches Data-Mining-Tool: RapidMiner

I Für Geodaten: QGIS

Mein Werkzeugkasten

I Geschmackssache

Mein Werkzeugkasten

I Geschmackssache

Mein Werkzeugkasten

I Geschmackssache

Daten holen

Datenquellen

Daten holen

Wetterdaten von Weather Underground

I Gratis-API

I Vorhersage, aktuelles Wetter, historische Daten

I JSON- und XML-Format verfügbar

I Demo mit RapidMiner

Daten holen

Wetterdaten von Weather Underground

I Gratis-API

I Vorhersage, aktuelles Wetter, historische Daten

I JSON- und XML-Format verfügbar

I Demo mit RapidMiner

Daten holen

Wien: Bezirksgrenzen

I Open Data, in verschiedenen Formaten verfügbar

I Bezirksgrenzen als Polygone; Fläche, Umfang

Beispiel

Einlesen in PostgreSQL in einem Befehl:COPY bezirksgrenzen_wien

FROM PROGRAM 'curl -s "http://data.wien.gv.at/daten/geo?..."'

WITH CSV delimiter ',' HEADER;

Daten holen

Wien: Bezirksgrenzen

I Open Data, in verschiedenen Formaten verfügbar

I Bezirksgrenzen als Polygone; Fläche, Umfang

Beispiel

Einlesen in PostgreSQL in einem Befehl:COPY bezirksgrenzen_wien

FROM PROGRAM 'curl -s "http://data.wien.gv.at/daten/geo?..."'

WITH CSV delimiter ',' HEADER;

Daten holen

Bezirksgrenzen - Fortsetzung

I Geodaten noch im Textformat

I Umwandlung in echte Geo-Objekte mit PostGIS oder QGIS

Beispiel

PostGIS:ALTER TABLE bezirksgrenzen_wien

ADD COLUMN geo geometry;

UPDATE bezirksgrenzen_wien

SET geo = ST_GeomFromText(shape);

I Demo mit QGIS

Daten holen

Beispiel

I Demo mit QGIS

Daten holen

Beispiel

I Demo mit QGIS

Daten verstehen

Data Understanding

Daten verstehen

Data understanding

I Erster Schritt nach dem Import neuer Daten

I Was ist enthalten?

I Datenqualität

I Datenmenge

I Schlüssel zu anderen Datenbeständen

Daten verstehen

Data understanding

I Datenqualität

I Datenmenge

Daten verstehen

Data understanding

I Datenqualität

I Datenmenge

Daten verstehen

Visualisierung (RapidMiner)

Daten verstehen

Visualisierung (R)

Daten-Vorverarbeitung

Vorverarbeitung = Preprocessing

Bis zu 80 % der Projektzeit!

I Hereinkommende Daten selten �fertig�

I Zusammenführung unterschiedlicher Datensätze

I Filtern, Bereinigung

I Erstellung/Berechnung neuer Attribute

I Aggregierung

Beispiel in RapidMiner

I 2 Datensätze von OGD Wien

I Bevölkerungsprognose pro BezirkI Bezirksdaten

I Prognose nach Geschlecht gruppiert => aggregieren

I Über Bezirkscode verknüpfen

I Prognostizierte Bevölkerungsdichte berechnen

I Demo

I Modell aufbauen (lassen)

I Zielvariable

I Modell auf neue Daten anwenden

I Vorhersage, Kon�denz

I Validierung

I Zielvariable

I Validierung

I Zielvariable

I Validierung

Richtige Validierung

I Modell nicht auf Eingangsdaten anwenden!

I Split Validation

I Cross Validation

I Demo in RapidMiner

I Split Validation

I Cross Validation

I Split Validation

I Cross Validation

I Split Validation

I Cross Validation

Prädiktive Modellierung � Fortsetzung

I Vergleich verschiedener Lernverfahren

I Parameteroptimierung

I Variation der Vorverarbeitung

I Attributselektion

I Attributgenerierung

I Attributselektion

Deployment

I Operationalisierung der Ergebnisse

I Automatisierte Vorverarbeitung und Vorhersagen

I Regelmäÿige Evaluierung und Optimierung

Deployment

Anwendungen im privaten Kontext

I Lebensgestaltung: Open Data, OpenStreetMap

I Kontrolle: Open Government Data, Firmen-Verö�entlichungen

I Hobbies

I Wetter, Geodaten, GPS-Tracks, ...I ...

I �Egometrics�, �Quanti�ed self�

I Fitness- und Gesundheitstracker, Smart Meter, Smart VehicleI Internet of Things

I Hobbies

Zusammenfassung

I Data Science � ein spannendes Thema

I Frei verfügbare, einfach bedienbare Werkzeuge

I Vorgehensweise

I Anwendung im privaten Bereich

Zusammenfassung

I Vorgehensweise

Zusammenfassung

I Vorgehensweise

Zusammenfassung

I Vorgehensweise

Fragen?

I Balázs Bárány, <balazs@tud.at>

I https://datascientist.at/

Citizen Data Science...Selbständiger Data Scientist SCO2T Roller-Sharing in Wien Citizen Data...

Documents

Konzept zur Anwendbarkeit von Citizen Science in der ... · Konzept zur Anwendbarkeit von Citizen Science in der Ressortforschung des Umweltbundesamtes 5 tual contribution” where

DATA SCIENCE BOOT CAMP - p385703.mittwaldserver.infop385703.mittwaldserver.info/fileadmin/user_upload/... · Data Science Engineer Das sollten Sie über das Data Science Boot Camp

ARBEITSPAPIER DATA SCIENCE: LERN- UND ......und Wissenschaft als auch für die Lehre – hat der Vorstand der Gesellschaft für Informatik (GI) 2018 die Task-Force „Data Science/Data

Data Science im Zeitalter von Big Data: Wissensvorsprung ... · Data Science basierend auf SAP HANA SAP HANA bietet umfangreiche Möglichkeiten und technologische Mittel zur Umsetzung

DATA LITERACY DATA SCIENCE - uni-ulm.de · Data Literacy und Data Science Kontaktstelle Universität Ulm Albert-Einstein-Allee 45 89081 Ulm info@dataakademie.de saps@uni-ulm.de T

PROGRAMM 5. Österreichische Citizen Science Konferenz fileMagdalena Gassner, Carina Desirée Heussler, Heribert Insam SPOTTERON – die österreichische Citizen Science Plattform

Opennature – Drei Initiativen ein Projekt Citizen Science in der Schweiz

Mehr Marketing? - Wissenschaft im Dialog · 47 Science in Society als Herausforderung für die Wissenschaftskommunikation 49 Drei Initiativen, ein nationales Pionierprojekt: Citizen

Inhalt...Gregor Beyer, Potsdam „Schwalben willkommen" im Landkreis Stade - Ein Citizen Science Projekt für den Artenschutz Michael Roesberg, Landkreis Stade Aktionsprogramm „Artenreiches

Data Science (k)eine Teenagerliebe? - AIssaysK)eineTeenagerL… · Zürcher Fachhochschule Data Science –(k)eine Teenagerliebe? Thilo Stadelmann, Swiss ICT Symposium, 05. November

AUSSDA - The Austrian Social Science Data Archive...Die AUSSDA-Services 3 18.12.2017 AUSSDA - The Austrian Social Science Data Archive Archivierung • Betreuung von Projektbeginn

DATA SCIENCE BOOT CAMP - TDWI · 2019-03-28 · DATA SCIENCE BOOT CAMP In 5 Tagen zum Data Science Engineer Das sollten Sie über das Data Science Boot Camp wissen: Wir greifen für

Data Products – Wie Data Science zu erfolgreichen ... · Data Products – Wie Data Science zu erfolgreichen Produkten führen kann, und was die Disziplin Service Science dazu beisteuern

Data Science and Big Data 2020 AK2 - zhb.tu-dortmund.de · ZIELE DES STUDIUMS Erwerb von modernen Kenntnissen in Theorie und Praxis von Data Science und Big Data-Analytics Befähigung

EMPFEHLUNGEN MASTERSTUDIENGÄNGE „DATA SCIENCE”

Data Science and Big Data 2020 AK2 - TU Dortmund€¦ · von Data Science- und Big Data-Projekten. Die Lehreinheiten dienen Ihnen zur Einführung in neueste Erkenntnisse zu Management

in Mobility, Data Science and Economics

Data Science mit Python - mitp-Verlag · Inhaltsverzeichnis

Makerspaces, Citizen Science und Scratch: Verändert Mass Collaboration die Hochschule?

School of Engineering Weiterbildungen im Bereich Data Science · 2019-04-03 · 3 Mit Data Science wird die Wissenschaft zur Extraktion von Wissen aus Daten bezeichnet. Data Science