Digitalisierung des Privatlebens - wie Deep Learning Smartphone und Smart Home wirklich smart macht

Digitalisierung des Privatlebens

Wie Deep Learning Smartphone und Smart Home wirklich smart macht

Prof. Dr. René Peinl Hof, 02.11.2016

2

Digitalisierung im Privatleben in Beispielen

Wann ist digital auch smart?

Künstliche Intelligenz 4.0 – Deep Learning

Haushaltsroboter heute und morgen

Fazit und Ausblick

1

2

3

4

5

Agenda

Digitalisierung – eine spröde Definition

Der Begriff der Digitalisierung hat mehrere Bedeutungen:

1. die digitale Umwandlung und Darstellung bzw. Durchführung von Information

und Kommunikation oder

2. die digitale Modifikation von Instrumenten, Geräten und Fahrzeugen

3. die digitale Revolution, die auch als dritte Revolution bekannt ist, bzw. die

digitale Wende. Im letzteren Kontext werden nicht zuletzt

"Informationszeitalter" und "Computerisierung" genannt.

3

Gabler Wirtschaftslexikon, http://wirtschaftslexikon.gabler.de/Definition/digitalisierung.html

Digitalisierung ist die konsequente und umfassende Nutzung

digitaler Technologien zur Automatisierung, Arbeitserleichterung

und Schaffung neuer Produkte und Geschäftsmodelle.

René Peinl (2016)

Beispiel 1: Einkaufen

4

Digital Shopping #1 – Mr Spex

5

Bildquelle: areyouglobal.files.wordpress.com

Digital Shopping #2 - McDonalds

6

Bildquelle: Huffington Post, huffpost.com

Digital Shopping #3 – Ikea

7

Bildquelle: digitalbodies.netBildquelle: virtualrealityheadsetglasses.com

Beispiel 2: Waren liefern

8

Digitale Paketzustellung – private Packstationen

9

http://bilder.pcwelt.de/3623734_original.jpg

http://www.giga.de/wp-content/uploads/2015/03/dhl-paketkasten-allyouneed-rcm992x0.jpg

Digitale Paketzustellung #2 - Drohnen

10

http://media-cdn.sueddeutsche.de/image/sz.1.3096377

Digitale Paketzustellung #3 - Lieferroboter

11

http://www.manager-magazin.de/images/

image-960334-mmo_panoV9-qmhd-960334.jpg

http://www.pipeline.de/pipeline/showpics.php?id=11880277_l&rid=1

Beispiel 3: Autofahren

12

Digitales Autofahren #1 - Nutonomy

13

http://www.faz.net/aktuell/wirtschaft/neue-mobilitaet/selbstfahrende-taxis-in-singapur-14405490.html

Digitales Autofahren #2 – Audi und die Ampeln

• Car to X Kommunikation

• Ampeln informieren das Auto über die aktuellen Schaltzyklen

• Das Auto informiert den Fahrer über das Tempo für grüne Welle

bzw. die Wartezeit bis grün

14Bildquelle: Audi

Digitales Autofahren #3 - Mercedes

15

roadstars.mercedes-benz.comwww.mercedes-benz.com

Beispiel 4: Digitales sehen

16

Audi schult Verkäufer im echten Auto aber VR-Gefahr

17

http://mancve.com/2016/07/audi-vitrac-experience-vr-brille/

Digitales sehen #2 – Augmented Reality (z.B. Moverio)

18

http://www.digitalavmagazine.com/wp-content/uploads/2015/06/Epson-Moverio-Pro-BT-2000.jpg

Digitales sehen #3 – Mixed Reality (z.B. MS Hololens)

19

https://compass-ssl.surface.com/assets/4f/10/4f10562a-d446-40c7-a0d0-3ea5f5cda537.jpg

Wann ist ein Ding smart?

20

Sind Haushalts- und Gartenhelfer smart?

• Ist der Rasensprenger smart, weil man

ein Wochenprogramm mit individueller

Dauer und Zonen einstellen kann?

• Ist die Waschmaschine smart, weil man

sie vom Tablet aus starten kann und sie

drahtlos sagt, wann sie fertig ist?

• Ist der Staubsaugerroboter smart, wenn

er chaotisch im Raum rumfährt?

21

Miele@home Waschmaschine mit SmartStart

Gardena Rasensprenger mit Steuerung robosauger.com/roomba

Aspekt #1: smart ist, wenn Geräte zusammenspielen

• Der Rasensprenger wässert nur dann und

dort, wo der Feuchtesensor Trocken-

heit meldet und auch nicht, wenn

der Wetterbericht Regen angesagt hat.

• Die Waschmaschine startet genau dann,

wenn die PV-Anlage Strom generiert und

es laut Wetterbericht mit hoher Wahrscheinlichkeit

für die nächste Stunde weiter tut. Sie startet aber recht-

zeitig, so dass die Wäsche fertig ist, bevor der Bewohner abends heimkommt.

• Der Staubsaugerroboter bekommt von der Smart Home Zentrale gemeldet,

wenn kein Bewohner mehr im Haus ist und startet erst dann.

22

Bild

qu

elle

: w

ww

.mie

le.d

e

Ist ein Smart TV wirklich smart?

Wer hat schon einmal versucht eine Internetadresse mit der TV-Fernbedienung

einzugeben?

23

Bildquelle: https://www.youtube.com/watch?v=sFlWDL9YQgA

Aspekt #2: smart ist, was auf Kommando hört

24

Bildquelle: www.androidcentral.com

Musio Home Companion

Bildquelle: www.knowyourmobile.com

Amazon Echo / Alexa

Google Home

Bildquelle: blog.avira.com

Conversational User Interfaces

Aber: manchmal ist Reden Silber und Schweigen Gold

25Bildquelle: http://stadt-bremerhaven.de/amazon-dash-button-ab-sofort-in-deutschland-erhaeltlich/ sowie Amazon.com

Steve Krug: „Don‘t make me think“

Sind Smartphones wirklich smart?

• Ist Google Now smart, weil es weiß, dass Tom Cruise ein

Schauspieler ist und in welchen Filmen er gespielt hat?

• Ist Siri smart, weil sie das Wetter am aktuellen Ort

vorhersagen kann?

• Ist Cortana smart, weil sie auf Kommando Erinnerungen

erstellt oder einen Kontakt anruft?

26

Bildquelle: engadget.com

Cortana, erinnere mich daran heute Abend

Susi anzurufen!

Erinnerung erstellt.20.10.2016 19:00 Uhr

Susi anrufen

Aspekt #3: offenes und vernetztes mentales Modell

27Bildquelle: futurezone.at

Dag Kittlaus

Juni 2016: Apple öffnet

Siri für Drittanbieter

Oktober 2016: Samsung kauft Viv

September 2016: Amazon meldet 3000 Skills für Echo / Alexa

https://www.youtube.com/watch?v=Rblb3sptgpQ

Mai 2016: Vorstellung von Viv,

dem in-offiziellen Nachfolger von Siri

Linked Open Data

28

2008

2010

20112014

Sind Empfehlungssysteme wirklich smart?

• Ist es smart Bücher zu empfehlen, die andere

gekauft haben, die dasselbe Buch gekauft haben

wie ich?

• Ist es smart Produkte zu empfehlen, die sehr

ähnlich oder identisch sind zu dem, das ich

gerade gekauft habe?

• Ist es smart Musik zu empfehlen, die andere

gerade hören?

29

Bildquelle: eigene Screenshots

Was unterscheidet das beste Schach- und Go-Programm?

30

Bildquelle: www.newyorker.com

Bildquelle: nbcnews.com

• Vorgegebene Algorithmen

• Vorberechnung möglichst

vieler Stellungen

• Statistische Auswertungen

• „Brute Force“ Rechenleistung

• 2 x 1043 Stellungen

• Lernendes System

• Vorgeben von Zielen

• Langes Training mit 30 Mio Zügen

• Anschließend 100.000e Partien

gegen sich selbst

• „Intuition und Kreativität“

• 2,08 × 10170 Stellungen

Aspekt #4: Lernen und Kontexterkennung

31

http://heise.de/-3319416

https://awardwallet.com/blog/invasion-of-the-messenger-bots-as-otas-flock-to-facebooks-new-platform/

Aufgabenspezifische Chatbots

sind die neuen Apps

Alles zusammen = wirklich smart, z.B. smarte Küche

• Basistechnologien: digitale Kamera, Bilderkennung, Spracherkennung

• Open Data: semantische Datenbank über Nahrungsmittel, Produkte und Rezepte

• Deep Learning: verbessert Bilderkennungsrate und erkennt Nutzergewohnheiten

(wann isst jemand was)

• Direkte Eingabe: per Sprache wird ein Rezept abgerufen

oder der Zustand des Kühlschranks kontrolliert

32

• Empfehlungen: basierend auf Lebensmitteln im Kühlschrank

und erlernten Essgewohnheiten wird ein Rezept vorgeschlagen

• Vernetzung: der Ofen bekommt direkt über das Rezept die

richtigen Einstellungen übermittelt. Der Benutzer muss nichts

manuell einstellen

• Über Bratenthermometer, Hygrometer und andere Sensoren

erkennt der Ofen wann ein Lebensmittel fertig ist

Bildquelle: http://www.golem.de/news/liebherr-wenn-der-kuehlschrank-mitdenkt-1609-123066.html

Und wie funktioniert das jetzt?

33

Schritt 1: Semantisches Datenmodell erstellen

Woher wissen wir, ob ein Tier, dass wir sehen ein Vogel ist?

Bildquelle: Wikipedia

Vogel hat: 2 Beine, 2 Flügel, 1 Schnabel, 2 Augen, Federn, keine sichtbaren Ohren

Semantische Klassen festlegen und Attribute zuordnen

Farbe, Länge und Form des Schnabels, Länge der Beine, des Halses, …

Bildquelle: Wikipedia

Wie unterscheiden sich Vögel voneinander?

Schritt 2: Features aus Bild extrahieren

36

Schritt 3: kleine Features zu umfassenderen kombinieren

37

https://www.datarobot.com/blog/a-primer-on-deep-learning/

Deep neural network

38

http://www.kdnuggets.com/2015/10/top-arxiv-deep-learning-papers-explained.html

Gesichts-

Knoten

Katzen-

Knoten

diagonale

Linie

Knoten

Bild-

Features

Schritt 4: Aus Fehlern lernen: Backpropagation

39

http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html

Minimiere den Fehler durch Differenzieren der Funktion

40

http://www.slideshare.net/keepurcalm/backpropagation-in-neural-networks

Schritt 5: Zuordnung von Bildern zu semantischen Klassen

41

Bildquellen:

http://www.tierchenwelt.de/images/stories/haustiere/katzen/katze_spielen_klein.jpg

https://tattoovorlagen24.files.wordpress.com/2012/03/schmetterling-tattoos.jpg

http://www.tierbildergalerie.com/data/media/94/ara_papagei.jpg

Katze

Haustier

Schmetterling

Papagei

Vogel

Natur

p=1,000

p=0,989

p=0,979

p=0,997

p=0,993

p=0,988

w=0,365

w=0,781

w=0,927

w=0,174

w=0,823

w=0,659

https://www.clarifai.com/demo

Smart Robots –

die Krone der technischen Evolution?

42

Gartner Hype Cycle Emerging Technologies

2015

Smart Advisors

Smart Robots

Maschinelles Lernen

Virtual Reality

Connected Home

Autonomes Fahren

Gartner Hype Cycle Emerging Technologies

2016

Smart Advisors

Smart Robots

Natürlichsprachige Fragenbeantwortung

Maschinelles Lernen

Virtual Reality

Conversational User Interface

Connected Home

Autonomes Fahren

Robust und hilfreich

• Boston Dynamics Atlas und SpotMini

http://heise.de/-3116207

http://heise.de/-3248140

• Honda Asimo

https://www.youtube.com/watch?v=6mVy3ZahcC4

45

Bildquelle: www.foxnews.comBildquelle: arstechnica.com Bildquelle: www.gizmag.com

Atlas

Asimo

SpotMini

Knuddelig und liebenswert

• Aldebaran Nao und Pepper

http://www.faz.net/aktuell/wirtschaft/cebit/der-tanzende-roboter-pepper-

entzueckt-die-cebit-besucher-14125881.html

• Care-o-Bot des Fraunhofer IPA (ohne Bild)

46

Bildquelle: www.railwaygazette.comhttp://gigabotics.com/robotics/robots-in-hospital/

Auf dem Weg durch das Uncanny Valley

47

Modifiziert nach: http://www.wired.com/

Ve

rtra

uth

eit

/ A

kze

pta

nz

Menschenähnlichkeit

Nao / Pepper

Mehr oder weniger „lebensecht“

48

Bildquelle: www.telegraph.co.uk (AFP/Getty Images)

https://www.youtube.com/watch?v=9q4qwLknKag

Bildquelle: www.teleaire.com

Bildquelle: www.digitaltrends.com

http://yournewswire.com/new-self-learning-robot-says-i-will-destroy-humans/http://www.moviefone.com/2011/03/08/most-realistic-looking-robot/

Fazit und Ausblick

49

Automata

50

Bildquelle: io9.gizmodo.com

2. Protokoll: Es ist Robotern verboten, sich selbst oder gegenseitig zu verändern.

… sonst sind sie nicht

mehr kontrollierbar

Chappie

https://www.youtube.com/watch?v=wt068dgiBmc

51

Bildquelle: www.wired.com (Columbia Pictures)

Selbstlernende Maschinen

können zum Guten oder Bösen

erzogen werden

Ex Machina

52

Bildquelle: www.neondystopia.comhttps://www.youtube.com/watch?v=ur3U3lC2FnY

Wenn Maschinen anfangen einen

Überlebenswillen zu entwickeln

Warum entwickelt sich jetzt alles schneller weiter?

• Von den Anfängen des Maschinen-Lernens bis heute hat es 60 Jahre gedauert

• Heute gibt es Open Source Bibliotheken, mit denen sich vieles leicht in eigene

Programme einbauen lässt und kostenlose Tutorials im Internet

• Beispiel 1: Spracherkennung in Android

– Mit nicht einmal 20 Zeilen zusätzlichem Programmcode kann aus jedem

Texteingabefeld eines mit Spracheingabe gemacht werden

53

• Beispiel 2: Maschinelles Lernen

– Mit DeepLearning4j kann man mit 100 Zeilen

Java Code sein eigenes Programm zur

Handschrifterkennung schreiben

– Man muss nicht im Detail verstehen, wie ein

Lernalgorithmus funktioniert, man verwendet eine

Bibliothek und füttert sie mit den relevanten Daten

– Besseres Verständnis des Algorithmus führt

trotzdem zu besseren Ergebnissen! Bildquelle: www.notieren.de

Ausgewählte Meilensteine aus der Vergangenheit

54

1986: Bemühungen um künstliche Intelligenz gelten als gescheitert

1996: IBMs Deep Blue (Großrechner) schlägt Schach-Weltmeister Kasparow

2001: Tim Berners Lee verkündet die Vision des Semantic Web

2006: Deep Fritz schlägt Schach-Weltmeister Kramnik auf einem High-End PC

2006: Ontoprise Ontobroker besteht den "Advanced Placement Test" in Chemie

2009: Wolfram Alpha beantwortet Fragen rund um Naturwissenschaften

2011: IBMs Watson schlägt die Jeopardy Champions Rutter und Jennings

Apple stellt Siri vor, die natürlichsprachige Benutzerfragen beantwortet

2016: Google Alpha Go schlägt weltbesten Go-Spieler Lee Sedol 4:1

Microsoft zeigt Skype mit Online Übersetzung gesprochener Sprache

1990 1995 2000 2005 2010 2015 2020 2025

Menschen verstehen exponentielle Entwicklungen nicht

55

Entwicklung der weltweiten Bevölkerung

Bildquelle: Moore’s Law Infographic by Time Magazine, humanswlord.wordpress.com

Maschinen lernen schnell

• Ein (intelligenter) Mensch braucht ca. 5 Jahre intensive Beschäftigung

(6 Stunden pro Tag, 5 Tage die Woche, 45 Wochen im Jahr) um Experte in

einer Domäne zu werden (z.B. Schach spielen, Programmieren, Radiologie, …),

also insgesamt 6.750 Stunden.

• Mal angenommen ein Computer braucht auf herkömmlicher PC Hardware

(z.B. Intel Core i7-6700T, 4 Kerne, 8 GB RAM) genauso lange

– Aber er trainiert 24x7x52 (sagen wir 23x7, wegen Wartung) => 294 Tage

– Warum nehmen wir keinen Server? (2x14 Kerne, 1 TB RAM) => 42 Tage

– Zu langsam? Mit Beschleunigerkarten für maschinelles Lernen => 1 Tag

56

Bildquelle: http://www.nvidia.com/object/deeplearningsystem.html

Die großen Konzerne investieren in KI und ML

57

https://www.crisp-research.com/die-machine-learning-akquisitionen-der-big-smarte-produkte-werden-standard/

Aquiriert von Name Sektor / Technologie Zeitpunkt

Amazon Shoefitr Schuh Empfehlungen April 2015

Amazon Safaba Maschinelle Text-Übersetzung September 2015

Amazon Orbeus Deep Learning, Text, Bild, Video Dezember 2015

Apple Spotsetter Personalisierung, Social Search Juni 2014

Apple VocallIQ Künstliche Intelligenz, gesprochene Sprache September 2015

Apple Perceptio Bilderkennung September 2015

Apple Emotient Gesichtserkennung, Emotionserkennung Januar 2016

Apple Turi Künstliche Intelligenz August 2016

Facebook Wit.ai Spracherkennung, API Januar 2015

Facebook Surreal Vision Computer Vision, Augmented Reality Mai 2015

Facebook Pebbles Computer Vision, Augmented Reality Juli 2015

Google Deep Mind Technologies Künstliche Intelligenz, Deep Learning Januar 2014

Google spider.io Erkennung von Klickbetrug bei Werbeanzeigen Februar 2014

Google Jetpac Künstliche Intelligenz, Bilderkennung, Ortsempfehlung August 2014

Google The Vision Company Künstliche Intelligenz Oktober 2014

Google Dark Blue Labs Künstliche Intelligenz Oktober 2014

Microsoft Aorato Enterprise Security, Machine Learning November 2014

Microsoft Equivio Text Analyse, eDiscovery Januar 2015

Microsoft Revolution Analytics Statistics, Big Data, Predictive Analytics Januar 2015

Microsoft MileIQ KI, Machine Learning, smartes Fahrtenbuch November 2015

Microsoft Touch Type Ltd. Künstliche Intelligenz, Keyboard App Februar 2016

Microsoft Wand Labs Conversational Intelligence, Künstliche Intelligenz, Text Juni 2016

Ziel ist es, eine umfassende Plattform zu haben

1. Einen “Conversation Canvas” – ein Platz wo Leute viel kommunizieren und

schreiben. Microsoft hat Office, Outlook, Skype und Cortana.

2. Ein KI “Gehirn” – ein hochentwickeltes mentales Modell der Welt.

Microsoft entwickelt seit 20 Jahren KI, hat aktuell z.B. gute Spracherkennung.

3. Einen sozialen Graph – Informationen über die Zusammenarbeit und

Beziehungen zwischen Menschen im Internet.

Microsoft kauft LinkedIn mit 433 Millionen registierten Benutzern für $26.2 Mrd

4. Eine (Smart Home) Plattform auf der die künstliche Intelligenz in den Haushalt

kommt. z.B. Microsoft Xbox oder Amazon Echo.

5. Schließlich ein Entwicklernetzwerk, das nur darauf wartet Erweiterungen für

die Plattform zu entwickeln.

z.B. 3.2 Mio registrierte Visual Studio Online Entwickler

58

Interview mit Satya Nadella (CEO von Microsoft)http://www.theverge.com/2016/7/7/12111028/microsoft-bot-framework-artificial-intelligence-satya-nadella-interview

… und dabei sind einige schon recht weit gekommen

59

Amazon Apple Facebook Google/Alphabet Microsoft

Smart Home Echo + Dash HomeKit - Home Hub + Nest Xbox + Kinect

DigitalerAssistent

Alexa Siri Facebook M Google Now Cortana

Soziale Plattform

Produkt-bewertungen

- Facebook Google+ Linked.In

Conversation - iMessage FB Messenger Allo Skype

Geodienste evtl. Here2 Apple Maps - Google Maps Bing Maps

Virtual Reality - - Oculus Rift Glass, Tango, … Holo Lens

Künstliche Intelligenz

DSSTNE, AWS MachineLearning

Turi, Bilder-kennung, meist intern1

Torchnet, DeepText

AlphaGo, TensorFlow, DeepMind, …

CNTK, AzureMachineLearning

Robotik Paket-drohnen

Apple Car? stellt Robotik-Experten ein3

Google Car, Schaft, Boston Dynamics

-

1 http://highscalability.com/blog/2016/6/20/the-technology-behind-apple-photos-and-the-future-of-deep-le.html

https://backchannel.com/an-exclusive-look-at-how-ai-and-machine-learning-work-at-apple-8dbfb131932b#.axa5xn2w62 http://www.handelsblatt.com/unternehmen/it-medien/audi-bmw-daimler-amazon-koennte-bei-kartendienst-here-einsteigen/13389790.html3 http://venturebeat.com/2015/02/04/facebook-gets-into-the-robot-game-and-data-centers-could-be-involved/

Spezielle und generelle künstliche Intelligenz

• Bisher werden überwiegend Speziallösungen für bestimmte Problemstellungen

entwickelt: narrow or special purpose AI

• Produkte, die uns beeindrucken sind häufig eine Kombination aus wenigen

Dutzend dieser Speziallösungen. Ein virtueller persönlicher Assistent oder

Chatbot unterscheidet z.B. Fragen zu Arbeit, Finanzen, Wetter, Sport und

ähnlichen Gebieten und kann in jedem Gebiet eine Reihe typischer Fragen

korrekt verstehen und beantworten, oder auch eigene Fragen stellen.

• General Purpose AI: Stellen sie sich vor, ihr Baby lernt am ersten Tag

Atari spielen und alle Level zu meistern

und am zweiten Tag Doom,

am 3. Schach, …

• https://www.youtube.com/watch?v=VBceREwF7SA

• https://www.youtube.com/watch?v=qv6UVOQ0F44

• https://www.youtube.com/watch?v=V1eYniJ0Rnk

• https://www.youtube.com/watch?v=TnUYcTuZJpM

60

Bildquelle: www.zum.de

Ausblick mit Sorge

Bei allem Enthusiasmus für digitale Lösungen darf der

gesunde Menschenverstand nicht außer Acht bleiben

Stephen Hawking, Elon Musk, Bill Gates und andere

namhafte Wissenschaftler sagen die digitale Singularität voraus

Science Fiction Filme sollten nicht nur im positiven Sinne als Vorbild

gesehen werden: auch deren Dystopien müssen ernst genommen werden.

Es scheint keine Frage ob, sondern nur wann die Systeme so weit sein werden

Special Purpose AI: System ist für bestimmten Bereich spezialisiert => ungefährlich

General Purpose AI: wird bisher noch nicht gebaut, aber Systeme wie AlphaGo, die

mit geringen Anpassungen für verschiedene Domänen

eingesetzt werden können sind die ersten Schritte dahin

=> potenziell gefährlich

61

abcnews.go.com

Bildquelle: brynjenkins.com

Hof University

Alfons-Goppel-Platz 1

95028 Hof, Germany

rene.peinl@hof-university.de

www.hof-university.de

Phone +49 9281 409-3000

Fax +49 9281 409-4000

In der Zukunft muss man mit KI rechnen

Prof. Dr. René Peinl

Head of research group systems integration

Teaching area: Web architecture