14
Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT) Fakultät für Elektrotechnik und Informationstechnik Prof. Dr.-Ing. habil. Michael Hübner Entwicklung einer Anwendung für die Microsoft HoloLens

Entwicklung einer Anwendung für die Microsoft HoloLens · 3 Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT) Fakultät für Elektrotechnik und Informationstechnik

Embed Size (px)

Citation preview

Page 1: Entwicklung einer Anwendung für die Microsoft HoloLens · 3 Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT) Fakultät für Elektrotechnik und Informationstechnik

Lehrstuhl für Eingebettete Systeme der Informationstechnik

(ESIT)Fakultät für Elektrotechnik und InformationstechnikProf. Dr.-Ing. habil. Michael Hübner

Entwicklung einer Anwendung fürdie Microsoft HoloLens

Page 2: Entwicklung einer Anwendung für die Microsoft HoloLens · 3 Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT) Fakultät für Elektrotechnik und Informationstechnik

2Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT)Fakultät für Elektrotechnik und InformationstechnikProf. Dr.-Ing. habil. Michael Hübner

Entwicklung einer Anwendung für die Microsoft HoloLensBetreuer: Florian Fricke

"Dieses Foto" von Unbekannter Autor ist lizenziert gemäß CC BY-NC-SA

Microsoft HoloLens:

• AR-Brille

• Läuft unter Windows 10

• Apps werden für die Universal Windows Platformmit Visual Studio entwickelt

• 3D Modelle können mit dem Unity Framework erstellt werden

• Die Programmlogik wird im allgemeinen in Visual C# programmiert (Kenntnisse von Vorteil)

Page 3: Entwicklung einer Anwendung für die Microsoft HoloLens · 3 Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT) Fakultät für Elektrotechnik und Informationstechnik

3Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT)Fakultät für Elektrotechnik und InformationstechnikProf. Dr.-Ing. habil. Michael Hübner

Entwicklung einer Anwendung für die Microsoft HoloLensBetreuer: Florian Fricke

"Dieses Foto" von Unbekannter Autor ist lizenziert gemäß CC BY-NC-SA

Festo MPS Compact Workstation:

• Prozesstechnische Anlage für die Lehre und Ausbildung

• Enthält diverse Sensoren und Aktoren (Füllstand, Temperatur, Durchfluss, …)

• Verschiedene Regelungs- und prozesstechnische Versuche möglich

• Verschiedene Schnittstellen vorhanden auf deren Basis gearbeitet werden kann

Page 4: Entwicklung einer Anwendung für die Microsoft HoloLens · 3 Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT) Fakultät für Elektrotechnik und Informationstechnik

4Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT)Fakultät für Elektrotechnik und InformationstechnikProf. Dr.-Ing. habil. Michael Hübner

Entwicklung einer Anwendung für die Microsoft HoloLensBetreuer: Florian Fricke

Aufgabenstellung:

Entwickeln Sie eine Anwendung auf der Microsoft HoloLens, welche zur Fernwartung und eventuell Steuerung einer prozesstechnischen Anlage verwendet werden kann

Zielstellung:

• Modellierung der Anlage mit dem Unity-Framework als 3D-Modell

• Realisierung einer Webschnittstelle zu den Sensoren und Aktoren der Anlage

• Implementierung des Modells und der Zugriffsmöglichkeit auf die Webschnittstelle auf der Microsoft HoloLens

• Änderung bestimmter Parameter des 3D-Modells über die empfangenen Sensordaten

Mögliche Erweiterung des Zieles:

• Realisierung der Ansteuerung der Aktoren über die HoloLens-Schnittstelle

• Nutzung eines vorhandenen regelungstechnischen Modells zur Fehleranalyse

Page 5: Entwicklung einer Anwendung für die Microsoft HoloLens · 3 Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT) Fakultät für Elektrotechnik und Informationstechnik

5Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT)Fakultät für Elektrotechnik und InformationstechnikProf. Dr.-Ing. habil. Michael Hübner

Entwicklung einer Anwendung für die Microsoft HoloLensBetreuer: Florian Fricke

Anforderungsprofil:

• 2-3 Studenten

• Bachelor oder Master

Erwartete Kenntnisse:

• Gute Programmierkenntnisse (C/C++)

• Objektorientierte Programmierung

• C# Kenntnisse von Vorteil

• Grundlegende Kenntnisse im Bereich Netzwerkkommunikation

• Kenntnisse in Unity und Windowsentwicklung vorteilhaft

Organisation:

• Projekt wird am Lehrstuhl für eingebettete Systeme der Informationstechnik durchgeführt

• Es finden wöchentliche Besprechungen mit dem/den Betreuer(n) statt

Ansprechpartner:

• Florian Fricke, M. Sc.Gebäude ID | Ebene 1 | Raum 323Tel.: 0234 32-26523Email: [email protected]

Page 6: Entwicklung einer Anwendung für die Microsoft HoloLens · 3 Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT) Fakultät für Elektrotechnik und Informationstechnik

Lehrstuhl für Eingebettete Systeme der Informationstechnik

(ESIT)Fakultät für Elektrotechnik und InformationstechnikProf. Dr.-Ing. habil. Michael Hübner

Android App for Intelligent Sensors

Page 7: Entwicklung einer Anwendung für die Microsoft HoloLens · 3 Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT) Fakultät für Elektrotechnik und Informationstechnik

2Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT)Fakultät für Elektrotechnik und InformationstechnikProf. Dr.-Ing. habil. Michael Hübner

Entwicklung einer Android App für Intelligente SensorenNetzwerkBetreuer: Javier Hoffmann

"Dieses Foto" von Unbekannter Autor ist lizenziert gemäß CC BY-NC-SA

Festo MPS Compact Workstation:

• Prozesstechnische Anlage für die Lehre und Ausbildung

• Enthält diverse Sensoren und Aktoren (Füllstand, Temperatur, Durchfluss, …)

• Verschiedene Regelungs- und prozesstechnische Versuche möglich

• Verschiedene Schnittstellen vorhanden auf deren Basis gearbeitet werden kann

Page 8: Entwicklung einer Anwendung für die Microsoft HoloLens · 3 Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT) Fakultät für Elektrotechnik und Informationstechnik

3Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT)Fakultät für Elektrotechnik und InformationstechnikProf. Dr.-Ing. habil. Michael Hübner

Entwicklung einer Android App für Intelligente SensorenNetzwerkBetreuer: Javier Hoffmann

Aufgabenstellung:

Entwickeln Sie eine Android App, welche zur Darstellung der gemessenen Werte auf mobilen Geräten verwendet werden kann

Zielstellung:

• Einführung in die Benutzung der Festo Anlage

• Erstellung einer für Mobilgeräte geeignete graphische Darstellung der Anlage

• Realisierung verschiedener Schnittstellen zu den Sensoren und Aktoren der Anlage

• Vorhersage der Messwerte unter Verwendung von Machine Learning Algorithmen

• Veröffentlichung der App

Mögliche Erweiterung:

• Erweiterung für Ankopplung externen Sensoren

• Berechnung des Energie-Verbrauchs des Systems

Page 9: Entwicklung einer Anwendung für die Microsoft HoloLens · 3 Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT) Fakultät für Elektrotechnik und Informationstechnik

4Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT)Fakultät für Elektrotechnik und InformationstechnikProf. Dr.-Ing. habil. Michael Hübner

Entwicklung einer Android App für Intelligente SensorenNetzwerkBetreuer: Javier Hoffmann

Anforderungsprofil:

• 2-3 Studenten

• Bachelor oder Master

Erwartete Kenntnisse:

• Gute Programmierkenntnisse (C/C++, Java / Groovy)

• Objektorientierte Programmierung

• Grundlegende Kenntnisse im Bereich Regelungstechnik

Organisation:

• Projekt wird am Lehrstuhl für eingebettete Systeme der Informationstechnik durchgeführt

• Es finden wöchentliche Besprechungen mit dem/den Betreuer(n) statt

Ansprechpartner:

• Hoffmann Javier, M. Sc.Gebäude ID | Ebene 1 | Raum 328Tel.: 0234 32-25911Email: [email protected]

Page 10: Entwicklung einer Anwendung für die Microsoft HoloLens · 3 Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT) Fakultät für Elektrotechnik und Informationstechnik

Lehrstuhl für Eingebettete Systeme der Informationstechnik

(ESIT)Fakultät für Elektrotechnik und InformationstechnikProf. Dr.-Ing. habil. Michael Hübner

Erstellen einer Anwendung zur Steuerung einer Präsentation mittels

Raspberry Pi

Page 11: Entwicklung einer Anwendung für die Microsoft HoloLens · 3 Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT) Fakultät für Elektrotechnik und Informationstechnik

2Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT)Fakultät für Elektrotechnik und InformationstechnikProf. Dr.-Ing. habil. Michael Hübner

Erstellen einer Anwendung zur Steuerung einer Präsentation mittels Raspberry Pi

Raspberry Pi:

• Single-Board Computer

• Raspberry Pi 3 hat eine Quad-Core ARM CPU

• Läuft unter Linux (Raspbian)

• Anwendungen können prinzipiell in allen unter Linux verfügbaren Programmier-sprachen erstellt werden

• Kamera liefert Videos mit FullHD Auflösung

"Dieses Foto" von Unbekannter Autor ist lizenziert gemäß CC BY-SA

"Dieses Foto" von Unbekannter Autor ist lizenziert gemäß CC BY

Page 12: Entwicklung einer Anwendung für die Microsoft HoloLens · 3 Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT) Fakultät für Elektrotechnik und Informationstechnik

3Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT)Fakultät für Elektrotechnik und InformationstechnikProf. Dr.-Ing. habil. Michael Hübner

Erstellen einer Anwendung zur Steuerung einer Präsentation mittels Raspberry Pi

Grundidee:

• Erfassung einer Beamerpräsentationmit einer Kamera

• Detektion des Laserpunkts im projizierten Bild

• Berechnung der Position des Laserpunktes innerhalb der Projektion

• Steuerung des Mauszeigers des für die Präsentation verwendeten Rechners mittels der ermittelten Position

BTLE

CSIVGA/HDMI

Projektion

Video-aufnahme

Page 13: Entwicklung einer Anwendung für die Microsoft HoloLens · 3 Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT) Fakultät für Elektrotechnik und Informationstechnik

4Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT)Fakultät für Elektrotechnik und InformationstechnikProf. Dr.-Ing. habil. Michael Hübner

Erstellen einer Anwendung zur Steuerung einer Präsentation mittels Raspberry Pi

Aufgabenstellung:

Entwickeln Sie eine Anwendung auf einem Raspberry Pi 3 welche es ermöglicht einen Laserpointer zur Steuerung des Mauszeigers während einer Präsentation zu nutzen

Zielstellung:

• Erfassung des projizierten Bildes und sichere Erkennung der Bildränder

• Erfassung des Laserpunktes im Bild und Berechnung der Koordinaten

• Entwicklung einer Schnittstelle um die Mausposition über Bluetooth an den Präsentationsrechner zu übertragen

Mögliche Erweiterung des Zieles:

• Steuerung der Präsentation über definierte Gesten oder das Anwählen bestimmter Positionen im projizierten Bild

• Erweiterung des Kommunikationsprotokolls um die automatische Übertragung von Bildinformationen (Auflösung, Seitenverhältnis)

Page 14: Entwicklung einer Anwendung für die Microsoft HoloLens · 3 Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT) Fakultät für Elektrotechnik und Informationstechnik

5Lehrstuhl für Eingebettete Systeme der Informationstechnik (ESIT)Fakultät für Elektrotechnik und InformationstechnikProf. Dr.-Ing. habil. Michael Hübner

Erstellen einer Anwendung zur Steuerung einer Präsentation mittels Raspberry Pi

Anforderungsprofil:

• 2-3 Studenten

• Bachelor oder Master

Erwartete Kenntnisse:

• Gute Programmierkenntnisse (C/C++ oder Python)

• Objektorientierte Programmierung

• OpenCV Kenntnisse von Vorteil

• Grundlegende Kenntnisse im Bereich Netzwerkkommunikation (Bluetooth)

• Kenntnisse in Linux und Linuxentwicklung vorteilhaft

Organisation:

• Projekt wird am Lehrstuhl für eingebettete Systeme der Informationstechnik durchgeführt

• Es finden wöchentliche Besprechungen mit dem/den Betreuer(n) statt

Ansprechpartner:

• Florian Fricke, M. Sc.Gebäude ID | Ebene 1 | Raum 323Tel.: 0234 32-26523Email: [email protected]