Automatisierte Klassifikationdigitalisierter Spiralzeichnungen zur

Erkennung von Parkinson

Franziska Rau

B A C H E L O R A R B E I T

Nr. 4987688

eingereicht imFachhochschul-Bachelorstudiengang

Bioinformatik

in Berlin

im April 2019

Diese Arbeit entstand in Zusammarbeit mit

KNIME Analytics GmbH

im

Wintersemster 2018/19

Erstgutachterin:

Jeanette Prinz, Dr.

Zweitgutachter:

Tim Landgraf, Prof. Dr.

ii

Erklärung

Ich erkläre eidesstattlich, dass ich die vorliegende Arbeit selbstständig undohne fremde Hilfe verfasst, andere als die angegebenen Quellen nicht benutztund die den benutzten Quellen entnommenen Stellen als solche gekennzeich-net habe. Die Arbeit wurde bisher in gleicher oder ähnlicher Form keineranderen Prüfungsbehörde vorgelegt.

Berlin, am 1. April 2019

Franziska Rau

iii

Inhaltsverzeichnis

Erklärung iii

Kurzfassung v

Abstract vi

1 Einleitung 11.1 Stand der Forschung . . . . . . . . . . . . . . . . . . . . . . . 21.2 Aufbau der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . 3

2 Methoden 52.1 KNIME Analytics Platform . . . . . . . . . . . . . . . . . . . 52.2 Daten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.2.1 Erwerb und Beschreibung . . . . . . . . . . . . . . . . 62.2.2 Vorbereitung . . . . . . . . . . . . . . . . . . . . . . . 7

2.3 Attribut Generierung . . . . . . . . . . . . . . . . . . . . . . . 82.4 Random Forest . . . . . . . . . . . . . . . . . . . . . . . . . . 102.5 Attributauswahl . . . . . . . . . . . . . . . . . . . . . . . . . 112.6 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

3 Ergebnisse 143.1 Spiralzeichnungen . . . . . . . . . . . . . . . . . . . . . . . . . 143.2 Attributauswahl und Vergleich . . . . . . . . . . . . . . . . . 163.3 Modellqualität . . . . . . . . . . . . . . . . . . . . . . . . . . 20

4 Diskussion 25

5 Fazit 32

iv

Kurzfassung

Parkinson ist neben Alzheimer eine der häufigsten neurodegenerativen Er-krankungen, die einen erheblichen Teil der älteren Bevölkerung betrifft.Die Ursachen der Parkinson-Krankheit sind noch weitgehend unerforschtund selbst frühe Symptome können leicht unentdeckt bleiben. Eines der ers-ten Symptome ist Tremor in verschiedenen Gliedmaßen, insbesondere derHände in Ruhelage. Dies hat zur Folge, dass sich auch die Handschrift ver-schlechtert, was durch Änderungen kinematischer Eigenschaften, wie Ge-schwindigkeit und Beschleunigung, gekennzeichnet ist.Je nachdem, wie weit die Krankheit fortgeschritten ist, ist der Tremor mehroder weniger stark und Abweichungen in Zeichnungen werden deutlicher.Aufgrund von Bradykinesien benötigen Menschen, die an der Parkinson-Krankheit leiden, länger um Zeichnungen zu erstellen.Da in den meisten Fällen mit frühen Anzeichen einer Parkinson-Krankheitkeine eindeutigen Diagnosen gestellt werden können, kann eine computerge-stützte Klassifikation hilfreich sein.In dieser Arbeit benutze ich Tablet generierte und digitalisierte Daten von77 Probanden, von denen 62 an Parkinson erkrankt sind. Die Probandenwurden gebeten verschiedene Tests zu absolvieren, in denen Spiralen nach-gezeichnet werden sollten. Die aufgezeichneten Daten habe ich benutzt, umgesunde und an Parkinson erkrankte Teilnehmer zu klassifizieren, dazu ha-be ich verschiedene Attribute generiert, die auch Auskunft über bestimmteSymptome geben können. Anschließend habe ich eine Attributauswahl vor-genommen und dann ein Random Forest Modell pro Test erstellt.Ich habe eine 5-fache Kreuzvalidierung vorgenommen, bei der die Klassenim Trainings- und Testdatensatz prozentual ungefähr gleich wie im OriginalDatensatz verteilt sind. Danach habe ich die Ergebnisse evaluiert und mitAUC-Werten von 0.88 und 0.95, sowie Cohen’s Kappa von 0.76 und 0.73gute Ergebnisse erhalten.Digitale Daten von Zeichnungen können derzeit keine eindeutige Diagnoseersetzen. Meine Untersuchungen haben jedoch ergeben, dass sie eine gu-te Möglichkeit bieten, Symptome einer Parkinson-Erkrankung zu erkennenund ärztliche Diagnosen zu unterstützen.

v

Abstract

Background: Parkinson’s disease is one of the most common neurodegener-ative diseases worldwide. One of the major symptoms is shaking in limbs,including hands. This results in deterioration of handwriting skills, whichis characterized by changes in kinematic properties, such as speed and ac-celeration. Due to bradykinesia, people who suffer from Parkinson’s diseasealso take longer to create drawings. In most cases no clear diagnosis can bemade, a computer-aided classification can be helpful to recognize symptomsand facilitate a diagnosis.Methods: In this thesis I used a dataset which was generated by a softwareon a special graphical tablet.77 participants, of whom 62 have Parkinson’s disease, completed varioustests. They were asked to trace spirals and several attributes were collectedlike coordinates, pressure and timestamp. From these attributes I createdkinematic and general features, which I used to create a Random ForestModel for each test.To optimise the performance, I used a feature selection based on the Ran-dom Forest split criterion and a hyperparameter optimization. To get anoverview of all the results, I created an interactive view.Results: To evaluate the models, I used a 5-fold cross-validation and cal-culated the Area Under Curve and Cohen’s kappa afterwards. The resultswere good, with AUC scores of 0.88 and 0.95, as well as Cohen’s kappascores of 0.76 and 0.73.Conclusion: The thesis shows that a classification based on tablet-generateddata is possible and it provides a good opportunity to detect symptoms ofParkinson’s disease and can support medical diagnoses. The feature enge-neering was also important to provide an insight into the motor symptomsof the disease. In addition, the quality of the models could be improved.

vi

Kapitel 1

Einleitung

Parkinson ist eine neurodegenerative Erkrankung des zentralen Nervensys-tems, dessen Symptome sich im Laufe der Zeit verschlechtern. Die Krankheittritt auf, wenn Neuronen, die Dopamin produzieren beeinträchtigt werdenund/oder sterben. Sie befinden sich in dem Bereich des Gehirns, welches fürdie Bewegung zuständig ist, weshalb es bei Dopaminmangel zu verzögertenoder unkontrollierten Bewegungen kommen kann [1].Parkinson ist nach Alzheimer die zweithäufigste altersbedingte Krankheit.Insgesamt wurde die Zahl der betroffenen Menschen im Alter von über 50in den bevölkerungsreichsten Ländern der Welt im Jahr 2005 auf 4 Mio.geschätzt und wird sich bis 2030 voraussichtlich auf ca. 9 Mio. mehr als ver-doppeln [2].Zu den Hauptsymptomen der Krankheit zählen Tremor (Zittern) in verschie-denen Körperregionen, von dem auch die Stimme betroffen sein kann, beein-trächtigtes Gleichgewicht und Bewegungen, sowie Steifheit der Gliedmaßen.Auch mentale Symptome können auftreten, darunter Depressionen, emotio-nale Veränderungen und daraus bedingt Schlafmangel. Andere Symptomesind unter anderem Schwierigkeiten beim Schlucken, Kauen und Sprechen,Probleme beim Wasserlassen oder Verstopfungen. Ein typisches Symptomist das sogenannte Maskengesicht, das sich aufgrund von Veränderungen derNerven, welche die Gesichtsmuskeln steuern, festsetzen kann. Bradykinesie,eine Verlangsamung der Beweglichkeit, ist ein häufiges Symptom, welchesselbst einfache Aufgaben schwierig und zeitaufwendig macht[3].Es gibt keine Heilungsmöglichkeiten für die Parkinson-Erkrankung, abhän-gig von Stärke und Ausprägung der Symptome können diese jedoch durchMedikamente, welche die Dopaminproduktion beeinflussen, gelindert wer-den. Eines der wichtigsten Medikamente ist Levodopa, es ist ein metaboli-sches Intermediat, welches eine zentrale Rolle bei der Dopaminproduktionspielt [4]. Auch Dopaminagonisten werden zur Medikamententherapie einge-setzt. Diese agieren an den Dopamin Rezeptoren und gleichen so den Mangelan Dopamin aus [5].Obwohl die Ursachen der Erkrankung nicht bekannt sind, spielen mehrereFaktoren eine Rolle zur Entstehung, darunter genetische [6] und umweltbe-dingte Faktoren [7]. Eine korrekte Diagnose gestaltet sich als sehr schwierig,da es keine spezifischen Tests zur Erkennung von Parkinson gibt. Die Dia-

1

1 – Einleitung

gnose basiert auf der Identifizierung von Parkinson-Symptomen und demFehlen von Ausschlusskriterien und ist selbst dann nicht genau [8].Um eine Diagnose zu vereinfachen und frühe Symptome rechtzeitig zu erken-nen, wurden verschiedene Methoden entwickelt. In Anbetracht der Tatsache,dass Tremor, Bradykinesie oder Steifheit sich auch auf die Handschrift derBetroffenen auswirkt, gab es einige Studien die sich mit dem Thema befassthaben und gesunde und an Parkinson erkrankte Personen verglichen haben.Darauf möchte ich im nächsten Abschnitt Stand der Forschung 1.1 genauereingehen.

1.1 Stand der ForschungUm eine Diagnose von Parkinson zu erleichtern und Symptome zu bewertenund auszuwerten, gibt es viele Studien, die sich mit diesem Thema befassen.Vor allem Handschriftanalyse gibt Aufschluss über Symptome wie Tremoroder Bradykinesien, wie in Abschnitt 1 erwähnt.Die am häufigsten verwendete Bewertungsskala in klinischen Studien überParkinson ist die ’Unified Parkinson’s Disease Rating Scale’ (kurz UPDRS),welche verschiedene Bewertungskriterien umfasst und in mehrere Teilab-schnitte eingeteilt ist, welche die Stadien wieder spiegeln [9]. Die Bewertungerfolgt meist durch Neurologen, kann allerdings ungenau sein, wenn diesenicht auf Bewegungsabläufe spezialisiert sind [10].Um eine verbesserte Bewertung der motorischen Funktionen zu erhaltenwurden Tests entwickelt, die auf digitalen Tablets durchgeführt werden konn-ten. Diese sollen die Erkennung früher Anzeichen von Parkinson vereinfachenund reproduzierbare Metriken für die Forschung liefern. Durch die Aufzeich-nung verschiedener Eigenschaften können somit Symptome wie Tremor, Be-wegungsgeschwindigkeit und Druck analysiert werden. Der Vorteil liegt vorallem auch darin, dass es sich um eine nicht invasive und sichere Methodehandelt, die durch Automatisierung auch ein schnelles diagnostisches Mitteldarstellt [11].Abgeleitet davon wurden Studien zur Handschrift als potenzieller Biomarkerdurchgeführt, bei denen auch kinematische Eigenschaften wie Geschwindig-keit und Beschleunigung betrachtet wurden, aber auch ausgeübter Druck,Größe der Handschrift und die Zeit zwischen Auf- und Absetzen des Stiftes[12], [13].Neben der Handschrift wurden auch weitere Analysen zu Spiralzeichnungendurchgeführt, bei denen Koordinaten, Druck und Zeit aufgezeichnet und dar-aus auch verschiedene kinematische Attribute berechnet wurden. Die Spira-len wurden mit Idealspiralen verglichen und ähnlich wie mit der UPDRS,bewertet [14]. Es konnte festgestellt werden, dass mit dieser Methode relativgenau zwischen gesunden und an Parkinson erkrankten Teilnehmern unter-schieden werden kann und zuverlässige Indizien über motorische Funktionen

2

1 – Einleitung

geliefert werden können, die gut reproduzierbar sind [15].Der statische Spiraltest (SST) ist der traditionelle Test, bei dem die Teilneh-mer eine archimedische Spirale nachzeichnen müssen. Die Nutzung von Ta-blets ermöglicht es weitere Tests zu entwickeln, die zusätzliche Informationengeben können. Dementsprechend wurde noch ein weiterer Test entwickelt,der dynamische Spiraltest, bei dem die Spirale in bestimmten Zeitabständenblinkt [16]. Auf diesen beiden Tests beruht der Datensatz, den ich in meinerArbeit verwende. Diesen beschreibe ich im Kapitel Daten 2.2 genauer.Wissenschaftliche Arbeiten, die mit diesem Datensatz gearbeitet haben, ha-ben ebenfalls gute Ergebnisse erzielt, allerdings wurden keine Attribute ge-neriert und die Daten auch nicht in Gesamtzeichnung aufgeteilt, sondernausschließlich die Datenpunkte gesplittet.In dem Artikel von Akyol [17] werden die Rohdaten in 80-20% Trainings-und Testdaten aufgeteilt und dann mit den Algorithmen Random Forest,Lineare Regression und Artificial Neural Network klassifiziert. Die Genau-igkeit (engl. accuracy) des Random Forest Modells beträgt 100%. Auch derArtikel von Chan Yi Jie [18] verwendet verschiedene Machine Learning Algo-rithmen, wie Random Forest, Logistische Regression, k-Nearest Neighboursund Neural Network. Eine 5-fache Kreuzvalidierung wurde vorgenommenund die Ergebnisse für die verschiedenen Tests lagen bei einer Genauigkeitvon ca. 99%.Um nachzuvollziehen, wie diese Ergebnisse entstanden sind, habe ich ver-sucht die Methoden zu rekonstruieren. Dabei fiel mir auf, dass die Modelleüberangepasst sind (engl. overfitted). Datenpunkte von bestimmten Teil-nehmern, waren sowohl im Trainings- als auch im Testdatensatz vorhanden.Desweiteren war es mein Ziel der Modellerstellung, dass es möglich sein sollteeine gesamte Zeichnung zu klassifizieren und nicht nur einzelne Datenpunk-te. Deshalb habe ich mich dafür entschieden Attribute zu generieren undmit diesen weiter zu arbeiten.Ausführlich beschreibe ich meine Vorgehensweise im nachfolgenden KapitelMethoden 2.

1.2 Aufbau der ArbeitDie Arbeit besteht aus den Kapiteln Einleitung 1, Methoden 2, Ergebnisse3, Diskussion 4 und Fazit 5. Im ersten Teil des Kapitels Methoden 2 geheich auf den Datenerwerb und die -vorbereitung ein 2.2, danach behandeleich die die Generierung der Attribute 2.3,die als Eingabe für den RandomForest Algorithmus 2.4 dienen. Anschließend beschreibe ich, welche Attri-bute ich verwendet habe, um die Qualität des Modells zu verbessern 2.5und zuletzt, um das Kapitel Methoden zu beenden, erkläre ich, wie ich dieModelle evaluiert habe 2.6.Im nachfolgenden Kapitel Ergebnisse 3 stelle ich dar, welche Ergebnisse ich

3

1 – Einleitung

mit den von mir verwendeten Methoden erhalten habe. Diese Arbeit wirddann durch die Kapitel Diskussion 4 und Fazit 5 abgeschlossen. Dort werteich meine erhaltenen Ergebnisse aus und fasse am Ende nochmal zusammen,welche Ergebnisse und Erfolge durch die Arbeit entstanden sind.Für die gesamte Arbeit habe ich mit der Software KNIME Analytics Plat-form 2.1 gearbeitet. In der Abbildung 1.1 ist der gesamte Workflow zu sehen,auf dem diese Arbeit basiert.

Abbildung 1.1: Der finale Workflow setzt sich aus den Teilen Daten Vorbe-reitung, Attribut Generierung und Auswahl, dem Random Forest Modell undder Visualierung aller Grafiken dar.

Der Workflow setzt sich aus den Abschnitten Datenvorbereitung, AttributGenerierung, Attributauswahl und Parameter Optimisierung, Random Fo-rest Modell und zuletzt aus der Visualisierung der Ergebnisse zusammen.Die beiden Tests werden zu Beginn getrennt und separat bearbeitet.Das Ziel dieser Arbeit ist, verschiedene Merkmale aus digitalisierten Zeich-nungen zu extrahieren und die Unterschiede zwischen gesunden und an Par-kinson erkrankten Probanden genauer zu untersuchen und diese anschlie-ßend richtig zu klassifizieren. Da in den meisten Fällen mit frühen Anzei-chen dieser Erkrankung keine eindeutigen Diagnosen gestellt werden können,kann eine computergestützte Klassifikation eine Diagnose unterstützen undbestimmte Attribute können helfen motorische Symptome zu erkennen.Im nächsten Kapitel dieser Arbeit 2 gehe ich zunächst auf die von mir ver-wendeten Methoden genauer ein, um dieses Ziel zu erreichen.

4

Kapitel 2

Methoden

In diesem Kapitel erläutere ich die von mir verwendeten Daten und Metho-den genauer.Im ersten Abschnitt 2.2 beschreibe ich die Daten, also welche Attributeenthalten sind und wie ich den entsprechenden Datensatz vorbereite, umweitere Schritte durchzuführen.Anschließend gehe ich über zu dem Abschnitt Attributgenerierung 2.3. Die-ser beschreibt wie ich verschiedene allgemeine und kinematische Attributeberechnet und welche ich insgesamt erhalten habe.Danach beschreibe ich den von mir zur Klassifikation verwendeten Algo-rithmus Random Forest 2.4, welche Attribute ich für das Modell ausgewählthabe 2.5 und abschließend wie ich die Modellqualität evaluiert habe 2.6.

2.1 KNIME Analytics Platform

Da diese Arbeit auf der KNIME Analytics Platform [19] basiert, zunächsteine kurze Beschreibung der Software.Die KNIME Analytics Platform ist eine auf Java basierende Opensour-ce Datenanalyse Platform. KNIME bietet eine breite Palette an Funktio-nen für verschiedene Industriezweige, wie pharmazeutische und technische,aber auch Banken und Telekommunikationsunternehmen. Die Plattform ba-siert auf einem Daten Pipeline Konzept, was bedeutet, dass Daten voneinem Knoten zu einem anderen weitergeleitet werden, wobei die Knotendiese Daten auf eine bestimmte Art und Weise transformieren. Das Kno-ten-Repository besteht aus mehr als 2000 Knoten, darunter auch verschie-dene Machine Learning Knoten. Komplexe Anwendungen, werden benut-zerfreundlich bereit gestellt, dennoch ist ein Grundverständnis von Vorteil.KNIME unterstützt auch Programmiersprachen, wie R, Python und Java,diese sind aber nur notwendig, wenn der Nutzer bestimmte spezifische Bi-bliotheken verwenden möchte.In dieser Arbeit wurden sowohl einfache, als auch komplexe Knoten verwen-det, der finale Workflow wurde bereits in Abbildung 1.1 im Abschnitt 1.2dargestellt. Um eine Übersichtlichkeit zu gewähren, habe ich verschiedeneTeilabschnitte in sogenannte Metaknoten verpackt. Metaknoten sind Kno-

5

2 – Methoden

ten, die Unterworkflows enthalten. Sie sehen im gesamten Workflow wie eineinzelner Knoten aus, obwohl sie viele Knoten und sogar noch mehr Me-taknoten enthalten können.Im nächsten Abschnitt 2.2.1 werden die von mir verwendeten Daten be-schrieben und anschließend weiter verarbeitet und für die Analyse vorberei-tet 2.2.2.

2.2 Daten

2.2.1 Erwerb und Beschreibung

Der Datensatz, den ich benutzt habe enthält Dateien von 77 Teilnehmern,davon sind 62 von Parkinson betroffen und 15 Kontroll-Teilnehmer. Er kannim ’UC Irvine machine learning repository’ heruntergeladen werden1.Die Teilnehmer haben drei verschiedene Tests in der Abteilung für Neuro-logie an der medizinischen Fakultät der Universität Cerrahpasa in Istanbulabsolviert. Um die Daten zu generieren, wurde das ’Wacom Cintiq 12WX’Grafik Tablet benutzt und um verschiedene Attribute, die vom interaktivenStift und dem Tablet erzeugt werden aufzuzeichnen, wurde eine spezielleSoftware entwickelt.Zur Auswertung der handschriftlichen Fähigkeiten, wurde zunächst der sta-tische Spiraltest (SST) durchgeführt, der häufig für diagnostische Zwecke inder Forschung, wie in Abschnitt 1.1 beschrieben, benutzt wird. Bei diesemTest erscheint eine dreifach gewundene archimedische Spirale auf dem Bild-schirm des Tablets und die Teilnehmer wurden gebeten, die Spirale so gutes geht nachzuzeichnen. Er dient vor allem dazu, motorische Fähigkeiten zutesten, da sich die Symptome der Krankheit, wie in der Einleitung 1 be-schrieben, auch auf die handschriftlichen Fähigkeiten auswirken.Beim dynamischen Spiraltest (DST) erhöht sich die Schwierigkeit etwas,die Teilnehmer wurden erneut gebeten eine archimedische Spirale nachzu-zeichnen, dieses mal blinkte die Spirale aber in bestimmten Zeitabständen.Die Teilnehmer wurden dazu angeregt, sich das Muster einzuprägen undnachzuzeichnen. Da im Verlauf der Krankheit nicht nur die motorischen Fä-higkeiten, sondern auch die kognitiven zum Teil beeinflusst werden, bietetdieser Test eine gute Möglichkeit auch diese Symptomatik genauer zu be-trachten. Die Zeichnungen habe ich anhand der X und Y Koordinaten selbstrekonstruiert, diese betrachte ich im Kapitel Ergebnisse 3 und Abschnitt 3.1noch genauer.Bei dem letzten Test erschien ein Punkt auf verschiedenen Bereichen desBildschirms in bestimmten Zeitintervallen und die Teilnehmer wurden ge-beten den Stift über den Punkt zu halten ohne ihn zu berühren [16][20].

1 https://archive.ics.uci.edu/ml/datasets/Parkinson+Disease+Spiral+Drawings+Using+Digitized+Graphics+Tablet

6

2 – Methoden

Dieser Test bezieht sich auf das Symptom Tremor, da dieser in Ruhelageausgeprägter ist, wie in der Einleitung 1 erwähnt.Bei allen drei Tests wurden X und Y Koordinaten, Druck, Griffwinkel, Po-sition des Stifts und ein systemgenerierter Zeitstempel pro Teilnehmer auf-gezeichnet, wie in der Tabelle 2.2.1 dargestellt.

Attribut BeschreibungX X-KoordinateY Y-KoordinateZ Position des Stiftes zum BildschirmDruck ausgeübter Druck auf den BildschirmGriffwinkel individueller Griffwinkel vom StiftZeitstempel systemgenerierter ZeitstempelTestID 0,1 und 2 für die verschiedenen Tests

Tabelle 2.1: Eine Übersicht der aufgezeichneten Attribute und ihre Bedeu-tung.

Diese Daten habe ich nachfolgend analysiert und zur späteren Weiterver-arbeitung vorbereitet, wie im kommenden Abschnitt 2.2.2 beschrieben. Fürden nachfolgenden Teil der Arbeit habe ich mit der KNIME Analytics Plat-form 2.1 gearbeitet.

2.2.2 Vorbereitung

Um mit den im Abschnitt 2.2 genannten Daten weiter zu arbeiten, habeich zunächst die einzelnen Dateien, die in Ordner ’Control’ und ’Parkinson’eingeteilt waren, eingelesen und zur späteren Vereinfachung mit einer indi-viduellen Identifikation (ID) pro Teilnehmer versehen. Die Kontroll- und dieParkinson Gruppen habe ich separiert und eine Klassen Spalte mit ’H’ fürgesunde und ’P’ für an Parkinson erkrankte Teilnehmer versehen.Um den systemgenerierten Zeitstempel zu normalisieren, habe ich von jedemZeitschritt den minimalen Zeitwert abgezogen und den Zeistempel dann inSekunden umgewandelt.Desweiteren habe ich auch die X- und Y- Koordinaten normalisiert, indemich von jedem einzelnen Wert der Spalten den Mittelwert abgezogen habeund anschließend die Werte von mm in cm umgerechnet habe. Insgesamtenthielt die Datei 4.722.687 Datenpunkte.Beim Vergleichen der verschiedenen Attributspalten pro Teilnehmer, fiel mirauf, dass Z (Position des Stiftes zum Bildschirm) bei vielen Teilnehmern kei-ne Werte enthielt. Von insgesamt 524.743 Reihen enthielten 468.826 keineWerte. Dieses Attribut habe ich nachfolgend nicht in die Arbeit mit einbe-zogen.Auch bei dem Vergleich der verschiedenen Tests stellte sich heraus, dass dieDateien bei dem dritten Test bei allen Kontroll-Teilnehmern die gleichen

7

2 – Methoden

Daten enthielten, was bei einer Klassifikation dazu führen würde, dass diebeiden Klassen genau vorhergesagt werden können. Deshalb beschloss ich,diesen Test nicht zu verwenden.Der Datensatz, mit dem ich anschließend weiter gearbeitet habe, enthieltdann 3.314.688 Datenpunkte. Das nächste Ziel war geeignete Zielattributezu generieren, welche als Eingabe für den Random Forest (Abschnitt 2.4)dienen, was ich im folgenden Abschnitt 2.3 genauer erläutern werde.

2.3 Attribut GenerierungDa ich den dritten Test nicht mit einbezogen habe, wie in Abschnitt 2.2.2erwähnt, blieben noch der SST und der DST, um geeignete Attribute fürdie spätere Klassifikation zu generieren. Da es sich bei beiden Tests um ar-chimedische Spiralen handelt, konnte ich auch für beide Tests die gleichenAttribute konstruieren und benutzen.Das Ziel der Attribut Generierung war aus den Zeitreihen-Daten einen Ein-gabevektor mit geeigneten Zielattributen pro Teilnehmer zu erzeugen, derdann für die spätere Klassifikation genutzt werden kann. Der Grund weshalbich mich für eine Attribut Generierung entschieden habe ist zum einen, weilsich bei einer Reduktion der Attributdimension die Laufzeit deutlich verbes-sert und zum anderen kann mit geeigneten Attributen auch die Qualtitätdes Modells verbessert werden. Außerdem kann so die gesamte Zeichnung inAttribute komprimiert werden und das Modell klassifiziert nicht nur einzel-ne Datenpunkte (in Abschnitt Stand der Forschung erwähnt 1.1).Die Generierung kinematischer Attribute hat sich wie in Abschnitt 1.1 alsaussagekräftig erwiesen. Zusätzlich habe ich allgemeine Merkmale wie Höheund Breite der Spirale berechnet, daraus dann das Verhältnis zwischen Höheund Breite, außerdem die benötigte Dauer zum Zeichnen, den durchschnitt-lich ausgeübten Druck, sowie die Standardabweichung und den durchschnitt-lichen Griffwinkel.Danach habe ich mich auf die kinematischen Eigenschaften konzentriert,dazu habe ich Geschwindigkeit(2.1), Beschleunigung(2.2) und Ruck(2.3) be-rechnet, sowohl für die gesamte Spirale, als auch in horizontale und vertikaleRichtung.Als Attribute habe ich dann jeweils die Standard Abweichung, als auch denMittelwert berechnet, wie in [21] beschrieben.

𝑣 =

√︁(𝑋𝑖+1 − 𝑋𝑖)

2 + (𝑌𝑖+1 − 𝑌𝑖)2

𝑡𝑖+1 − 𝑡𝑖(2.1)

Die Geschwindigkeit (v) berechnet sich aus der Änderungsrate der Position(X und Y Richtung) mit der Zeit (t).

8

2 – Methoden

𝑎 = 𝑣𝑖+1 − 𝑣𝑖

𝑡𝑖+1 − 𝑡𝑖(2.2)

Daraus abgeleitet ergibt sich die Beschleunigung (a).

𝑗 = 𝑎𝑖+1 − 𝑎𝑖

𝑡𝑖+1 − 𝑡𝑖(2.3)

Die Ableitung der Beschleunigung und somit zweite Ableitung der Geschwin-digkeit wird als Ruck (j) bezeichnet.

Desweiteren habe ich die Spiralen ’entwunden’, also die X- und Y- Koordi-naten radial transformiert, um so Radius und Winkel zu erhalten. Mit denerhaltenen Werten, konnte ich dann den maximalen Radius, die Änderungvom Radius im Verhältnis zum Winkel, die radiale Geschwindigkeit(2.4) unddie Differenz des Radius bei gleichem Winkel berechnen.Davon habe ich dann wieder jeweils die Standardabweichung als Attributberechnet [22][23].

𝑟𝑣 = 𝑟𝑖+1 − 𝑟𝑖

𝑡𝑖+1 − 𝑡𝑖(2.4)

Die radiale Geschwindigkeit bezeichnet die Änderungsrate des Radius mitder Zeit. Radius ist hierbei definiert als r =

√︁𝑥2 + 𝑦2.

Die Übersichtstabelle (2.3) zeigt die verwendeten Attribute und ihre Be-deutung.

9

2 – Methoden

Attribut Beschreibungwidth Breite der Spiraleheight Höhe der Spiraleratio_x_y Verhältnis zwischen Breite und Höhemax_radius maximaler Radiusduration Gesamtzeit, die zum Zeichnen benötigt wurdemean_pressure Mittelwert vom ausgeübten Druckgripangle Griffwinkelvelocity Geschwindigkeitvelocity_horizontal Geschwindigkeit in horizontale Richtungvelocity_vertical Geschwindigkeit in vertikale Richtungacceleration Beschleunigungacceleration_horizontal Beschleunigung in horizontale Richtungacceleration_vertical Beschleunigung in vertikale Richtungjerk Ruckjerk_horizontal Ruck in horizontale Richtungjerk_vertical Ruck in vertikale Richtungradial_velocity radiale Geschwindigkeitradius/angle Veränderung des Radius über Zeitrad_diff Differenz der Radien bei gleichem Winkel

Tabelle 2.2: Eine Übersicht der Zielattribute und ihre Bedeutung.

Zusammen mit den berechneten Standardabweichungen und Mittelwerten,ergeben sich 25 Zielattribute pro Teilnehmer. Diese dienen als Eingabe fürden Random Forest Algorithmus, der in Abschnitt 2.4 genauer beschriebenwird.Um die Unterschiede zwischen den beiden Klassen ’H’ und ’P’ grafisch deut-lich zu machen, habe ich zusätzlich für jedes Attribut einen Boxplot, wie imKapitel Ergebnisse 3 dargestellt, erstellt. Dieser stellt Median, oberes undunteres Quartil und die Ausreißer der Werte dar. Die Quartile begrenzen dieBox, welche die mittleren 50 Prozent der Daten darstellt [24].

2.4 Random ForestUm mit den gewonnenen Attributen aus Abschnitt 2.3 eine Klassifikationvorzunehmen, habe ich den Random Forest Algorithmus benutzt. Dieserbasiert auf Entscheidungsbäumen, bei denen jeder Wurzelknoten eine Ein-gabevariable und ihren Teilungspunkt darstellt [25]. Die Blattknoten enthal-ten die entsprechenden Entscheidungsvariablen, in diesem Fall die Klassen’H’ (gesund) und ’P’ (Parkinson). Aus den vielen verschiedenen Entschei-dungsbäumen wird dann der Random Forest konstruiert. Bei der RandomForest Methode werden die Entscheidungen der einzelnen Bäume zusammengezählt, um dann eine Gesamtvorhersage aus der meist gewählten Entschei-

10

2 – Methoden

dungsvariable zu treffen. Dies hat zum Vorteil, dass mehrheitliche Vorher-sagen zusammengezählt aussagekräftiger sind als nur die Vorhersage eineseinzelnen Entscheidungsbaumes.Zum Erstellen der Entscheidungsbäume werden Daten zufällig aus der Ein-gabe ausgewählt, dieser Datensatz wird auch ’bootstrap’-Datensatz genannt.Jeder Baum wird mit einem anderen zufällig konstruierten ’bootstrap’- Da-tensatz erstellt. Dabei werden ca. ein Drittel des Gesamtdatensatzes nichtausgewählt. Die verbleibenden Daten werden auch ’out of bag’-Daten ge-nannt. Sie durchlaufen alle Bäume, nachdem diese erstellt wurden, um denKlassifizierungsfehler und die Genauigkeit des Modells abzuschätzen [26].Als Aufteilungskriterium, nach dem ein übergeordneter Knoten in zwei un-tergeordnete Knoten aufgeteilt wird, habe ich ’information gain ratio’ ver-wendet.Dabei handelt es sich um eine Modifikation des Aufteilungskriteriums ’in-formation gain’, bei dem die Entropie eines Merkmals vor und nach demAufteilen eines Knotens berechnet und verglichen wird, um so den Informa-tionsgewinn dieses bestimmten Merkmals zu ermitteln. An jedem Knoteneines Baumes wird diese Berechnung für jedes Merkmal durchgeführt. EinNachteil von ’information gain’ ist allerdings, dass Attribute mit einer großenAnzahl an Werten bevorzugt werden. Um diese Tendenz zu überwinden, be-achtet ’information gain ratio’ zusätzlich, wie viele Abzweigungen nach demAufteilen entstehen würden und berücksichtigt dies bei der Auswahl einesMerkmals [27].Um das Modell zu verbessern, habe ich eine systematische Parameteropti-mierung vorgenommen. Dabei habe ich die Anzahl an Bäumen, die erstelltwerden sollen und die maximale Tiefe optimiert. Als Werte wurden bei derAnzahl an Bäumen 100-500 und bei der maximalen Tiefe 5-15 getestet. BeimSST ergab sich so eine Anzahl von 160 Bäumen mit einer Tiefe von 5. Diemaximale Tiefe beim DST beträgt auch 5, allerdings mit einer Baumanzahlvon 100.Um nochmals eine Verbesserung des Modells zu gewährleisten, habe ichmir das Aufteilungskriterium zunutze gemacht und dementsprechend eineMerkmalsauswahl daraus entwickelt, welche ich im folgenden Abschnitt 2.5genauer beschreibe.

2.5 AttributauswahlWie in Abschnitt 2.4 bereits erwähnt, wird beim Aufteilungskriterium nurdas Merkmal, welches den höchsten Informationsgewinn liefert, zum Splittender Knoten verwendet. Zunächst habe ich den Datensatz in Trainings- undTestdatensatz aufgeteilt, innerhalb des Trainingsdatensatzes habe ich danndie Attributauswahl vorgenommen. Diese basiert auf den ausgewählten At-tributen beim Trainieren des Random Forest Modells auf Ebene 0, also dem

11

2 – Methoden

Wurzelknoten. Mit einer Rückwärtsauswahl wurden dann die Merkmale mitdem geringsten Informationsgewinn nach und nach entfernt.Um die optimale Anzahl an Merkmalen zu erhalten, habe ich die Cohen’sKappa 2.6 Werte verglichen und die Anzahl an Attributen ausgewählt, wel-che diesen Wert maximieren. Die Anzahl der ausgewählten Merkmale beimSST ist 22 und beim DST 19. Insgesamt standen 25 Attribute zur Auswahl,wie in Abschnitt 2.5 erwähnt.Nachfolgend habe ich die Attributanzahl im Datensatz angepasst und da-nach das tatsächliche Modell trainiert. Anschließend habe die Ergebnissezusammen getragen und evaluiert, wie im folgenden Abschnitt 2.6 beschrie-ben.

2.6 EvaluationWie in Abschnitt 2.5 erwähnt, habe ich die Daten in Trainings- und Testda-tensatz aufgeteilt. Dazu habe ich eine Kreuzvalidierung mit der Einstellung,dass beide Klassen im Testdatensatz vorkommen (engl. stratified sampling),vorgenommen.Bei einer Kreuzvalidierung wird der gesamte Datensatz k (wobei k der An-zahl der Partitionen entspricht) mal in Trainings- und Testdatensatz auf-geteilt. Der Testdatensatz entspricht dabei immer einer zufällig gewähltenPartition, wobei jede Partition in k Durchgängen einmal als Testdatensatzfungiert. Ich habe mich für k=5 entschieden, denn je größer k gewählt wird,desto weniger Daten sind im Testdatensatz enthalten, was bei einem gerin-gen Anteil an Kontroll-Probanden eher nachteilig ist. Um zusätzlich sicherzu stellen, dass genügend Daten der Klasse ’H’ im Testdatensatz vorhandensind, habe ich ’stratified sampling’ verwendet. Es sorgt dafür, dass die Klas-sen prozentual ungefähr wie im Original Datensatz verteilt sind [28]. Nachallen k Durchgängen wird dann die Gesamtgenaugkeit berechnet.Um die Qualität meines in Abschnitt 2.4 beschriebenen Modells zu ermit-teln habe ich die Receiver Operating Characteristics - kurz ROC - Kurveund die daraus resultierende Fläche unter der ROC-Kurve, auch AUC (AreaUnder Curve) genannt, benutzt. Die ROC-Kurve ist eine Grafik, in der dieRichtig-Positiv-Rate gegen die Falsch-Positiv-Rate dargestellt wird. Je näherdie Kurve dem linken Rand und dann dem oberen Rand des ROC-Bereichsfolgt, desto genauer ist das Modell. Der AUC-Wert kann zwischen 0 und 1liegen, wobei ein Wert von 0.5 einem zufälligen Modell entspricht. Je höherder AUC-Wert, desto besser das Modell [29].Zusätzlich habe ich Cohen’s Kappa als Qualitätsmaß verwendet. Kappa istein Maß dafür, wieviel besser ein Modell im Vergleich zu einem Zufallsmodellist, die richtige Klasse zuzuordnen. Der Wert kann dabei zwischen -1 und1 liegen, wobei ein Wert von 1 einer perfekten Übereinstimmung entspricht[30].

12

2 – Methoden

Da der verwendete Datensatz sehr unbalanciert ist, ist die Genauigkeit (engl.accuracy) als Qualitätsmaß eher ungeeignet, denn die positive Klasse ist indiesem Fall auch die überrepräsentierte (Klasse ’P’ - Parkinson) und selbstwenn die Klasse ’H’ nie korrekt vorhergesagt wird, kann die Genauigkeittrotzdem sehr hoch sein. Der Vollständigkeit halber, habe ich sie trotzdemim Abschnitt 3.3 mit angegeben.Im nachfolgenden Kapitel 3 zeige ich die Ergebnisse, die aus den hier 2beschriebenen Methoden resultieren.

13

Kapitel 3

Ergebnisse

In diesem Kapitel zeige ich die Ergebnisse, die ich durch die von mir ver-wendeten Methoden erhalten habe. Im ersten Abschnitt 3.1 zeige ich dieZeichnungen der Teilnehmer die bei den verschiedenen Tests entstandensind. Der nachfolgende Abschnitt 3.2 behandelt die Themen Attributaus-wahl. Dort zeige ich auch Boxplots verschiedener Attribute und vergleichediese. Im letzten Abschnitt 3.3 stelle ich die Ergebnisse der erstellten Mo-delle dar.

3.1 SpiralzeichnungenWie unterschiedlich die beiden Klassen sind und vor allem auch die bei-den Tests, wird anhand der ursprünglichen Zeichnungen am deutlichsten.Die gesunden Teilnehmer haben in beiden Test die Spirale gut und geradenachgezeichnet. In Abbildung 3.1 sieht man die Zeichnung des Teilnehmers’Control_01’ für den SST, in Abbildung 3.2 die Spirale des gleichen Teil-nehmers für den DST. Beide Spiralen sind gut gezeichnet, die DST Spiraleweicht nur minimal ab. Trotzdem wurde dieser Teilnehmer in beiden Testsfalsch klassifiziert. Ähnlich wie diese Zeichnungen, sehen auch die der an-deren gesunden Teilnehmer aus. Weitere Zeichnungen gesunder Teilnehmerzeige ich später noch im Abschnitt Diskussion 4.

14

3 – Ergebnisse

Abbildung 3.1: Zeichnung vonTeilnehmer ’Control_1’ (SST).

Abbildung 3.2: Zeichnung vonTeilnehmer ’Control_1’ (DST).

Bei den an Parkinson erkrankten Teilnehmern wird sehr deutlich, dass dieseSchwierigkeiten beim Zeichnen hatten. Der Teilnehmer mit der Identifika-tion ’Parkinson_12’ hat in Abbildung 3.3 beim SST die Spirale noch gutgetroffen, wobei auch hier schon Abweichungen zu erkennen sind, vor allemim Vergleich mit Abbildung 3.1 des gesunden Teilnehmers.Beim DST weicht die Zeichnung in Abbildung 3.4 schon wesentlich ab, dieLinien überschneiden sich und die Spirale weicht sehr stark von der des ge-sunden Teilnehmers in Abbildung 3.2 ab.

Abbildung 3.3: Zeichnungvon Teilnehmer ’Parkinson_12’(SST).

Abbildung 3.4: Zeichnungvon Teilnehmer ’Parkinson_12’(DST).

Um einen Extremfall darzustellen, zeigen die Abbildungen 3.5 und 3.6 dieZeichnungen der beiden Tests von dem Teilnehmer ’Parkinson_10. Hier istdeutlich der Tremor zu erkennen und die Spiralen weichen sehr stark von

15

3 – Ergebnisse

geradlinigen Spiralen ab.

Abbildung 3.5: Zeichnungvon Teilnehmer ’Parkinson_10’(SST).

Abbildung 3.6: Zeichnungvon Teilnehmer ’Parkinson_10’(SST).

Die Spiralen geben einen guten Eindruck über die Ansprüche der beidenTests und wie die motorischen Fähigkeiten beeinflusst werden, wenn einTeilnehmer an Parkinson erkrankt ist.Da ich aus den Zeichnungen (bzw. den Daten) verschiedene Attribute gene-riert 2.3 habe, möchte ich im nächsten Abschnitt 3.2 zeigen, welche davonzum Erstellen der Modelle verwendet wurden und wie diese sich unterschei-den.

3.2 Attributauswahl und VergleichDa ich die Attributauswahl über die meist gewählten Attribute beim Auf-splitten der Entscheidungsbäume im Random Forest auf Ebene 0, wie in Ab-schnitt 2.5 beschrieben, vorgenommen habe, habe ich die final ausgewähltenAttribute visualisiert. In den Abbildungen 3.7 und 3.8 ist zu sehen, wie oftein Attribut für die verschiedenen Tests als Splittattribut des Wurzelknotensverwendet wurden. Um einen Überblick über die bei der Attributauswahl 2.5entfernten Merkmale zu verschaffen, habe ich diese trotzdem in den Barcharteingefügt, sie haben den Wert 0.Das relevantesten Attribute beim SST waren die Standardabweichungen vonRuck, sowohl insgesamt, als auch horizontal, sowie das Verhältnis zwischenHöhe und Breite. Maximaler Radius, Höhe und die Standardabweichung derGeschwindigkeit in vertikale Richtung wurden nicht verwendet.Beim DST sind die relevanten Attribute ähnlich wie beim SST, der durch-schnittliche Druck ist in diesem Test jedoch relevanter. Gar nicht ausgewähltwurde der maximale Radius, die Höhe, die Standardabweichung vom Griff-

16

3 – Ergebnisse

winkel und der Mittelwert vom Verhältnis zwischen Radius und Winkel.

Abbildung 3.7: Die Abbildung zeigt alle Attribute und wie oft diese zumAufteilen des Wurzelknotens ausgewählt wurden. Hier zu sehen sind die At-tribute vom SST.

Abbildung 3.8: In dieser Abbildung werden die zum Aufteilen des Wurzel-knotens ausgewählten Attribute des DST’s dargestellt.

Um die Unterschiede zwischen den gesunden und den an Parkinson erkrank-ten Teilnehmern genauer zu veranschaulichen habe ich die in Abschnitt 2.3beschriebenen Boxplots erstellt. Diese geben zusätzlich einen guten Einblicküber die Relevanz der Attribute und warum diese zum Trainieren des Mo-

17

3 – Ergebnisse

dells ausgewählt wurden.In der Abbildung 3.9 ist die Standardabweichung des Attributs Ruck der bei-den Klassen vom SST zu erkennen, welches auch bei der Attributauswahlsehr relevant war. Die Unterschiede zwischen gesunden und an Parkinsonerkrankten Teilnehmern werden hier gut verdeutlicht.Der Median befindet sich hier am oberen Rand der Daten, weshalb dort diemeisten Datenwerte liegen. Die Streubreite der Klasse ’P’ schwankt deutlich,wie zu erkennen ist. Zu beachten ist jedoch auch, dass viel mehr Daten derKlasse ’P’ vorhanden sind.

Abbildung 3.9: Hier als Boxplots dargestellt wird das Attribut Standardab-weichung des Rucks für die beiden verschiedenen Klassen (SST).

Ähnlich wie beim SST sahen auch beim DST die Boxplots für das Attri-but Ruck aus. Die Abbildung 3.10 zeigt die Boxplots der beiden Klassenfür den durchschnittlich ausgeübten Druck, welcher als Aufteilungsattributbeim DST auch relevant war. Hier ist auch wieder gut zu erkennen, wieunterschiedlich die beiden Klassen durchschnittlich Druck auf dem Tabletausgeübt haben. Der Median der Kontrollgruppe liegt deutlich im oberenBereich der Box, was darauf hindeutet, dass der Großteil durchschnittlichmehr Druck ausgeübt hat, als die an Parkinson erkrankten Teilnehmer. DieStreubreite beider Klassen schwankt stark.

18

3 – Ergebnisse

Abbildung 3.10: In dieser Abbildung wird der Boxplot des Attributs durch-schnittlich ausgeübter Druck der beiden verschiedenen Klassen dargestellt(DST).

Das Attribut, welches bei beiden Tests gar nicht zum Trainieren des Modellsausgewählt wurde ist die Höhe der Spirale. Die Boxplots in der Abbildung3.11 verdeutlichen auch gut, dass die Unterschiede nicht signifikant sind.Der Median liegt bei beiden Klassen und beiden Tests auf ungefähr gleicherHöhe. Bei der Klasse ’H’ ist sind kaum Unterschiede zwischen den Teilneh-mern zu erkennen, bei der Klasse ’P’ ist die Streuung auch nicht allzu groß,lediglich ein paar Ausreißer sind zu erkennen.

Abbildung 3.11: Die Abbildung zeigt die Boxplots des SST’s der beidenKlassen für das Attribut Höhe.

19

3 – Ergebnisse

Anhand der Boxplots ist gut zu erkennen, dass die Attributauswahl sinn-voll war, denn die relevanten Attribute weisen deutliche Unterschiede auf.Die entfernten Attribute hingegen, weichen bei beiden Gruppen nicht allzustark voneinander ab. Die in diesem Abschnitt dargestellten Attribute habeich den Random Forest Modellen beider Tests entnommen. Im kommendenAbschnitt Modellqualität 3.3 zeige ich die Ergebnisse der Evaluation beiderModelle.

3.3 ModellqualitätUm mein Random Forest Modell zu evaluieren, wie in Abschnitt 2.6 be-schrieben, habe ich verschiedene Abbildungen erstellt, die eine Übersichtder Qualitätsmaße darstellen. Da ich beide Tests getrennt habe, erhielt ichauch unterschiedliche Ergebnisse.In Abbildung 3.12 wird zunächst die Konfusionsmatrix des SST dargestellt.Diese zeigt die richtig-positiven, richtig-negativen, falsch-positiven und falsch-negativen Werte an. Daraus lässt sich die Anzahl der richtig und falsch klas-sifizierten Probanden ablesen. Das Modell hat bei diesem Test alle ParkinsonProbanden richtig klassifiziert, jedoch fünf gesunde Probanden falsch.Unter der Konfusionsmatrix in Abbildung 3.12 werden die Werte Genauig-keit, Gesamtfehler, Cohen’s Kappa und die Anzahl der korrekt und inkorrektklassifizierten Teilnehmer dargestellt.Die Genauigkeit beträgt beim SST 93.42% und Cohen’s Kappa hat einenWert von 0.763.

Abbildung 3.12: Die Abbildung zeigt die Konfusionsmatrix und eine Ge-samtstatistik für den SST, die unter anderem die Werte der Genauigkeit mit93.42% und Cohen’s Kappa mit 0.763 enthält.

In Abbildung 3.13 ist zu erkennen, welche Teilnehmer falsch klassifiziert wur-den und die dazugehörige ’prediction confidence’ der vorhergesagten Klasse.

20

3 – Ergebnisse

Diese entspricht der Anzahl an Bäumen, die für die aktuelle Klasse (Spalte’prediction’) vorhergesagt werden, geteilt durch die Gesamtanzahl der Bäu-me. Teilnehmer ’Control_1’ wurde von einer sehr hohen Anzahl an Bäumender Klasse ’P’ zugewiesen. Bei Teilnehmer ’Control_7’ ist der Wert fast bei0.5, weshalb dieser Teilnehmer nur knapp als ’P’ klassifiziert wurde.

Abbildung 3.13: In der Tabelle sind die falsch klassifizierten Teilnehmeraufgelistet und die dazugehörige ’prediction confidence’ für den SST.

Ähnlich wie beim SST habe ich auch für den DST eine Übersicht erstellt.Auch hier sieht man in Abbildung 3.14 wieder die Konfusionsmatrix, diesmalwurde aber auch zusätzlich zu den falsch klassifizierten gesunden Proban-den, auch zwei an Parkinson erkrankte Probanden falsch klassifiziert.Dadurch ändert sich die Genauigkeit mit 91.67% und Cohen’s Kappa mitdem Wert von 0.734.

Abbildung 3.14: Die Abbildung zeigt die Konfusionsmatrix und eine Ge-samtstatistik für den DST, die unter anderem die Werte der Genauigkeit mit91.67% und Cohen’s Kappa mit 0.734 enthält.

Auch im DST wurde der Teilnehmer ’Control_1’ wieder mit einer sehr hohen’prediction confidence’ als ’P’ eingestuft, wie in Abbildung 3.15 zu erkennenist. Auch Teilnehmer ’Control_11’ wurde wie beim SST falsch klassifiziert.Bei den an Parkinson erkrankten Teilnehmern liegen die Werte bei ca. 0.6,was bedeutet, dass diese Teilnehmer auch fast richtig klassifiziert worden

21

3 – Ergebnisse

wären.

Abbildung 3.15: Die Auflistung in dieser Abbildung zeigt sowohl die falschklassifizierten Teilnehmer des DST’s und die dazugehörige ’prediction confi-dence’, als auch die Klasse und Vorhersage.

Die Ergebnisse für beide Tests sind ähnlich gut und unterscheiden sich nurdarin, dass beim DST auch zwei an Parkinson erkrankte Probanden falschklassifiziert wurden und ein gesunder Proband weniger. Am DST haben al-lerdings auch nur 72 Teilnehmer teilgenommen, am SST hingegen 76.In Abbildung 3.16 ist die ROC-Kurve mit dem dazugehörigen AUC-Wert zuerkennen, welche in Abschnitt 2.6 beschrieben wurden.Zu sehen sind eine blaue und eine schwarze Kurve, die schwarze Kurve dientzum Vergleich und symbolisiert die ROC-Kurve eines zufälligen Modells.Zu Beginn steigt die blaue Kurve steil an und nimmt dann bei einem falsch-positiv Wert von ca. 0.3 einen richtig-positiv Wert von 1 an.Der AUC-Wert beträgt 0.875 und liegt somit im guten Bereich.

22

3 – Ergebnisse

Abbildung 3.16: Zu sehen ist die ROC-Kurve des SST’s mit einem AUC-Wert von 0.875

Die ROC-Kurve für den DST ist in Abbildung 3.17 dargestellt und steigt imVergleich zur ROC-Kurve in Abbildung 3.16 anfangs mehr an, nimmt aberauch ab einem falsch-positiv Wert von ca. 0.3 einen richtig-positiv Wert von1 an.Der AUC liegt bei 0.95 und ist somit höher als beim SST und entsprichteinem sehr guten Wert.

Abbildung 3.17: Zu sehen ist die ROC-Kurve des DST’s mit einem AUC-Wert von 0.95

Die in diesem Abschnitt dargestellten Ergebnisse der beiden Tests sind ähn-

23

3 – Ergebnisse

lich gut, es zeigen sich jedoch auch ein paar Unterschiede. Im letzten undabschließenden Kapitel meiner Arbeit, der Diskussion 4, werte ich meineErgebnisse und die Arbeit aus.

24

Kapitel 4

Diskussion

Das Zeichnen von Spiralen ist ein standardmäßiger neurologischer Test, derhäufig durchgeführt wird, um Anzeichen von Parkinson zu erkennen. Re-produzierbare Metriken können helfen, motorische Defizite zu erkennen undeine Diagnose zu erleichtern. In meiner Arbeit habe ich mich am Standder Forschung 1.1 orientiert und sowohl Attribute nachkonstruiert, als aucheigene erstellt und anschließend Modelle gebaut, die eine Klassifikation er-möglichen und auch einen Einblick geben, wie bestimmte Merkmale diesebeeinflussen.Die Ergebnisse meiner Modelle 3.3 liegen mit Cohen’s Kappa Werten von0.76 und 0.73 und AUC-Werten von 0.88 und 0.95 im guten Bereich. An-hand der Konfusionsmatrix ist allerdings zu erkennen, dass fast nur gesundeTeilnehmer falsch klassifiziert wurden. Hier wird deutlich, dass es sich umeinen unbalancierten Datensatz handelt. Die Klasse ’H’ ist stark unterre-präsentiert, demnach fehlen zum Trainieren des Modells zusätzliche Wertefür diese Klasse, was die Klassifikation definitiv verbessern würde. Unge-achtet dessen, dass die Klasse ’H’ unterrepräsentiert ist, habe ich dennochgute Ergebnisse erzielt, obwohl die Schwierigkeit der Klassifikation deutlicherhöht ist. Ich denke mit mehr Daten von gesunden Teilnehmern, würdendie Modelle sogar sehr gute Ergebnisse liefern.Um herauszufinden warum einige gesunde Teilnehmer als Parkinson einge-stuft wurden, habe ich mir die Zeichnungen und Attribute nochmal genauerangeschaut. Ähnlich wie in Abschnitt Spiralzeichnungen 3.1, sehen die Spi-ralen der anderen gesunden Teilnehmer auch aus. Zwei Teilnehmer wurdensowohl beim SST, als auch beim DST falsch klassifiziert, ’Control_1’ und’Control_11’. In den Abbildungen 4.1 und 4.2 sind die Zeichnungen die-ser beiden Teilnehmer für den SST zu sehen, daneben in Abbildung 4.3,die Zeichnung eines richtig klassifizierten Teilnehmers zum Vergleich. Op-tisch betrachtet sehe ich kaum Unterschiede zwischen den Zeichnungen, vorallem Teilnehmer ’Control_1’ hat sehr sauber gezeichnet. Bei Teilnehmer’Control_11’ ist allerdings zu erkennen, dass die Zeichnung leicht von denAnderen abweicht.

25

4 – Diskussion

Abbildung 4.1:Zeichnung vonTeilnehmer ’Con-trol_1’ für denSST.

Abbildung 4.2:Die Zeichnungdes Teilnehmers’Control_11’,welche leichteAbweichungenaufweist.

Abbildung 4.3:Zum Vergleichdie Zeichnungdes Teilnehmers’Control_9’ fürden SST.

Auf der anderen Seite sind zum Teil auch bei den Teilnehmern mit Parkinson-Erkrankung manche Spiralen gut gezeichnet. Die Abbildung 4.4 zeigt dieZeichnung des Teilnehmers ’Parkinson_5’ für den SST. Die Linien sind sehrsauber und verglichen mit den Zeichnungen der gesunden Teilnehmer istkaum ein Unterschied zu erkennen. Auch die Zeichnung vom Teilnehmer inAbbildung 4.5, die beim DST entstanden ist, sieht im Vergleich zu den gesun-den Teilnehmern und zu anderen Teilnehmern mit Parkinson-Erkrankung(wie in Abschnitt 3.1 dargestellt) sehr gut aus. Viele andere Teilnehmer hat-ten deutlich mehr Schwierigkeiten, wie zum Beispiel auch ’Parkinson_58’.Die Spirale von diesem Teilnehmer in Abbildung 4.6 wurde wie es aussiehtnicht zu Ende gezeichnet, was vermutlich daran liegt, dass die Teilnehmersich das Muster genauer einprägen und dann nachzeichnen mussten.

26

4 – Diskussion

Abbildung 4.4:Der an Parkin-son erkrankteTeilnehmer ’Par-kinson_5’ hatbeim SST dieSpirale gut nachgezeichnet.

Abbildung 4.5:Sogar beimDST konnte derTeilnehmer ’Par-kinson_34’ deSpirale gut nach-zeichnen, obwohldie Schwierigkeiterhöht war.

Abbildung 4.6:Die Zeichnungvom Teilnehmer’Parkinson_58’(DST) dient alsVergleich. Hierfehlen zum Teilsogar Abschnitteder Spirale.

Beim Betrachten der Abbildungen wird also klar, dass anhand dieser Zeich-nungen keine genaue Vorhersage getroffen werden kann, ob der Teilnehmeran Parkinson erkrankt ist oder nicht.Das ist auch einer der Gründe warum ich mich dazu entschieden habe be-stimmte Attribute, wie in Abschnitt 2.3 beschrieben, zu generieren. In Ex-tremfällen könnte anhand der Zeichnung abgeschätzt werden, ob der Teilneh-mer an Parkinson erkrankt ist oder nicht, aber gerade im Anfangsstadiumder Krankheit sind die Symptome noch nicht stark ausgeprägt, was die Dia-gnose so schwierig macht 1. Interessant zu beobachten ist, wie gut Tremorbei einigen erkennbar ist, da die Zeichnungen teilweise sehr stark verwackeltsind. Auch die Muskelsteifheit lässt sich aus den Zeichnungen deuten, da dieSpiralen sich zum Teil auch in die Breite ziehen (Breite war, im Gegensatzzu Höhe, ein ausgewähltes Attribut der Random Forest Modelle 3.2).Die Attribute für die ich mich entschieden habe, sollen nochmal eine anderePerspektive eröffnen, eine nicht offensichtliche. Dazu habe ich mir zunächstdas Attribut Ruck 2.3 angeschaut. Ruck entspricht der zeitlichen Änderungder Beschleunigung in sowohl horizontaler, als auch vertikaler Richtung.Horizontale und vertikale Änderungen der Beschleunigung habe ich, wiein Abschnitt 2.3 erwähnt, auch nochmal separat betrachtet. Ändert sichdie Beschleunigung in eine bestimmte Richtung also ruckartig, so verändertsich dementsprechend auch der Ruck. Meine Schlussfolgerung daraus ist,dass bei Teilnehmern, die bereits das Symptom Tremor aufweisen, größe-re Änderungen des Rucks erkennbar sind. Die Standardabweichung davongibt Aufschluss darüber, wie weit diese Werte pro Teilnehmer verteilt sind.In Abbildung 4.7 sind die verschiedenen Standardabweichungen des Rucks

27

4 – Diskussion

der gesunden Teilnehmer zu sehen. Dort ist gut zu sehen, dass der Wert von’Control_1’ deutlich geringer ist, als bei den anderen gesunden Teilnehmern.Das könnte ein Grund sein, warum dieser Teilnehmer falsch klassifiziert wur-de.

Abbildung 4.7: In dem abgebildeten Barchart sind die Werte der gesundenTeilnehmer (SST) für das Attribut ’Standardabweichung Ruck’ zu sehen.

Zum Vergleich sind die Werte der an Parkinson erkrankten Teilnehmer inAbbildung 4.8 zu sehen. Dort habe ich einen Teilnehmer hervorgehoben miteinem ähnlichen Wert wie ’Control_1’ und auch ca. die Hälfte der anderenan Parkinson erkrankten Teilnehmer haben Werte, die in diesem Bereichliegen.

28

4 – Diskussion

Abbildung 4.8: Diese Abbildung zeigt den Barchart der Werte von denan Parkinson erkrankten Teilnehmern für das Attribut ’StandardabweichungRuck’ (SST).

Bei den Abbildungen 4.7 und 4.8 handelt es sich um die Barcharts mit denWerten aus dem SST. Die Ergebnisse des DST’s sahen allerdings ähnlichaus, auch dort war gut zu erkennen, dass ’Control_1’ einen geringeren Wertals alle anderen gesunden Teilnehmer und ähnlich wie die Hälfte der an Par-kinson erkrankten Teilnehmer aufweist. Das könnte ein Grund sein warumder Teilnehmer ’Control_1’ mit einer hohen ’prediction confidence’ falschklassifiziert wurde.Ein Attribut, welches ich persönlich auch als sehr interessant empfinde, istder durchschnittlich ausgeübte Druck. Eine Aufzeichnung dieses Attributsist nur durch spezielle Tablets möglich. In der Abbildung 4.9 sind im oberenBereich des Barcharts die Werte der gesunden Teilnehmer (grün) und imunteren Bereich die Werte der an Parkinson erkrankten Teilnehmer (rot)für den DST zu erkennen. Den Teilnehmer ’Control_11’ habe ich besondershervorgehoben, da dieser auch in beiden Modellen falsch klassifiziert wur-de. Es ist gut zu erkennen, dass dieser Teilnehmer durchschnittlich wenigerDruck ausgeübt hat als die anderen gesunden Teilnehmer. Die an Parkin-son erkrankten Teilnehmer haben insgesamt weniger Druck ausgeübt als dieGesunden.

29

4 – Diskussion

Abbildung 4.9: Die Abbildung zeigt den Barchart mit den Werten des At-tributs durchschnittlich ausgeübter Druck’ (DST). Die meisten an Parkinsonerkrankten Teilnehmer haben durchschnittlich weniger Druck ausgeübt, alsdie gesunden Teilnehmer.

Beim Betrachten der Werte, hätte ich zunächst vermutet, dass die Teil-nehmern mit Parkinson-Erkrankung mehr Druck ausüben als die gesundenTeilnehmer. Allerdings wurde mir schnell klar, dass der Tremor wieder einegroße Rolle spielen könnte. Dadurch kann der Druck auf dem Tablet deutlichschwanken und der Durchschnitt so geringer werden.Auch bei einigen anderen Attributen sind Unterschiede zwischen den bei-den Gruppen erkennbar. Da sich Ruck aus Beschleunigung ableitet und Be-schleunigung aus Geschwindigkeit, sind diese Attribute in den Darstellungenähnlich wie in Abbildung 4.7 und 4.8.Insgesamt erhielt ich bei beiden Tests ähnliche Ergebnisse 3.3. Der AUC-Wert beim DST ist allerdings höher und die Kurve steigt vor allem amAnfang stärker an, als beim SST. Trotzdem hätte ich vermutet, dass dieErgebnisse beim DST etwas besser sind, da die Zeichnungen der an Parkin-son erkrankten Teilnehmer im Vergleich zum ersten Test 3.1 doch zum Teilsehr stark abweichen und die gesunden Teilnehmer diesen Test größtenteilsgut absolviert haben. Es war trotzdem sehr interessant mit beiden Tests zuarbeiten, um zu schauen wie diese sich unterscheiden und wie die Ergebnis-se am Ende aussehen. Gern hätte ich auch noch aus den Attributen beider

30

4 – Diskussion

Tests ein Modell erstellt, das hätte allerdings den Rahmen dieser Arbeit ge-sprengt.Ich komme zu dem Schluss, dass die Analyse von Spiralzeichnungen durch-aus Aufschluss über Symptome geben kann und auch eine Diagnosehilfedarstellt, da ein Großteil der Teilnehmer richtig klassifiziert wurde. Aller-dings kann eine computergestützte Klassifikation keine Diagnose ablösen, siedient nur zur Unterstützung. Mit insgesamt mehr Daten und vor allem vongesunden Teilnehmern wären die Ergebnisse sicher noch besser gewordenund die Modelle würden zuverlässigere Vorhersagen treffen, trotzdem binich zufrieden mit der Arbeit und denke eine Weiterentwicklung der Testsund Tablets kann in Zukunft eine gute Möglichkeit darstellen die Diagnoseder Erkrankung Parkinson zu unterstützen.

31

Kapitel 5

Fazit

Die Ursachen der Parkinson-Krankheit sind noch weitgehend unerforscht,und selbst frühe Symptome können leicht unentdeckt bleiben. Eines der ers-ten Symptome ist Tremor in verschiedenen Gliedmaßen, insbesondere in denHänden in Ruhelage. Je nachdem, wie weit die Krankheit fortgeschritten ist,ist der Tremor mehr oder weniger stark und Abweichungen in Handschriftund Zeichnungen können Aufschluss darüber geben, ob es sich um früheSymptome der Krankheit handelt. Da in den meisten Fällen mit frühenAnzeichen dieser Erkrankung keine eindeutigen Diagnosen gestellt werdenkönnen, kann eine computergestützte Klassifizierung hilfreich sein.Ziel dieser Arbeit war zum einen zu zeigen, welche Unterschiede zwischenSpiralzeichnungen gesunder und an Parkinson erkrankter Probanden zu er-kennen sind und welche Eigenschaften aus digitalisierten Zeichnungen ent-nommen werden können, was bei traditionellen Tests mit Papier und Stiftnicht möglich ist.Ich habe verschiedene kinematische und allgemeine Attribute aus den vor-handenen Daten generiert und anschließend die wichtigsten davon als Einga-be für die Random Forest Modelle benutzt. Zusätzlich habe ich eine 5-facheKreuzvalidierung vorgenommen und die Ergebnisse anschließend evaluiertund eine interaktive Ansicht erstellt. In dieser Ansicht ist gut zu erkennen,welche Attribute relevant waren und welche nicht. Anhand der Boxplotskonnte die Relevanz bestimmter Attribute nochmals bestätigt werden. AlsQualitätsmaß habe ich Cohen’s Kappa und AUC verwendet und habe fürden statischen Spiraltest einen Cohen’s Kappa Wert von 0.76 und einenAUC-Wert von 0.88 erhalten. Als Ergebnis für den dynamischen Spiraltesthabe ich einen Cohen’s Kappa Wert von 0.73 und einen AUC-Wert von 0.95erhalten. Auch hier lässt sich anhand der interaktiven Ansicht nachvollzie-hen, welche Teilnehmer falsch klassifiziert wurden und durch Diagrammezurück verfolgen warum dies der Fall gewesen sein könnte.Insgesamt liegen die Ergebnisse dieser Arbeit im guten Bereich, können je-doch noch verbessert werden, indem mehr Daten von gesunden Probandenhinzugefügt werden. Trotzdem steckt in der Analyse von Zeichnungen undHandschrift viel Potenzial zur Erkennung früher Symptome und bietet einegute Möglichkeit für diagnostische Zwecke genutzt zu werden und somit eineDiagnose zu unterstützen.

32

Abbildungsverzeichnis

1.1 Der finale Workflow setzt sich aus den Teilen Daten Vorberei-tung, Attribut Generierung und Auswahl, dem Random ForestModell und der Visualierung aller Grafiken dar. . . . . . . . . 4

3.1 Zeichnung von Teilnehmer ’Control_1’ (SST). . . . . . . . . 153.2 Zeichnung von Teilnehmer ’Control_1’ (DST). . . . . . . . . 153.3 Zeichnung von Teilnehmer ’Parkinson_12’ (SST). . . . . . . 153.4 Zeichnung von Teilnehmer ’Parkinson_12’ (DST). . . . . . . 153.5 Zeichnung von Teilnehmer ’Parkinson_10’ (SST). . . . . . . 163.6 Zeichnung von Teilnehmer ’Parkinson_10’ (SST). . . . . . . 163.7 Die Abbildung zeigt alle Attribute und wie oft diese zum Auf-

teilen des Wurzelknotens ausgewählt wurden. Hier zu sehensind die Attribute vom SST. . . . . . . . . . . . . . . . . . . . 17

3.8 In dieser Abbildung werden die zum Aufteilen des Wurzelkno-tens ausgewählten Attribute des DST’s dargestellt. . . . . . . 17

3.9 Hier als Boxplots dargestellt wird das Attribut Standardabwei-chung des Rucks für die beiden verschiedenen Klassen (SST). 18

3.10 In dieser Abbildung wird der Boxplot des Attributs durch-schnittlich ausgeübter Druck der beiden verschiedenen Klas-sen dargestellt (DST). . . . . . . . . . . . . . . . . . . . . . . 19

3.11 Die Abbildung zeigt die Boxplots des SST’s der beiden Klassenfür das Attribut Höhe. . . . . . . . . . . . . . . . . . . . . . . 19

3.12 Die Abbildung zeigt die Konfusionsmatrix und eine Gesamt-statistik für den SST, die unter anderem die Werte der Ge-nauigkeit mit 93.42% und Cohen’s Kappa mit 0.763 enthält. . 20

3.13 In der Tabelle sind die falsch klassifizierten Teilnehmer auf-gelistet und die dazugehörige ’prediction confidence’ für denSST. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.14 Die Abbildung zeigt die Konfusionsmatrix und eine Gesamt-statistik für den DST, die unter anderem die Werte der Ge-nauigkeit mit 91.67% und Cohen’s Kappa mit 0.734 enthält. . 21

3.15 Die Auflistung in dieser Abbildung zeigt sowohl die falsch klas-sifizierten Teilnehmer des DST’s und die dazugehörige ’pre-diction confidence’, als auch die Klasse und Vorhersage. . . . 22

3.16 Zu sehen ist die ROC-Kurve des SST’s mit einem AUC-Wertvon 0.875 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

33

– ABBILDUNGSVERZEICHNIS

3.17 Zu sehen ist die ROC-Kurve des DST’s mit einem AUC-Wertvon 0.95 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

4.1 Zeichnung von Teilnehmer ’Control_1’ für den SST. . . . . . 264.2 Die Zeichnung des Teilnehmers ’Control_11’, welche leichte

Abweichungen aufweist. . . . . . . . . . . . . . . . . . . . . . 264.3 Zum Vergleich die Zeichnung des Teilnehmers ’Control_9’

für den SST. . . . . . . . . . . . . . . . . . . . . . . . . . . . 264.4 Der an Parkinson erkrankte Teilnehmer ’Parkinson_5’ hat

beim SST die Spirale gut nach gezeichnet. . . . . . . . . . . . 274.5 Sogar beim DST konnte der Teilnehmer ’Parkinson_34’ de

Spirale gut nachzeichnen, obwohl die Schwierigkeit erhöht war. 274.6 Die Zeichnung vom Teilnehmer ’Parkinson_58’ (DST) dient

als Vergleich. Hier fehlen zum Teil sogar Abschnitte der Spirale. 274.7 In dem abgebildeten Barchart sind die Werte der gesunden

Teilnehmer (SST) für das Attribut ’Standardabweichung Ruck’zu sehen. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

4.8 Diese Abbildung zeigt den Barchart der Werte von den anParkinson erkrankten Teilnehmern für das Attribut ’Stan-dardabweichung Ruck’ (SST). . . . . . . . . . . . . . . . . . . 29

4.9 Die Abbildung zeigt den Barchart mit den Werten des Attri-buts durchschnittlich ausgeübter Druck’ (DST). Die meistenan Parkinson erkrankten Teilnehmer haben durchschnittlichweniger Druck ausgeübt, als die gesunden Teilnehmer. . . . . 30

34

Tabellenverzeichnis

2.1 Eine Übersicht der aufgezeichneten Attribute und ihre Bedeu-tung. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.2 Eine Übersicht der Zielattribute und ihre Bedeutung. . . . . . 10

35

Literatur

[1] J. Timothy Greenamyre und Teresa G. Hastings. „Parkinson’s – Diver-gent Causes, Convergent Mechanisms“. In: Science 304.5674 (21. Mai2004), S. 1120–1122 (siehe S. 1).

[2] E. R. Dorsey u. a. „Projected number of people with Parkinson diseasein the most populous nations, 2005 through 2030“. In: Neurology 68.5(2007), S. 384–386 (siehe S. 1).

[3] Stanley Fahn. „Chapter 1 - Clinical Aspects of Parkinson Disease“. In:Parkinson’s Disease. Hrsg. von Richard Nass und Serge Przedborski.San Diego: Academic Press, 1. Jan. 2008 (siehe S. 1).

[4] „Levodopa“. In: Movement Disorders 17 (S4 2002), S23–S37 (sieheS. 1).

[5] Werner Poewe. „Chapter 2 - Drug Therapy: Dopamine Agonists“. In:Principles of Treatment in Parkinson’s Disease. Hrsg. von AnthonyH. V. Schapira und C. Warren Olanow. Philadelphia: Butterworth-Heinemann, 1. Jan. 2005, S. 25–47 (siehe S. 1).

[6] Mathias Toft. „International consortium identifies new genetic risk fac-tors for Parkinson’s disease“. In: Movement Disorders 26.4 (), S. 606–606 (siehe S. 1).

[7] M. P. Horowitz und J. T. Greenamyre. „Gene–Environment Interacti-ons in Parkinson’s Disease: The Importance of Animal Modeling“. In:Clinical Pharmacology & Therapeutics 88.4 (2010), S. 467–474 (sieheS. 1).

[8] A J Hughes u. a. „Accuracy of clinical diagnosis of idiopathic Parkin-son’s disease: a clinico-pathological study of 100 cases.“ In: Journal ofNeurology, Neurosurgery & Psychiatry 55.3 (1. März 1992), S. 181–184 (siehe S. 2).

[9] S Fahn, RL Elton u. a. „UPDRS program members. Unified Parkin-son’s disease rating scale“. In: Recent developments in Parkinson’s di-sease 2 (1987), S. 153–163 (siehe S. 2).

[10] Bart Post u. a. „Unified Parkinson’s disease rating scale motor exami-nation: Are ratings of nurses, residents in neurology, and movementdisorders specialists interchangeable?“ In: Movement Disorders 20.12(2005), S. 1577–1584 (siehe S. 2).

36

– LITERATUR

[11] Seth L. Pullman. „Spiral Analysis: A New Technique for MeasuringTremor With a Digitizing Tablet“. In: Movement Disorders 13 (S31998), S. 85–89 (siehe S. 2).

[12] Peter Drotár u. a. „Analysis of in-air movement in handwriting: A no-vel marker for Parkinson’s disease“. In: Computer Methods and Pro-grams in Biomedicine 117.3 (1. Dez. 2014), S. 405–411 (siehe S. 2).

[13] Sara Rosenblum u. a. „Handwriting as an objective tool for Parkin-son’s disease diagnosis“. In: Journal of Neurology 260.9 (1. Sep. 2013),S. 2357–2361 (siehe S. 2).

[14] Marta San Luciano u. a. „Digitized Spiral Drawing: A Possible Bio-marker for Early Parkinson’s Disease“. In: PLOS ONE 11.10 (12. Okt.2016), e0162799 (siehe S. 2).

[15] Rachel Saunders-Pullman u. a. „Validity of spiral analysis in early Par-kinson’s disease“. In: Movement Disorders: Official Journal of the Mo-vement Disorder Society 23.4 (15. März 2008), S. 531–537 (siehe S. 3).

[16] Muhammed Erdem Isenkul, Betul Erdogdu Sakar und Olcay Kursun.„Improved spiral test using digitized graphics tablet for monitoringParkinson’s disease“. In: (2014), S. 5 (siehe S. 3, 6).

[17] Kemal Akyol. „A Study on the Diagnosis of Parkinson’s Disease usingDigitized Wacom Graphics Tablet Dataset“. In: I.J. Information Tech-nology and Computer Science 12 (Dez. 2017), S. 45–51 (siehe S. 3).

[18] Chan Yi Jie u. a. „Multimodal Parkinson’s Disease Risk AssessmentApplication Based On Vocal and Improved Spiral Test“. In: (25. Mai2018) (siehe S. 3).

[19] Michael R. Berthold u. a. „KNIME: The Konstanz Information Mi-ner“. In: Data Analysis, Machine Learning and Applications. Hrsg. vonChristine Preisach u. a. Studies in Classification, Data Analysis, andKnowledge Organization. Springer Berlin Heidelberg, 2008, S. 319–326(siehe S. 5).

[20] B. E. Sakar u. a. „Collection and Analysis of a Parkinson Speech Da-taset With Multiple Types of Sound Recordings“. In: IEEE Journal ofBiomedical and Health Informatics 17.4 (Juli 2013), S. 828–834 (sieheS. 6).

[21] Peter Drotár u. a. „Analysis of in-air movement in handwriting: A no-vel marker for Parkinson’s disease“. In: Computer Methods and Pro-grams in Biomedicine 117.3 (1. Dez. 2014), S. 405–411 (siehe S. 8).

[22] Annie W. Hsu u. a. „Spiral analysis in Niemann-Pick disease type C“.In: Movement Disorders 24.13 (2009), S. 1984–1990 (siehe S. 9).

37

– LITERATUR

[23] Mevludin Memedi u. a. „Automatic Spiral Analysis for Objective As-sessment of Motor Symptoms in Parkinson’s Disease“. In: Sensors (Ba-sel, Switzerland) 15.9 (17. Sep. 2015), S. 23727–23744 (siehe S. 9).

[24] Karl C. Mosler und Friedrich Schmid. Beschreibende Statistik undWirtschaftsstatistik: mit 2 Tabellen. 2., verb. Aufl. Springer-Lehrbuch.OCLC: 249463061. Berlin: Springer, 2005, S. 33–38. 252 S. (sieheS. 10).

[25] J. Ross Quinlan. „Learning Efficient Classification Procedures andTheir Application to Chess End Games“. In: Machine Learning: AnArtificial Intelligence Approach. Hrsg. von Ryszard S. Michalski, JaimeG. Carbonell und Tom M. Mitchell. Symbolic Computation. SpringerBerlin Heidelberg, 1983, S. 463–482 (siehe S. 10).

[26] Leo Breiman. „Random Forests“. In: Machine Learning 45.1 (1. Okt.2001) (siehe S. 11).

[27] Jiawei Han, Micheline Kamber und Jian Pei. „Classification“. In: DataMining. Elsevier, 2012, S. 327–391 (siehe S. 11).

[28] Ron Kohavi. „A Study of Cross-Validation and Bootstrap for AccuracyEstimation and Model Selection“. In: International Joint Conferenceon Arti cial Intelligence (IJCAI) (1995), S. 8 (siehe S. 12).

[29] Tom Fawcett. „An introduction to ROC analysis“. In: Pattern Reco-gnition Letters 27.8 (Juni 2006), S. 861–874 (siehe S. 12).

[30] Jacob Cohen. „A Coefficient of Agreement for Nominal Scales“. In:Educational and Psychological Measurement 20.1 (1. Apr. 1960), S. 37–46 (siehe S. 12).

38