Embed Size (px)
Citation preview
Masterarbeit zur Erlangung des akademischen Grades
Master of Arts
zum Thema:
Einflussfaktoren auf die Ergebnisqualität im Crowdsourcing
Eine Betrachtung von Kontroll- und Steuerungsmechanismen
bei Crowdsourcing-Intermediären
vorgelegt von: Marco Czerwinski
geboren am: 30.06.1989
Matrikelnummer: 4062564
Studiengang: Master Online-Kommunikation
Erstgutachter: Prof. Dr. Hendrik Send
Zweitgutachter: Prof. Dr. Daniel Michelis
Datum der Abgabe: 24. Januar 2018
II
Für meine Familie, insbesondere für meinen Opa.
III
Gender-Erklärung
Aus Gründen der Lesbarkeit wird auf die gleichzeitige Verwendung männlicher
und weiblicher Sprachformen verzichtet. Die männliche Sprachform wird im
Verlauf der Arbeit verwendet, sämtliche Personenbezeichnungen gelten jedoch für
beiderlei Geschlecht, sofern anwendbar.
IV
Abstract
Crowdsourcing hat sich in den letzten Jahren als ernstzunehmende Alternative
zum traditionellen Produktionsmodus für Unternehmen etabliert, indem
firmeninterne Aufgaben zur Bearbeitung an eine heterogene, anonyme „Maße von
Vielen“ – die Crowd – ausgelagert werden. Doch während Crowdsourcing neue,
effiziente Möglichkeiten für Unternehmen bereitstellt, hat sich mit dem gestiegenen
Interesse die Steuerung von Crowdaktivitäten zur Qualitätssicherung
(Governance) zu einer der zentralen gegenwärtigen Herausforderungen für
Crowdsourcing-Plattformen entwickelt. Die vorliegende Arbeit soll deshalb einen
Beitrag leisten, welche Faktoren Einfluss auf die finale Ergebnisqualität ausüben
und mit welchen gezielten Kontroll- und Steuerungsmaßnahmen diesen
Einflussgrößen seitens der Crowdsourcing-Plattformen entgegenwirkt wird. Dazu
konnten anhand einer Literaturrecherche drei crowdabhängige und vier
plattformabhängige Einflussfaktoren identifiziert werden. Anschließend wurde
durch vier Experteninterviews die praxisbezogene Perspektive eingenommen und
die Steuerung und Kontrolle der beschriebenen Einflussgrößen seitens der
Plattformen dargelegt. Als Resultat zeigte sich, dass die Plattformen nicht alle
Faktoren, insbesondere die crowdabhängiger Natur, mit gleicher Intensität
fokussieren und mit entsprechenden Maßnahmen beeinflussen.
V
Inhaltsverzeichnis
1. Einleitung ......................................................................................................... 1
1.1 Problemstellung ........................................................................................... 1
1.2 Zielstellung .................................................................................................. 3
1.3 Aufbau der Arbeit ......................................................................................... 4
2. Crowdsourcing – eine theoretische Einführung ........................................... 6
2.1 Definition ...................................................................................................... 6
2.2 Zentrale Charakteristika ............................................................................... 8
2.3 Der Crowdsourcing-Prozess ...................................................................... 11
2.4 Crowdsourcing-Systeme ............................................................................ 19
3. Einflussfaktoren auf die Ergebnisqualität ................................................... 24
3.1 Crowdabhängige Einflussfaktoren.............................................................. 27
3.1.1 Soziodemografische Merkmale ........................................................... 27
3.1.2 Persönlichkeitsmerkmale ..................................................................... 29
3.1.3 Motivation der Crowdsourcees ............................................................ 31
3.2 Plattformabhängige Einflussfaktoren .......................................................... 35
3.2.1 Aufgabendesign – Klarheit, Komplexität und visuelle Darstellung........ 35
3.2.3 Aufgabenselektion und -empfehlung ................................................... 38
3.2.3 Finanzielle Belohnung ......................................................................... 40
3.2.4 Feedback ............................................................................................ 43
4. Empirische Untersuchung ............................................................................ 45
4.1 Auswahl und Beschreibung der Methode – Das Experteninterview............ 45
4.2 Expertenauswahl und Darstellung der Stichprobe ...................................... 48
4.3 Auswertungsmethode – Qualitative Inhaltsanalyse .................................... 49
4.3.1 Kategoriensystem als Analysegrundlage ............................................. 52
4.4 Leitfaden und Durchführung....................................................................... 54
VI
5. Darstellung und Interpretation der Ergebnisse ........................................... 57
5.1 Crowdabhängige Einflussfaktoren.............................................................. 61
5.1.1 Soziodemografische Merkmale ........................................................... 61
5.1.2 Persönlichkeitsmerkmale ..................................................................... 63
5.1.3 Intrinsische Motive ............................................................................... 64
5.1.4 Extrinsische Motive ............................................................................. 68
5.2 Plattformabhängige Einflussfaktoren .......................................................... 70
5.2.1 Aufgabendesign – Klarheit, Komplexität und visuelle Darstellung........ 70
5.2.2 Aufgabenselektion und -empfehlung ................................................... 74
5.2.3 Finanzielle Belohnung ......................................................................... 77
5.2.4 Feedback ............................................................................................ 81
5.3 Zusammenfassung .................................................................................... 84
6. Fazit und Ausblick ......................................................................................... 90
Anhang .............................................................................................................. VIII
Literaturverzeichnis ............................................................................................ X
VII
Tabellenverzeichnis
Tabelle 1: Extrinsische und intrinsische Motive im Crowdsourcing ...................... 32
Tabelle 2: Darstellung der Stichprobe ................................................................. 49
Tabelle 3: Deduktives Kategoriensystem............................................................. 53
Tabelle 4: Zusammenfassung der Ergebnisse .................................................... 89
Abbildungsverzeichnis
Abbildung 1: Crowdsourcing-Prozess im Input-Output-Modell ............................. 12
Abbildung 2: Ablauf eines Crowdsourcing-Projekts ............................................. 18
Abbildung 3: Einflussfaktoren auf die Ergebnisqualität im Crowdsourcing ........... 27
Abbildung 4: Ablaufschema der strukturierenden qualitativen Inhaltsanalyse ...... 51
1
1. Einleitung
1.1 Problemstellung
„I do not believe in the collective wisdom of individual ignorance.“ - Thomas Carlyle, 1794
Zwischen dem Zitat von Thomas Carlyle, einem britischen Essayisten und
Historiker, aus dem Jahr 1794 und der heutigen Auffassung über das kreative
Potential und die disruptive Energie der breiten Masse liegen sprichwörtlich
„Welten“. Neben gravierenden politischen und gesellschaftlichen Veränderungen,
dem gewandelten Selbstverständnis der Kunden „weg vom Konsumenten hin zum
(Co)-Produzenten und dem ausdifferenzierten Wertekanton der
Gegenwartsgesellschaft ist, insbesondere mit der Nutzung des Internets und
seiner neuen technischen Möglichkeiten, der entscheidende Grundstein für das
Auslagern von Aufgaben an die breite Masse und deren strategische
Einbeziehung in ökonomische Abläufe gelegt worden. Dieses Auslagern wird auch
Crowdsourcing genannt.
Der Begriff Crowdsourcing geht auf den US-amerikanischen Journalisten Jeff
Howe zurück, der den neuen Produktionsmodus wie folgt definiert:
„Crowdsourcing is the act of taking a job traditionally performed by a designated agent (usually an employee) and outsourcing it to an undefined, generally large group of people in the form of an open call.“ (Howe, 2008, S. 99)
Howes Ansichten über das Produktivitätspotential der undefinierten, anonymen
Crowd gründet auf der Niederschrift „Wisdom of the Crowds“ von James
Surowiecki. Nach Surowiecki (2004) kann eine Gruppe von Personen – unter
bestimmten Bedingungen – bessere Ergebnisse erzielen als einzelne Personen
(Ray, 2006; Kittur & Kraut, 2008; Lopez et al., 2009) oder gar als Experten
(Leimeister, 2010).
Die Einsatzmöglichkeiten der Crowd gestalten sich vielfältig, beispielsweise als
kreative Ideengeber, innovative Problemlöser, engagierte Mitwirkende bei
2
Forschungsprojekten, zuverlässige „Microjobber“ für Kleinstaufgaben oder gar als
Kapitalgeber für Immobilienprojekte. Um diesen Ansatz haben sich in den
vergangenen 15 Jahren zahlreiche Unternehmen, bei denen die Crowd ein
essentieller Bestandteil des Geschäftsmodells ist, gebildet bzw. haben sich
etablierte (Welt-)Konzerne gegenüber externen Einflüssen und Impulsen geöffnet
(Open Innovation). Die Palette an crowd-basierten Unternehmen bzw. Crowd-
Dienstleistern reicht von Ideenplattformen (z. B. InnoCentive, jovoto) über
Crowdsourcing-Portale für Grafik-Dienstleistungen (z. B. 99designs) bis zu
Unternehmen, wie Threadless oder spreadshirt, die auf die Kreativität der Crowd
als Produktentwickler angewiesen sind. Aber auch gestandene Unternehmen aus
diversen Wirtschaftszweigen haben das Potential der Crowd erkannt und nutzen
die externen Anreize für verschiedene Bereiche innerhalb der
Wertschöpfungskette (z. B. Dell oder SAP).
Ein Musterbeispiel für erfolgreiches Crowdsourcing ist das Projekt-Auto „Mio“ vom
Traditions-Autohersteller Fiat. In Brasilien rief Fiat über die sozialen Netzwerke zur
Einsendung von Ideen zum zukünftigen Design zur Inneneinrichtung oder zu den
Bedienelementen auf und erhielt in 15 Monaten über 11.000 Einsendungen aus
160 Ländern (Saldanha, Cohendet & Pozzebon, 2014). Die überwältigende
Teilnahme steht nicht nur sinnbildlich für das innovative und weitsichtige Potential
der Crowd, sondern stellt Unternehmen und Crowdsourcing-Plattformen zugleich
vor Herausforderungen bei der Kontrolle während des Prozesses sowie bei der
Qualitätsanalyse und Bewertung der Ideen im Nachgang (Liu & Liu, 2015).
3
1.2 Zielstellung
Die Qualitätssicherung ist ein zentraler Faktor für die Einbeziehung der Crowd in
unternehmensseitige Prozesse und dafür verantwortlich, wie effizient und hilfreich
Crowdsourcing für Unternehmen letztlich ist. Der Qualität der Nutzerbeiträge und
deren Kontrolle wird daher ein hoher Stellenwert zugeschrieben, zugleich werden
sie auch als herausfordernde Faktoren betrachtet (Jain, 2010; Kittur et al., 2013).
Die Brauchbarkeit der Einsendungen wird durch zwei strukturelle Dimensionen
bestimmt (Allahbakhsh et al., 2013). Zum einen von der Beschaffenheit der
Crowdworker, dabei spielen beispielsweise die soziodemografischen
Gegebenheiten (Downs, Holbrook, Sheng & Cranor, 2010; Geiger & Schader,
2014; Kazai, Kamps & Milic-Frayling, 2012; Ross et al., 2010), die Persönlichkeit
der Crowdworker (Kazai et al., 2012; V. Mourelatos & M. Tzagarakis, 2016) sowie
die Motivation der teilnehmenden Crowdsourcees (Rogstadius et al., 2011) eine
tragende Rolle. Zum anderen beeinflussen die Auftraggeber und die
Crowdsourcing-Plattformen die Qualität der Nutzerbeiträge, indem sie u. a. die
Aufgabenstellung im Vorfeld unzureichend definieren (Afuah & Tucci, 2012), die
Zerlegung der oft komplexen Aufgaben in granulare Teil-Aufgaben nicht
berücksichtigen (Kittur, Smus, Khamkar & Kraut, 2011; Haas et al., 2013), falsche
Anreizsysteme verwenden (Mason & Watts, 2009; Wang, Ipeirotis & Provost,
2013) oder Aufgaben an die falschen Crowdworker weiterleiten bzw. vorschlagen
(Schnitzer, Neitzel, Schmidt & Rensing, 2016).
Die hier ausgewiesenen Forschungsarbeiten fokussieren sich stets auf einzelne
Elemente der Qualitätskontroll-Dimensionen und vernachlässigen dabei die
theoretische und systematische Aufarbeitung der vielschichtigen Einflussfaktoren
auf die Beitragsqualität der Crowd. Allahbakhsh et al. (2013), Jain (2010),
Pedersen et al. (2013) und Zogaj (2016) entwickelten erste Ansätze einer
systematischen Darstellung der vielschichtigen Faktoren und Mechanismen, die
einen Anteil an der Ergebnisqualität und am Erfolg haben.
Die vorliegende Arbeit soll einen Beitrag zu den Einflussfaktoren auf die
Ergebnisqualität und deren Steuerung im Crowdsourcing leisten. Dazu sollen
zunächst auf theoretischer Ebene die verschiedenen Determinanten, die die
Ergebnisqualität der Crowdwork beeinflussen, erläutert werden. Im Anschluss soll
mithilfe von leitfadengestützten Experteninterviews die Perspektive gewechselt
4
und der praktische Blickwinkel eingenommen werden, um die Einschätzung in
Bezug auf Qualitätskontroll-Mechanismen und deren Realisierung auf
Crowdsourcing-Intermediäre zu erfahren. Daraus ergibt sich folgende
Forschungsfrage, die sich dem Thema theoretisch nähert:
Forschungsfrage 1
Welche Faktoren beeinflussen die Ergebnisqualität im Crowdsourcing?
Die weiteren Forschungsfragen, die mittels der Experteninterviews beantwortet
werden sollen, lauten wie folgt:
Forschungsfrage 2
Welche Einflussgrößen bezüglich der Ergebnisqualität haben in der Praxis einen
hohen Stellenwert?
Forschungsfrage 3
Welche Maßnahmen werden unternommen, um die Qualität der Beiträge
aufrechtzuerhalten bzw. zu steigern und wie werden diese umgesetzt?
1.3 Aufbau der Arbeit Um der Beantwortung der eben vorgestellten Forschungsfragen gerecht zu
werden, bedarf es einer logischen und nachvollziehbaren Struktur der
Ausarbeitung. Deswegen soll nachfolgend der grundlegende Aufbau dargestellt
werden.
Dieses Kapitel dient zur Heranführung an den Untersuchungsgegenstand
(Abschnitt 1.1) sowie zur Darstellung des Forschungsinteresses, das sich in drei
Forschungsfragen untergliedert (Abschnitt 1.2).
Das zweite Kapitel setzt seinen Fokus auf die theoretischen Rahmenbedingungen
dieser Arbeit. Anhand der wissenschaftlichen Literatur soll daher ein Abriss der
grundlegenden Konzepte, Elemente und Zusammenhänge im Crowdsourcing
aufgezeigt werden. Insbesondere die Begriffsbestimmung (Abschnitt 2.1), typische
Charakteristiken und mitwirkende Parteien (Abschnitt 2.2.), der idealtypische
Crowdsourcing-Prozess (Abschnitt 2.3) sowie die Betrachtung von
Crowdsourcing-Plattformen (Kapitel 2.4) stehen dabei im Zentrum.
5
Im nachfolgenden dritten Kapitel sollen – ausgehend von der Differenzierung
zwischen crowdabhängig und plattformabhängig – zentrale Qualitätsgrößen
erarbeitet und mit Forschungsergebnissen gerahmt werden (Abschnitt 3). Hierbei
richtet sich das Augenmerk zum einen auf die Aspekte soziodemografische
Merkmale, Persönlichkeitsmerkmale und Motivation (Abschnitt 3.1) sowie zum
anderen auf Aufgabendesign, Aufgabenselektion, finanzielle Belohnung und
Feedback (Abschnitt 3.2).
Das vierte Kapitel soll genutzt werden, um die methodische Vorgehensweise zur
Beantwortung der Forschungsfragen 2 und 3 zu beschreiben und zu begründen.
Dabei orientiert sich das Kapitel an den Aspekten Methodenauswahl (Abschnitt
4.1), Erhebungsinstrument (Abschnitt 4.2, 4.4) und Auswertungstechnik (Abschnitt
4.3).
Im Anschluss werden die mittels Experteninterview erhobenen Daten und die
durch die qualitative Inhaltsanalyse ausgewerteten Erkenntnisse präsentiert und in
den Kontext der wissenschaftlichen Literatur gesetzt (Kapitel 5).
Der Abschluss dieser Arbeit, in Form des sechsten Kapitels, fungiert als
Zusammenfassung der Ergebnisse, kritische Reflexion der Methodik und als
Spielraum für den Ausblick auf weitere Forschungsprojekte (Kapitel 6).
6
2. Crowdsourcing – eine theoretische Einführung Um das Verständnis der vorliegenden Arbeit zu gewährleisten und die
Beantwortung der Forschungsfragen mit theoretischen Sachverhalten zu rahmen,
werden im nachfolgenden Kapitel grundlegende Aspekte zur Begriffsbestimmung,
Funktionsweise und zu den Erscheinungsformen von Crowdsourcing dargelegt.
2.1 Definition
Erstmals publizistisch in Erscheinung getreten ist der Neologismus
„Crowdsourcing“ im Jahr 2006 durch Jeff Howe in dem US-amerikanischen
Technologie-Magazin Wired Magazine. Darin beschreibt Howe den bereits
eingangs erwähnten neuen Produktionsmodus, bei dem die Crowd als Produzent
fungiert bzw. Aufgaben übernimmt, die traditionell von Unternehmensangestellten
getätigt werden, und so Angestellten bzw. Freiberuflern, wie in Howeas plakativem
Beispiel, den Fotografen, „die Aufträge streitig machen“. Howe unterstreicht das
Phänomen mit den folgenden Worten und spielt gleichzeitig auf die in den 1990er-
Jahren populär gewordene Geschäftspraktik des Outsourcings an: „It’s not
outsourcing; it’s crowdsourcing“ (Howe, 2006b). In einer ersten Definition skizziert
Howe (2006a) Crowdsourcing als:
„act of taking a job traditionally performed by a designated agent (usually an employee) and outsourcing it to an undefined, generally large group of people in the form of an open call.“
Der Kern des Crowdsourcing stützt sich auf zwei zentrale Ansätze: zum einen auf
die Überlegungen von James Surowiecki (2004), der auf den Wissens- und
Prognosevorteil von großen Gruppen gegenüber einzelnen Individuen hinweist.
Surowiecki geht davon aus, dass unter bestimmten Gegebenheiten –
Meinungsvielfalt, Unabhängigkeit und Dezentralisierung – eine undefinierte,
anonyme Gruppe an durchschnittlichen Personen bessere Ergebnisse erzielt als
einzelne Personen. Zum anderen beruht das Konzept des Crowdsourcing auf dem
Fakt, dass durch den Zugang zum Internet prinzipiell jeder das Potential und die
Möglichkeit besitzt, wertvolle Informationen beizutragen und sich so an
Crowdsourcing in jeglicher Form zu beteiligen (Greengard, 2011).
Mit dem gestiegenen Interesse an der Crowd seitens der Wirtschaft und
verschiedener Wissenschaftsdisziplinen, wie Wirtschaft, Informatik oder
Kommunikationswissenschaft, ist seit 2006 auch ein Anstieg der Publikationen
7
über das neue Forschungsgebiet zu verzeichnen (Amrollahi, 2016; Tarrell et al.,
2013; Zhao & Zhu, 2014). Die treibende Kraft hinter der Erforschung und
systematischen Auseinandersetzung ist das akademische Umfeld; so kamen nach
Zhao & Zhu (2014) 69 % aller Publikationen zwischen 2006 und 2011 aus diesem
Sektor.1
Aufgrund der verschiedenen Betrachtungsweisen und zugrunde liegenden
Theoriemodelle der Fachrichtungen existiert eine regelrechte Mannigfaltigkeit des
definitorischen Inhalts. Je nach Perspektive rücken unterschiedliche Komponenten
in den Vordergrund, letztlich keinen einheitlichen wissenschaftlichen Konsens
zulassen (Estellés-Arolas & González-Ladrón-de-Guevara, 2012; Hosseini, Phalp,
Taylor & Ali, 2014; Zhao & Zhu, 2014).
Um eine fachübergreifende Definition, die möglichst alle Facetten des
Crowdsourcing integriert, zu entwickeln, untersuchten Estellés-Arolas & González-
Ladrón-de-Guevara (2012) über 200 Publikationen. Aus ihnen kristallisierten sich
40, zum Teil inhaltlich konträre Definitionen heraus. Auf dieser Basis und mithilfe
einer Textanalyse wurden drei Hauptbestandteile mit acht charakteristischen
Merkmalen identifiziert, die die Definitionen in ihrem Wesen abdecken:
(1) die Crowd mit den Merkmalen: Zusammensetzung, Aufgaben und
Gegenleistungen vom Crowdsourcer
(2) der Crowdsourcer mit den Merkmalen: Zusammensetzung und
Gegenleistung von der Crowd
(3) der Prozess mit den Merkmalen: Art des Prozesses, Art des Aufrufes
und mit welchem Medium der Prozess vollzogen wird.
Anhand dieser Komponenten entwickelten Estellés-Arolas & González-Ladrón-de-
Guevara eine integrative generelle Definition, die den Facettenreichtum vereint
und zugleich als Grundlage für die folgende Arbeit dienen soll (Estellés-Arolas &
González-Ladrón-de-Guevara, 2012, S. 9):
“Crowdsourcing is a type of participative online activity in which an individual, an institution, a non-profit organization, or company proposes to a group of individuals of varying knowledge, heterogeneity and number, via a flexible open call, the voluntary undertaking of a task. The undertaking of the task, of variable complexity
1 Wobei auch Forschungseinrichtungen global agierender Technologie-Unternehmen, wie das
IBM Watson Research Center oder Microsoft Research, bei der (Weiter-)Entwicklung ihren Beitrag leisten.
8
and modularity, and in which the crowd should participate bringing their work, money, knowledge and/or experience, always entails mutual benefit. The user will receive the satisfaction of a given type of need, be it economic, social recognition, self-esteem, or the development of individual skills, while the crowdsourcer will obtain and utilize to their advantage that what the user has brought to the venture, whose form will depend on the type of activity undertaken.”
2.2 Zentrale Charakteristika Um dem komplexen Phänomen Crowdsourcing eine grundlegende Taxonomie zu
verleihen und den Zugang, mithilfe von Klassifikationen, zu diesem neuen
Forschungsgebiet für Wissenschaftler und Unternehmen zu erleichtern, wurden
verschiedene Forschungsprojekte mit unterschiedlichen Schwerpunkten und
Perspektiven realisiert, wie beispielsweise die Kategorisierung der existierenden
Crowdsourcing-Plattformen (Rouse, 2010; Geiger, Rosemann, Fielt & Schader,
2012; Hetmank, 2013; Mao, Capra, Harman & Jia, 2017) oder die Ableitung des
idealtypischen Prozesses eines Crowdsourcing-Projekts (Amrollahi, 2016 ; Geiger,
Seedorf, Schulze, Nickerson & Schader, 2011).
Eine umfassende Taxonomie, die ebenfalls einzelne Komponenten und
Sichtweisen der eben erwähnten Forschungsthemen berücksichtigt, entwickelten
Hosseini et al. (2014, S. 2), um „the absence of a taxonomy for crowdsourcing“ zu
beseitigen“ und „the confusion […] in the concept of crowdsourcing and in its
usage“ zu reduzieren. Auf der Grundlage von 113 Publikationen aus
verschiedenen Wissenschaftsdisziplinen extrahierten Hosseini et al. (2014) vier
zentrale Säulen, die das Phänomen Crowdsourcing charakterisieren. (1) Die Crowd zeichnet sich durch Vielfältigkeit (diversity) in Bezug auf ihre
räumliche Herkunft, ihr Geschlecht, ihr Alter sowie ihr fachlichen und
sachkundigen Fähigkeiten aus. Die Crowdsourcing-Teilnehmer agieren anonym
(anonymity), sie kennen den Auftraggeber sowie andere Crowd-Mitglieder nicht.
Die Crowd setzt sich aus einer großen undefinierten Masse (largeness und
undefinedness) von Individuen zusammen. Dabei unterliegt die „Masse der Vielen“
keinen Abhängigkeiten oder Grenzen, sondern hat die Möglichkeit, losgelöst von
lokalen, fachlichen und soziodemografischen Rahmenbedingungen bei
unterschiedlichsten Projekten aktiv zu werden. Zudem ist die Crowd flexibel und
adaptierbar (suitability), um verschiedenartige Ziele und Aufgaben zu bewältigen.
9
(2) Der Crowdsourcer (Auftraggeber) kann, wie bereits in der Definition von
Estellés-Arolas und González-Ladrón-de-Guevara (2012) beschrieben, eine
Institution, Nichtregierungsorganisation oder ein Unternehmen sein. Typisch für
Auftraggeber ist die Bereitstellung von Anreizen in Form finanzieller Belohnungen
(incentives provision), um die extrinsischen Beweggründe der Crowd zu aktivieren.
Crowdsourcing-Initiatoren vermitteln ihre Projekte über einen offenen Aufruf (Open
Call) an die Crowd. Dabei wird an das Prinzip der undefinierten Masse
angeknüpft, indem jedermann unabhängig von fachlichen, räumlichen oder
soziodemografischen Gegebenheiten teilnehmen kann.
(3) Die „crowd-gesourcte“ Aufgabe kann unterschiedliche Formen annehmen,
wie Probleme lösen, innovative Ideen entwickeln oder Daten erfassen. Je nach
Aufgabenstellung werden Expertise, Erfahrung, Wissen oder technische
Fähigkeiten der Crowd benötigt. Die Aufgabe wird an einen ausstehenden
Vertragspartner outgesourct (outsourcing), der beim Crowdsourcing die Crowd
darstellt. Die Aufgaben zeichnen sich durch Modularität und Komplexität
(modularity und complexity) aus. Crowdsourcing-Aufgaben sind von einer lösbaren
Annahme (solvability) geprägt, die Aufgaben sind einfach genug für Menschen
und gleichzeitig zu komplex für Computer. Aufgrund ihrer Komplexität sind diese
nicht automatisierbar (automation characteristics) bzw. sind die Kosten der
Automatisierung zu hoch. Die Tatsache öffnet letztlich den Weg des
Crowdsourcing als neuen Produktionsmodus. Typischerweise sind die Aufgaben
im Crowdsourcing Nutzer-geleitet (user-driven), sie werden damit von der Crowd
erzeugt bzw. kontrolliert. Dabei kann der Beitrag individuell oder in Kollaboration
mit anderen Crowdsourcees (contribution type) geleistet werden.
(4) Die Crowdsourcing-Plattform ist das Medium zwischen Crowd und
Crowdsourcer, auf der die Crowdsourcing-Aufgabe getätigt wird. Die Plattform
übernimmt insbesondere technische und infrastrukturelle Komponenten (platform-
related facilities), um einen reibungslosen Prozess zwischen Plattform und Crowd
(crowd-related interactions) sowie Plattform und Crowdsourcer (crowdsourcer-
related interactions) zu gewährleisten. Mithilfe entsprechender Kontroll-,
Verwaltungs- und Selektionsmechanismen ermöglicht die Plattform
beispielsweise, Aufgaben an die Crowd je nach Fähigkeiten weiterzuleiten oder
Feedbackschleifen durchzuführen. Aus der Crowdsourcer-Perspektive betrachtet
10
können Auftraggeber zum Beispiel Abgabetermine oder die Belohnung festlegen.
In Bezug auf die jeweilige Aufgabenstellung (task-related facilities) ermöglicht die
Plattform, alle Resultate der Crowd zu aggregieren oder die Ergebnisse anderer
Beteiligter zu verdecken.
Die Darstellungen haben verdeutlicht, welche Komplexität beim Crowdsourcing
vorherrscht und welche grundlegenden Komponenten (Crowd, Crowdsourcer,
Aufgabe und Plattform) das Wesen des neuen Produktionsmodus definieren. Zu
einer ähnlichen Taxonomie kommen Zogaj, Peters & Leimeister (2013), die
Crowdsourcing ebenfalls in vier zentrale Bestandteile, die sich zum Teil auch in
der Taxonomie von Hosseini (2014) wiederfinden, untergliedern: (1) the
broadcasting of tasks via an open call, (2) the self-selection of contributors, (3) the
specification of tasks und (4) the IT platform for coordination and collaboration. In
Hosseinis entwickeltem Modell werden in allen Komponenten Stellschrauben und
Anknüpfpunkte sichtbar, um die Qualität der Resulte der Crowdwork positiv zu
beeinflussen. So können zum Beispiel Crowdsourcer über passende finanzielle
Anreize die Leistungsfähigkeit der Crowd erhöhen (Mason & Watts, 2009; Wang et
al., 2013). Aber auch Crowdsourcing-Plattformen sind in der Lage, beispielsweise
mit gezielten Feedbacksystemen die Generierung von qualitativ hochwertigen
Beiträgen zu verbessern (Dow, Kulkarni, Klemmer & Hartmann, 2012; Hui, Glenn,
Jue, Gerber & Dow, 2015). Die Taxonomie von Hosseini et al. (2014) reduziert
Crowdsourcing auf vier charakteristische Bestandteile, wobei die Betrachtung und
Analyse des Crowdsourcing-Prozesses in seinem konzeptionellen Rahmen
vernachlässigt wird. In den beiden letzten Komponenten finden sich zwar
Hinweise auf Teilaspekte des prinzipiellen Ablaufs eines Crowdsourcing-Projekts
(z. B. werden komplexe Aufgaben in Teilaufgaben gegliedert oder Ergebnisse der
Crowd durch die Plattform aggregiert) wieder, diese werden allerdings nicht
detaillierter erläutert bzw. nicht in ein grundlegendes Schema transferiert.
Deswegen soll im folgenden Kapitel 2.3 der typische Ablauf eines Crowdsourcing-
Projekts in den Fokus gerückt werden.
11
2.3 Der Crowdsourcing-Prozess Yochai Benkler (2006) manifestiert mit den Worten „the world is becoming too fast,
too complex and too networked for any company to have all the answers inside“
die Situation für Unternehmen in einer von Globalisierung, Digitalisierung und
dynamischen Kundenbedürfnissen geprägten Gegenwart. Um den gestiegenen
Wettbewerb zu trotzen und letztlich langfristig den Unternehmenserfolg zu
garantieren, sind Unternehmen zunehmend gezwungen, die Effizienz innerhalb
der Wertschöpfungskette zu hinterfragen und anzupassen (Leimeister & Zogaj
2013). Als potentiellen Lösungsweg, um das Innovationspotential zu maximieren,
nennen u. a. Reichwald & Piller (2009) sowie Gassmann & Enkel (2006) die
Öffnung der Unternehmen gegenüber externen Beteiligten, insbesondere für die
Bereiche Forschung und Entwicklung. Dieser lösungsorientierte Ansatz wird als
Open Innovation Paradigma bezeichnet, die auf Chesbrough (2003) zurückgeht.
Die Rolle als externe Mitwirkende können dabei nicht nur universitäre
Forschungseinrichtungen, Mit-/Wettbewerber, Lieferanten oder Kunden
einnehmen, der mittels Lead User Methode einbezogen werden können (Hippel,
1986), sondern eben auch die undefinierte, anonyme Masse von Individuen – die
Crowd.
Nach Pedersen et al. (2013) und Ghezzi, Gabelloni, Martini & Natalicchio (2017)
lässt sich die prinzipielle Struktur des Crowdsourcing-Prozesses mithilfe des
klassischen Input-Process-Ouput-Modells (IPO) beschreiben. Weitere
Forschungsarbeiten über den Ablauf eines Crowdsourcing-Projekts kommen u. a.
von Geiger, Seedorf et al. (2011), Leimeister & Zogaj (2013), Kittur et al. (2013)
und Zogaj (2016), die sich in ihrer Darstellung nicht des IPO-Modells als visuelle
und konzeptionelle Grundlage bedienen, sondern den Prozess durch mehrstufige,
in Phasen unterteilte Modelle abstrahieren. Ziel des folgenden Kapitels ist es, die
wesentlichen Komponenten und Charakteristika beim Ablauf eines
Crowdsourcing-Projekts zu veranschaulichen und die unterschiedlichen
Forschungsergebnisse in ein erweitertes IPO-Modell zu integrieren.
12
In seinen Grundzügen gestaltet sich der Crowdsourcing-Prozess wie folgt
(Abbildung 1):
Input – Aufgabe/Problem
Zu Beginn des Prozesses stehen Unternehmen vor der Entscheidung, ob und
welche Probleme bzw. Aufgaben sie an die Crowd abgeben wollen. Bereits der
erste Schritt – das Problem bzw. die Aufgabe (Input) – trägt maßgeblich dazu bei,
ob Crowdsourcing aus wirtschaftlicher Perspektive zielführend und effizient ist.
Nach Afuah & Tucci (2012) sind folgende Faktoren ausschlaggebend bei der
Entscheidung seitens der Unternehmen, ob Crowdsourcing eingesetzt wird oder
nicht: (1) einfach verständliche Aufgabenstellung, Möglichkeit zur Aufgabenteilung,
(2) erforderliches Wissen ist umständlich zu erreichen, das erforderliche Wissen
ist komplex genug, um die Aufgabe zu lösen und (3) das Wissen der Crowd kann
die Aufgabe bewältigen sowie die Motivation der Crowd ist entsprechend hoch.
Hat sich das Unternehmen für Crowdsourcing entschieden, wird die Aufgabe
definiert und gegebenenfalls mit entsprechenden Anforderungen (z. B. spezielle
Fähigkeiten der Crowd) versehen. Die Aufgabenstellung kann dabei verschiedene
Komplexitäts- sowie Problemstufen annehmen: von einfachen über
anspruchsvolle bis hin zu moderaten Schwierigkeitsgraden (Rouse, 2010) und
innovationsorientierte Aufgabenstellungen, die entsprechende Fähigkeiten der
Crowd voraussetzen, sowie Kleinstaufgaben, die keine spezifischen Kenntnisse
der Crowd benötigen (Boudreau & Lakhani, 2013). Generell sollten
I N P U T
Prozess
Governance
Technologie
O U T P U T
Abbildung 1: Crowdsourcing-Prozess im Input-Output-Modell (Quelle: Eigene Darstellung in Anlehnung an Pedersen et al., 2013).
13
Problemstellungen einfach, leicht zu beschreiben, präzise formuliert und modular
aufgebaut sein. Außerdem ist es sinnvoll, komplexe Aufgaben in feinkörnige
Teilaufgaben zu untergliedern, da dadurch auch unqualifizierte Crowdworker bei
der Problemlösung einbezogen werden können (Schenk & Guittard, 2011; Afuah &
Tucci, 2012). Die Reduzierung der Komplexität durch Zerlegung der Aufgaben in
feingliedrige Tätigkeiten erinnert dabei stark an die Arbeitsteilung im Taylorismus,
mit dem Ziel, die Produktivität zu erhöhen (Leimeister & Zogaj, 2013).
Ein weiterer wesentlicher Bestandteil ist die Bestimmung der Arbeitsform, das
heißt, ob die Crowd gemeinsam oder individuell an der Aufgabenstellung arbeitet.
Prinzipiell lassen sich zwei Herangehensweisen unterscheiden: Auf der einen
Seite können Crowdsourcees unabhängig und individuell Aufgaben bewältigen,
mit dem Ziel, das beste Ergebnis zu entwickeln, das letztlich als einziges prämiert
wird, oder mit der zeitfokussierten Prämisse „first come, first serve“, bei der alle
Lösungen prämiert werden, die die Qualitätsanforderungen einhalten. Auf der
anderen Seite besteht die Möglichkeit, den Lösungsfindungsprozess in
Kooperation zwischen den Mitwirkenden untereinander zu gestalten (Afuah &
Tucci, 2012; Haythornthwaite, 2009; Leimeister & Zogaj 2013). Das Bestreben
besteht, durch gemeinsames Lösen, Bewerten und Kommunizieren
Emergenzeffekte zu erzielen und mittels Integration individueller Fertigkeiten und
Wissensbeständen qualitativ hochwertigere Resultate, als sie einzelne
unabhängige Crowdworker erzielen könnten, zu erreichen (Schrage, 1995).
Neben aufgaben- und arbeitsformrelevanten Konkretisierungen sind vor dem
Leistungserstellungsprozess die strukturellen und formalen Rahmenbedingungen
zu bestimmen. Zum Beispiel müssen der Zeitraum zwischen der Veröffentlichung
der Aufgabe / des Projekts und der Einsendeschluss festgelegt werden.
Außerdem gilt es, Belohnungssysteme zu definieren, die den „Mitmach-Motiven“
der Crowd entsprechen. Dies müssen nicht zwangsläufig monetäre Anreize sein,
es können auch Zugang zu Wissen, Eigenwerbung der persönlichen
Errungenschaften oder Anerkennung seitens der Crowd / Crowdsourcees sein
(Zogaj, 2016).
14
Prozess Nachdem die Zielvorgaben detailliert und verständlich definiert sowie die
strukturellen Bedingungen bestimmt worden sind, beginnt der wahre
Leistungserstellungsprozess. Doch bevor die Crowd ihre aufgabenorientierten
Tätigkeiten aufnimmt, werden zunächst die Aufgaben verteilt. Dies kann mit einem
offenen Aufruf erfolgen, bei dem alle Crowdsourcees uneingeschränkt und ohne
spezifische Anforderungen an Projekten teilnehmen können. Alternativ dazu kann
auch eine Vorauswahl der Crowd anhand individueller Fähigkeiten,
kontextspezifischer Kriterien oder durch eine Kombination aus beiden Optionen
getroffen werden. Beispielsweise müssen Teilnehmer einen Test erfolgreich
abschließen (Fähling, Blohm, Krcmar, Leimeister & Fischer, 2011) oder bereits
einen Ideenwettbewerb gewonnen haben, bevor sie mit der Aufgabe beginnen
können. Auf kontextspezifischer Seite können zum Beispiel Firmenangestellte von
Crowdsourcing-Projekten des Arbeitsgebers an der Teilnahme gehindert werden
(Geiger, Seedorf et al., 2011).
Im darauffolgenden Schritt bearbeiten Crowdworker in Zusammenarbeit mit
anderen Teilnehmern oder in Unabhängigkeit die gestellten Aufgaben oder
fertigen Lösungen für verschiedenste Probleme an. Die geleisteten Tätigkeiten
und erreichten Erfolge der Crowd sind dabei mannigfaltig. So entwickelte die
Crowd auf TopCoder.com einen Frühwarn-Algorithmus für die US-amerikanische
Raumfahrtbehörde NASA, mit dem gefährliche Asteroiden frühzeitig erkannt
werden können (TopCoder, 2015). Ein weiteres Bespiel, das die Vielfalt und
zugleich das Potential der Crowd widerspiegelt, ist die auf der Crowdfunding-
Plattform Kickstarter finanzierte Smartwatch Pebble Time. 78.471 Unterstützer
sammelten insgesamt 20.338.986 US-Dollar zur Realisierung und Produktion der
Smartwatch, die damit zu den bis heute erfolgreichsten Kampagnen der neuen
Finanzierungsmöglichkeit zählt (Kickstarter, 2012).
Erscheint die Aggregation der Crowd-Beiträge im Crowdfunding einfach, gestaltet
sich der Prozess bei der Entwicklung von Konzepten oder beim Generieren von
Ideen umso komplexer und schwieriger. Die Sammlung und Zusammenführung
der Ergebnisse hängt zunächst von der Art und Weise der Arbeitsform
(kollaborierend oder individuell) sowie vom Wesen der Aufgabe (Komplexität,
Granularität) ab (Leimeister & Zogaj, 2013). Nach Schenk & Guittard (2011) sowie
15
Geiger, Seedorf et al. (2011) existieren zwei unterschiedliche Verfahren –
entweder die Integration oder die Selektion der Resultate. Der integrative Ansatz
verfolgt das Ziel, alle eingereichten Lösungsvorschläge zu berücksichtigen und zu
einer allgemeingültigen Lösung zusammenzuführen. Das Verfahren eignet sich
besonders bei Crowdsourcing-Projekten, die auf das kreative und innovative
Vermögen vieler Beteiligter zurückgreift, wie zum Beispiel beim Identifizieren von
Bildern zur Verbesserung der Google-Bilderssuche (Google Image Labeler). Im
Gegensatz dazu werden bei der selektiven Methode nur die besten Beiträge
ausgewählt. Dabei kann der Crowdsourcer aus einer Vielzahl von
unterschiedlichen Lösungsvorschlägen, die seitens der Crowd zur Verfügung
gestellt worden sind, auswählen. Dieses Verfahren kommt meist bei
wettbewerbsbasierten Crowdsourcing-Projekten, wie beispielsweise bei jovoto,
zum Einsatz.
Output – Ergebnis/Lösung Das via Selektion oder Integration ausgewählte Resultat symbolisiert gleichzeitig
den letzten Schritt des Crowdsourcing-Prozesses – den Output. Das Ergebnis
kann je nach Problemstellung unterschiedlich fallen: es können zum Beispiel ein
neues Haltestellenkonzept für die Schweizerischen Bundesbahnen sein (jovoto,
2017), ein einzigartiges Produktdesign anlässlich des 30. Firmenjubiläums des
Uhrenherstellers Swatch (99designs, 2013) oder suchmaschinenoptimierte Texte
für den Autoverleiher Sixt (Crowd Guru, 2015).
Diese Ergebnisse müssen sich sowohl faktischen Beurteilungen stellen
(erwartetes Ergebnis des Unternehmens und tatsächliches Ergebnis der
Crowdwork, z. B. einschätzbar an der Kreativität, Anzahl und Vielfalt der Beiträge)
als auch wahrnehmbaren Beurteilungen (Einschätzung der Unternehmen sowie
der Nutzer über den Prozess, z. B. messbar anhand der Zufriedenheit beider
Seiten oder der Nutzerbeteiligung bei Folgeprojekten) (Pedersen et al., 2013).
Neben dem Ergebnis selbst ist die Vergütung der Crowd ein wesentlicher
Aufgabenbereich im finalen Prozessblock. Die typischste Entlohnungsart ist
monetärer Natur (Leimeister, Huber, Bretschneider & Krcmar, 2009; Zhao & Zhu,
2012). Die Entlohnung kann dabei festgeschrieben, erfolgsbasiert oder nicht
vorhanden sein. Bei einer fixen Vergütung erhalten alle Projektteilnehmer, die die
16
Anforderungen erfüllt haben, eine festgeschriebene Belohnung unabhängig vom
eigenen Beitrag zur finalen Lösung. Die erfolgsbasierte Belohnung richtet sich
nach dem individuellen Anteil am Gesamtergebnis. Diese Entlohnungs-Variante
kommt vor allem bei Ideenwettbewerben, bei denen meist nur eine Arbeit durch
den Crowdsourcer bestimmt und prämiert wird, zum Einsatz (Geiger, Seedorf et
al., 2011).
Technologie und Governance Flankiert wird der eben erläuterte Prozess auf technischer Ebene von der
Crowdsourcing-Plattform, die den reibungslosen Ablauf sowie die Kommunikation
im Spannungsfeld von Crowd, zu lösender Aufgabe und Crowdsourcer übernimmt.
Nach Hetmank (2013) greift die Plattform in die Bereiche User-, Task-,
Contribution- und Workflow-Management ein und beeinflusst den Ablauf letztlich in
nahezu allen Prozessabschnitten. So stellt die Plattform die notwendige
Infrastruktur hinsichtlich der Zerlegung komplexer Aufgaben in Teilaufgaben über
verschiedene Frameworks, beispielsweise via CrowdLang (Minder & Bernstein,
2012) oder CrowdForge (Kittur et al., 2011), zur Verfügung oder schafft eine
interaktive und intuitive Oberfläche auf der die Crowd miteinander kommunizieren
und interagieren kann. Des Weiteren stellt die Plattform die Vergütung der Crowd
sowie die Aggregation der Ergebnisse sicher (Pedersen et al., 2013).2
Die Plattform schafft nicht nur die technischen Rahmenbedingungen, sondern ist
auch an der Kontrolle und Steuerung beteiligt, was mittlerweile die zentrale
Herausforderung im Crowdsourcing darstellt (DiGiammarino & Trudeau, 2008).
Das sogenannte Governance lässt sich als „gezielte Steuerung und Kontrolle von
Crowdaktivitäten“ (Leimeister & Zogaj, 2013, S. 43) beschreiben. Mit dem Einsatz
entsprechender Steuerungs- und Kontrollmechanismen lässt sich grundlegenden
Herausforderungen im Managementprozess von Crowdsourcing-Projekten
entgegenwirken. Zu den Herausforderungen zählen die Intergration effektiver
Anreizsysteme, die Verwaltung der meist unzähligen verschiedenen Nutzer-
Beiträge, die Reduktion des Kontrollverlustes des Crowdsourcers über den
Prozess und das Ergebnis, die Qualitätssicherung der Resultate und das Schaffen
2 Eine detaillierte Betrachtung über Formen, Funktionen und typische Komponenten von Crowdsourcing-Plattformen wird im Kapitel 2.4 vorgenommen.
17
von Vertrauen zwischen dem Unternehmen und der Crowd, um das kreative und
innovative Können der Crowd abzurufen (Jain, 2010).
Die vorangegangenen Schilderungen haben gezeigt, wie sich ein idealtypischer
Crowdsourcing-Prozess gestaltet, welche wesentlichen Tätigkeiten verrichtet
werden und welche zentralen Komponenten daran beteiligt sind. Abbildung 2
illustriert den beschriebenen Ablauf sowie die einzelnen Phasenabschnitte eines
idealtypischen Crowdsourcing-Projekts.
18
Inpu
t Pr
ozes
s O
utpu
t
Gov
erna
nce
Tech
nolo
gie
Au
fgab
enst
ellu
ng
defin
iere
n (u
nter
Be
rück
sich
tigun
g de
r Ko
mpl
exitä
t sow
ie A
rt de
s Pr
oble
ms)
Zerle
gung
kom
plex
er
Aufg
aben
in
Teila
ufga
ben
Be
stim
mun
g de
r Ar
beits
orga
nisa
tion
Be
stim
mun
g de
r R
ahm
enbe
ding
unge
n (Z
eitra
hmen
, Be
lohn
ungs
syst
eme)
final
es E
rgeb
nis
Ko
mpe
nsat
ion
der
C
row
dsou
rcee
s (m
onet
är v
s.
non-
mon
etär
)
Aufg
aben
-
verte
ilung
Aufg
aben
-
ausf
ühru
ng
Aggr
egat
ion
und
Ausw
ahl
der
Erge
bnis
se
Abbi
ldun
g 2:
Abl
auf e
ines
Cro
wds
ourc
ing-
Proj
ekts
(Que
lle: E
igen
e D
arst
ellu
ng in
Anl
ehnu
ng a
n Pe
ders
en e
t al.,
201
3; L
eim
eist
er &
Zog
aj, 2
013)
.
19
2.4 Crowdsourcing-Systeme Die wissenschaftliche Untersuchung von Crowdsourcing hinsichtlich seiner
Definition (Brabham, 2009; Estellés-Arolas & González-Ladrón-de-Guevara, 2012;
Howe, 2008; Saur-Amaral, 2015) oder Prozessstruktur (Ghezzi et al., 2017;
Leimeister & Zogaj, 2013) erfolte aufgrund umfangreicher Forschungsprojekte
sehr weitreichend. Doch im Gegensatz dazu erklären Geiger, Rosemann & Fielt
(2011, S. 1) bis dato die Auseinandersetzung mit Crowdsourcing-Systemen bzw.
Plattformen als „largely ignored by the IS research community“. Indes sind
unterschiedliche Untersuchungen zu Aufgabenbereichen und den dazugehörigen
Leistungen von Crowdsourcing-Plattformen (Hosseini et al., 2014; Pedersen et al.,
2013; Vukovic, 2009) sowie zur Arbeitsweise der Crowd entstanden (Afuah &
Tucci, 2012; Haythornthwaite, 2009). Zudem wurden umfangreiche Analysen zur
taxonomischen Kategorisierung von Crowdsourcing-Plattformen vorgenommen. Je
nach Kategorisierungskriterium lassen sich Crowdsourcing-Systeme nach
Komplexität der verrichteten Aufgaben (Hoßfeld, Hirth & Tran-Gia, 2012; Schenk &
Guittard, 2009), nach Art der Crowd-Motivation in Kombination mit der
Aufgabenschwierigkeit (Rouse, 2010), nach Einsatzbereichen (Yuen, King &
Leung, 2011) oder nach Arbeitsform und Charakteristika der Ergebnisse (Geiger,
Rosemann et al., 2011) typisieren. Der Anspruch der folgenden Ausführungen ist
es, ähnlich zu den vorangegangenen Kapiteln, das Wesen von Crowdsourcing-
Plattformen zu präzisieren und zu beschreiben.
Bereits bei der Begriffsbestimmung von Crowdsourcing-Systemen herrscht in der
Literatur keine definitorische Einigkeit vor, vielmehr existieren verschiedene
Fokussierungen auf einzelne Aspekte bzw. Perspektiven aus
Forschungsdisziplinen, die letztlich die Heterogenität des Terminus unterstützen.
Crowdsourcing-Systeme/-Plattformen lassen sich als „socio-technical systems that
provide informational products and services for internal or external customers by
harnessing the diverse potential of large groups of people, usually via the Web“
verstehen (Geiger, 2016, S. 8). Damit knüpft er an Überlegungen von Alter (2008)
über Informationssysteme an, bei denen Crowdsourcing-Plattformen eine
Umgebung schaffen, in der Individuen (Crowdsourcees) Arbeit verrichten und
informationelle Produkte bzw. Leistungen für externe Kunden produzieren
(Crowdsourcer).
20
Einen umfassenderen Blick nimmt Hetmank (2013) ein, der vier verschiedene
Betrachtungsweisen von Plattform-Definitionen für seine Untersuchung
identifizierte:
(1) Organisational perspective: Dabei wird die Funktion der Plattform als
Mediator bzw. Bindeglied bei der Aufgabenverteilung zwischen
Crowdsourcer und Crowdsourcees in den Fokus gerückt. Unter anderem
die Definitionen von Franklin, Kossmann, Kraska, Ramesh & Xin (2011) und
Hoßfeld, Hirth & Tran-Gia (2011) bedienen sich dieses Blickwinkels.
(2) Technical perspective: Insbesondere technische, aber auch
softwarebasierte Aspekte, wie Nutzerverwaltung, Vergütungs- oder
Qualitätskontrollfunktionen, besitzen in den Definitionen eine zentrale
Relevanz (Vukovic, 2009).
(3) Process perspective: Hierbei spielen prozessbasierte Tätigkeiten eine
übergeordnete Rolle. Dazu zählen u. a. die Definition und Weiterleitung von
Aufgaben oder die Aggregation von Ergebnissen (Doan, Ramakrishnan &
Halevy, 2011; Venetis, Garcia-Molina, Huang & Polyzotis, 2012).
(4) Human-centric perspective: Derartige Definitionen betrachten die
menschlichen Einflüssen – in Form von Wissen, Kreativität und Intelligenz –
auf den Plattformen als zentrales Beschreibungskriterium (Lofi, Selke &
Balke, 2012; Zhai et al., 2011).
Hetmank (2013) räumt ein, dass entlang der operationalisierten Kriterien keine
Definition im Untersuchungsdatensatz alle Perspektiven abdeckt. Lediglich die
Begriffsbestimmung von Vukovic (2009, S. 687) beinhaltet drei der eben vier
vorgestellten Blickwinkel:
„Crowdsourcing Platform is a trusted broker ensuring that providers successfully complete the task requests and that requestors pay for the charges. Crowdsourcing Platform issues authentication credentials for requestors and providers when they join the platform, stores details about skill-set, history of completed requests, handles charging and payments, and manages platform misuse. Crowdsourcing platform can execute crowdsourcing requests in a number of different modes, by advertising them on the marketplace, allowing providers to bid for them, or in the form of a competition, where requestor identifies criteria to be used for selection of the winning submission.“
Diese Definition soll als theoretische Grundlage für die folgende Arbeit dienen, da
sie die verschiedenen Forschungsperspektiven und zentralen Aspekte
21
(organisational, technical, process) vereint. Im Hinblick auf das zugrundeliegende
Forschungsinteresse eignet sich der breitgefächerte Ansatz von Vukovic (2009), in
dem sich diverse gegenwärtige Crowdsourcing-Plattformen unter der
Begriffsbestimmung wiederfinden bzw. Schnittstellen mit dieser aufzeigen, wie z.
B. 99designs, jovoto oder testbirds.
Die Kategorisierung von Crowdsourcing-Plattformen kann, wie einleitend illustriert,
entlang verschiedener Parameter und Bestimmungskriterien erfolgen.
Beispielsweise teilen Hoßfeld et al. (2012) Plattformen bezüglich der
Aufgabenschwierigkeit in Routineaufgaben (u. a. Microworkers.com, Amazon
Mechanical Turk), in komplexe Aufgaben (u. a. Wikipedia) sowie in kreative
Aufgaben (u. a. TopCoder.com, Dell IdeaStorm). Eine andere Einteilung
unternimmt Vukovic (2009), die existierende Crowdsourcing-Plattformen anhand
ihrer Funktionen (Design/Innovation, Development/Testing, Marketing/Sales und
Support) sowie des Crowdsourcing-Modus (Competition oder Marketplace)
unterteilt. So erhält das US-amerikanische Designportal 99designs die Attribute
Design/Innovation und Competition sowie das Programmierportal TopCoder die
Einteilung in Development/Testing und Marketplace.
Eine aktuelle Untersuchung zur Entwicklung einer Plattform-Taxonomie kommt
von Leimeister, Zogaj, Durward & Blohm (2016). Auf einer Datengrundlage von
100 Plattformen und idealtypischen Prozessphasen eines Crowdsourcing-Projekts
als Bewertungskriterien wurden mithilfe einer Clusteranalyse fünf Plattformtypen
ermittelt:
(1) Auf Microtask-Plattformen werden insbesondere Aufgaben granularer,
einfacher Natur verrichtet, die keine speziellen Anforderungen an die Crowd
benötigen. Die Crowdsourcees arbeiten wettbewerbsorientiert. Die
Ergebnisse werden selektiv bewertet und fix vergütet. Beispiele für
Microtask-Plattformen sind Clickworker oder Bitworxx.
(2) Marktplatz-Plattformen, wie Crowdguru, leiten Aufgaben mit hoher
Komplexität und geringer Feinkörnigkeit an die Crowd weiter. Dabei findet
zumeist eine Vorauswahl gemäß den Crowd-Qualifikationen statt. Ähnlich
wie beim ersten Typen werden die Aufgaben wettbewerbsorientiert erledigt.
Entlohnt wird die Crowd mittels vorher festgelegter Beträge.
22
(3) Zu den Design-Plattformen zählen u. a. 99designs oder
designenlassen.de. Für die komplexen Keativaufgaben werden meist
bestimmte Fähigkeiten vorausgesetzt, die in ergebnisorientierten
Ideenwettbewerben angewendet werden. Die Auswahl der
Designvorschläge vollzieht sich gewöhnlich selektiv, wobei meist nur ein
Gewinner hervorgeht und entsprechend vergütet wird.
(4) Bei Testing-Plattformen wird vor der Bearbeitung der komplexen,
wenig granularen Aufgaben die Crowd kontextspezifisch ausgewählt. Die
Ergebnisse werden integrativ bewertet und erfolgsabhängig oder fix
vergütet. Zu den bekanntesten Portalen gehören testcloud oder testbird.
(5) Jovoto, Dell IdeaStorm oder SAPiens stehen beispielhaft für Innovationsplattformen. Die Aufgaben lassen sich als sehr gering
granular sowie als entweder komplex bzw. wenig komplex einstufen. Durch
die Aufgabenstruktur ist eine Vorauswahl entlang soziodemografischer
Merkmale oder individueller Fähigkeiten nicht entscheidend. Vielmehr
profitieren die Plattformen von vielseitigen, unterschiedlichen Lösungsideen
und Ansichten, die auch in Kollaboration der Crowd entwickelt werden. Die
Bewertung der Ergebnisse geschieht meist selektiv. Die Vergütung kann
dabei nicht nur monetär, sondern auch in Form von Sachprämien
geschehen.
Ähnlich wie bei der Begriffsbestimmung existieren verschiedene Ansätze zur
Kategorisierung von Crowdsourcing-Plattformen in der Literatur. Geschuldet ist
dies der hohen Dynamik innerhalb des Themas Crowdsourcing, durch die sich
neue Plattformen bilden oder bereits existierende Portale in ihren Funktionen
weiterentwickeln, die schließlich die Diversität und Ausdifferenzierung
vorantreiben. Aus wissenschaftlicher Perspektive lassen sich dadurch Defizite in
Bezug auf die Plattform-Vergleichbarkeit erkennen, die auf das Fehlen von
empirischen Untersuchungen als Grundlage zur Taxonomie-Bildung zurückgehen
(Leimeister et al., 2016). Geiger, Rosemann et al. (2011) attestierten der
Wissenschaft sogar eine regelrechte Ignoranz auf diesem Forschungsfeld.
23
Die Nutzung der Crowd und die Einbeziehung von Crowdsourcing-Plattformen in
unternehmerische Prozesse kann über verschiedene Wege geschehen (Hoßfeld
et al., 2012):
(1) Das Unternehmen (Crowdsourcer) unterhält eine eigene interne
Crowdsourcing-Plattform, wie der Computerhersteller Dell mit
Ideastrom oder der Softwarehersteller SAP mit SAPiens, und
verwaltet Crowdsourcing-Projekte in Eigenregie.
(2) Der Crowdsourcer wählt eine externe, eigenständige Crowdsourcing-
Plattform, die als Bindeglied zwischen Unternehmen und Crowd
fungiert. Diese sogenannten Intermediäre sind „web platforms which
function as marketplaces, thereby managing the relationship
between crowdsourcers and crowdsourcees“ (Zogaj, 2016, S. 380),
sie unterliegen damit typischen Mechanismen eines zweiseitigen
Marktes wie indirekten und direkten Netzwerkeffekten (Leicht et al.,
2016).
Intermediäre – wie jovoto, testbirds, 99designs oder Crowd Guru – sind dabei die
meist genutzte Form, da sie zum einen den gesamten Prozess von der
Aufgabenverteilung über die Steuerung und Kontrolle der Crowd und der
Ergebnisse bis hin zur Vergütung übernimmt. Zum anderen kompensieren
Intermediäre zumeist unternehmensseitige Ressourcendefizite bei der Betreuung
der Projekte, sie gleichen fehlendes Know-how in Bezug auf Crowdsourcing aus
und minimieren damit Risiken, Anstrengungen und Aufwendungen für
Crowdsourcer (Zogaj, 2016).
24
3. Einflussfaktoren auf die Ergebnisqualität Diverse Wissenschaftler, allen voran Jain (2010), Boudreau & Lakhani (2013)
sowie Kittur et al. (2013), vertreten den Standpunkt, dass die zielführende
Lenkung und Leitung der Crowd eine der zentralen Herausforderungen und
Schwierigkeiten im Crowdsourcing darstellt. Indes gehen DiGiammarino &
Trudeau (2008, S. 10) einen Schritt weiter und bekräftigen den Konsens mit den
Worten: „Technology is a crucial lever, but the challenge is ultimately one of
governance and management.“ Trotz übereinstimmender Auffassung hält sich die
Forschung hinsichtlich der Untersuchung von Kontrollmechanismen bedeckt.
Pedersen et al. (2013, S. 586) konstatieren den Forschungsstand und den
dringenden Handlungsbedarf wie folgt: „minimal research related to governance
was found, but proper governance mechanisms was offered as the key to success
by serveral reseachers.“ Zu dem kleinen Anteil an Forschungsberichten gehören
u. a. die Untersuchungen von Jain (2010) und Pedersen et al. (2013), die erste
taxonomieartige Ergebnisse in Bezug auf Governance und dessen Mechanismen
aufzeigen.
Vor dem Hintergrund von Crowdsourcing definiert Zogaj (2016, S. 4) Governance
als „a means of achieving the direction, control and coordination of wholly or
partially autonomous individuals on behalf of a crowdsourcing initiative to which
they (jointly) contribute.“ Der Governance-Aspekt spielt dabei nicht erst seit dem
Aufkommen des Crowdsourcing eine bedeutungsvolle Rolle; bereits bei Open
Source Communities hatte das gezielte Lenken der Mitglieder eine zentrale
Aufgabe inne (Bowles & Gintis, 2002). Ohne die bewusste und zielführende
Kontrolle der Crowd lässt sich das gewünschte Ergebnis zumeist nicht erreichen,
so geschehen beim Wiki-Roman „A Million Penguins“. Das Ziel des Projekts war
es, mit Unterstützung der Crowd einen Roman zu verfassen. Mit über 1500
Mitwirkenden und letztlich über 4000 verfassten Seiten endete das Experiment in
einem regelrechten Chaos (Mason & Thomas, 2008). Jain (2010, S. 5) beschreibt
das Ergebnis als „meandering, incoherent, anarchic and uncontrollable“ und sieht
den Grund in den fehlenden Kontrollmechanismen, wie etwa Ergebniskontrolle
oder Aufgabenverteilung. Governance zielt dabei stets darauf ab, das gewünschte
Resultat im Rahmen der gesteckten Anforderungen zu erreichen und besitzt damit
einen qualitätsorientierten Charakter (Pedersen et al., 2013). Um an diesen Punkt
25
zu gelangen, stehen den Crowdsourcing-Plattformen verschiedene Hebel und
Mechanismen zur Verfügung, mit denen sie Einfluss auf spezifische Faktoren
nehmen können und so den (qualitativen) Erfolg des Projekts sichern können.
Die Literatur bezüglich strukturierter Forschungsergebnisse im Spannungsfeld von
Einflussgrößen und deren Kontrollmechanismen ist rar gesät. Zumeist fokussieren
sich die Untersuchungen auf den Zusammenhang zwischen Ergebnisqualität und
individuellen Eigenschaften der Crowd, wie zum Beispiel der Motivation
(Rogstadius et al., 2011; Zhao & Zhu, 2012), bzw. plattformseitigen
Einflussbereichen, wie Aufgabenstellung (Finnerty, Kucherbaev, Tranquillini &
Convertino, 2013) oder gesetzten Belohnungs-Anreizen (E. Mourelatos & M.
Tzagarakis, 2016; Mason & Watts, 2009). Neben den eingangs erwähnten
Arbeiten von Jain (2010) und Pedersen et al. (2013) zeigen u. a. Zogaj (2016),
Allahbakhsh et al. (2013) sowie Rechenberger, Jung, Schmidt & Rosenkranz
(2015) in übersichtlicher Art und Weise, welche Qualitätsfaktoren und
Kontrollsysteme im Crowdsourcing vorherrschen. Verschiedene Studien haben
bereits verdeutlicht, dass die Lösungen der Crowd besser sein können als die
einzelner Individuen (Kittur & Kraut, 2008; Ray, 2006) sowie ebenbürtig mit den
Ergebnissen von Fachleuten (Hsueh, Melville & Sindhwani, 2009; Poetz &
Schreier, 2012) und Experten (Leimeister, 2010). Mitverantwortlich dafür ist eine
Vielzahl von Faktoren, die Einfluss auf die Qualität und Verwendbarkeit der
Lösungsvorschläge der Crowd haben. Beispielsweise besitzen die Gestalt der
Aufgabenstellung, die Form der Vergütung (Finnerty et al., 2013) und die
soziodemografischen Eigenschaften der Crowd (Kazai et al., 2012) einen Effekt
auf das spätere Ergebnis. Dies sind nur drei Faktoren, die einen qualitativen
Einfluss auf die zu erarbeitenden Ergebnisse der Crowd haben. Weitere relevante
Einflussgrößen sollen in den folgenden Unterkapiteln vorgestellt werden.
Prinzipiell lassen sich Einflussfaktoren auf die Qualität der Crowdwork entlang
folgender Dimensionen einordnen: Zogaj (2016) orientiert sich bei seiner
Typisierung an der Kontrolltheorie nach Snell (1992) und ordnet die
Determinanten nach ihrem Einflussbereich im Prozessablauf in Input Control,
Behaviour Control, Output Control ein. Input Control nimmt dabei die
vorherrschenden Fähigkeiten und Wissensbestände der Crowd sowie die
Zielstellung des Crowdsourcers in den Fokus. Qualitätsfaktoren, die sich dem
26
Behaviour Control zuordnen lassen, beeinflussen das Verhalten der Crowd
während des Arbeitsprozesses, beispielsweise durch Regeln oder
organisatorische Veränderungen. Ouput Control fokussiert sich auf das Ergebnis
des Projekts hinsichtlich Belohnung und Bewertung. Im Gegensatz dazu
unterscheiden Allahbakhsh et al. (2013) die Einflüsse zwischen Worker’s Profile,
das die individuelle Beschaffenheit der Crowd beschreibt, und Task Design, das
die strukturelle Eigenart der Aufgabenstellung hinsichtlich ihrer verständlichen
Definition oder Granularität berücksichtigt.
Vor diesem Hintergrund bietet sich die Unterteilung in crowd- und
plattformabhängige Einflussgrößen an. Angelehnt an die Differenzierung von
Allahbakhsh et al. (2013) beschreiben crowdabhängige Determinanten die
strukturelle Zusammensetzung und die individuelle Gestalt der Crowdworker, die
zum genuinen Wesen der Crowd gehören und letztlich von der Plattform in ihrem
Ursprung nicht verändert werden können. Dazu zählen u. a. soziodemografische
Charakteristiken, wie Alter oder Geschlecht (Downs et al., 2010; Kazai et al.,
2012), Persönlichkeitsmerkmale der Crowd (Lykourentzou, Antoniou, Naudet &
Dow, 2016; Mourelatos & Tzagarakis, 2016) oder die Ausprägung der Crowd-
Motivation (Rogstadius et al., 2011). Plattformseitige Einflussgrößen richten ihren
Blick auf die technischen, konzeptionellen und infrastrukturellen
Rahmenbedingungen im Zusammenspiel von Crowd, Aufgabe und Plattform. So
bedingt beispielsweise das Aufgabendesign in seiner Komplexität, Granularität
und Aufgabenverteilung an die Crowd (Finnerty et al., 2013; Geiger & Schader,
2014) die endgültige Ergebnisqualität. Des Weiteren tragen finanzielle Anreize
(Mason & Watts, 2009; Wu, Corney & Grant, 2014) und konstruktives Feedback
(Dow et al., 2012) zu qualitativ hochwertigen Beiträgen bei. Das folgende Kapitel
soll dazu dienen, die wesentlichen Qualitätsfaktoren, differenziert nach der eben
dargestellten Kategorisierung, zu charakterisieren (Abbildung 3).
27
3.1 Crowdabhängige Einflussfaktoren
3.1.1 Soziodemografische Merkmale Mit dem Aufkommen der empirischen Sozialforschung im 17. Jahrhundert besitzt
die systematische Erfassung, Analyse und Auswertung soziodemografischer
Daten nicht nur eine lange akademische Tradition, sondern dient seitdem auch als
methodische Grundlage für gesellschaftliche Klassifizierungsansätze nach
Schichten (Geiger, 1987) oder Lebensstilen (Bourdieu, 1987). Bei der
Untersuchung des Wählerverhaltens befragten Lazarsfeld, Berelson & Gaudet
(1944) mithilfe einer Panelbefragung Wahlberechtige hinsichtlich ihrer politischen
Einflussfaktoren auf die Ergebnisqualität
crowdabhängige Faktoren plattformabhängige Faktoren
soziodemografische Merkmale
Persönlichkeitsmerkmale
Motivation
Aufgabendesign
Aufgabenselektion und-empfehlung
Verständlichkeit
Komplexität
visuelle Darstellung extrinsisch
intrinsisch
finanzielle Vergütung
Abbildung 3: Einflussfaktoren auf die Ergebnisqualität im Crowdsourcing (Quelle: Eigene Darstellung).
Feedback
28
Einstellung und ihrer Lebensumstände (Bildungsabschluss, Einkommen, Wohnort)
und sie erkannten in ihren Analysen einen Zusammenhang zwischen
Wahlpräferenzen und individuellen Faktoren. Lazarsfeld (1969, S. 62) formuliert
das Ergebnis wie folgt: „Ein Mensch denkt politisch entsprechend seinem sozialen
Sein. Soziale Merkmale bestimmen die politischen Präferenzen.“ Auch vor dem
Hintergrund des Crowdsourcing und insbesondere während des Projektablaufs
nehmen soziodemografische, aber auch sozioökonomische Attribute eine
einflussreiche Rolle ein. So bedingt die Beschaffenheit der Crowd in Form ihres
Geschlechts, ihres Alters, ihres Bildungsabschlusses und ihrer Herkunft die
Ergebnisqualität. In einer Untersuchung mit 263 Crowdworkern auf der Microtask-
Plattform Amazon Mechanical Turk (AMT) veranschaulichen Kazai et al. (2012)
den Effekt soziodemografischer Faktoren auf die Ergebnisgenauigkeit:
(1) Bei der Betrachtung der Wohnorte der Crowd wird deutlich, dass die
Crowdworker aus Europa (75 %) und USA (72 %) präzisere Ergebnisse leisten als
jene aus Asien (50 %). Zurückzuführen lässt sich dies auf eventuelle
Sprachprobleme zu Lasten des Aufgabenverständnisses, woraus fehlerhafte
Ergebnisse resultieren können. Eine weitere mögliche Erklärung liegt darin, dass
mit der Einführung finanzieller Belohnungen auf AMT Crowdworker Aufgaben
bewältigen, für die sie nicht die notwendigen Sprachqualifikationen besitzen – sie
werden letztlich nur durch den monetären Aspekt angezogen (Pavlick, Post, Irvine,
Kachaev & Callison-Burch, 2014). (2) Ebenso hat das Alter einen signifikanten
Einfluss auf die Qualität der Ergebnisse. So liegt die Treffergenauigkeit der 20-
jährigen Crowdworker mit ca. 57 % deutlich niedriger als die der 60-Jährigen mit
ca. 80 %. Zu einer äquivalenten Ansicht kommen auch Downs et al. (2010), indem
sie mithilfe zweier vorqualifizierender Fragen (leicht und schwer) im Vorfeld der
tatsächlichen Aufgabe Rückschlüsse auf den Zusammenhang zwischen
demografischen Faktoren, Antwortqualität und der späteren Aufgabenleistung
ziehen. Dabei zeigte sich, dass jüngere Teilnehmer (17- bis 29-Jährige) weitaus
seltener die Fragen korrekt beantworten als ältere Teilnehmer (30- bis 75-Jährige).
(3) Bei der Determinante Bildung kommen Kazai et al. (2012) zum dem
unerwarteten Ergebnis, dass sie keinen signifikanten Einfluss auf die
Ergebnisqualität besitzt. Obwohl sie selbst von der Annahme ausgingen, dass
besser ausgebildete Crowdworker auch qualitativ hochwertigere Ergebnisse
erschaffen. (4) Hinsichtlich des Geschlechts zeigen beide Studien unterschiedliche
29
Resultate. Kazai et al. (2012) bescheinigen der Einflussgröße Geschlecht keinen
signifikanten Einfluss auf die Ergebnisgenauigkeit. Im Gegensatz dazu deuten die
Untersuchungsergebnisse von Downs et al. (2010) auf einen minimalen Einfluss
des Geschlechts bei der korrekten Beantwortung der Vorqualifikationsfragen und
der späteren Arbeitsleistung hin (Frauen: 66 %, Männer: 60 %).
Vor dem Hintergrund der soziodemografischen Zusammensetzung der
Crowdworker auf Amazon Mechanical Turk (AMT) erhalten die eben dargestellten
Zusammenhänge eine tragende Bedeutung für die Ergebnisqualität. Neun Jahre
nach der Gründung von Amazon Mechanical Turk im Jahr 2005 sind ungefähr
500.000 Crowdworker registriert (Kuek, Paradi-Guilford, Fayomi, Imaizumi &
Ipeirotis, 2015). Nach Ross et al. (2010) stammen mehr als die Hälfte der Nutzer
aus den USA (57 %) und knapp ein Drittel aus Indien (32 %). Die restlichen 11
Prozent entfallen u. a. auf Kanada, die Philippinen und weitere Länder, die in der
Untersuchung nicht präziser differenziert werden. Die Altersspanne auf AMT reicht
von 18 bis zu 71 Jahren. Der Median liegt bei 27 Jahren und betont damit die
junge Altersstruktur der Crowd. Nahezu zwei Drittel der Crowdworker sind jünger
als 30 Jahre. Hinsichtlich der Geschlechterverteilung sind Frauen mit 55 %,
Männer mit 45 % auf AMT vertreten. Dies beruht allerdings auf dem Umstand,
dass in den USA mehr Frauen als Männer auf AMT registriert sind, da Frauen
zumeist während ihrer Elternzeit oder bei Arbeitslosigkeit auf AMT aktiv sind
(Ipeirotis, 2010).
3.1.2 Persönlichkeitsmerkmale Neben sozial und gesellschaftlich konstituierenden Strukturen bedingen auch
Persönlichkeitsmerkmale und individuelle Charakterzüge der Crowd das
endgültige Ergebnis. Basierend auf dem „Big Five“-Modell nach Goldberg (1992),
das die menschliche Persönlichkeit nach den Dimensionen Offenheit für
Erfahrungen, Gewissenhaftigkeit, Verträglichkeit, Extraversion und Neurotizismus
skizziert, haben Kazai et al. (2012) und Mourelatos & Tzagarakis (2016) den Effekt
von Persönlichkeitsmerkmalen auf die Arbeitsleistung analysiert. Es wird deutlich,
dass insbesondere die Dispositionen Offenheit für Erfahrungen und
Gewissenhaftigkeit zu einer erhöhten Ergebnisgenauigkeit beitragen. Die
Persönlichkeitsgrößen Verträglichkeit und Neurotizismus hingegen haben keinerlei
signifikante Einflusskraft auf die Ergebnisqualität (Kazai et al., 2012). Zu einem
30
anderen Ergebnis kommen Mourelatos & Tzagarakis (2016), indem sie der
Dimension Extraversion und somit Menschen, deren Stärke im Knüpfen sozialer
Kontakte und im Kommunizieren liegt (6,4 % bessere Ergebnisse), sowie der
Persönlichkeitseigenschaft emotionale Stabilität als Gegenteil von Neurotizismus
einen Einfluss auf die Qualität nachweisen konnten. Vor allem bei Crowdsourcing-
Aufgaben, die ein hohes Maß an Kooperation, Kommunikation und kreativen
Lösungsansätzen erfordern, beispielsweise bei Ideenwettbewerben auf
Innovationsplattformen, lässt sich erahnen, dass individuelle Einstellungen und
Charakterzüge die innovative Ergebnisqualität bedingen. Charakteristiken wie
Kreativität oder Proaktivität fördern innovatives Verhalten in Form von
weitsichtigen Ideen und hilfreichen Kommentaren während der Crowdsourcing-
Aufgabe an sich und bestimmen damit das Lösungsergebnis (Zhu, Djurjagina &
Leker, 2014).
Doch nicht nur bestimmte individuelle Wesenszüge bedingen die Arbeitsleistung,
sondern auch die charakterliche Zusammensetzung der Crowd. Verschiedene
Studien zeigen, dass die Zusammenstellung von Teams nach passenden
Persönlichkeitsmerkmalen, bei dem jedes Teammitglied seine einzigartigen
Attribute beiträgt, bessere Ergebnisse erzielten und zugleich effektiver miteinander
arbeiten (Gilley, Morris, Waite, Coates & Veliquette, 2010; Halfhill, Sundstrom,
Lahner, Calderone & Nielsen, 2016). Nach Lykourentzou et al. (2016) besitzt die
Gruppenstruktur, die im optimalen Gleichgewicht zwischen Rollentypen und
persönlichen Charakterweisen (d. h. dominanten, aufgabenorientierten und auf
sozialen Interaktionen bedachten Führungsmitgliedern sowie sozioemotionalen
und unterwürfigen Nicht-Führungsmitgliedern) steht, Vorteile gegenüber
unausgeglichenen Gruppen. Insbesondere konnten nach
Persönlichkeitsmerkmalen zusammengestellte Gruppen bei der Kommunikation im
Prozess, bei der eigenen Zufriedenheit mit dem Endresultat und bei der finalen
Ergebnisqualität, die durch Experten und Crowd bewertet wurde, überzeugen.
Nicht nur die Einflussnahme auf das faktische Resultat verdeutlicht den Einfluss
von Persönlichkeitsmerkmalen, sondern auch das wahrnehmbare Ergebnis
seitens der Crowd wird hierbei sichtbar.
31
3.1.3 Motivation der Crowdsourcees Die wissenschaftliche Auseinandersetzung mit der Nutzer-Motivation zur
Beteiligung an Crowdsourcing-Projekten ist so vielfältig wie die Motive selbst. Die
Spannweite der Forschungsarbeiten reicht von systematischen Übersichten zur
Partizipation auf Crowdsourcing-Plattformen (Bretschneider & Leimeister, 2016;
Hossain, 2012; Zhao & Zhu, 2012) über den Zusammenhang zwischen
Motivation(-sarten) und Ergebnisqualität (Borst, 2010; Goncalves, Hosio,
Rogstadius, Karapanos & Kostakos, 2015; Rogstadius et al., 2011; Litman,
Robinson & Rosenzweig, 2015) bis hin zu quantitativen Untersuchungen der
Beweggründe auf Crowdsourcing-Plattformen, wie beispielsweise Threadless
(Brabham, 2010), iStockphoto (Brabham, 2008) oder Amazon Mechanical Turk
(Ipeirotis, 2010; Kaufmann, Schulze & Veit, 2011).
Prinzipiell lässt sich Motivation als „eine aktivierende Ausrichtung des
momentanen Lebensvollzugs auf einen positiv bewerteten Zielzustand“
(Rheinberg, 2000, S. 15) auffassen. Nach Deci & Ryan (1985) lässt sich zwischen
intrinsischer und extrinsischer Motivation differenzieren. Intrinsische Motivation
stützt sich dabei auf innere, persönliche Beweggründe (Motive), die durch Reize
aktiviert werden und Verhalten initiieren, das an sich Spaß macht oder als
befriedigend empfunden wird. Das heißt, der Impuls für das Handeln liegt im
Handeln selbst und wird nicht von externen Einflüssen, wie Kompensationen,
ausgelöst (Rost, 2010). Im Kontrast dazu wird bei der extrinsischen Motivation die
Handlung nicht durch die Handlung selbst aktiviert, sondern durch das Ergebnis
bzw. das Ziel (Wagner, Hinz, Rausch & Becker, 2014). Diese Art der Motivation
sowie das damit verbundene Verhalten werden durch äußere Einflussfaktoren, wie
z. B. finanzielle Belohnungen, bewirkt und lassen sich grundlegend als Mittel
(Handlung) zum Zweck (Ziel) skizzieren.
Wie bereits eingangs erwähnt, sind die Beweggründe zur Teilnahme an
Crowdsourcing-Initiativen vielfältiger Natur. Die extrinsischen Motive können sich
dabei auf monetäre Anreize stützen (Archak, 2010), aus Selbst-
vermarktungszwecken generieren, aus dem Drang, die persönlichen Fähigkeiten
zu verbessern (Brabham, 2010), sowie aus der Verbesserung zukünftiger
Jobaussichten nähren (Kaufmann et al., 2011). Intrinsische (Motivations-)Antreiber
können Ruhm (Archak, 2010) sowie das Zugehörigkeitsgefühl zu einer virtuellen
32
Community und der damit verbundenen Identifikation mit deren Werten und
Normen sein (Brabham, 2010; Lakhani & Wolf, 2003). Aber auch Motive wie Spaß,
Freude oder Reputation spielen als treibende Kraft eine Rolle (Antikainen,
Mäkipää & Ahonen, 2010; Ipeirotis, 2010; Lakhani & Wolf, 2003; Leimeister et al.,
2009). Nutzer schöpfen ebenso ihre Motivation aus altruistischen Gründen, indem
sie ihre eigenen Interesse dem Gemeinwohl unterordnen (Hossain, 2012).
Betrachtet man das breite Motivspektrum aus der Differenzierung zwischen
intrinsischer und extrinsischer Motivation, so gestaltet sich die Taxonomie wie folgt
(Tabelle 1):3
Extrinsische Motive Intrinsische Motive
monetäre Belohnung Spaß und Freude
Verbesserung der Jobaussichten Reputation
Verbesserung der persönlichen Fähigkeiten Altruismus
Self-Marketing soziale Interaktionen
Identifikation mit der Community
Tabelle 1: Extrinsische und intrinsische Motive im Crowdsourcing (Quelle: Eigene Darstellung in Anlehnung an Kaufmann et al., 2011).
Traditionelle ökonomische Ansätze gehen davon aus, dass es vor allem mit der
Steigerung der extrinsischen Motivation, die zumeist mit finanziellen Anreizen
verbunden ist, eine Steigerung der Arbeitsqualität zur Folge hat (Gibbons, 1996;
Deci, 2012). Im Kontext des Crowdsourcing lassen sich diese Erkenntnisse jedoch
nicht zweifelsfrei bestätigen. Auf der einen Seite bekräftigen die
Forschungsergebnisse von Litman et al. (2015), indem Probanden auf AMT unter
gegensätzlichen finanziellen Stimuli (keine vs. finanzielle Belohnung) Aufgaben
ausgesetzt worden sind, dass die monetäre Belohnung als extrinsische Motivation
keinen Effekt auf die Ergebnisqualität ausübt. Zu einem ähnlichen Ergebnis
kommen auch Rogstadius et al. (2011). Sie konnten nachweisen, dass intrinsisch
motivierte Crowdworker genauere und damit qualitativ hochwertigere Resultate
zum Vorschein brachten als Crowdworker, die extrinsisch motiviert waren. Auf der
anderen Seite lässt sich die Einflusskraft finanzieller Anreize auf die Arbeitsqualität 3 Eine feingliedrigere Typisierung unternehmen u. a. Zhao und Zhu (2012), Hossain (2012) sowie
Kaufmann et al. (2011). Ausgehend von der Kategorisierung in extrinsische und intrinsische Faktoren unterteilt Hossain (2012) diese nochmals in finanzielle, soziale und organisatorische Motive. Zhao und Zhu (2012) bedienen sich bei ihrer Taxonomie der Differenzierung in external, introjected, identified, integrated und intrinsic motivation.
33
nicht komplett ausschließen, da monetäre Belohnungen nur ein Puzzleteil im
vielseitigen Motivationsgeflecht der Crowdworker darstellen. Diese Ansicht teilt
auch Harris (2011), indem seine Forschungsergebnisse darauf hinweisen, dass
die Crowd durch finanzielle Belohnungsanreize bessere Ergebnisse produziert als
ohne. Litman et al. (2015) sowie Rogstadius et al. (2011) heben den Effekt
besonders in Bezug auf die Höhe der finanziellen Entschädigung hervor. Ähnlich
zeigt sich dies bei Mason & Watts (2009), die ebenfalls Qualitätsveränderungen in
Abhängigkeit von Höhe, Art und Weise der Belohnung feststellen konnten. In
Kapitel 3.2.3 soll näher auf die Belohnungsstruktur und deren Einfluss auf die
Arbeitsqualität eingegangen werden.
Nachdem extrinsische Motivation nachweislich keinen übergeordneten Einfluss
auf die Qualität einnimmt, wendet sich das Blatt bei den intrinsischen Motiven.
Basierend auf der Differenzierung nach Kaufmann et al. (2011) – der intrinsische
Motivation in enjoyment-based und community-based unterteilt, mit den
Beweggründen Beteiligung an sozialen Interaktionen, Zugehörigkeit zur
Community und Identifikation mit ihr – haben Goncalves et al. (2013) ein
Experiment durchgeführt. Finnische Studenten sollten an Flachbildschirmen mit
Touch-Funktion von Malaria-Erregern befallene Blutzellen identifizieren. Die
Intention der Wissenschaftler war es, mithilfe von Eingangstexten, die jeweils auf
intrinsische Motive abzielen, den Effekt auf die Arbeitsqualität zu untersuchen. Als
Ergebnis wurde festgestellt, dass die beiden intrinsischen Motivationskategorien
einen Einfluss auf die Treffsicherheit sowie Aufgabenbearbeitugnszeit ausüben
und Studenten damit letztlich deutlich bessere Ergebnisse liefern als Studenten
ohne Motivationshintergrund. Auch wenn das Untersuchungsdesign nicht der
Crowdsourcing-Definition nach Estellés-Arolas & González-Ladrón-de-Guevara
(2012) entspricht, signalisieren die Ergebnisse doch einen signifikanten
Zusammenhang zwischen intrinsisch motivierten Crowdworkern und deren
Arbeitsleistung. Eine derartige Beziehung bekräftigen auch die Beobachtungen
von Borst (2010) und Huang & Fu (2013). Beide Forschungsberichte bescheinigen
den Motiven Spaß und Freude einen positiven Effekt auf die Anzahl und
Neuartigkeit der eingereichten Beiträge, die sich zur faktischen
Qualitätsbeurteilung zählen lassen.
34
Motive, die community-based sind, sind einer der zentralen intrinsischen
Motivationsgeber zur Partizipation an Crowdsourcing-Projekten (Brabham, 2008,
2010; Kaufmann et al., 2011). Davon ausgehend können soziale Interaktionen in
Form von Kollaborationen, Diskussionen, Bewertungen und geteilten persönlichen
Informationen untereinander die Beitragsqualität beeinflussen. Huang & Fu (2013)
verdeutlichen diese Beziehung, indem sie herausfanden, dass soziale
Transparenz den Effekt Social loafing minimiert und den Effekt Social facilitation
maximiert. Social loafing beschreibt den Umstand, dass bei Gruppenarbeiten die
individuelle Leistung nachlässt, wenn allein das Gruppenergebnis bewertet wird.
Bei Social facilitation steigt die individuelle Leistung, wenn Gruppenmitglieder
wissen, dass ihre eigene Leistung mit der Leistung der restlichen Mitglieder
verglichen wird. So zeigen Huang & Fu (2013) auf, dass mithilfe sozialer
Transparenz – in Form demografischer Informationen über die Mitstreiter – die
individuelle Arbeitsleistung unter Wettbewerbsbedingungen verbessert wird. In
Bezug auf Social loafing hat sich der Effekt bei kollaborativen Aufgaben bestätigt,
er deutet an, dass demografische Informationen über die Crowd die
Arbeitsleistung erhöht, weil dadurch, so die Begründung von Huang & Fu (2013),
altruistische Motive aktiviert werden und mehr Engagement in die Erledigung der
Aufgabe gesteckt wird. Die Vermutung, dass Altruismus sich als gleichgewichtiger
Gegeneffekt zum Social loafing positioniert, konnte nicht bestätigt werden, da
Crowdworker mit einem treffsicheren Teammitglied schlechtere Ergebnisse liefern
als mit einem ungenauen Partner. Allerdings räumen sie ein, dass dies nicht
bedeutet, dass Altruismus keinen positiven Effekt auf die Arbeitsleistung hat,
sondern dass altruistische Motive seitens der Plattform zukünftig stärker gefördert
werden sollten, um negative soziale Interaktionseffekte wie Social loafing zu
vermeiden.
So förderlich intrinsische Motivation für die Arbeitsqualität sein kann, so kann sie
ebenfalls einen negativen Effekt im Zusammenspiel mit extrinsischen Anreizen
ausüben. Verschiedene Studien aus dem interdisziplinären Forschungsgebiet
Psychologie und Erziehung/Bildung unterstützen diese Hypothese, so u. a. auch
die vielbeachteten Wissenschaftlicher und Begründer der self-determination-
theory Deci & Ryan (1987). Die beiden US-amerikanischen Psychologen sind der
Ansicht, dass extrinsische Motive, wie Belohnungen, die intrinsischen Motive
35
untergraben, negativ beeinflussen und letztlich überstimmen. Allerdings
widerlegen Cameron & Pierce (1994) in einer umfangreichen Meta-Analyse die
Resultate eben solcher traditionellen Forschungsvorhaben und kommen zu dem
Fazit, dass fehlerhafte wissenschaftliche Diskussionen und Verallgemeinerungen
zu einem „great deal of misunderstanding about the overall effects of reward and
reinforcement on intrinsic motivation“ (Cameron & Pierce, 1994, S. 395) geführt
haben.
Ungeachtet dessen haben die vorangegangenen Erläuterungen den Effekt
intrinsischer oder extrinsischer Nutzer-Motivation auf die Arbeitsqualität
hinsichtlich des finalen Ergebnisses und der Arbeitsleistung (z. B.
Bearbeitungszeit) während des Leistungserstellungsprozesses offengelegt. Trotz
der vielseitigen Forschungen auf diesem Gebiet sehen Wissenschaftler weiterhin
Spielraum für Untersuchungen. Die ist insbesondere dem Fakt geschuldet, dass
die Diversität und Komplexität der Crowd zu hoch ist, um Generalisierungen
abseits einzelner Crowdsourcing-Plattformen vorzunehmen (Rogstadius et al.,
2011). Auch die fortschreitende technische Weiterentwicklung in Bezug auf
neuartige motivationsspezifische Belohnungsmechanismen von Crowdsourcing-
Plattformen schafft neue Forschungsfelder (Hossain, 2012).
3.2 Plattformabhängige Einflussfaktoren
3.2.1 Aufgabendesign – Klarheit, Komplexität und visuelle Darstellung Das Sprichwort „Es gibt keine dumme Fragen, nur dumme Antworten“ ist in vielen
Lebensbereichen ein wahrhaft nützlicher Ratschlag. Doch im Kontext des
Crowdsourcing und der damit verbundenen Qualitätsansprüche seitens der
Crowd, der Plattformen und der Auftragsgeber erweist sich der motivierende und
hilfreiche Kern der Aussage als schädigend. Denn im Crowdsourcing existieren
„dumme Fragen“, aus denen „dumme Antworten“ resultieren. Um kontraproduktive
Antworten, im Sinne qualitativ schlechter Ergebnisse, zu vermeiden, gilt es,
mithilfe zielgerichteter Frage- bzw. Aufgabenstellungen die Verständlichkeit und
Klarheit zu verbessern. Grundlegend sollte die Aufgabe hinsichtlich ihrer
Verständlichkeit (1), auch in Bezug auf verschiedene Sprachen, ihrer Komplexität
(2) und ihrer visuellen Darstellung (3) einfach, greifbar, granular und übersichtlich
36
gestaltet sein – getreu der Maxime „keep it simple“ (Afuah & Tucci, 2012; Finnerty
et al., 2013; Khanna, Ratan, Davis & Thies, 2010):
(1) Um Verständlichkeit und Eindeutigkeit der Aufgabenstellung und damit die
Basis für den Erfolg zu gewährleisten, müssen die Crowdsourcees in der Lage
sein, erstens den Kern der gestellten Aufgabe zu erfassen, zweitens den nötigen
Arbeitsaufwand einzuschätzen und drittens die Lösungsanforderungen zu
begreifen (Geiger, Seedorf et al., 2011). Dies wird ermöglicht durch klare,
prägnante Instruktionen und semantisch deutliche Aufgabenbeschreibungen. In
einer Untersuchung von Gadiraju, Fetahu & Hube (2016) charakterisierten
Crowdworker auf der Microtask-Plattform CrowdFlower die Aufgabenstellungen
als „wage“, „unklar“, „unpräzise“ oder attestierten der Sprachwahl „zu viele Wörter“
sowie ein „zu hohes Sprachniveau“. Als Folge beeinflusste die Aufgabenstellung
letztlich die Arbeitsleistung; 60 % der Crowdsourcees gaben an, dass Unklarheit
einen hohen Einfluss auf ihre Arbeitsproduktivität habe. So schließen 27 % der
Crowdworker weniger als 10 % der unpräzise gestellten Aufgaben tatsächlich ab.
Als Ausweg verwenden Crowdworker Wörterbücher oder andere
Übersetzungswerkzeuge, um die Fragestellung besser zu verstehen. Basierend
auf dem Aspekt goal clarity, der die Eindeutigkeit der Zielstellung definiert, und
dem Aspekt role clarity, der die verständlichen Schritte und den Tätigkeitskern der
Aufgabe charakterisiert, haben Gadiraju, Yang & Bozzon (2017) in einer
weiterführenden Studie analysiert, wie Crowdsourcees die Aufgabenklarheit
wahrnehmen und welche Elemente diese beeinflussen. Zum Vorschein kam, dass
die wahrgenommene Klarheit zum einen vom Aufgabentyp abhängig ist – so sind
Aufgaben wie die Beantwortung von Umfragen verständlicher als Aufgaben, bei
denen der Fokus auf Interpretation oder Analyse liegt. Zum anderen tragen
längere Aufgabenbeschreibungen und die Verwendung von mehr relevanten
Schlüsselwörtern zur besseren Lesbarkeit bei, die schlussendlich die Klarheit der
Aufgabenstellung positiv beeinflusst.
(2) Die Aufgabenkomplexität nimmt eine zentrale Bedeutung beim Aufgaben-
Design ein (Yang, Redi, Demartini & Bozzon, 2016a) und symbolisiert die
kognitive Dimension der Aufgabenstellung, die nach Robinson (2012) die Leistung
beeinflusst. Konstituierende Eigenschaften, wie Informationsreichtum,
Informationsvielfalt und Informationsaustauschgrad tragen zur Komplexität einer
37
Aufgabe bei (Campbell, 1988). Neben diesen objektiven Kriterien sieht Campbell
(1988) auch eine subjektive Perspektive, die die individuelle persönliche
Wahrnehmung von Aufgabenkomplexität bestimmt. Untersuchungen ergaben,
dass subjektive Komplexität die Arbeitsleistung vorhersagen und bedingen kann
(Maynard & Hakel, 1997). Ausgehend von diesem Zusammenhang zeigen (Yang,
Redi, Demartini & Bozzon, 2016b), dass die subjektiv wahrgenommene
Komplexität zum einen von semantischen Faktoren, Keywords (audio, transcribe,
writing) oder der Wörteranzahl in der Aufgabenstellung abhängig ist, zum anderen
von visuellen Elementen, wie beispielsweise der Anzahl von Bildern/Grafiken.
Insbesondere Wörter, wie easy, die Quantität von Bildern und die übersichtliche,
interaktive Darstellung der Aufgabe mithilfe von CSS/JavaScript deutet an, dass
sich dadurch die wahrgenommene Komplexität reduzieren lässt.
Bezüglich der Aufgabenkomplexität und deren Einflussnahme auf die
Ergebnisqualität zeigt sich ein eindeutiges Fazit: Einfach gestaltete Aufgaben
erzielen wesentlich bessere Ergebnisse in Bezug auf Genauigkeit als komplexe
Aufgaben (Borromeo, Laurent & Toyama, 2014). Als Ausweg wird seitens der
Wissenschaft vorgeschlagen, komplexe Aufgabenstellungen je nach
Komplexitätsgrad in kleine, granulare Aufgaben zu unterteilen, um damit die
Qualität der Ergebnisse zu gewährleisten (Kittur et al., 2011).
(3) Wie bereits angedeutet, nehmen auch die Visualisierung der Aufgabenstellung
und User Interfaces Einfluss auf die Arbeitsleistung der Crowdworker ein. Finnerty
et al. (2013) konnten anhand optisch unterschiedlich gestalteter Aufgabendesigns
nachweisen, dass die Arbeitsqualität durch unstrukturierte, unübersichtliche und
farblich „überladene“ Layouts leidet. Im Vergleich zwischen „einfachen und
komplexen“ Layouts, wie es Finnerty et al. (2013) formulieren, unterscheidet sich
die Ergebnisgenauigkeit um fast 10 % (einfach: 36 %, komplex: 27 %). Unter
höherer kognitiver Anstrengung (Bearbeitung von zwei Aufgaben gleichzeitig) wird
der Qualitätsunterschied noch gravierender. So beläuft sich die Genauigkeit bei
einfach gestalteten User Interfaces mit 33 % ca. 12 % höher als bei komplex
visualisierten User Interfaces. Dies unterstreicht, dass optisch puristisch
angefertigte Layouts die kognitive Beanspruchung der Crowdworker minimieren
können und letztlich die Konzentration/Aufmerksamkeit auf die Lösung der
Fragestellung lenken. Die Implementierung visueller Elemente (z. B. farblich
hervorgehobene Textfelder) tragen dazu bei, dass die Crowd bessere Ergebnisse
38
erzielen kann (Sampath, Rajeshuni, Indurkhya, Karanam & Dasgupta, 2013). Ein
weiterer Faktor ist der aufgabenabhängige Einsatz von Antwortfeldern auf der
Benutzeroberfläche. Aker, El-Haj, Albakour & Kruschwitz (2012) kommen zu dem
Ergebnis, dass bei Aufgaben, insbesondere bei mathematischen Fragestellungen,
die Verwendung von Radio-Buttons anstatt freier Texteingabefelder als
Antwortschema die Qualität der Ergebnisse verbessern kann. Zur weiteren
Unterstützung können zudem visuelle Anreize in Form von Bildern und
Erklärungsvideos gesetzt werden, um die Leistung der Crowdworker zu
verbessern, wobei Videos nach Ansicht von Khanna et al. (2010) einen positiven
Effekt besitzen, sich aus ökonomischer Sicht allerdings nicht rechtfertigen lassen.
3.2.3 Aufgabenselektion und -empfehlung Ein folgenreicher Schritt während des Crowdsourcing-Prozesses steckt hinter der
Frage „Wie findet die Crowd, die für sie ‚perfekte‘ Aufgabe?“. Hält man sich die
enorme Anzahl und Vielfalt von 80.000 verfügbaren Aufgaben auf Amazon
Mechanical Turk im Jahr 2011 vor Augen, so liegt es nahe, dass die Suche und
Auswahl der nach persönlichen Präferenzen beeinflussten richtigen Aufgabe sehr
zeitintensiv sein können. Aussagen wie „Scrolling through all 8 pages to find HITs
can be a little tiring“ oder „If I don't find anything up until page 10 then I refresh the
page and start over otherwise it becomes too hard to find tasks“ (Chilton, Horton,
Miller & Azenkot, 2010, S. 8) lassen dabei die Schwierigkeit, den nötigen (Such)-
Einsatz und die notwendige Zeit auf der Suche nach der passenden Aufgabe
erahnen. Hinzu kommen auf AMT Usability-Probleme in der Aufgabenübersicht
sowie die Beobachtung, dass über 50 % der Crowdworker ihre sogenannten HITs
(Human Intelligence Tasks) nur auf Seite 1 und 2 auswählen und damit auf für sie
potentiell interessante Aufgaben auf den weiteren Seiten verzichten (Chilton et al.,
2010). Dies deckt sich mit den Beobachtungen von Geiger (2016), der ebenso auf
die zeitintensive Aufgabensuche hinweist. So ist es nicht ungewöhnlich, dass
Crowdworker länger als fünf Minuten benötigen, um eine neue Aufgabe zu finden
oder die Bearbeitung der Aufgabe ähnlich viel Zeit in Anspruch nimmt wie die
Suche nach dieser selbst.
Um die Verknüpfungsphase zwischen Aufgabe und Crowdsourcee zu verkürzen
und die optimale Aufgabe dem Crowdsourcee weiterzuleiten bzw. vorzuschlagen,
kommen seitens der Crowdsourcing-Plattformen Task Selection und
39
Recommendation Systeme zum Einsatz. Die Intention dieser Mechanismen ist es,
„to facilitate the match of individual interests and capabilities with the right tasks
and thus create potential benefits for both contributors and requesters“ (Geiger &
Schader, 2014, S. 11). Die Herausforderung in der Entwicklung und Modellierung
effektiver Empfehlungsmechanismen liegt in der Berücksichtigung der komplexen
und vielfältigen individuellen Präferenzen der Crowd sowie im ebenfalls
komplexen Aufgabendesign. Deutlich wird dies bei den persönlichen
Aufgabenauswahlkriterien, die sich je nach kulturellem Kontext der Crowd
verändern können. Auswahlpräferenzen können u. a. sein: die finanzielle
Vergütung; die Aufgabenstellung, die vermittelt Spaß und Freude; die
Fragestellung, die eine einfache Bearbeitung bzw. eine kurze Bearbeitungszeit
signalisiert oder auch untergeordnete Kriterien wie Herausforderung der Aufgabe
oder Möglichkeit zur Kontaktaufnahme mit dem Aufgabensteller (Schulze,
Seedorf, Geiger, Kaufmann & Schader, 2011). Verschiedene Studien konnten
indes den Einfluss der Aufgabenselektion und -empfehlung auf die Arbeitsqualität
nachweisen: Yuen, King & Leung (2015) verdeutlichen dies basierend auf dem
sogenannten TaskRank, der sich aus den individuellen Präferenzen und aus der
Aufgabenhistorie der Crowdworker zusammensetzt. Je höher der TaskRank ist,
desto wahrscheinlicher ist es, dass der Crowdsourcee die Aufgabe aus dem
Aufgabenpool auswählt. In einem Experiment mit zwölf Teilnehmern und
insgesamt 40 ausgespielten Aufgaben zeigte sich deutlich, dass die Genauigkeit
der mittels TaskRank angebotenen Aufgaben deutlich höher liegt als bei zufällig
ausgeschriebenen Aufgaben. Zu einem ähnlichen Ergebnis kommen auch
Mavridis, Gross-Amblard & Miklós (2016). Sie verdeutlichen u. a. anhand der
Differenzierung zwischen zufälliger Aufgabenauswahl und auf Fähigkeiten
basierter Selektion der Aufgabe, dass die personalisierte Aufgabenauswahl aus
der Übereinstimmung von aufgabenspezifischen und individuellen Kenntnissen in
bessere Ergebnisse mündet.
Ein weiterer Zusammenhang zwischen Aufgabenauswahl und Arbeitsqualität zeigt
sich–wenn auch nicht direkt – in der Beeinflussung der Crowd durch
entsprechende Recommendation-Systeme. Yuen et al. (2015) sind der Ansicht,
dass für die Crowd hinsichtlich ihrer Fähigkeiten und Bedürfnisse zugeschnittene
40
Aufgaben langfristig die Motivation, das Engagement sowie die Attraktivität, sich
weiter an Crowdsourcing-Initiativen zu beteiligen, positiv beeinflussen können.
3.2.3 Finanzielle Belohnung Wie bereits im Kapitel 3.1.3 angedeutet, ist die Ergebnisqualität neben
intrinsischen Faktoren auch von der Höhe der finanziellen Vergütung und deren
Belohnungsschema abhängig. Die Aufwandsentschädigungsstruktur fällt dabei in
den Aufgabenbereich der Crowdsourcing-Plattformen, mit dem Ziel, ein optimales
Gleichgewicht zwischen finanziellem Aufwand und Ertrag/Qualität zu erreichen
(Hosseini et al., 2014). Grundlegend lässt sich das Entlohnungsschema nach den
Dimensionen fixed und success-based unterteilen. Fixed Rewards gestalten sich
unabhängig von der Ergebnisqualität, d.h. alle eingereichten Lösungen, insofern
sie die Anforderungen erfüllen, werden finanziell entlohnt. Im Gegensatz dazu
orientieren sich success-based Rewards an Qualitätskriterien wie Genauigkeit
oder Bearbeitungszeit (Finnerty et al., 2013; Geiger, Seedorf et al., 2011).
Ausgehend von der Belohnung für Genauigkeit und Umsetzungsdauer
analysierten Finnerty et al. (2013) verschiedene Vergütungsmodi (keine
Vergütung, freundliche Aufforderung zum genauen und schnellen Arbeiten, fixe
sowie dynamische Vergütung) und ihren Effekt auf die Arbeitsqualität. Als Resultat
zeigte sich, dass die dynamische Vergütungsstruktur, die an hohe Treffsicherheit
und geringe Bearbeitungszeit geknüpft ist, gegenüber anderen
Vergütungsschemata deutliche Vorteile besitzt. Doch nicht nur das
Belohnungsschema nimmt Einfluss auf die Crowd-Performance, ebenso fungiert
die Höhe der Vergütung als wichtiges Kriterium im Spannungsfeld von finanzieller
Belohnung und Arbeitsqualität. Verschiedene Studien weisen darauf hin, dass die
Erhöhung der monetären Belohnung die Quantität der eingereichten Lösungen
maßgeblich bestimmt, jedoch bleibt die Qualität der Beiträge davon weitestgehend
unberührt (Mason & Watts, 2009; Wu et al., 2014).
Grundlegend taxiert sich der optimale Preis auf folgender Basis ein: Der
angebotene Preis darf nicht geringer sein als die entstehenden Kosten während
der Bearbeitungszeit, auch Private Cost Model genannt (Singla & Krause, 2013).
Im Rahmen dieser Arbeit wird auf die detaillierte Betrachtung von
Preisbestimmungsmodellen und -ansätzen verzichtet, da diese nicht im
41
Forschungsfokus liegen. Dennoch soll nicht unerwähnt bleiben, dass die
finanzielle Belohnung ein adäquates Niveau erreichen muss, damit die
Ergebnisqualität nicht darunter leidet (Finin et al., 2010; Jakob Rogstadius et al.,
2011). Deutlich wird dieser Umstand bei Crowdworkern, die aus Niedriglohn-
Ländern wie Indien stammen. Litman et al. (2015) weisen darauf hin, dass, wenn
das Vergütungsniveau auf Crowdsourcing-Plattformen unter dem länderspezifisch
vorherrschenden Lohnniveau liegt, die Ergebnisqualität negativ beeinflusst wird.
Auf der anderen Seite der Vergütungsskala darf der angebotene Preis allerdings
auch nicht zu hoch angesetzt werden, da damit Crowdworker abgeschreckt
werden könnten, indem sie vermuten, dass hinter den hohen Preisen ein höherer
Arbeitseinsatz und höhere Qualitätsansprüche stecken (Chandler & Horton, 2011).
In einer umfangreichen Untersuchung verschiedener Belohnungsarten zeigte sich,
dass finanzielle Anreize den sozialen Anreizen (normativ aufgeladene Aspekte wie
Wettbewerbsgedanken oder entgegengebrachtes Vertrauen gegenüber
Crowdsourcees) überlegen sind und einen positiven Effekt auf die Arbeitsleistung
ausüben können, entscheidend dabei ist die Art und Weise der monetären
Belohnung. Insbesondere das Versprechen von zusätzlichen finanziellen Anreizen
in Form von Boni, die an Erfolgskriterien geknüpft sind, verfügen über einen
starken positiven Einfluss auf die Ergebnisqualität (Chandler & Horton, 2011;
Shaw, Horton & Chen, 2011). Ho et al. (2015) konnten diesen Effekt ebenso
bestätigen und stellten zudem fest, dass leistungsorientierte Bonuszahlungen
bessere Ergebnisse als fixe Bonuszahlungen liefern. Außerdem spielt auch die Art
und Weise der Bonusankündigung eine Rolle. So zeigte sich, dass bei Aufgaben
bei denen der Bonus in der Aufgabenstellung nicht kommuniziert wurde und dieser
erst nachträglich mitgeteilt wurde, qualitativ hochwertige Ergebnissen zum
Vorschein kamen als mit garantierter Bonuszahlung. Eine mögliche Erklärung liegt
darin, dass Crowdworker nach der überraschenden Bonusankündigung mehr
Arbeitskraft in das Erreichen hochwertiger Ergebnisse stecken und dies so als
wechselseitiges „Danke“ gegenüber dem Auftraggeber zurücktragen. Eine weitere
relevante Beobachtung, insbesondere für Auftraggeber, konnte in Bezug auf die
Höhe der Bonuszahlungen festgestellt werden. Die Höhe der erfolgsbasierten
Bonuszahlung lag rund ein Drittel niedriger als bei der fixen Bonusvergütung und
deutet damit auf finanzielles Einsparungspotential bei gleichbleibendem
42
Qualitätslevel hin (Ho et al., 2015). Diesem Ergebnis schließen sich Chandler &
Horton (2011, S. 18) mit den Worten „Don’t overpay – small bonuses worked as
well as larger ones“ an und weisen darauf hin, dass auch kleine Boni als
Anreizmaßnahme ausreichen können. Zudem sind neben dem optimalen
Bonusniveau auch der Aufgabenablauf und die spezifischen Bonusbedingungen
entscheidend. Der Grund beruht auf dem kognitionspsychologischen Anchoring
Effect, bei dem Individuen durch Informationen – dem Anker – in ihren bewussten
Wahlentscheidungen beeinflusst werden, ohne dies überhaupt zu bemerken. Eben
dieser Umstand vollzieht sich auch im Crowdsourcing, da Crowdworker beim
Bonuslevel der ersten Aufgabe unbewusst ihren „Anker werfen“ und dies als
Referenzwert für faire Vergütung bei darauffolgenden Aufgaben interpretieren. Als
Konsequenz sind Crowdsourcing-Plattformen dazu gezwungen, mittels Steigerung
des Bonusniveaus bzw. bei gleichbleibendem Bonuslevel die Ergebnisqualität
aufrechtzuerhalten, andernfalls sinkt die Qualität bei darauffolgenden Aufgaben
(Yin, Chen & Sun, 2013).
Um den Wirkungsgrad und die Akzeptanz der Crowd von extrinsischen Anreizen
zu analysierten, adaptierten Ye, You & Robert, Jr. (2017) das Konzept des
perceived fairness pay aus der Arbeitspsychologie und projizierten es auf den
neuen Produktionsmodus Crowdsourcing. Perceived fairness pay (PFP) geht
davon aus, dass Individuen ihren Arbeitseinsatz mit dem verbundenen Ergebnis
vergleichen. Demnach erwarten Individuen eine Entschädigung, die dem
erwarteten Einsatz zur Lösung der Aufgabe entspricht. Ausgehend davon lässt
sich der PFP im Kontext des Crowdsourcing als vermittelnde Kenngröße zwischen
monetärer Belohnung und Ergebnisqualität auffassen. Das heißt, wenn
Crowdworker höhere finanzielle Aufwandsentschädigungen erhalten, haben sie
auch höhere Erwartungen an den Arbeitseinsatz, um die Belohnung zu
bekommen. Demnach wird davon ausgegangen, dass mit der Erhöhung der
finanziellen Anreize auch eine Erhöhung des PFP einhergeht. Im Experiment mit
152 Crowdworkern auf AMT kam zum Vorschein, dass bei Aufgaben, die ein
hohes Maß an Arbeitseinsatz benötigen, höhere finanzielle Anreize das Ansteigen
des PFP‘s zur Folge haben. Dies impliziert, dass faire Vergütungsmuster seitens
der Auftraggeber von der Crowd geschätzt werden und diese mit qualitativ
hochwertigen Ergebnissen reagieren.
43
3.2.4 Feedback Die wissenschaftliche Betrachtung von Feedback und dessen Einflussnahme auf
das Crowd-Verhalten resümieren Jiang, Huang & Beil (2016) als überschaubar,
obwohl verschiedene Studien dessen Potential belegen konnten – allerdings im
traditionellen Produktionsmodus. Beispielsweise stärkt Feedback
arbeitsspezifisches Verhalten und fördert die Fokussierung auf Zielvorgaben
(Cianci, Klein & Seijts, 2010). Es kann auch einen positiven Effekt auf die
Arbeitsleistung haben, unabhängig davon, ob das Feedback während der Tätigkeit
oder nach dem Ergebnis kommuniziert wird (Earley, Northcraft, Lee & Lituchy,
1990). Doch Feedback hat ebenso Schattenseiten, insbesondere durch dessen
affektiven Charakter bei negativen Rückmeldungen, die Verärgerung, Frustration
und Misserfolg verursachen können (Belschak & Den Hartog, 2009).
Im Rahmen des Crowdsourcing zeigt sich Feedback, das in Form von
Kommentaren oder Bewertungsskalen eingesetzt werden kann, als vielseitiges
Instrument, um Motivation langfristig zu steigern (Lee et al., 2013) sowie die
Arbeitsqualität positiv zu beeinflussen. Zweiteres veranschaulichen Wooten &
Ulrich (2011) in einem Experiment, bei dem Crowdworker während der Beteiligung
an Innovationswettbewerben verschiedenen Stimuli (kein Feedback, direktes
Feedback vom Auftraggeber und zufälliges Feedback) ausgesetzt worden sind. In
Bezug auf die Ergebnisqualität wurde sichtbar, dass direktes Feedback seitens
der Auftraggeber zu besseren Ergebnissen führt. Den stärksten Effekt übt
Feedback auf schlechte Ergebnisse aus, bei guten Arbeiten konnte der Einfluss
nicht nachgewiesen werden. Außerdem wurde deutlich, dass durch direkt
kommuniziertes Feedback die Varianz der Ergebnisse minimiert wurde, was sich
positiv auf die Qualitätsdichte auswirkt.
Jiang et al. (2016) konnten bei Designwettbewerben Ähnliches identifizieren:
Mittels der Stimuli-Differenzierung zwischen Full feedback, no feedback, early und
late feedback wurde deutlich, dass jegliche Art von Feedback einen positiven
Einfluss auf die Ergebnisqualität einnimmt. Dabei spielt der Zeitpunkt des
Feedbacks eine untergeordnete Rolle. Eine weitere relevante Beobachtung kommt
zum Vorschein, wenn man bereitgestelltes Feedback und die finanziellen Anreize
betrachtet. Um ein ähnliches Qualitätsniveau zu erreichen, konnte durch
44
Feedback während der Bearbeitung die monetäre Vergütung um fast ein Drittel
reduziert werden.
Auch abseits von wettbewerbsorientierten Aufgaben konnte der positive Einfluss
von Feedback auf die Ergebnisqualität bestätigt werde. Bei der Transkription von
Audio-Inhalten verbesserte Feedback in Form von Text- und visuellen Hinweisen,
insbesondere wenn diese von Experten anstatt von anderen Crowdsourcees
stammten, zum einen die Bearbeitungszeit und Genauigkeit der Ergebnisse sowie
die Fehlerrate (Riccardi, Ghosh, Chowdhury & Bayer, 2013). Eine weitere Studie,
die die positive Wirkung von Feedback unterstützt, stammt von Dow et al. (2012).
Auch sie kommen zu dem Fazit, dass die Bewertung seitens der Crowd sowie
seitens der Experten zu einer Verbesserung des Qualitätsniveaus führt. Außerdem
deutete sich an, dass Expertenbewertungen die Crowdworker zur mehr
Arbeitseinsatz leiten, wobei die Qualität sich nicht verbessert. Eine mögliche
Erklärung dafür ist, dass durch Experten-Gutachten mehr Verantwortung für die
Aufgabe übernommen wird, um eventuelle Zahlungsausfälle durch
Nichtbearbeitung der Korrekturen zu vermeiden.
Bei der Bewertung durch die Crowd besteht allerdings die Gefahr, dass sich
Feedback negativ auf die Qualität der Arbeit niederschlägt. Straub, Gimpel,
Teschner & Weinhardt (2015) konnten diese Rückwirkung auf AMT nachweisen.
Bei Aufgaben, bei denen gewöhnlich die besten Ergebnisse prämiert werden,
gehen Plattformen das Risiko ein, dass positives Feedback zur gegenwärtigen
Arbeitsleistung die danach folgenden Tätigkeiten beeinträchtigt. Zurückführen
lässt sich dies auf die Überlegung, dass Feedback den Crowdworkern signalisiert,
dass auch nicht exzellente Arbeit ausreichen könnte, um den Wettbewerb zu
gewinnen. Umgekehrt kann negatives Feedback zur Leistung zum Abbruch der
Aufgabe führen, da der Crowdsourcee beispielsweise der Ansicht ist, dass das
Erreichen der vorderen Plätze nicht mehr realistisch ist und sich dadurch die
persönlichen Verluste an investierter Zeit reduzieren lassen.
45
4. Empirische Untersuchung Das Hauptaugenmerk des folgenden Kapitels liegt darin, die mittels Literatur
identifizierten Erkenntnisse auf deren praktische, qualitätssichernde Umsetzung
durch ein geeignetes methodisches Verfahren zu prüfen. Des Weiteren sollen die
Auswahl der Methodik, die Darstellung der Stichprobe, die entsprechende
Auswertungsmethode sowie die Durchführung in ihren Grundzügen dargestellt
werden.
4.1 Auswahl und Beschreibung der Methode – Das Experteninterview Der entscheidende Faktor bei der Auswahl der richtigen empirischen Methode ist
das entsprechende Forschungsinteresse. Grundsätzlich fällt die Entscheidung auf
quantitative oder qualitative Erhebungsmethoden, oder aber auf die Kombination
beider Methoden (Wolf & Priebe, 2001). Die quantitative Sozialforschung ist durch
die Aggregation von Daten, u. a. mittels standardisierter Fragebögen, derer
Analyse und der Reduktion der Realität anhand von Zahlen gekennzeichnet. Ziel
ist es, soziale Phänomene, gesellschaftliche Entwicklungen sowie die kulturell und
sozial geprägte Realität zu erklären (Raithel, 2008). Der Ansatz der qualitativen
Sozialforschung hingegen bezweckt, „Lebenswelten ‚von innen heraus‘ aus der
Sicht der handelnden Menschen zu beschreiben“ (Flick, 2008, S. 14), indem sie
individuelle Werte, Einstellungen, Deutungsmuster oder Abläufe sichtbar macht.
Um einen Zugang zu eben diesen subjektiven Perspektiven zu erhalten, sind
qualitative Interviews als Erhebungsform prädestiniert, da sie den Befragten
Beantwortungs- und Erzählspielraum für die Entfaltung eigener Schilderungen und
die Kommunikation des eigenen Wissensbestands bieten.
Als spezielle Variante der Einzelbefragung hat sich das Experteninterview in der
qualitativen Sozialforschung etabliert, auch wenn es aufgrund der zumeist
leitfadengestützten Befragungsmethodik als rein „informatorisches Interview“
verrufen ist (Lamnek, 2005, S. 334) und aus methodologischer
(Debatten-)Perspektive lange Zeit eher zweitrangig behandelt wurde (Liebold &
Trinczek, 2009). Dennoch bietet das Experteninterview im Rahmen dieser Arbeit
einige Vorteile gegenüber anderen qualitativen Interviewformen, wie offenen oder
narrativen Interviews.
46
Definitorisch kennzeichnen Gläser & Laudel (2010, S. 13) ein Experteninterview
wie folgt:
„Es handelt sich um Untersuchungen, in denen […] Situationen oder Prozesse rekonstruiert werden sollen, um eine sozialwissenschaftliche Erklärung zu finden. (…) Die Experteninterviews haben in diesen Untersuchungen die Aufgabe, dem Forscher das besondere Wissen der in die Situationen und Prozesse involvierten Menschen zugänglich zu machen.“
Charakteristisch für Experteninterviews ist die spezifische Fokussierung auf den
inhaltlichen Kontext. So rücken Rekonstruktionen über individuelle oder kollektive
Lebensphasen, wie zum Beispiel persönliche Lebensverläufe in der
Biografieforschung (die zumeist anhand narrativer Interviews arbeitet), in den
Hintergrund und bilden damit nicht die Gesamtperson als
Untersuchungsgegenstand ab. Viel mehr orientieren sich Experteninterviews am
organisatorischen oder institutionellen Bezug als einen spezifischen Aspekt der
Gesamtperson, die sich im Interview in Form des Expertenwissens äußert
(Meuser & Nagel, 2002). Aus wissenssoziologischer Perspektive betrachtet ist der
Besitz von Expertenwissen mit den Positionen und damit verbundenen Tätigkeiten
aus der Berufswelt konstitutiv verknüpft, wodurch der Begriff einen
praxisorientierten Anstrich erhält. Daraus schlussfolgernd lassen sich Experten
„als Personen verstehen, die sich – ausgehend von einem spezifischen Praxis- oder Erfahrungswissen, das sich auf einen klar begrenzbaren Problemkreis bezieht – die Möglichkeit geschaffen haben, mit ihren Deutungen das konkrete Handlungsfeld sinnhaft und handlungsleitend für Andere zu strukturieren“ (Bogner, Littig & Menz, 2014, S. 13).
Bei Experteninterviews ist nicht das spezifische Fachwissen von Interesse,
sondern die praxiswirksamen Aspekte und handlungsorientierenden Fähigkeiten
der Experten. Indes ist die Zuweisung von Expertenwissen keine individuelle
Eigenschaft, sie vollzieht sich vielmehr über Zuschreibung. Praktisch geschieht
dies bereits mit der Intervieweinladung der Experten durch den Forscher selbst
und es wird während der Befragung noch verstärkt, indem die Befragten animiert
werden, sich als Experten darzustellen (Bogner et al., 2014).
Wie bereits eingangs erwähnt, werden Experten für gewöhnlich mittels eines
leitfadengestützten Fragebogens zu ihren Perspektiven, Problemschilderungen
und praxisnahen Handlungsprozessen befragt. Leitfaden-basierte Interviews
lassen sich zu den nicht-standardisierten Interviews zuordnen, da sie im
Gegensatz zu standardisierten Befragungen dem Interviewten Spielraum für
47
Offenheit, Reflexionen und Schilderungen in Form von nicht vorgegebenen
Antwortmöglichkeiten gewähren. Bei dieser Befragungsform werden somit keine
vorformulierten Fragen „abgearbeitet“, sondern es wird eine Frageliste erarbeitet,
die sich an den zu untersuchenden Themen und Problemen orientiert und somit
als strukturierendes Element fungiert. Der sogenannte Leitfaden soll als
Gedächtnisstütze dienen, um zentrale Untersuchungsthemen nicht zu vergessen
und gleichzeitig beim Entfernen vom Untersuchungsgegenstand den Weg zurück
zu weisen. Durch den offenen und zur Kommunikation einladenden Leitfaden
haben sowohl Fragender als auch Befragter flexible Gestaltungsmöglichkeiten. Es
besteht die Möglichkeit, die Fragereihenfolge je nach Gesprächssituation flexibel
anzupassen und auf Unverständlichkeiten oder auf Detaillierungsbedürftigkeit des
Themenblocks variabel zu reagieren. Eben dieser Aspekt, also situativ auf den
Gesprächsablauf einwirken zu können, spiegelt den Vorteil gegenüber
standardisierten Erhebungsmethoden wider (Riesmeyer, 2011).
In Anbetracht des Forschungsinteresses dieser Arbeit, das sich in den
Forschungsfragen zwei und drei gründet, soll auf das leitfadengestützte
Experteninterview zurückgegriffen werden, da:
(1) das Experteninterview den Fokus auf spezialisierte Informationen und
dahinter liegendes praxisnahes Insiderwissen legt. In Bezug auf die
Untersuchung von Kontroll- und Steuerungsmechanismen zur
Sicherstellung der Ergebnisqualität bei Crowdsourcing-Intermediären
unterstützt der Ansatz des Experteninterviews die Analyse und
Offenlegung, da die eingesetzten Kontrollsysteme einen sehr komplexen,
feinfühligen, spezifischen Sachverhalt darstellen und sich je nach
Beschaffenheit der Plattform, im Sinne der Kategorisierung nach Leimeister
et al. (2016), verändern können.
(2) die zu interviewenden Personen durch ihre Funktion/Rolle in der Berufswelt
über ein bestimmtes Expertenwissen verfügen und somit die geeigneten
Gesprächspartner für das zugrunde liegende Untersuchungsziel sind.
(3) die leitfadengestützte Erhebungsmethode – wegen ihrer auf Offenheit
konzentrierten Kommunikationskultur und der flexiblen Einflussnahme
auf die jeweilige Gesprächssituation – dem Befragten genügend
48
Erklärungsspielraum gibt und dem Fragenden zugleich einen dynamischen
wie strukturierenden Rahmen bietet.
4.2 Expertenauswahl und Darstellung der Stichprobe Ein zentrales Element beim Experteninterview zeigt sich in der zielgerichteten und
begründeten Auswahl der Experten. Des Weiteren spielen bei der Selektion auch
forschungspraktische Faktoren, wie die Erreichbarkeit und Bereitschaft der
Interviewpartner, eine tragende Rolle (Gläser & Laudel, 2010). Angesichts der
oben dargestellten Schilderungen über Experten konnten vier verschiedene
Experten für ein Interview gewonnen werden. Durch ihre Zugehörigkeit und
Funktion innerhalb eines Crowdsourcing-Intermediärs lassen sie sich zweifellos
als Experten identifizieren. Nach Froschauer & Lueger (2003) besitzen sie
feldinterne Handlungsexpertise, die sich aus der beruflichen Auseinandersetzung
mit dem zu untersuchenden Forschungsthema rekrutiert.
Betrachtet man Experteninterviews aus statistischer Perspektive, ist es nicht
möglich, Repräsentativität herzustellen – deswegen spricht man in der qualitativen
Sozialforschung von inhaltlicher Repräsentativität. Diese beruht auf der
Überlegung, dass die Befragten nicht als einzelne Person aufgefasst werden,
sondern als Repräsentant einer Gruppe, die alle zu untersuchenden Merkmale
und Aspekte in der Stichprobe abdeckt (Mayer, 2008). Um diesem Umstand Folge
zu leisten, wurde bei der Selektion der Fokus auf Experten unterschiedlicher
Crowdsourcing-Intermediäre gelegt. Nach der Taxonomie von Leimeister et al.
(2016) lassen sich Crowdsourcing-Systeme nach charakterisierenden Merkmalen,
wie Wertaktivitäten, Beschaffenheit der Aufgabe oder Arbeitsform, kategorisieren.
So ist es durchaus vorstellbar, dass je nach Plattformtyp bestimmte
Kontrollmechanismen gar nicht von Notwendigkeit sind, um qualitativ hochwertige
Ergebnisse zu erzeugen. Zudem wird dadurch die Diversität der Stichprobe
hervorgehoben und um ein vergleichendes Moment im Hinblick auf
Steuerungsmechanismen bei verschiedenen Intermediären erweitert. Die
relevanten Informationen über die Experten, insbesondere deren Position und
Unternehmenszugehörigkeit, gestaltet sich tabellarisch wie folgt (Tabelle 2):
49
Tabelle 2: Darstellung der Stichprobe (Quelle: Eigene Darstellung).
4.3 Auswertungsmethode – Qualitative Inhaltsanalyse
In der methodologischen Literatur führen Gläser & Laudel (2010) freie
Interpretation, sequenzanalytische Methoden, Kodieren und qualitative
Inhaltsanalyse als mögliche Auswertungsmethoden für qualitativen Interviews an.
Prinzipiell lässt sich mit allen angeführten Techniken Rohmaterial, also
Dokumente, Interviewprotokolle oder Beobachtungsbögen, auswerten. In
Anbetracht des Forschungsziels dieser Arbeit erweisen sich sequenzanalytische
Methoden sowie Kodieren im Sinne der Grounded Theory als nicht geeignet.
Beide Methoden verfolgen unterschiedliche Forschungsziele. Der Anspruch der
Sequenzanalyse ist es zum einen, das Handeln im Sinne der verstehenden
Soziologie im Zeitablauf zu untersuchen. Zum anderen wird versucht, vom
Interviewmaterial ausgehend neue Theorien zu entwickeln; dieser Ansatz
entspricht der Grounded Theory (Lamnek, 2005). Die Entscheidung zwischen
dem Einsatz der freien Interpretation und der qualitativen Inhaltsanalyse als
Auswertungsmethode lässt sich auf die methodologische Unsicherheit bzw. auf
den wissenschaftlichen Mehrwert zurückführen. So gesehen besitzt die freie
Interpretation keine systematische Vorgehensweise, da keine entsprechenden
Verfahrens- und Kodierregeln implementiert sind, was letztlich die
Nachvollziehbarkeit der Forschungsmethode und die Reliabilität der daraus
gewonnenen Erklärungen schmälert (Gläser & Laudel, 2010).
Die qualitative Inhaltsanalyse soll daher im Rahmen dieser Arbeit zum Einsatz
kommen, da sie zum einen aus methodologischer Sicht einen Vorteil besitzt und
Experte Position Crowdsourcing- Plattform
Typ nach (Leimeister et al.,
2016)
Eva Missling General Manager Europe 99designs Design-Plattform
Annika Kuchta Project Manager Operations Crowd Guru Marktplatz-Plattform
Matthias Juhnke Creative Strategist jovoto Innovations-Plattform
Adrian Ressel Senior Project Manager QA testbirds Testing-Plattform
50
zum anderen einen Anspruch verfolgt, dem der Forschungsfokus dieser
Ausarbeitung entspricht. Dieser richtet sich vor allem auf die Gewinnung von
Informationen (Bogner et al., 2014). Die qualitative Inhaltsanalyse ist in der Lage,
aus dem meist umfangreichen Interviewmaterial auf systematische Art und Weise
gezielt forschungsrelevante Informationen zu entnehmen. Dieses Vorgehen ist
dabei nur praktikabel, wenn das gesprochene Wort nicht selbst
Untersuchungsgegenstand ist, wie es bei biografischen Konstruktionen oder
Sinnzusammenhängen der Fall ist. Der Kern der qualitativen Inhaltsanalyse
besteht in der Entwicklung eines Kategoriensystems, dass das grundlegende
Auswertungsinstrument darstellt. Das Kategoriensystem dient dazu, das Material
nach spezifischen Strukturen und Kriterien zu durchsuchen und zu analysieren.
Beim Suchraster können je nach Zielstellung verschiedene Techniken
angewendet werden (Mayring, 2016):
(1) Zusammenfassung: Das Material wird mittels Abstraktion und Reduktion
auf ein überschaubares Maß minimiert, damit sich ein klares Abbild des
Rohmaterials ergibt.
(2) Explikation: Hierbei richtet sich der Fokus auf einzelne fragwürdige
Textpassagen, die mithilfe von zusätzlichem Material hinterfragt und erklärt
werden sollen.
(3) Strukturierung: „Ziel der Analyse ist es, bestimmte Aspekte aus dem
Material herauszufiltern, unter vorher festgelegten Ordnungskriterien einen
Querschnitt durch das Material zu legen oder das Material auf Grund
bestimmter Kriterien einzuschätzen“ (Mayring, 2016, S. 115).
Vor dem Hintergrund dieser Arbeit soll der strukturierende Ansatz angewendet
werden, da insbesondere inhaltliche Aspekte (Maßnahmen zur
Qualitätssicherung) des Interviewmaterials im Interesse stehen. Dabei kann auf
zwei verschiedene Kategorisierungstechniken zurückgegriffen werden: induktiv
oder deduktiv. Induktiv bedeutet, dass die Kategorien direkt aus dem
Datenmaterial entwickelt werden. Bei der deduktiven Kategorienbildung werden
hingegen die Kategorien theoriegeleitet vor der Analyse des Materials aufgestellt
(Mayring, 2010). Im Rahmen dieser Auseinandersetzung kommt das deduktive
Verfahren zum Einsatz, da, wie in Kapitel 3 veranschaulicht, bereits aus der
wissenschaftlichen Literatur zentrale Qualitätseinflüsse identifiziert wurden.
51
Während der qualitativen Inhaltsanalyse fungiert das Kategoriensystem als
Suchraster und als Systematisierungsinstrument, um das Material in mehreren
Durchgängen zu strukturieren.
An diesem Punkt wird auch die Offenheit dieser Auswertungsmethode sichtbar,
denn das Kategorienschema kann während des Prozesses überarbeitet und
weiterentwickelt werden. Zum Bespiel, wenn neue Aspekte im Experteninterview
angesprochen werden, diese sich aber nicht zu einer bestimmten Kategorie
zuordnen lassen, kann daraufhin das Kategoriensystem erweitert werden. Der
allgemeine Ablauf der qualitativen Inhaltsanalyse ist stark geprägt von einer
strukturierten Herangehensweise, die vor allem bei der Zerteilung des Prozesses
in einzelne Arbeitsschritte deutlich wird. Grundlegend lässt sich daraus folgendes
Ablaufschema für die strukturierende qualitative Inhaltsanalyse ableiten:
Unverzichtbar ist die Betrachtung der Gütekriterien: Reliabilität und Validität.
Reliabilität lässt sich mittels Re-Test, Parallel-Test und Konsistenz überprüfen, um
die Präzision und Treffgenauigkeit der Methodik zu bestimmen. Mayring (2010)
fügt dabei an, dass die Überprüfung der Reliabilität oft nicht nachweisbar ist, zum
einen wegen der Charakteristik des sprachlichen Datenmaterials (erneute
Befragung der Stichprobe mit anderen Instrumenten oder unterschiedliche
Interpretation des Materials durch mehrere Analytiker) und zum anderen aus
Bestimmung der Strukturierungsdimensionen und Ausprägungen (theoriegeleitet),
Zusammenstellung des Kategoriensystems
Formulierung von Definitionen, Ankerbeispielen und Kodierregeln zu den einzelnen Kategorien
Materialdurchlauf: Fundstellenbezeichnung
Materialdurchlauf: Bearbeitung und Extraktion der Fundstellen
Ergebnisaufbereitung
Überarbeitung, ggf. Revision von
Kategoriensystem und
Kategoriendefinition
Abbildung 4: Ablaufschema der strukturierenden qualitativen Inhaltsanalyse (Quelle: Eigene Darstellung in Anlehnung an Mayring, 2010)
52
forschungspraktischen bzw. ressourcenbezogenen Gründen. Die Gültigkeit des
Verfahrens kann durch die Kategorien Außenkriterium, Vorhersagevalidität,
Extremgruppe und Konstruktvalidität gemessen werden. Doch auch die Validität
wird in der Methodenliteratur kritisch betrachtet, so richten Lisch & Kriz (1978) ihre
Kritik auf die Reliabilität als Voraussetzung für Validität. Krippendorff (2013)
bezieht sich kritisch auf den Umstand, dass der Forscher oft kein direktes Wissen
über den Untersuchungsgegenstand besitzt und dadurch keine Einschätzung
hinsichtlich der Validität der Ergebnisse treffen kann. Aus dieser kritischen
Betrachtungsweise an den klassischen Gütekriterien bei qualitativen Interviews
kommen gegenwärtig neue Gütekriterien wie Nähe zum Gegenstand,
Regelgeleitheit oder semantische Gültigkeit zum Einsatz (Mayring, 2010).
4.3.1 Kategoriensystem als Analysegrundlage Wie bereits im vorangegangenen Kapitel angesprochen, ist bei der qualitativen
Inhaltsanalyse das Kategoriensystem der Dreh- und Angelpunkt. Die
grundlegende Herangehensweise zur Konstruktion des deduktiven
Kategoriensystems beinhaltet drei zentrale Arbeitsschritte (Mayring, 2010):
1. Definition der Kategorien: Es wird festgelegt, welche Textelemente zu der
jeweiligen Kategorie zählen.
2. Ankerbeispiele: Eindeutige Textpassagen aus dem Interview werden als
Musterbeispiele für die jeweilige Kategorie angegeben.
3. Kodierregeln: Um Abgrenzungsschwierigkeiten zwischen den Kategorien zu
vermeiden, werden Regeln definiert, um unmissverständliche Zuordnungen
zu schaffen.
Die Struktur des Kategorienschemas orientiert sich an den theoretischen
Darstellungen des dritten Kapitels sowie an den Forschungsfragen 2 und 3
dieser Ausarbeitung. Demnach ergibt sich folgendes Such- und
Auswertungsraster (Tabelle 3):
53
Kategorie Definition Ankerbeispiel Kodierregel
Herausforde-rungen
Hierzu zählen Aussagen, die die allgemeinen
Herausforderungen in der Praxis aufzeigen.
„Eine große Herausforderung (…) ist
eben die Verlässlichkeit der Crowd.“
Grundlegende Aussagen über die generellen
Herausforderungen im Crowdsourcing
Praxisrelevante Einflussgrößen
Die Kategorie beschreibt, alle praxisrelevanten
Einflussgrößen, die für die Plattformen eine wichtige
Rolle spielen.
„Das ist als Kernkriterium zu nennen: die Klarheit und
Präzision der Aufgabenstellung.“
Betrifft alle Aussagen, die die zentralen Einflussgrößen
beschreiben
Soziodemo-grafische Merkmale
Hierzu zählen Aussagen, die die Maßnahmen zur
Steuerung der soziodemografischen Struktur der Crowd
betreffen.
„Nicht so richtig, also wir erfassen gar nicht so viele Daten, (…), kann das aber
nicht so auswerten im Zusammenhang mit der
Qualität.“
Bezieht sich auf die systematische
Erfassung, Auswertung und Nutzung dieser
Daten
Persönlichkeits-merkmale
Die Kategorie beinhaltet Aussagen über die Beeinflussung der
Persönlichkeitsstruktur der Crowd.
„Nein, das machen wir nicht.“
Alle Hinweise, die auf die zielgerichtete Steuerung der
Persönlichkeitsstruktur der Crowd schließen
Motivation der Crowd
Die Kategorie definiert die plattformseitigen
Mechanismen, um die verschiedenen
Partizipationsgründe zu befriedigen.
„Ab und zu machen wir Blogposts, (…) wie man seine Kreativität steigern
kann, wie man seine Chance steigert, eine gute
Einreichung auf der Plattform zu tätigen.“
Alle Aussagen, die sich auf die intrinsische und extrinsische Motivation
beziehen (monetäre Vergütung als Motiv
ausgeschlossen)
Aufgabendesign
Die Kategorie beschreibt alle Maßnahmen, die
seitens der Plattformen angewendet werden, um
die optimale Verständlichkeit der Aufgabenstellung zu
erreichen.
„Wir versuchen keine Fremdwörter in den
Briefings, wenn Fremdwörter nötig sind, dann einfach mit meiner
Erklärung, und keine Abkürzungen zu
verwenden.“
Bezieht sich auf Aussagen zur
Gestaltung der Aufgabe (Klarheit, Komplexität
und visuelle Gestaltung)
Aufgabenselek-tion und
-empfehlung
Die Kategorie beinhaltet Aussagen, mit welchen
Steuerungsinstrumenten die Aufgaben an die Crowd
weitergegeben werden.
„Wir haben Basisqualifizierungen (…). Man muss die bestanden haben, um die Jobs aus
den Bereichen überhaupt zu sehen.“
Hierzu zählen alle Hinweise, die die
spezifischen Selektionsmechanismen
betreffen
Finanzielle Belohnung
Die Kategorie umfasst alle spezifischen und zentrale Aspekten, plattformseitig
bei der Umsetzung monetärer Anreize eine
Rolle spielen (Höhe, Belohnungsform, Bonuszahlungen).
„Wir versuchen das auch so umzusetzen, dass sie
mindestens auf Mindestlohnniveau kommen
können.“
Beschränkt sich auf alle Aussagen, die die
monetäre Vergütung und deren spezifische
Maßnahmen betrifft
Feedback
Die Kategorie versammelt Maßnahmen, die Aspekte
mit den Feedbacksystemen der
Plattform aufzeigen (beteiligte Parteien und
Zeitpunkt).
„Feedback ist immer durchgehend möglich. Wichtig ist, dass die
Kreativen das Feedback während des Prozesses
bekommen.“
Bezieht sich auf alle Äußerungen, die die
Einflussgröße Feedback betreffen
Tabelle 3: Deduktives Kategoriensystem (Quelle: Eigene Darstellung).
54
4.4 Leitfaden und Durchführung Ein Interview ist für beide Seiten (Fragender und Befragter) keine alltägliche
Situation. So ist es für beide beteiligten Parteien wichtig, sich vor Augen zu halten,
dass sich die Interviewsituation von der alltäglichen Kommunikation in der Familie,
im Beruf oder im Freundeskreis bezüglich Fremdheit, begrenzter Zeitkapazität und
spezifischer Rollenkonstruktionen abhebt. Um diesen Rahmen zu brechen bzw. zu
lockern, kommt dem Leitfaden eine zentrale Bedeutung zu. Der Leitfaden stellt
somit die einzige Informationsquelle für den Interviewten dar. Umso wichtiger ist
es demnach, die Fragen sorgfältig auszuwählen und verständlich zu formulieren
(Gläser & Laudel, 2010). Bei der Gestaltung der Fragen rät Patton (1990) dazu,
besonders auf die Attribute offen, neutral, einfach sowie klar zu achten.
Neben diesen linguistischen bzw. semantischen Aspekten ist zudem der
Einsatzzweck der jeweiligen Frage von Bedeutung. Generell lassen sich Fragen in
der Methodenlehre zwischen ihrer inhaltlichen und ihrer funktionalen Intention
differenzieren. Erstere richtet ihr Interesse, wie der Name bereits suggeriert, „auf
den eigentlichen Inhalt der Frage (die Wissenslücke, die geschlossen werden soll)
und auf den Realitätsbezug des Gegenstandes, der mit der Frage berührt wird“
(Gläser & Laudel, 2010, S. 118). Bei Experteninterviews kommen in der Regel
sogenannte Faktfragen, die auf nachprüfbare Tatsachen abzielen, oder
Meinungsfragen, die die subjektive Perspektive des Befragten beleuchten. Dem
gegenüber stehen Fragen, die funktionale Ziele verfolgen, indem sie gezielt als
Steuerungs- und Lenkinstrument während des offen gestalteten Interviews dienen.
Mittels erzählanregender Fragestellungen (Fragewörter wie „wodurch“ oder
Simulation von Beobachtungssituationen) ist es möglich, tiefgründige
Beschreibungen und Erläuterungen zu initiieren. Um das Gespräch / die
Themenblöcke zu eröffnen oder Einfluss auf den Interviewverlauf zu nehmen, ist
es sinnvoll, Einleitungs- und Filterfragen zu stellen. Mit dem gezielten Einsatz
verschiedener Fragetypen kann letztlich die ungewohnte Interviewsituation
angenehmer gestaltet (Vertrauen aufbauen), der Interviewablauf hinsichtlich der
notwendigen Informationen positiv beeinflusst sowie die geforderte Offenheit eines
Experteninterviews ermöglicht werden (Gläser & Laudel, 2010).
Zur Konstruktion des Leitfadens ist es sinnvoll, die via Theorie ermittelten
Kategorien als Gerüst zu verwenden und daraus gezielt inhaltliche sowie
55
funktionale Interviewfragen abzuleiten. Der Leitfaden soll dabei nur das
Erhebungsinstrument darstellen, als Gedankenstütze für den Fragenden fungieren
sowie dem Interviewten möglichst Entscheidungsfreiheit in seinen Ausführungen
bieten. Bogner et al. (2014) raten dazu, den Leitfaden dabei nicht als „Redeskript“
zu benutzen. Sie tendieren zu der Ansicht, den Leitfaden hinsichtlich der
vorformulierten Fragen sowie Themenblöcken kurz und übersichtlich zu
strukturieren, um den offenen Kommunikationsprozess zu unterstreichen und die
Gefahr von „Standardisierung“ zu reduzieren. Gemäß dieser Empfehlung gestaltet
sich der Leitfaden entlang folgender Kategorien und Gesichtspunkte:4
(1) Gesprächseröffnung Einleitungsfragen zur Besonderheit von Crowdsourcing und zu
gegenwärtigen Herausforderungen (2) Praxisrelevante Einflussgrößen (Forschungsfrage 2)
Faktfrage zur Einschätzung praxisnaher, grundlegender Einflussgrößen im
Crowdsourcing
(3) Crowdabhängige Einflussgrößen (Forschungsfrage 3) vorrangig Faktfragen zur Beeinflussung spezifischer Elemente
Soziodemografische Merkmale (Alter, Geschlecht, Herkunft)
Persönlichkeitsmerkmale
intrinsische Motivation
extrinsische Motivation
(4) Plattformabhängige Einflussgrößen (Forschungsfrage 3) vorrangig Faktfragen zur Kontrolle und Steuerung derartiger Einflüsse
Aufgabendesign (Klarheit, Komplexität und visuelle Darstellung)
Aufgabenselektion
finanzielle Belohnung
Feedback
Gerahmt wird der Leitfaden durch generelle Informationen zum Interview. So wird
vor dem Beginn auf die Möglichkeit zum Einsatz von Sperrvermerken, die
Erlaubnis zur Aufzeichnung und gegebenenfalls auf Anonymität hingewiesen.
Nach dem offiziellen Interviewteil werden die Befragten über die Einsicht der
4 Der detaillierte Leitfaden ist im Anhang A zu finden.
56
Transkription informiert, um eventuelle Unklarheiten (auch rechtlicher Natur) aus
dem Weg zu räumen, und es wird ihnen die Chance gewährt, die Ergebnisse zu
erhalten. Doch als Hauptaugenmerk diesen Interviewbestandteils gilt der
persönliche Dank für das entgegengebrachte Interesse und die
Gesprächsbereitschaft (Bogner et al., 2014; Gläser & Laudel, 2010).
Im Rahmen dieser Arbeit erstreckte sich der Untersuchungszeitraum vom 05.
Dezember bis zum 13. Dezember 2017. Das erste Interview wurde mit Annika
Kuchta, Projektmanagerin Operations, von der Berliner Crowdsourcing-Plattform
Crowd Guru durchgeführt. Danach folgte das Experteninterview mit Creative
Strategist Matthias Juhnke von der Innovationsplattform jovoto. Für das dritte
Gespräch konnte Eva Missling (General Manager Europe) von der Design-
Plattform 99designs gewonnen werden. Beim vierten und letzten Interview wurde
Adrian Ressel, Senior Project Manager QA, von testbirds aus München, einer
Crowdtesting-Plattform, befragt.
Letztlich konnten somit vier Experten von vier verschiedenen Plattform-Typen
interviewt werden. Dabei wurde bei der Kontaktanfrage auf die detaillierte
Beschreibung des Forschungsgegenstandes verzichtet, um die Objektivität der
Interviewten zu wahren. Die Interviewdauer erstreckte sich von 40 Minuten bis hin
zu einer Stunde. Alle Interviews wurden via Skype geführt und durch die Erlaubnis
der Teilnehmer konnten alle Gespräche auch aufgezeichnet werden. Um das
Expertengespräch als „alltägliche“ Situation zu deklarieren und eine vertraute
Gesprächskultur zu erzeugen, wurde in beidseitigem Einvernehmen auf die
Höflichkeitsform „Sie“ verzichtet. Als Gedächtnisstütze und konzeptioneller
Bezugsrahmen kam der zuvor dargestellte Leitfaden zum Einsatz.
57
5. Darstellung und Interpretation der Ergebnisse Im folgenden Kapitel richtet sich der Blick auf die Präsentation der Ergebnisse der
Experteninterviews. Diese sollen genutzt werden, um die Forschungsfragen zwei
und drei zu beantworten. Dazu orientiert sich die Ergebnisdarstellung entlang der
theoretischen Hauptaspekte (Kapitel 3) und der dadurch konstruierten Kategorien
innerhalb der Auswertungsmethode (Kapitel 4.3). Damit die gewonnenen
Erkenntnisse einen individuellen sowie plattformspezifischen Blickwinkel erhalten,
sollen zudem treffende Interviewaussagen als direktes Zitat in die Darstellungen
eingebaut werden.
Als Gesprächseröffnung richtete sich die erste Frage auf die Besonderheiten und
grundlegenden Herausforderungen im Crowdsourcing. Dabei offenbarte sich eine
sehr ähnliche Betrachtungsweise des neuartigen Produktionsmodus, nämlich die
Möglichkeit, lokal und zeitlich unabhängig sowie selbstbestimmt zu arbeiten:
„Das Spannende sehe ich eigentlich darin, dass viele Menschen unkompliziert arbeiten können und eben nicht an einem Ort sein müssen und sich die Arbeit selbst aussuchen können.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
„Das Spannende am Crowdsourcing ist diese völlig neue Organisation von Arbeit, dass man im Grunde genommen, ein dezentrales Arbeiten ermöglicht und das Raum und Zeit nicht mehr wirklich diesen riesigen Stellwert einnimmt.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
„Crowdsourcing ist von daher spannend, dass wir keine festangestellten Designer haben, sondern eine Crowd von Designern.“ (E. Missling, persönliche Kommunikation, 13. Dezember 2017)
Eine weitere Perspektive, die sich auch in der dargestellten Taxonomie von
Hosseini et al. (2014) und zwar in der von Diversität geprägten Crowd andeutet, ist
die Chance, als Unternehmen vielfältige Einblicke, Meinungen und Ansichten zu
erhalten und diese im Sinne des Open Innovation Paradigma nutzen zu können:
„Das Interessante daran ist eigentlich, dass man völlig andere Ergebnisse und Einsichten bekommt im Bezug aufs Testing, auch deswegen weil man nicht diese Betriebsblindheit hat. (A. Ressel, persönliche Kommunikation, 20. Dezember 2017)
Auch bezüglich gegenwärtiger Herausforderungen sind sich die Experten
grundlegend einig. Insbesondere der Aspekt der Einflussnahme und der
Steuerung der heterogenen, unabhängigen Crowd stellt Crowdsourcing-
Intermediäre vor Probleme und zugleich vor die Entwicklung spezifischer
Steuerung- und Kontrollinstanzen, um die gewünschten Ergebnisse zu erzielen:
58
„Die Herausforderung ist, denk ich, die geeigneten Leute zu finden oder halt auch die, die da sind. Zum anderen auch Leute zu finden, die Lust auf den Job haben und sich für die Jobs zu qualifizieren und da eben auch die Qualität hinzukriegen mit der entsprechenden Menge an Leuten.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
„Man kann jetzt jemanden, der am anderen Ende der Welt wohnt, nicht dazu zwingen, sein Update zu machen oder an sein Projekt ein paar erklärende Charts hinzuzufügen. […] Ich denke, man erkennt ganz gut, dass es zwei Seiten einer Medaille sind: einmal die hohen Freiheitsgrade, jeder kann machen was er möchte. Aber der hohe Grad an Freiheit hat auf der anderen Seite natürlich die Einschränkung, dass man es nicht so kontrollieren kann. Das ist dann auch gewollt, da muss man dann mit Erfahrung und Mechanismen und Strukturen zur Verbindlichkeit arbeiten, wie man diese erhöht.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
„Eine große Herausforderung, die wir bei Testbirds haben, ist eben die Verlässlichkeit der Crowd. Wir müssen mit einem großen Sicherheitspolster kalkulieren.“ (A. Ressel, persönliche Kommunikation, 20. Dezember 2017)
So oft Theorie und Praxis auch unterschiedliche Ansichten besitzen mögen, so
deutlich wird dennoch der gemeinsame Konsens in Bezug auf Governance. Auch
die Wissenschaft sieht Governance als eine entscheidende Herausforderung im
Crowdsourcing an (Boudreau & Lakhani, 2013; Jain, 2010; Oomen & Aroyo,
2011).
Angesichts der besonderen Marktkonstellation von Intermediären – die als
Dienstleister in einem zweiseitigen Markt, umspannt von Crowd und Auftraggeber,
fungieren und damit zwei unterschiedliche Interessenstandpunkte auf einer
Plattform hinsichtlich Qualität, Preisgestaltung sowie Störungsfreiheit auf der
Plattform vereinen müssen (Leicht et al., 2016) – ergeben sich weitere relevante
Herausforderungen:
„Du weißt wahrscheinlich auch noch nicht, wer es dir erstellen wird. Auf dieser Prozesskette den Kunden möglichst gut durchzuführen, den richtigen Designer rauszusuchen, auch Sicherheit dadurch zu schaffen, dass wir das Geld verwahren, dass wir dann für die Qualitätssicherung bereitstehen, ist auch Teil unserer Aufgabe. Also eigentlich ist es ja ein unsicherer Prozess, da zu dem Zeitpunkt sich die beiden Seiten auch noch nicht kennen.“ (E. Missling, persönliche Kommunikation, 13. Dezember 2017)
Ein weiterer herausfordernder Aspekt, auf den hingewiesen wurde, ist der
internationalen Ausrichtung der Plattformen geschuldet, insbesondere bei
99designs und jovoto. So bergen die kultur- und länderübergreifende
Kommunikation mit der Crowd und deren oft unterschiedlichen Sprachniveaus ein
59
Risiko, beispielsweise bei der Verständlichkeit der Aufgabenstellung, wodurch sich
die Ergebnisqualität verschlechtern kann (Gadiraju et al., 2016; Kazai et al., 2012):
„Ich glaub, eine Herausforderung ist es, dass man für ein internationales Publikum schreibt. Eines der wichtigsten Sachen ist es, dass das Briefing so viele Leute wie möglich einheitlich verstehen, weil ja nicht jeder Muttersprachler in Englisch ist. Wir sind ja englischsprachig auf der Plattform, dass man im Grunde genommen eine Projektgrundlage schafft, die von so vielen Leuten aus verschiedensten Kulturkreisen und Sprachlevels verstanden wird und dadurch eine gute Breite abdeckt.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
Zur Beantwortung der zweiten Forschungsfrage wurden die vier Experten zu
zentralen Einflussgrößen befragt, die hinsichtlich der Ergebnisqualität eine
markante Rolle spielen. Dabei zeigt sich, dass drei der vier Befragten die
Aufgabenstellung und deren Verständlichkeit als bedeutsam ansehen. Dies lässt
sich auf die zumeist wenig granularen und komplexen Aufgabenstellungen bei
testbirds, jovoto und Crowd Guru zurückführen. So gilt es während des
Leistungserstellungsprozesses, verschiedene Aspekte bzw. Informationen, wie
beispielsweise Marktforschungsberichte, Corporate Identity Vorgaben zur
Entwicklung neuartiger Produktdesigns auf jovoto, zu berücksichtigen oder
kundenspezifische Ausdrucksweisen/Begriffe zu verwenden, wie bei der
Erstellung von SEO-Texten bei Crowd Guru. Aus dieser Überlegung heraus
kommt damit der Klarheit und allgemeinen Verständlichkeit eine relevante Rolle
zu, um für den Kunden das gewünschte Ergebnis zu erzielen:
„Einflussfaktoren sind für mich schon auf jeden Fall die Vorbereitung, also wir müssen den Testern die richtigen Fragen stellen. […] Leute, die zum Teil nicht unbedingt Digital Natives sind. Denen müssen wir eine Anwendung nahebringen, damit sie dazu auch fundiert Feedback geben können.“ (A. Ressel, persönliche Kommunikation, 20. Dezember 2017)
„Klarheit der Aufgaben, das ist, glaube ich, das Wichtigste. Wenn man eine Aufgabenstellung, die aus 27 einzelnen Anforderungen besteht oder noch mehr, dann wird’s für jeden Kreativen schwer, sich darunter vorzustellen, was er eigentlich machen soll. Meine Erfahrung ist, je klarer das Briefing ist und je genauer die Aufgabenstellung definiert wird, desto besser ist das Outcome. Man muss auch versuchen, breites Verständnis der Aufgabe zu schaffen, was nicht ambivalent ist. Das ist als Kernkriterium zu nennen: die Klarheit und Präzision der Aufgabenstellung.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
"Was, glaube ich, sehr wichtig ist, ist das Briefing, die Aufgabenstellung. Die muss vor allem so formuliert sein, dass es möglichst eine breite Masse versteht. Das ist für uns schon relevant. Denn je verständlicher die Aufgabe ist, desto weniger Probleme und Rückfragen treten auf und umso ungestörter können unsere Gurus die Aufgaben erledigen. Irgendwie ist ja die Aufgabe die Basis für den ganzen Prozess." (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
60
Neben der Aufgabenstellung sind laut zwei Experten ebenso die Fachkompetenz
und der Erfahrungsstand entscheidende Faktoren. Insbesondere durch den
Dienstleitercharakter, den die Intermediäre aufweisen, sind die Plattformen in der
Pflicht, ein möglichst gutes Resultat für den Auftraggeber zu erzielen, dass durch
Erfahrungswissen von der Crowd beeinflusst wird, da dieses spezifische Wissen
als Handlungskompetenz und als Empathieelement fungiert:
„Es gibt, glaube ich, zwei Seiten. Zum einen die Fachkompetenz, auf der Designer-Seite. Das kann jetzt sein, wie gut kann ich welche Grafikdesign-Tools. Dann hat es vielleicht einen künstlerischen Aspekt, wieviel Erfahrung habe ich, wie inspirier' ich mich. Dann hat's aber auch noch den Prozess des Matching mit dem Kunden, wie gut versteh ich auch, was der Kunde will.“ (E. Missling, persönliche Kommunikation, 13. Dezember 2017)
„Also, ich glaub, die Erfahrung von Kreativen spielt auf jeden Fall eine Rolle, also Lebensalter bzw. wie lange man im Beruf ist, damit man routinierter und gewisse Dinge gelernt hat, was beim Kunden nicht so gut ankommt.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
Betrachtet man Erfahrungswissen aus der wissenschaftlich-theoretischen
Perspektive, ist die Experteneinschätzung auch gerechtfertigt. So lässt sich
Erfahrungswissen als Teil des Handlungswissens auffassen, das sich aus
explizitem praktischen Wissen, explizitem theoretischen Wissen sowie implizitem
Wissen zusammensetzt. Dieses spezifische Wissen überträgt sich auf spezifische
Sachverhalte sowie Vorgehensweisen und besitzt somit ein
handlungsgenerierendes Moment, das auf Sicherheit und Effizienz ausgelegt ist
(Plath, 2002). Somit sind Crowdworker mit einem hohen Erfahrungsschatz in der
Lage, die Bedürfnisse und Wünsche der Kunden zu verstehen und umzusetzen,
da sie beispielweise bereits ähnliche Aufgaben, unterschiedliche
Anforderungssituationen absolviert haben und die damit verbundenen Risiken und
Fehler einschätzen können.
Zusammenfassend lassen sich somit zwei grundlegende Einflussgrößen
identifizieren, die nach Ansicht der Experten eine nachhaltige Relevanz besitzen
und demnach seitens der Plattformen mit großer Sorgfalt und Genauigkeit
betrachtet werden:
Klarheit und Verständlichkeit der Aufgabenstellung
Erfahrungsniveau und daraus resultierende Handlungskompetenz der
Crowd
61
Neben diesen Aspekten fanden weitere Einflusskriterien, wie die Motivation der
Crowd oder die nutzerfreundliche Bedienung der Plattform für Kunden und Crowd,
in den Ausführungen der Experten Erwähnung. Da diese nicht detaillierter
beschrieben wurden, werden sie als Antwort auf die zweite Forschungsfrage als
nebensächlich betrachtet.
5.1 Crowdabhängige Einflussfaktoren Innerhalb dieses Kapitels richtet sich der Blick auf crowdabhängige
Einflusskriterien, also auf jene genuinen Eigenschaften der Crowd, die seitens der
Plattformen nicht in ihrer Entstehung und in ihrem ursprünglichen Zustand
verändert werden können, sondern nur mithilfe zielgerichteter, meist
plattformspezifischer Maßnahmen beeinflusst werden können. Eben diese
Handlungsweisen sollen nach folgend dargestellt werden.
5.1.1 Soziodemografische Merkmale Bei jeder Registrierung auf Crowdsourcing-Plattformen muss der Crowdworker
persönliche Informationen über das eigene Alter, Geschlecht oder Herkunft
preisgeben. Für die Plattformen sind das verwertbare Daten der eigenen
Community, die in Bezug auf die Ergebnisqualität berücksichtigt werden sollten
(siehe dazu Kapitel 3.1.1). Bei einigen Plattformen hingegen stellen diese
personenbezogenen Informationen die zentrale Komponente im Geschäftsmodell
dar, beispielsweise bei Crowdtesting-Intermediären wie testbirds. Insbesondere
bei Usability-Tests sind Kunden daran interessiert, ihre Produkte von
verschiedenen Zielgruppen mit den unterschiedlichsten Ausprägungen, wie
Smartphone-Betriebssystem-Typ oder Internetaffinität, auf Herz und Nieren
überprüfen zu lassen:
„Wenn wir Usability-Tests machen, dann spielen Zielgruppen eine sehr große Rolle. Wenn der Kunde jetzt sagt, ich hätte jetzt gerne Menschen höheren Alters, die wenig internetaffin sind, die einem superspezifischen Gerätetyp eines Smartphones verwenden, dann müssen wir das so abbilden.“ (A. Ressel, persönliche Kommunikation, 20. Dezember 2017)
In Bezug auf diesen Plattformtypus sind soziodemografische Daten der
Dienstleistungskern. Doch abseits davon finden diese spezifischen Informationen
und deren Auswirkung auf die Ergebnisqualität bei den anderen befragten
62
Plattformen keine Beachtung. So werden diese Daten bei jovoto, Crowd Guru und
99designs nicht systematisch erfasst, ausgewertet und gesteuert:
„Nicht so richtig, also wir erfassen gar nicht so viele Daten, das Alter, Bildungsstand vom Anmeldezeitpunkt, dann haben wir Infos über die Sprachkenntnisse, können das aber nicht so auswerten im Zusammenhang mit der Qualität.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
„Ne, das beeinflussen wir nicht. Wir würden nur Sachen beeinflussen, wo wir Qualifikationen sicherstellen.“ (E. Missling, persönliche Kommunikation, 13. Dezember 2017)
„Also, das steuern wir nicht gezielt. Irgendwie lebt ja Crowdinnovation auch davon, dass man unterschiedliche Ansätze, Eindrücke und Ideen zu einem bestimmten Thema bekommt. (…) Wir erfassen bei der Registration schon das Alter, Geschlecht und den Wohnort, allerdings werden diese Infos nicht richtig ausgewertet und in Verbindung zur Qualität gesetzt.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
Auch ohne systematische Auswertung personenbezogener Daten kommen die
Experten aufgrund ihrer Erfahrung zu der Annahme, dass verschiedene Kriterien
den Arbeitsprozess beeinflussen können. So weist A. Kuchta (persönliche
Kommunikation, 7. Dezember 2017) darauf hin, dass im Zuge der anstehenden
internationalen Expansion bei Crowd Guru die Herkunft der Crowdworker und die
damit verbundenen unterschiedlichen Sprachen eine wichtige Rolle spielen
könnten. Ähnliche Ansichten vertreten M. Juhnke (persönliche Kommunikation, 12.
Dezember 2017) von Jovoto und E. Missling (persönliche Kommunikation, 13.
Dezember 2017) von 99designs, nämlich dass bei kreativen Aufgabenstellungen
das Lebensalter und die damit einhergehende Erfahrung der Crowd einen Einfluss
auf die Ergebnisqualität ausüben können:
„Also, ich glaube, die Erfahrung von Kreativen spielt auf jeden Fall eine Rolle, also Lebensalter bzw. wie lange man im Beruf ist, damit man routinierter und gewisse Fähigkeiten erlernt hat, was beim Kunden nicht so gut ankommt. Ich glaube einfach, je länger man in der Kreativindustrie unterwegs ist, entwickelt man Empathie für Kundentypen und das ist etwas, was mit dem Alter zunimmt.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
Allerdings wird dies seitens der Plattformen nicht aktiv gelenkt, da das kreative,
innovative Potential der Crowd durch Restriktionen gehemmt werden könnte und
letztlich dem Grundgedanken des Crowdsourcing im Sinne der „Weisheit der
Vielen“ entgegenwirken würde:
„Hauptsache, sie sind gut und haben Ahnung von ihrem Fach, dann ist es eigentlich egal, woher sie kommen.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
63
Beim spezifischen Aspekt der Herkunft fügt A. Ressel (persönliche
Kommunikation, 20. Dezember 2017) an, dass bei deutschen, österreichischen
und schweizerischen Crowdworkern „gerne und viel kritisiert wird und auch das
Haar in der Suppe gesucht [wird].“ Als Erklärung für diese Beobachtung führt er
eine gewisse Kritikkultur des deutschsprachigen Raums und die starken
deutschsprachige Community bei testbirds an. Trotz des Zusammenhangs wird
bei testbirds prinzipiell nicht nach diesem Aspekt gehandelt, es sei denn, der
Auftraggeber wünscht dies.
5.1.2 Persönlichkeitsmerkmale Eine ähnlich distanzierte Auseinandersetzung seitens der Plattformen lässt sich
bei der Einflussgröße Persönlichkeit feststellen. Diesem Aspekt wird bei allen vier
Plattformen eine lediglich untergeordnete bis gar keine Beachtung geschenkt.
Symbolisch dafür steht die folgende Aussage von E. Missling (persönliche
Kommunikation, 13. Dezember 2017): „Nein, das machen wir nicht“. Abseits von
diesem strikten Standpunkt warfen die weiteren drei Experten verschiedene
Aspekte auf, die Berührungspunkte mit der Crowd-Persönlichkeit und der
jeweiligen Crowdsourcing-Plattform besitzen: A. Kuchta (persönliche
Kommunikation, 7. Dezember 2017) kann sich vorstellen, dass verschiedene
Persönlichkeitsmerkmale wie Gewissenhaftigkeit oder Verlässlichkeit beim Lösen
sehr feingliedriger und akribistisch konnotierter Aufgabenstellungen von Vorteil
sind. Allerdings fügte sie hinzu, dass „das nicht strukturiert erfasst wird“. Die
Projektmanager erhalten lediglich durch den persönlichen Kontakt mit der Crowd,
über den Chat oder das Forum, einen Einblick in individuelle Charakterzüge, die
allerdings nicht aktiv beeinflusst werden.
Bei jovoto, wo Kollaborationen zwischen den Crowdworkern einen „wesentliche[n]
Bestandteil der Plattform“ (M. Juhnke, persönliche Kommunikation, 12. Dezember
2017) darstellen, wird die Zusammensetzung der Teams nach Persönlichkeit nicht
bewusst gesteuert, sondern nur im Falle von Supportanfragen der Crowd durch
das Community-Management unterstützt. Dabei richtet sich die Unterstützung von
jovoto zumeist auf die fähigkeiten-basierte Kontaktvermittlung von Crowdworkern,
nach dem Motto „Könnt ihr mir jemanden empfehlen, der mich grafisch
unterstützt?“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017). Doch
in der Regel werden der Crowd die Kollaboration und Partnersuche selbst
64
überlassen, oft kommt es vor, dass sich die Crowd von anderen Projekten,
Wettbewerben oder aus dem Forum kennt:
„Aber wir schauen eigentlich nicht so sehr, wer zusammenpasst, sondern die Leute finden sich tatsächlich eher auf der Plattform selbst zusammen. […] Die richtigen Kreativpaare finden sich da schon auf der Plattform, meistens von ganz allein.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
Das selbstständige regulatorische Moment findet sich auch bei testbirds wieder.
Die Crowd kann eigenmächtig entscheiden, ob sie bestimmte
Aufgabeneinladungen annehmen möchte oder nicht. A. Ressel (persönliche
Kommunikation, 20. Dezember 2017) von testbirds unterstreicht den Gedanken
mit den Worten „das reguliert sich ein Stück weit selber“ und fügt das
Aufgabenbeispiel Remote Interviews an, bei denen z. B. qualitative Fragen zur
Usability von Software-Produkten gestellt werden. Dabei ist es von Vorteil, wenn
„die Leute offen, aufgeschlossen und einfach mitteilsam sind“ (A. Ressel,
persönliche Kommunikation, 20. Dezember 2017), da man dadurch mehr
Informationen erhält. Durch die freiwillige Annahme der Aufgaben „ist [es] schon
so, dass, wenn Leute schüchterner bzw. zurückgezogener sind, sie sich gar nicht
erst für so ein Interview anmelden“ (A. Ressel, persönliche Kommunikation, 20.
Dezember 2017).
Trotz der verschiedenen Berührungspunkte zwischen Crowd-Persönlichkeit und
Plattform wird der qualitätssteigernde Einfluss der Persönlichkeitsstruktur durch
die Plattformen nicht im Sinne von Governance bewusst und zielgerichtet genutzt.
Die Erklärungen während der Interviews zeugen davon, dass eine gewisse
Vorstellungskraft für den Zusammenhang existiert, dieser aber keine aktive,
systematische Berücksichtigung findet und demnach anderen Einflussgrößen
(siehe Forschungsfrage 1) ein höheres Gewicht zugeschrieben wird.
5.1.3 Intrinsische Motive Wie bereits in Kapitel 3.1.3 dargestellt, sind die intrinsischen Motive zur
Partizipation an Crowdsourcing-Projekten von Diversität geprägt. Sie können je
nach Plattformtyp variieren, was zur Folge hat, dass die Intermediäre mittels
spezifischer Mechanismen gezielt die entsprechenden Beweggründe bedienen.
Ein zentraler Motivationsaspekt für Crowdworker ist der Community-Gedanke. Um
diesen zu stärken, nutzen drei von vier befragten Crowdsourcing-Plattformen
65
(crowd guru, testbirds, jovoto) sogenannte Foren, die durch das Community-
Management betreut werden. Die virtuelle asynchrone Kommunikationsplattform
(Forum) unterstützt die Crowd, sich untereinander auszutauschen, zu diskutieren,
zu netzwerken und so letztlich soziale Interaktionen zwischen den Crowd-
Mitgliedern zu begünstigen. Abseits von Foren kommen zudem typische Online-
Community-Features – Kommentarfunktion, persönliche Nachrichten oder
Chats/Shoutboxes zur Kommunikation zwischen den Crowd-Mitgliedern sowie
zwischen Plattform und Crowd – zum Einsatz. Seitens der Intermediäre werden
diese Plattform-Features nicht nur als Kommunikationswerkzeug genutzt, sondern
auch als Lenkinstanz zur Ankündigung neuer Aufgaben verwendet oder gezielt als
Anstoß für soziale Interaktionen implementiert:
„Wenn wir einen neuen Job starten, erstellen wir immer ein neues Forum dazu, die Gurus werden dann quasi benachrichtigt, dass ein neues Job im Bereich X,Y, zur Verfügung steht.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
„Soziale Interaktionen finden zwischen den Leuten fast von selbst statt, indem sie auf der Plattform sind und sich immer wieder bei verschiedenen Projekten begegnen, sei es über Kommentare oder Kollaborationen.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
An diesem Aspekt wird das grundlegende strukturelle Anforderungsprofil bei
Crowdsourcing-Plattformen sichtbar. Die Plattformen müssen mit entsprechenden
Funktionen und Schnittstellen ausgestattet sein, damit eine Interaktion zwischen
menschlichem Handeln und der technologischen Komponente ermöglicht wird,
sodass „human participants and/or machines perform work (processes and
activities) using information, technology and other resources to produce
informational products and/or services“ (Alter, 2008, S. 451). Diese sozial-
technologische Betrachtungsweise von Crowdsourcing-Plattformen wurde auch
während der Interviews nochmal aufgegriffen. Symbolisch dafür steht folgende
Aussage:
„Es hat ein technisches Fundament, aber eine menschliche Seele und das sieht man auch, wie die Leute miteinander in Kontakt treten.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
Neben den Motiven, die community-based sind, nehmen auch Gründe wie Spaß
oder Freude eine zentrale Rolle bei der Teilnahme am Crowdsourcing ein.
Allerdings wird dieser Punkt seitens der Plattformen eher als zweitrangig oder gar
als notwendige, mitzubringende Eigenschaft angesehen:
66
„Wir sind jetzt nicht die lustige Ideen-Crowd, wo jeder mal rumklickt und ein paar Likes dazugewinnt.“ (E. Missling, persönliche Kommunikation, 13. Dezember 2017)
„Nun ist es ja so, wenn die Leute keine Lust hätten, würden sie sich bei uns auf der Plattform tendenziell nicht registrierten bzw. die Einladung zu dem Test nicht annehmen“ (A. Ressel, persönliche Kommunikation, 20. Dezember 2017)
Eben vor diesem Hintergrund der intrinsischen Motivation und deren
Beeinflussung hat sich Gamification in den letzten Jahren als vielversprechender
Ansatz etabliert. Gamification lässt sich grundlegend als „use of video game
elements in non-gaming system“ (Deterding, Sicart, Nacke, O'Hara & Dixon, 2011,
S. 1) charakterisieren und hat im Crowdsourcing seinen Hauptanwendungsbereich
gefunden (Hamari, Koivisto & Sarsa, 2014). Die Intention bei der Implementierung
verschiedener Game-Design-Elemente zielt darauf ab, das Verhalten der Crowd
positiv zu beeinflussen. Indes konnten verschiedene Forschungsprojekte die
positive Wirkung von Gamification-Mechaniken auf Motivation, Arbeitseinstellung,
Spaß/Freude an der Tätigkeit, Arbeitsqualität und Reduzierung von
Spammern/Betrügern aufzeigen (Bowser et al., 2013; Eickhoff, Harris, Vries &
Srinivasan, 2012; Itoko, Arita, Kobayashi & Takagi, 2014).
In Anbetracht dieser Überlegungen wurden die Experten explizit nach der
Verwendung von Spiel-Mechanismen und dazugehörigen Design-Elementen
befragt. Dabei zeigte sich, dass verschiedene kleine Features aus dem Bereich
Gamification zur Anwendung kommen, diese aber keine zentrale Stellung als
Steuerungsinstanz einnehmen:
„Ne, also Gamification und Spaß/Community-Aspekte werden nicht explizit gefördert.“ (E. Missling, persönliche Kommunikation, 13. Dezember 2017)
„Es wird wenig Gamification betrieben, um den Spaßfaktor zu erhöhen.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
„Nicht so sehr. Gamification so mit Badges usw. wurde eine Zeit lang gemacht, aber ist jetzt nicht so ein Feature, welches prominent ist aktuell.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
„Liegt jetzt kein Fokus drauf. Der Begriff Gamification lässt sich schwer umsetzen.“ (A. Ressel, persönliche Kommunikation, 20. Dezember 2017).
Auch wenn die Aussagen suggerieren, dass keine Gamification-Elemente
eingesetzt werden, so fanden dennoch einige wenige Bestandteile ihre
Erwähnung. Diese lassen sich im Sinne des Gamification-Ansatzes wie folgt
interpretieren: das Sammeln von Erfahrungspunkten und die Verleihung von
67
Badges als Belohnung für Leistung (testbirds), (freiwillige)
Gruppenarbeiten/Kollaborationen zur Förderung des sozialen Austauschs (jovoto),
Community-Voting als lern- und motivationsförderndes Feedback (jovoto),
Wettbewerbe und daraus resultierende Rangfolgen (jovoto) und die
Implementierung von Zeitvorgaben in das Aufgabendesign, zum einen um den
Kundenzeitplan einzuhalten, zum anderen um im Sinne des Gamification-
Ansatzes den Aufgaben einen herausfordernden Charakter zu verleihen (Blohm &
Leimeister, 2013). Ob diese Mechanismen gezielt zur Beeinflussung der
intrinsischen Motivation installiert wurden, ist anhand des Interviewmaterials nicht
eindeutig zu beantworten.
Abseits der spaßorientierten intrinsischen Motive kann Altruismus ein
Partizipationsgrund sein. Dieser Aspekt wurde nur seitens testbirds angesprochen:
„Dann gibt’s eben den nächsten Punkt, dass die Leute eben einen gewissen Qualitätsanspruch haben, die Leute wollen die Software-Produkte, die auf dem Markt sind, besser machen. Wir versuchen sie auch damit gezielt abzuholen. Indem wir sagen ‚Ok, wir testen jetzt den und den Prototypen‘. Dadurch, dass der Entwicklungsstand noch sehr sehr früh ist, ist die Wahrscheinlichkeit sehr hoch, dass euer Feedback mit in die weitere Entwicklung einfließt. Dein Feedback bewirkt wirklich was, du machst damit was besser und trägst zu einem guten Produkt etwas bei.“ (A. Ressel, persönliche Kommunikation, 20. Dezember 2017)
Die Aussage verdeutlicht, dass altruistische Beweggründe seitens testbirds gezielt
aktiviert werden und auch in der Aufgabeneinladung/-stellung bewusst
angesprochen werden, wie zum Beispiel in Form kleiner Stories. Aus theoretischer
Perspektive soll hierbei noch(mals) erwähnt werden, dass die bloße Fokussierung
der Aufgabenbeschreibung zur Aktivierung altruistischer Motive keinen Effekt auf
die Quantität bzw. Qualität der Ergebnisse besitzt. In diesem Zusammenhang sind
weitere wissenschaftliche Untersuchungen von Nöten, um den Einfluss
altruistischer Motive zu konkretisieren (Khan, Dey & Buchina, 2016). Unabhängig
davon kann die gezielte Aktivierung altruistischer Leitmotive ein effektiver
Mechanismus sein, auch wenn dieser nicht von der Mehrzahl der Intermediäre
beachtet wird – insbesondere wenn man sich vor Augen hält, dass der eigene
Feedback-Beitrag zu einer nutzerfreundlicheren App oder Webseite von DHL,
Audi oder Deutsche Telekom, die mit hoher Wahrscheinlichkeit von Millionen
Nutzern verwendet wird, beiträgt.
68
5.1.4 Extrinsische Motive Bei dem Stichwort ‚Extrinsische Motive‘ liegt der Fokus zumeist auf dem Aspekt
der monetären Anreize, der in Kapitel 5.2.4 nochmal aufgegriffen werden soll.
Doch neben der finanziellen Vergütung können Erweiterung der individuellen
Fähigkeiten und Verbesserung der persönlichen Jobaussichten ebenfalls
extrinsische Beweggründe bei der Beteiligung an Crowdsourcing-Projekten
darstellen.
Während der Auswertung des Interviewmaterials zeigte sich, dass lediglich jovoto
und testbirds den Aspekt des Lernens und die damit verbundene Aneignung neuer
Fertigkeiten bzw. Verbesserung bestehender Fähigkeiten gezielt aufgreifen. So
bietet jovoto ihren Kreativen bewusst verschiedene Möglichkeiten an. Dazu
gehören lehrreiche Blogbeiträge über kreatives Arbeiten, Strukturierung kreativer
Gedanken oder über plattformspezifische Themen wie „7 Tipps für bessere
Einreichungen“. Des Weiteren veranstaltet jovoto Webinare, bei denen Kreative zu
Kundenbriefings eingeladen werden, um ein Zwischenfeedback zu erhalten, aber
auch um ein Gespür für die Auftraggeber-Perspektiven und die verbundenen
Wünsche, Bedürfnisse und Vorstellungen des Kunden zu entwickeln, was
perspektivisch zu besseren Ergebnissen führen soll.
„Ab und zu machen wir Blogposts, die gewisse Fertigkeiten ansprechen, wie man seine Kreativität steigern kann, wie man seine Chancen steigert, eine gute Einreichung auf der Plattform zu tätigen. So strukturelle Hinweise, wie ordnet man kreative Gedanken. Da gibt’s schon recht viel Blog-Content, der immer wieder kommt. Ab und zu auch mal ein Webinar, wo wir beispielsweise die Kreativen einladen und sie zu einem Kundenbriefing-Termin dazuholen, damit sie mal zuhören können wie der Kunde den bisherigen Output einschätzt. Da gibt’s so verschiedene Partizipationsmöglichkeiten.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
Eine differenzierte Betrachtungsweise in Bezug auf Lernen zeigte sich bei
testbirds. Ausgehend von dem Umstand, dass Crowdtester zum Teil Einsicht in
Pre-Alpha-Versionen bei der Software-Entwicklung oder in den Wireframe-Status
von Webseiten bekommen, erfahren sie vielsprechende Perspektiven, Ideen für
zukünftige Produkte oder innovative, neue Features und bewegen sich damit „am
Puls der Zeit“, durch den sie ihr konzeptionelles, ideengenerierendes Wissen
erweitern können. Dies gilt insbesondere für Crowdtester, die selbst in der
digitalen Branche tätig sind. Doch um Industriespionage im weitesten Sinne
69
vorzubeugen, hat testbirds eine Geheimhaltungserklärung (NDA) bei der
Registrierung implementiert.
„Sicherlich ist es ein Punkt, dass die Leute, die aus der IT kommen, bei uns die Möglichkeit haben, auf der Höhe der Zeit zu bleiben. Einfach dadurch, dass sie völlig neue, unveröffentlichte Software-Produkte, zum Teil im Wireframe-Stadium testen können, können sie dadurch ihre eigene Arbeit besser machen.“ (A. Ressel, persönliche Kommunikation, 20. Dezember 2017)
Bezüglich der Verbesserung der persönlichen Jobperspektiven verfolgen jovoto
und testbirds unterschiedliche Ansätze. Jovoto sieht sich in ihrem
Selbstverständnis als „Sprungbrett bzw. Karriere-Booster“, indem sie sich bewusst
als (Auftrags-)Vermittler zwischen Kunde und Kreativen positionieren. So ist es
beispielsweise schon vorgekommen, dass Auftraggeber explizit nach einzelnen
Crowd-Mitgliedern gefragt oder dass Kreative sogar Jobangebote aufgrund ihrer
vorher geleisteten Arbeit erhalten haben. Im Gegensatz dazu ist die Vermittlerrolle
bei testbirds eher nebensächlich, da die Tester zum Teil gar keine Informationen
über den Auftraggeber erhalten und dadurch kein direkter Kontakt zustande
kommen kann. Um dennoch das Motiv abzudecken, stellt testbirds die Möglichkeit
in den Raum, ein Empfehlungsschreiben auszustellen, das der Crowdtester für
zukünftige Bewerbungen verwenden kann.
„Da testbirds ein Mittler zwischen Crowd und Kunde ist, kommen diese eher selten in Kontakt. Generell lassen sich die Jobaussichten nicht verbessern durch den Kundenkontakt. Wenn wir erfahrene Tester haben, die gute Arbeit leisten, viele Fehler gefunden haben, die zuverlässig waren, für die stellen wir zum Teil auch schon mal ein Empfehlungsschreiben/Zeugnis o.ä. aus. Kommt selten vor“. (A. Ressel, persönliche Kommunikation, 20. Dezember 2017)
Bei 99designs hingegen spielt der Governance-Aspekt grundlegend eine
untergeordnete Rolle. Dies lässt sich auf das Geschäftsmodell und die damit
verbundene starke Fokussierung der Crowd auf extrinsische Partizipations-Motive,
insbesondere finanzieller Natur, zurückführen.
„Es bedarf gar nicht so viel Steuerung von 99designs aus. 99designs übernimmt die Akquise für die Designer.“ (E. Missling, persönliche Kommunikation, 13. Dezember 2017)
„Wir haben ja professionelle Freelance-Designer und die sind bei uns auf der Plattform, um Kunden zu gewinnen und für den Kunden direkt zu arbeiten. Die haben eigentlich eine Motivation wie jeder Freelancer, die wollen besonders einen spannenden Kunden finden, der möglichst viele Folgeaufträge hat.“ (E. Missling, persönliche Kommunikation, 13. Dezember 2017)
70
Mithilfe eigener Profile, in denen die Designer ihre Arbeiten präsentieren können,
um Folgeaufträge zu generieren, hat 99designs einen Mechanismus für das
implementiert, das zugleich das Motiv des Self-Marketings bedient.
Dieser Aspekt wird bei jovoto ähnlich aufgegriffen, indem die eingereichten
Arbeiten, die durch eigenes Wissen und eigene Fähigkeiten erarbeitet worden
sind, präsentiert werden und im Sinne der Selbstvermarktung genutzt werden
können. Unterstützt wird dieser Faktor mithilfe renommierter Auftraggeber und
global agierender Marken. Dabei haben die Crowdworker die Chance, sich ein
eigenes Portfolio zu erarbeiten und dies als Referenz für die persönliche Karriere
zu verwenden.
„Die Marke spielt eine riesige Rolle, also dass es eine Marke ist, auf die man sonst gar keine Chance hätte. (…) Sowas wie Coca Cola, die großen Global Brands, die jeder kennt. Das ist, glaube, eine große Motivation, um dann später sagen zu können ‚Ich hab sogar schon mal erfolgreich gearbeitet‘ oder es einfach in die Mappe zu packen.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
Bei Crowd Guru werden die eben erwähnten extrinsischen Motive nicht
berücksichtigt, da sich der Leistungserstellungsprozess losgelöst vom
Auftraggeber auf der Plattform vollzieht.
„Generell läuft der Prozess anonym ab, also die Gurus wissen gar nicht, für wen sie letztlich arbeiten.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
Daher fokussiert sich Crowd Guru ebenfalls verstärkt auf die finanzielle Vergütung
als Hauptanreiz für ihre Gurus.
5.2 Plattformabhängige Einflussfaktoren Im nachfolgenden Kapitel richtet sich der Blick auf die Experteninterview-
Ergebnisse bezüglich plattformabhängiger Einflussgrößen, also jene Faktoren, bei
denen die Plattform, unabhängig von den Charakteristika der Crowd, aktiv
eingreifen kann. Ähnlich wie bei der Darstellung in Kapitel 5.1 orientiert sich die
Struktur dieses Kapitels entlang der theoretischen Darstellungen aus den
vorangegangenen Abschnitten.
5.2.1 Aufgabendesign – Klarheit, Komplexität und visuelle Darstellung So unterschiedlich die Ergebnisse hinsichtlich der Motivationsmaßnahmen auch
sind, so ähnlich sind die Herangehensweisen der Plattformen bezüglich des
Aufgabendesigns.
71
Um eine größtmögliche Verständlichkeit und Klarheit der Aufgabe zu
gewährleisten und damit eine optimale Grundlage für den darauffolgenden
Prozess zu schaffen, fokussieren sich die Plattformen bei der Formulierung der
Aufgabe darauf, keine Fremdwörter zu verwenden (notfalls mit Erklärung), keine
Abkürzungen zu nutzen und auf allgemeinverständliche Weise das Problem zu
erklären:
„Wir versuchen, keine Fremdwörter in den Briefings, wenn Fremdwörter nötig sind, dann einfach mit meiner Erklärung, und keine Abkürzungen zu verwenden.“ (A. Kuchta persönliche Kommunikation, 7. Dezember 2017)
„Das Herzstück ist immer noch ein klassisches schriftliches Briefing, weil es einfach so die sprachliche Verbindlichkeit hat und jeder muss das Briefing lesen, welches möglichst viele Kreative verstehen und nutzen können. Briefing ist einfach ein bewährtes Tool, um es erstmal sprachlich zu fixieren.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
„Grundsätzlich versuchen wir, die Aufgabenstellung so allgemein wie möglich zu formulieren (z. B. Verzicht auf Fachbegriffe).“ (A. Ressel, persönliche Kommunikation, 20. Dezember 2017)
Damit die Crowd die gewünschte Qualität erreichen kann, werden weitere
zusätzliche Informationen für die Bearbeitung der Aufgabe bereitgestellt. Dies
können Erklärungs-PDFs sein wie der Guru Guide bei Crowd Guru, bei dem z. B.
das geforderte Ergebnisformat nochmals erklärt wird; sogenannte Projektkits bei
jovoto, in denen Kunden-Präsentationen, Marktforschungsdaten,
Sekundärinformationen oder Styleguides enthalten sind; oder es kommen kurze
Tutorialvideos zum Einsatz, die beispielsweise die Einrichtung von VPN-
Verbindungen für Usability-Tests erläutern.
Auch beim Umgang mit (zu) komplexen Aufgaben verfolgen die Plattformen
ähnliche Herangehensweisen. So hoben die Experten während der Interviews
hervor, dass gegebenenfalls die Aufgabenkomplexität durch die Zerlegung der
Aufgabe in feingliedrige, leichtere Teilaufgaben reduziert wird. Somit folgt die
Praxis den seitens der Wissenschaft empfohlenen Handlungsweisen (u. a. Afuah
& Tucci, 2012; Finnerty et al., 2013). Die Minimierung des Schwierigkeitsgrads
ermöglicht unterdessen den Zugang und die Verständlichkeit der
Aufgabenstellung für eine breite Masse der Crowd, sodass keine Vorkenntnisse
notwendig sind:
„Die Aufgaben dürfen allerdings nie so komplex sein, dass sie wirklich nur ausgewiesene Spezialisten bearbeiten können. Es muss auch irgendwie
72
zielgruppengerecht und einsteigerfreundlich sein, weil wir eben auch Nutzer mit sehr sehr unterschiedlichen Hintergründen auf der Plattform haben und nicht davon ausgehen können, dass bestimmte Kenntnisse vorhanden sind.“ (A. Ressel, persönliche Kommunikation, 20. Dezember 2017)
„Wir gestalten die Aufgabe so, dass man kein Spezialwissen braucht. Wenn ein Texter sich schon mit SEO auskennt, dann ist es schön. Aber generell muss man SEO nicht verstehen, um eine SEO-Aufgabe zu erledigen. Man muss nur verstehen, dass das Keyword an die Stelle X gehört.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
Um diesem Arbeitsschritt vorzubeugen sowie die prinzipielle Transformierbarkeit
der Kundenbedürfnisse in eine „crowdgerechte“, d.h. in ihrer Komplexität
zerlegbare Aufgabe zu ermitteln, nimmt das Kundenbriefing einen wesentlichen
Bestandteil als Grundlage (Input) im Crowdsourcing-Prozess ein.
„Natürlich ist nicht jede Aufgabe auf der Plattform lösbar. Aber erstaunlicherweise kann man immer sehr gut, wenn man lang genug mit dem Kunden redet, eine Teil-Challenge aus einer komplexen Aufgabe machen. Manchmal ist es auch wichtig, aus einer riesigen komplexen Aufgabe mehrere Aufgaben tu machen und nicht versucht, alle auf einen Schlag zu lösen, sondern in mehrere kleine Portionen aufzuteilen.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
Zur besseren Verständlichkeit und Übersichtlichkeit der Aufgabenstellung nutzen
die Plattformen die altbekannten Formatierungsmöglichkeiten (Schriftgröße,
Schriftfarbe, Auszeichnungsarten), um so wichtige Informationen hervorzuheben.
Des Weiteren werden auch Überschriften, Hervorhebungen oder Trennlinien für
mehr Übersichtlichkeit verwendet. Zudem kommen wie bereits angesprochen
Videos oder Bilder zum Einsatz, die die Crowd mit relevanten Informationen über
die Aufgabe versorgen, auf zentrale, immer wiederkehrende Probleme hinweisen
oder Erklärungen zur Bearbeitung der Aufgabe bereitstellen, je nach Aufgabentyp.
„Wir nutzen teilweise auch Erklärbilder und -videos. Einmal haben wir die Variante, dass man Bilder von den zu recherchierenden Informationen macht und da erklärt, wo man was findet. Oder auch Bilder von dem Job, wie er dann richtig ausgefüllt aussehen sollte. Erklärvideos kommen dann meistens bei spezielleren Aufgaben zum Einsatz, wie z. B. bei dem Thema maschinelles Lernen. Da haben wir auch Bildbearbeitungsjobs, wo es ganz gut ist, weil da z. B. ein Extra-Tool verwendet wird.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
Doch der Gestaltungsspielraum birgt auch Risiken hinsichtlich des Verlusts von
Übersichtlichkeit und Struktur (z. B. durch farblich überladene der chaotische
Layouts), wodurch die Ergebnisqualität leidet (Finnerty et al., 2013):
„Wir versuchen zu vermeiden, dass die Jobs zu groß werden, weil sie dadurch ihre Übersichtlichkeit verlieren. Es sollte eigentlich so sein, dass die Aufgabe auf einem
73
normalen Monitor auf einen Blick zu sehen ist.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
„Man muss halt aufpassen, dass das Ganze nicht aussieht wie ein Weihnachtsbaum, sodass letztlich nicht alles rot ist und alles blinkt. Also in sparsamer Form und bei den wichtigen Sachen. Wichtig ist, dass auf den ersten Blick alles Relevante erkennbar ist.“ (A. Ressel, persönliche Kommunikation, 20. Dezember 2017)
Im Kontext des Aufgabendesigns und entsprechender Maßnahmen nimmt
99designs gegenüber den anderen Intermediären eine Sonderstellung ein. Da der
Geschäftsansatz auf der Auftragsakquise für Designer liegt und nicht auf der
reinen Crowdsourcing-Dienstleistung wie bei jovoto, testbirds oder Crowd Guru,
wurde die Verantwortung der Aufgabengestaltung in die Hände der Kunden
gelegt. 99designs steht hierbei beratend zur Seite und stellt die infrastrukturellen,
technischen Rahmenbedingungen durch einen standardisierten, automatischen
Aufgabenerstellungsprozess zur Verfügung, bei dem durch 99designs in der Regel
nicht eingegriffen wird. Bei den restlichen Intermediären ist dies Aufgabe der
Plattform, indem sie durch ein ausführliches Briefing die Bedürfnisse und
Wünsche des Kunden erfährt und daraus eine geeignete Aufgabenstellung
entwirft.
„An ganzen seltenen Stellen greifen wir ein, zum Beispiel bei Broschüren-Designs (3 oder 300 Seiten), dann wird schon mal das Volumen angepasst, wenn es wirklich zu viel ist oder wo der Preis nicht mehr zum Volumen passt. In diesem Fall würde sich unser Kundensupport beim Kunden melden oder der Kunde würde sich melden, weil kein Designer den Auftrag annehmen möchte.“ (E. Missling, persönliche Kommunikation, 13. Dezember 2017)
Begünstigt wird dieser Perspektivenwechsel durch die Tatsache, dass im visuellen
Bereich gewisse Standards vorherrschen und dass die Crowd aus zumeist
professionellen, hauptberuflichen Designern besteht, die über fundierte
Kenntnisse in diesen Bereichen verfügen:
„Im Vergleich zu anderen Plattformen haben wir ein enges Spektrum an Aufgabenstellungen. Wenn ich sage ‚Gestalte mir eine Facebook-Timeline, dann ist schon mal ganz viel klar‘, also Format, Text, Hintergrundbild. Eigentlich sind unsere Produkte so aufgebaut, dass jeder eine Vorstellung hat, wie zum Beispiel eine Visitenkarte aussieht.“ (E. Missling, persönliche Kommunikation, 13. Dezember 2017)
Detaillierte Erklärungen zur Aufgabenbeschreibung und deren Gestaltung fanden
im Interview keine Erwähnung, sodass keine genauen Aussagen über die
Herangehensweise getroffen werden können.
74
5.2.2 Aufgabenselektion und -empfehlung Als Antwort auf die in Kapitel 3.2.3 formulierte Frage „Wie findet die Crowd die für
sie ‚perfekte‘ Aufgabe?“ verfolgen die vier Intermediäre verschiedene Ansätze:
Drei Plattformen, Crowd Guru, jovoto und 99designs, stützen sich bei der
Zuweisung von Aufgaben auf das Fähigkeitenportfolio der Crowd und nutzen
damit den Skill-based-Selection-Ansatz, um passende Aufgaben der Crowd
vorzuschlagen/weiterzuleiten und damit die Qualität der Ergebnisse zu
gewährleisten.
Der Selektionsprozess bei Crowd Guru wird mittels Qualifikationstests
sichergestellt. Um die Fähigkeiten der Crowd abzufragen, kommen bei
Rechercheaufgaben kurze Grammatik- und Orthografie-Fragen zum Einsatz. Des
Weiteren müssen die Crowdmitglieder noch einen kurzen Text zu einem
bestimmten Thema vorlegen, um den Test abzuschließen. Bei Recherche-
Aufträgen werden im Vorfeld kleine Aufgaben formuliert:
„Im Recherchebereich werden kleine Aufgaben gestellt, sowas wie ‚Recherchiere eine Webseite oder ein Impressum‘, damit die Crowd erkennt, was ein Impressum ausmacht oder wann ist eine Webseite offline oder nur vorübergehend offline.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
Mit diesem Mechanismus qualifiziert sich die Crowd für den jeweiligen
Aufgabentyp und kann sich erst mit Bestehen der Tests für die Aufgaben zur
Verfügung stellen:
„Man muss die bestanden haben, um die Jobs aus den Bereichen überhaupt zu sehen.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
Mit einer weiteren Qualifizierungsrunde versucht Crowd Guru unpassende
Crowdworker herauszufiltern, in dem sie gezielt aufgabenspezifische „Mini-Tests“
durchführt, um die Verständlichkeit und Klarheit der Aufgabe zu überprüfen und
gegebenenfalls die Aufgabenbeschreibung anzupassen. Dieser Mechanismus
lässt sich als Pre-Testing interpretieren (Zogaj, 2016).
„Das Wichtigste eigentlich ist, dass sie das Briefing lesen und verstehen und entsprechend umsetzen. Das versuchen wir da abzufragen.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
Die fähigkeitenbasierte Selektion kommt auch bei jovoto zum Einsatz, allerdings in
einem anderen konzeptionellen Rahmen. Durch die Differenzierung zwischen
offenen Aufgaben und Pro-Aufgaben existieren zwei unterschiedliche
75
Aufgabentypen. Beim ersten Typ darf grundlegend jeder mitmachen, der auf der
Plattform angemeldet ist. Damit orientiert sich jovoto am Aspekt des Open Calls,
die auch in den Definitionen von Howe (2006b) und Estellés-Arolas & González-
Ladrón-de-Guevara (2012) zu finden ist. Abseits des offenen Aufrufs werden
bestimmte Aufgaben nur an qualifizierte, meist hauptberufliche Designer, die
sogenannten Pro Layer, weitergegeben, um damit ein gewisses Qualitätsniveau
zu erreichen und der zunehmenden Professionalisierung auf der Plattform gerecht
zu werden:
„In einem bestimmten Qualifizierungs- und Bewertungsprozess wird festgestellt, dass diese Leute im Grunde genommen Pro User sind, dies im Prinzip hauptberuflich machen oder ein gewisses Niveau haben, dass sie dazu befähigt, bei Pro-Projekten mitzumachen. Das wird durch unser Community-Management festgestellt, ob sie eben ins Pro Layer kommen. Man bewirbt sich dafür. Man muss da ein paar Arbeitsproben hochladen und dann wird das beurteilt. (…) Das ist einfach ein Beurteilungsmechanismus.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
Neben diesem Selektionssystem kommt zum Teil auch Task-History-Based-
Selection zum Einsatz, bei dem man sich aufgrund vergangener
Projektbeteiligungen qualifiziert und über Aufgaben informiert wird, insbesondere
spezifischen Themen:
„Wenn zum Beispiel das Thema ‚Architektur‘ ist, dann hätten wir einen Pool an Leuten, von denen wir wissen, dass sie schon an Architektur-Projekten mitgewirkt haben und dann würde es einen Architektur-Verteiler geben, wo man dann gezielt diese Leute anspricht“. (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
Einem ähnlichen Ansatz geht auch 99designs nach. Auch die Design-Plattform
aus Berlin unterteilt ihre Aufgabe in verschiedene Stufen, sogenannte Design-
Levels, die zusätzliche Funktionen, Dienstleistungen und Qualitätsversprechen mit
sich bringen (Bronze, Silber, Gold, Platin). Geknüpft sind diese zum einen an die
Aufgabenhistorie und zum anderen an die damit verbundene Qualität der bisher
eingereichten Beiträge:
„Wir bewerten alle in unserer Crowd manuell. Also du kannst am Anfang mitmachen, dann spätestens nach dem soundsovielten Wettbewerb wird derjenige geprüft. Es wird die Qualität der Arbeit betrachtet. Für die höheren Level ist es, zum einen abhängig von unserer Einschätzung sowie zusätzlich von ein paar harten Fakten (Ich muss in den tieferen Leveln konstant mit soundsovielen Kundenarbeiten Umsatz gemacht haben). Derzeit orientieren wir uns nur an der Leistungshistorie unserer Plattform.“ (E. Missling, persönliche Kommunikation, 13. Dezember 2017)
76
Entlang dieser individuellen Einstufung fokussiert sich 99designs als Akquise-
Plattform, auf bestimmte Bedürfnisse, Dienstleistungsansprüche und finanzieller
Hintergüunde der Kunden Rücksicht zu nehmen, indem diese Form der
Aufgabenzuweisung, die auf der Task-History jedes Mitgliedes beruht, zum
Einsatz kommt.
Bei testbirds werden die Aufgaben nicht aufgrund der Fähigkeiten oder
Aufgabenhistorie zugewiesen, sondern anhand spezifischer Zielgruppen vorgaben
seitens der Kunden. Dieser Ansatz lässt sich als demographic-based Selection
bezeichnen (Zogaj, 2016). Dabei werden Aufgabeneinladungen verschickt, die
den Zielgruppenvorstellungen der Auftraggeber entsprechen:
„Es ist so, dass die Tester bei uns ein Profil ausfüllen. Da müssen sie ein Set aus Basisinformationen angeben, aber können darüber hinaus weitere Informationen, z. B. soziodemografisch, angeben. Je mehr Infos die Leute angegeben haben, desto größer sind die Chancen, letztlich eine Einladung zu erhalten, weil wir eben sagen können, du passt in die oder die Zielgruppe hinein und dann ist es für dich umgekehrt auch interessanter. Zum einen will der Kunde, dass die Anwendung von dem Tester getestet wird und zum anderen ist der Tester aufgrund seiner Soziodemografie im Grunde prädestiniert es zu testen und es damit auch im Interesse für ihn“ (A. Ressel, persönliche Kommunikation, 20. Dezember 2017)
Zudem wird auf die Präferenzen der Crowd eingegangen, indem bestimmte
Testtypen, die im Vorfeld als interessant im Crowd-Profil hinterlegt worden sind,
bevorzugt behandelt werden und dementsprechend auch Aufgabeneinladungen
verschickt werden.
In Anbetracht der in Kapitel 3.2.3 erwähnten zeitintensiven Suche nach Aufgaben,
die den Präferenzen der Crowd entsprechen, haben die Plattformen jovoto,
99designs und Crowd Guru Filter- und Kategorisierungsmechanismen im Einsatz,
sodass die Crowdworker eigenständig nach ihren Vorlieben, wie zum Beispiel
nach Entlohnung(-sform) oder Aufgabenthematik filtern, die Auswahl minimieren
und somit effizienter an den passenden Auftrag gelangen können. Doch vor dem
Hintergrund des überschaubaren Aufgabenangebots, wie bei Crowd Guru, spielt
dieser Aspekt eine untergeordnete Rolle:
„Wir sind ja auch kein AMT mit zehntausenden Jobangeboten, muss man dazu sagen. Es sind dann vielleicht 50 bis 100 Jobs online.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
77
5.2.3 Finanzielle Belohnung Zweifelsfrei gehören finanzielle Anreize zu den Hauptmotivations-Aspekten im
Crowdsourcing, doch auch die Intensivierung dieser muss sich an spezifischen
Anforderungen und Richtlinien orientieren, um die gewünschten Effekte zu
erzielen. Insbesondere spielt dabei die Höhe der Entlohnung sowie deren Form
eine tragende Rolle.
Bezüglich der Höhe der finanziellen Vergütung wurde anhand der
Experteninterviews ein grundlegender, gemeinsamer Preisgestaltungsansatz
sichtbar, der eine faire Bezahlung im national gesetzlichen bzw. marktüblichen
Rahmen realisiert:
„Wir versuchen das auch so umzusetzen, dass sie mindestens auf Mindestlohnniveau kommen können.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
„Wir gucken immer, wie lange dauert die Aufgabe in Tagessätzen gerechnet. Wir haben einen Mittelwert für einen Tagessatz und schauen zudem, was ein marktüblicher Tagessatz in Deutschland je nach Aufgabentyp, Komplexität, ist.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
„Also wenn wir jetzt mal von Deutschland ausgehen, dann schauen wir, dass die Tester so in etwa auf 10-12 Euro pro Stunde verdienen.“ (A. Ressel, persönliche Kommunikation, 20. Dezember 2017)
„Also wir haben da Minimum-Preise. (…) Wir rechnen von zwei Seiten, wir haben schon ein Gefühl dafür, wie lange es dauert, ein gewisses Werk zu erstellen, was ein durchschnittlicher, fairer Stundensatz ist.“ (E. Missling, persönliche Kommunikation, 13. Dezember 2017)
Damit tragen die Plattformen zum einen Rechenschaft gegenüber der
zunehmenden Professionalisierung der Crowdworker und zum anderen sorgen sie
damit für einen attraktiven Anreiz zur Aktivierung des extrinsischen Motivs der
finanziellen Belohnung. Dieses ist nicht nur das meist untersuchte Motiv in der
Wissenschaft (Zhao & Zhu, 2014), sondern ebenso eine treibende Kraft bei der
Beteiligung an Crowdsourcing-Projekten (Pilz & Gewald, 2013) sowie bei der
Auswahl von Aufgaben (Schnitzer et al., 2016). Um auch auf dem internationalen
Markt attraktiv zu bleiben und Crowdsourcees aus der ganzen Welt zur
Partizipation zu bewegen, ist es notwendig, das Vergütungslevel an
länderspezifische Rahmenbedingungen und gesetzliche Regelungen anzupassen.
Diesem Faktor wird bei testbirds mit regionalen Preisunterschieden
78
nachgegangen, die damit wissenschaftlichen Untersuchungsergebnissen, u. a.
von Litman et al. (2015), folgen.
„In Ländern wo das Lohnniveau höher ist, da müssen wir auch nachziehen und unsere Preise anpassen. Wir müssen schauen, dass wir für die Tester attraktiv bleiben.“ (A. Ressel, persönliche Kommunikation, 20. Dezember 2017)
Neben der Höhe nimmt auch die Vergütungsform eine entscheidende Rolle bei
den Belohnungsmechanismen ein, die je nach Aufgabentyp unterschiedlich sein
kann. Bei Crowd Guru kommen Fixed-based Rewards als auch Sucess-based
Rewards zum Einsatz. So erhalten die Gurus bei erfolgreicher Aufgabenabgabe
immer einen festen Betrag als Basisvergütung, wie zum Beispiel bei
Textaufgaben, bei denen die Crowdworker pro Text oder pro Wort bezahlt werden.
Bei Rechercheaufgaben kommen zudem noch variable, leistungsorientierte Boni
für sogenannte Extra-Informationen, sogenannte Trefferpreise, hinzu.
„Also wenn man eine entsprechende Information findet, bekommt man für die Informationen auch noch Geld. Aber für die Recherche an sich, wollen wir eben auch schon bezahlen.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
Auch wenn die erfolgsbasierte Vergütung gegenüber der fixen Bezahlung einen
positiven Einfluss auf die Ergebnisqualität ausübt (Finnerty et al., 2013), wird dies
bei Crowd Guru nicht berücksichtigt, da dies nicht den Vorstellungen von einer
fairen Bezahlung entspricht:
„Also komplett erfolgsbasiert, also quasi wenn der Datensatz abgelehnt wird oder nicht ok war und das dann einfach gar nicht zu bezahlen, finden wir nicht fair, weil der Jeweilige hat ja schon Arbeit gehabt. Deswegen auch dieses Basis- und Trefferpreis-Modell, weil es ja auch einfach mal sein kann, das z. B. gewisse Informationen nicht auffindbar sind, weil sie schlicht nicht veröffentlicht worden sind. Dafür soll der Guru nicht bestrafft werden. Das wird auch ganz gut angenommen.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
Eine interessante Beobachtung, die Berührungspunkte mit den in Kapitel 3.2.2
dargestellten Zusammenhängen aufweist (Mason & Watts, 2009; Wu et al., 2014),
ist, dass „finanzielle Anreize ziemlich gut ziehen, allerdings nicht unbedingt die
Qualität verbessern, sondern die Geschwindigkeit beeinflussen und die Qualität
teilweise schlechter wird oder gleich bleibt“ (A. Kuchta, persönliche
Kommunikation, 7. Dezember 2017).
Zudem kommt eine weitere Bonusform als zusätzlicher Belohnungsanreiz zum
Einsatz, die allerdings nicht an die Qualität gebunden ist, sondern sich an der
Anzahl der abgeschlossenen Jobs orientiert. Die qualitätsbasierende
79
Herangehensweise hat sich aus der Sicht von Crowd Guru als nicht praktikabel
und nicht umsetzbar erwiesen:
„Boni in der Regel mengenbasiert. Für jede Unit gibt’s einen Bonus. Das ist nicht wirklich qualitätsbasiert. Teilweise haben wir auch schon für keine Beanstandungen vom Kunden extra Geld ausgezahlt. Das ist aber relativ schwierig, weil für manche Fehler können die Gurus nichts oder werden in der Lieferaufbereitung erst bemerkt. Man muss halt immer alles nachvollziehen können und nach meiner Meinung nach auch dem Guru gegenüber belegen können, dass es eben genau dieser Datensatz ist.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
Je nach Aufgabentyp verfolgt testbirds einen ähnlichen Ansatz wie Crowd Guru.
So kommt bei Tests mit funktionalem Anteil (Funktionstests von Software-
Produkten) ebenfalls eine Kombination aus fixer Vergütung und einer variablen,
genauigkeitsbasierten Bonuskomponente zum Einsatz. Die festgeschriebene
Belohnung wird dabei ausgezahlt, wenn der Tester sein umfangreiches, fundiertes
Feedback beispielsweise über den Registrierungsprozess bei Onlineshops oder
über die Videofunktion bei Nachrichten-Apps gegeben hat. Die variable
Komponente gestaltet sich danach, ob je nachdem ob der Tester einen
Funktionsfehler (Bug) gefunden hat und nach der Bedeutung des Fehlers.
Letztlich bedeutet dies im Umkehrschluss, dass man für zielorientiertes und
genaues Arbeiten erfolgsabhängig entschädigt wird, was im Grunde genommen
einer Bonuszahlung entspricht. Weitere Bonusanreize auf der Grundlage von
Quantität, wie sie bei Crowd Guru zum Einsatz kommen, werden nicht
unternommen.
„Der Tester bekommt pro Bug Geld. Er hat den Fix-Betrag für seinen Bericht, den er ausfüllt. Für jeden Bug / funktionalen Fehler, den er findet, wird er nochmal belohnt. Je nachdem, wie kritisch der Bug ist (wie sehr er die Kernfunktionen der Anwendung beeinflusst), bekommt er mehr Geld, maximal 5 Euro pro entdecktem und ausreichend dokumentiertem Fehler.“ (A. Ressel, persönliche Kommunikation, 20. Dezember 2017)
Bei anderen Aufgabentypen, wie Usability-Tests oder qualitativen Interviews, gibt
es keine variable Komponente, sondern nur eine fixe Vergütung. Um auch diesen
Aufgabentypen Attraktivität zu verleihen, ist der fixe Auszahlbetrag höher als bei
funktionalen Tests.
Die Befriedigung finanzieller Anreize wird bei jovoto auf eine differenziertere Art
und Weise als bei Crowd Guru und testbirds umgesetzt. Zum einen gibt es einen
Wettbewerbsmodus, bei dem prinzipiell alle mitmachen dürfen und das Preisgeld
abstufend nach der Platzierung verteilt wird. Dies lässt sich als fixe Vergütung
80
auffassen. Allerdings wird nicht jeder eingereichte Beitrag prämiert, wodurch sich
keine garantierte Belohnung ergibt.
Um den Kreativen mehr Sicherheit und zugleich attraktive finanzielle Anreize zu
bieten, wurde der Invite-Only-Modus eingeführt, wder sich wie folgt beschreiben
lässt:
„Der Kunde hat eine Aufgabe, er sagt, er möchte 50 Designs zum Thema X haben. Dann suchen wir beispielsweise 25 Kreative aus, von denen wir wissen, dass sie auf das Kundenprofil passen und sagen denen „Bitte liefert zum Zeitpunkt X jeweils 2 Designs ab.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
Mit der Einführung dieser neuen Aufgabenstruktur und der damit einhergehenden
neuen Vergütungsformel hat jovoto einen „Paradigmenwechsel [vollzogen], also
der Shift von ‚Ich kann etwas gewinnen‘ zu ‚Ich erhalte eine sichere Vergütung‘“
(M. Juhnke, persönliche Kommunikation, 12. Dezember 2017). Die Intention, die
sich dahinter verbirgt, ist:
„dass die Motivation hoch ist, dass wir die richtigen Leute auf dem Projekt haben, dass wir gegebenenfalls auch die erforderlichen Stückzahlen erreichen und durch garantierte Vergütung können wir viel stärker auf die Kreativen in Bezug auf Veränderungen und Verfeinerungen einwirken. Das wird sehr gut angenommen.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
Mit diesem neuen Feature deckt jovoto zugleich verschiedene Einflussgrößen auf
die Ergebnisqualität ab und kann entsprechend gezielt auf extrinsische Motivation,
Aufgabenauswahl und Feedback Bezug nehmen.
Bonuszahlungen als weitere zusätzliche Anreize spielen eine untergeordnete
Rolle, die in der Aufgabenstellung verankert sind.
„Es gibt manchmal Client-Choice-Boni, wo am Ende des Projekts die Top-Favoriten nochmal eine Sonderzahlung erhalten. Da entscheidet der Kunde und es ist on top. Wird in der Aufgaben mit erwähnt, das ist immer sehr transparent.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
Bei diesem Mechanismus wäre es auch denkbar, die Bonusankündigung zu
verschweigen, um die Ergebnisqualität zu steigern, indem die Crowd durch die
überraschende, nicht zu erwartende Bonusauszahlung ihre Arbeitsleistung erhöht
und es als „Danke“ im Sinne von Empathie und Altruismus interpretiert (Ho et al.,
2015).
Das Belohnungsschema bei 99designs ist ähnlich dem von jovoto aufgebaut.
Auch bei 99designs erhalten die Kreativen eine festgeschriebene Vergütung.
81
„Jedes Projekt, was gestartet wird, wird mit einem ‚Preisschild‘ versehen. Der Preis wird vom Kunden festgelegt. Wir haben da Minimum-Preise. Dann weiß auch der Designer direkt, was er jetzt erhält. Das ist zu jedem Zeitpunkt transparent.“ (E. Missling, persönliche Kommunikation, 13. Dezember 2017)
Zusätzliche (erfolgsbasierte) monetäre Bonuszahlungen kommen in der Regel
nicht vor, da „in dem Falle der Kunde auch auf den Initialpreis mehr drauflegen
[kann]“ (E. Missling, persönliche Kommunikation, 13. Dezember 2017). Bei
manchen Projekten werden allerdings auch Sachpreise als Belohnung
ausgeschrieben. Generell ist der Bonusaspekt bei 99designs kein zentraler
Belohnungsmechanismus, viel mehr liegt der Fokus bei der Vergütung wie „bei
jedem klassischen Auftragsverhältnis“ (E. Missling, persönliche Kommunikation,
13. Dezember 2017).
5.2.4 Feedback In Bezug auf die Implementierung und Verwendung von Feedback als
Steuerungsmechanismus herrscht ein eindeutiges Bild vor: Alle vier Plattformen
nutzen Feedbacksysteme als motivierenden Aspekt, als Qualitätssicherungsmodul
oder als richtungsweisendes Element. Doch bei der praktischen Anwendung
wurde deutlich, dass die Plattformen verschiedenen Ansätzen und Schwerpunkten
nachgehen.
Der Feedbackmechanismus bei Crowd Guru wurde in erster Linie zur
Qualitätsüberwachung implementiert. Die Qualitätskontrolle wird dabei von
festangestellten Qualitätsmanagern getätigt, die stichprobenartig bzw. bei
Textaufgaben jeden Text überprüfen. Weiterhin gibt es auch spezielle
Qualitätsmanager aus der Crowd, sogenannte QA Gurus, die die Ergebnisse
überprüfen. Neben der Plattform und den QA Gurus ist keine andere Partei
(Auftraggeber) in den Feedbackprozess involviert. Die Begutachtung der
eingereichten Ergebnisse findet stets nach der Abgabe statt, insofern gibt es kein
Feedback während des Prozesses. Die Gurus erhalten dann im Falle fehlerhafter
Datensätze via E-Mail ihr Feedback, das „nie eine pauschale Standardantwort ist,
sondern es ist immer fallspezifisch und immer sehr persönlich“ (A. Kuchta,
persönliche Kommunikation, 7. Dezember 2017).
Auch der Feedbackprozess bei Crowd Guru ist, ähnlich wie die Bezahlung, von
Fairness geprägt, so werden die Crowdworker nicht bestraft, wenn sie auf das
82
Feedback nicht reagieren sollten, und erhalten dennoch ihre fixe Vergütung. Falls
das Resultat den Qualitätskriterien nicht entsprechen sollte, würde die Aufgabe
zurück in den Aufgaben-Pool gehen, damit andere Gurus die Aufgaben
vervollständigen und keine Zeit verloren geht. Somit hat der Guru nur einmal die
Möglichkeit, seine Fehler zu verbessern.
„Dafür haben wir uns entschieden, weil der Prozess ‚Du kannst es korrigieren und schickst nochmal zurück usw.‘ ist halt sehr zeitaufwendig. Du musst dann ja auch eine gewisse Bearbeitungsfrist geben. Man kann nicht erwarten, dass er in zwei Stunden korrigiert, sondern es müssen schon 24 oder 48 Stunden sein. Es wäre schon sehr zeit- und kostenintensiv, die ganze Auseinandersetzung zu führen“. (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
An diesem Aspekt wird die Situation als dienstleistender Intermediär deutlich, die
gegenüber dem Auftraggeber gewisse Sorgfaltspflichten zu erfüllen und
Zeitplanrichtlinien zu garantieren hat.
Um die Qualität der Arbeiten auch zukünftig zu gewährleisten, behält sich Crowd
Guru vor, bei wiederholten Qualitätsverletzungen die Crowdworker für die
entsprechenden Aufgaben zu sperren.
Auf negatives Feedback reagiert die Crowd zumeist positiv und verständnisvoll,
was möglicherweise auf die persönliche, vertraute Kommunikation zwischen
Plattform und Crowd zurückzuführen ist.
„Bei negativem Feedback ist es so, dass sich manche entschuldigen oder genauer nachfragen. Manche nehmen es auch fast persönlich und zeigen einen starken Verbesserungsdrang. Es gibt aber auch die, die sich aufregen, so nach dem Motto ‚das stand aber nicht im Briefing‘. Das landet dann beim Support, die das dann entweder weiter erklären oder die Wogen glätten. Wichtig ist auf jeden Fall, dass man immer verständnisvoll, freundlich und hilfsbereit kommuniziert.“ (A. Kuchta, persönliche Kommunikation, 7. Dezember 2017)
Auch bei testbirds erhält der Crowdworker nur seitens der Plattform eine
Rückmeldung, die erst nach dem Einreichen des Testberichts kommuniziert wird
und beinhaltet, „ob die Dokumentation nachvollziehbar ist, vollständig ist und ob
das quantitative und qualitative Feedback plausibel ist“ (A. Ressel, persönliche
Kommunikation, 20. Dezember 2017). Falls dabei Mängel festgestellt worden sind,
erhält der Tester die Chance diese zu korrigieren. Diese Prozedur findet ebenfalls
Anwendung bei gefundenen Bugs. Ebenso legt testbirds seinen Fokus auf eine
freundliche, hilfsbereite und verständnisvolle (Feedback-)Kommunikation:
„Natürlich sind wir da sehr konstruktiv und sehr sehr freundlich und geben den Testern ein gutes Gefühl bei Problemen oder Fragen. Wir geben ein Gefühl, ihm
83
helfen zu wollen und wertzuschätzen. Wir geben ihm zu verstehen, dass er die Grundlage für unser Geschäftsmodell ist.“ (A. Ressel, persönliche Kommunikation, 20. Dezember 2017)
Dazu konträre Verfahren finden bei jovoto und 99designs Anwendung. Beide
Plattformen greifen aktiv und zielgerichtet im Erstellungsprozess ein, um die
Richtung und gewünschte Qualität der Arbeiten zu beeinflussen. Neben der
Plattform selbst üben auch die Auftraggeber bewusst Feedback während des
Prozesses aus, indem sie sich beispielsweise auf eigene zentrale Kernbedürfnisse
beziehen oder motivierendes Feedback via Video-Botschaften geben (jovoto). Das
Feedback kann dabei individuell über Privatnachrichten, über aufgabenbezogene
Foren oder allgemein an das Projekt weitergeleitet werden.
„Es ist immer schriftliches Feedback und wird auf der Projektseite gepostet. Manchmal gibt es auch sowas wie eine Video-Botschaft, ist aber eher so motivierend. Dann gibt es die Möglichkeit, eine individuelle Private Message zu schicken, die vom Guide kommt. Also allgemein und individuelles Feedback. Die Projektteilnehmer fordern wir immer auf zu kommentieren, während der Prozess läuft, dass man, während man arbeitet, Feedback erhält. Der Kunde kann das auch machen, da haben wir einen speziellen Channel.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
Das Feedback der Kunden wird bei jovoto in der Regel nach einer Woche an die
Crowd weitergegeben, wobei die Kunden jederzeit Feedback geben können.
Ebenso verhält sich das bei 99designs, auch da haben Kunden die Chance,
jederzeit Feedback an die Kreativen zu kommunizieren:
„Der typische Feedback-Zyklus ist so nach 7 oder 14 Tagen. Da kommt das erste Feedback. Wir lassen die Aufgabe erstmal 7 Tage auf der Plattform wachsen und dann bitten wir den Kunden, das, was in 7 Tagen entstanden ist, zu beurteilen. Da erfährt man schon mal eine gewisse Tendenz, was gefällt, was nicht, was schon da ist, was noch gebraucht wird. Feedback ist immer durchgehend möglich. Wichtig ist, dass die Kreativen das Feedback während des Prozesses bekommen.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
„Kunden können jederzeit Feedback geben und sind auch zum Feedbackgeben angehalten. So bald ein Design da ist, kann er sofort Kommentare schreiben.“ (E. Missling, persönliche Kommunikation, 13. Dezember 2017)
Auch beim Feedbackaspekt wird die dienstleistungsorientierte, vermittelnde
Perspektive bei 99designs deutlich. Damit die Kunden konstruktives Feedback zu
Designentwürfen geben können, hat 99designs eine nutzerfreundliche Umgebung
mit umfangreichen Feedbackmöglichkeiten geschaffen:
„Das meiste Feedback findet zwischen dem Kunden und dem Designer statt. Wenn ein Design hochgeladen wird, hat man viele Feedbackoptionen, z. B. einen Punkt an
84
das Design zu kleben und dann ein Kommentar dran zu schreiben (z. B. Farbe ändern). Man kann auch ein generelles Kommentar dazu schreiben.“ (E. Missling, persönliche Kommunikation, 13. Dezember 2017)
Außerdem besitzt die Crowd auf beiden Plattformen verschiedene
Partizipationsmöglichkeiten, um ihr Feedback zu äußern. Bei 99designs können
Designer den Auftraggeber bewerten und andersherum, um wichtige
Informationen mit Gleichgesinnten zu teilen. Bei jovoto können sich die Kreativen
auch während der Projektephase in Form von Kommentaren gegenseitig helfen,
wozu sie seitens jovoto stets animiert werden.
5.3 Zusammenfassung Zusammenfassend für den ersten Teil der Ergebnisse (Kapitel 5.1), die
crowdabhängigen Einflussfaktoren, lässt sich festhalten, dass soziodemografische
Kriterien und deren aktive Steuerung nahezu keine praktische Relevanz für die
befragten Plattformen besitzten, da diese Informationen nicht systematisch erfasst
und ausgewertet werden. Abgesehen von testbirds, wo soziodemografische Daten
die Grundlage der Dienstleistung darstellen, gibt es dennoch eine Vorstellung über
den Zusammenhang von soziodemografischen Daten und Ergebnisqualität, wovon
die Plattformen letztlich indirekt profitieren (wie z. B. durch das Alter und die
Erfahrung).
Ein ähnliches Meinungsbild zeigt sich hinsichtlich der Persönlichkeitsmerkmale.
Auch hier existiert weder eine systematische Erfassung noch eine Auswertung von
Daten über die individuellen Charakterstrukturen der Crowd. Doch auch bei
diesem Aspekt sind sich die Plattformen der Einflussnahme bewusst, die dennoch
nicht zielgerichtet und aktiv ausgeübt wird. Bei diesem Gesichtspunkt vertrauen
die Intermediäre weitestgehend auf selbstregulatorische Mechanismen und auf die
individuelle Entscheidungskompetenz der Crowd. Dies wird insbesondere bei
Kollaborationen und spezifischen Aufgabentypen deutlich (jovoto, testbirds).
In Bezug auf eine der Schlüsselherausforderungen im Crowdsourcing, die
Motivation der Crowd, wurden unterschiedliche Betrachtungs- und
Herangehensweisen sowie Umsetzungsmechanismen sichtbar. Deutlich wird
hierbei, dass die Marktplatz-Plattform Crowd Guru und die Design-Plattform
99designs bei der Steuerung und Kontrolle der Nutzermotive ihren Fokus auf die
extrinsische Perspektive legen, insbesondere auf den Aspekt der finanziellen
85
Vergütung, die sie mit attraktiven finanziellen Anreizen bedienen. Die Ergebnisse
deuten darauf hin, dass die Crowd beider Plattformen gezielt aufgrund finanzieller
Absichten aktiv ist. Angesichts der in Kapitel 3.1 dargestellten Zusammenhänge
kann die Erweiterung der Belohnungssysteme mit gezielten Maßnahmen, die die
intrinsischen als auch weitere extrinsische Motive berühren, ein
vielversprechender und effektiver Ansatz sein, um weitere Zielgruppen
anzusprechen und die Arbeitsleistung bzw. die Ergebnisqualität zu erhöhen.
Im Gegensatz dazu bedienen die Crowdtesting-Plattform testbirds sowie die
Innovations-Plattform jovoto nicht nur finanzielle Anreize, sondern auch weitere
extrinsische Aspekte wie Verbesserung der Jobaussichten und Erweiterung
individueller Fähigkeiten, indem sie bewusst als Kontaktvermittler zwischen Crowd
und Auftraggeber auftreten oder lehrreiche, weiterbildende Inhalte über Blogs oder
Webinare zur Verfügung stellen. Außerdem sprechen sie gezielt intrinsische
Faktoren mithilfe von Maßnahmen wie Gamification, Community-Features (Foren,
private Nachrichten) oder zielgerichteten Kommunikationsmustern an, was davon
zeugt, dass die Crowd-Community beider Plattformen ihre Beteiligung aus
vielfältigen Motiven zieht. Doch um generelle Schlussfolgerungen über die
Effektivität spezifischer Maßnahmen zu ziehen, bedarf es weiterer
wissenschaftlicher Untersuchungen, um den diversen, oft plattformspezifischen
Beweggründen und der Implementierung neuer Funktionen auf den Plattformen
gerecht zu werden.
„Eine Plattform ist ja so ein lebender Organismus, wo jedes Update die Struktur verändert. Man hat unterschiedliche Versionen und mit jeder Version wächst die Plattform, um neue Features und da werden paar Bugs bereinigt, aber es kommt immer was dazu. Es ist ein Organismus, der quasi wächst und sich verändert und reifer und erwachsener wird mit der Zeit.“ (M. Juhnke, persönliche Kommunikation, 12. Dezember 2017)
Bei der Betrachtung der plattformabhängigen Einflussgrößen und deren
gegensteuernden Maßnahmen (Kapitel 5.2) offenbarte sich ein klares Ergebnis:
Alle in Kapitel 3.2 dargestellten Einflussfaktoren – Aufgabendesign,
Aufgabenselektion, finanzielle Belohnung und Feedback – werden von allen
Plattformen mit entsprechenden Verfahren und Maßnahmen beeinflusst, um die
Ergebnisqualität zielgerichtet zu steuern, das heißt zu gewährleisten bzw. sogar
zu erhöhen.
86
Um die Verständlichkeit und Klarheit im Rahmen des Aufgabendesigns
sicherzustellen, nutzen alle Plattformen prinzipiell ähnliche Maßnahmen:
strukturierte, allgemeinverständliche und klar formulierte
Aufgabendefinition (keine Fremdwörter, keine Abkürzungen)
(audio-)visuelle Elemente (Bilder, Videos, Tutorials)
Bereitstellung aufgabenspezifischer Hintergrundinformationen
(Präsentationen, Marktforschungsdaten, Styleguides, Projektkits)
Zerlegung komplexer Aufgaben in feingliedrige Teilaufgaben
Einsatz klassischer Formatierungsoptionen zur Hervorhebung zentraler
Aufgabenelemente
Eine Sonderstellung bei diesem Aspekt nimmt 99designs mit dem standardisierten
Aufgabenerstellungsprozess für Kunden ein. Doch trotz der Übertragung der
Aufgabengestaltung an den Kunden finden sich einige der eben erwähnten
Maßnahmen darin wieder.
Bei der Entwicklung verständlicher Aufgabenstellungen ist die Herangehensweise
unter den Plattformen von Gemeinsamkeiten geprägt. Dieser einheitliche Ansatz
setzt sich bei der Aufgabenselektion und -empfehlung fort:
Crowd Guru: Skill-based Selection anhand vorangegangener
aufgabenspezifischer Qualifikationsaufgaben
jovoto: Skill-based Selection anhand der Beurteilung eingereichter
Arbeitsproben sowie Task-History-based Selection anhand zuvor
abgeschlossener Projektbeteiligungen
99designs: Skill-based Selection und Task-History-based Selection zur
Einstufung der Crowdworker in Designlevels
testbirds: Demographic-based Selection anhand bestimmter
Zielgruppenvorgaben des Kunden als Grundlage für Aufgabeneinladungen
Hierbei wird deutlich, dass die Plattformen vorrangig auf Basis von Fähigkeiten
ihre Crowdmitglieder strukturieren und ausgehend davon für sie entsprechende
Aufgaben empfehlen, freischalten oder einladen. Neben diesem
meistverwendeten Verfahren kommen je nach Aufgabenstellung weitere
Selektionsprozesse zum Einsatz. Lediglich testbirds weicht von dieser
87
Vorgehensweise ab, indem man sich auf (sozio-)demografische und weitere
Informationen als Auswahlkriterien konzentriert.
Als Ergebnis beim Faktor finanzielle Vergütung kristallisierte sich ein gemeinsamer
Ansatz bei der Preisgestaltung heraus. Alle Experten bekräftigt während der
Interviews, dass es nicht nur Ziel sei, attraktive finanzielle Anreize zu setzen,
sondern dass auch die faire Bezahlung ein zentrales Anliegen der Plattformen sei.
Die Plattformen orientieren sich dabei an marktüblichen Preisniveaus bzw. an
gesetzlichen Mindestlohnbestimmungen. Auch beim Vergütungsschema weisen
die Plattformen Gemeinsamkeiten auf, so findet die fixe Vergütung als
Entlohnungsform bei allen Plattformen Anwendung. Weiterhin auffällig ist die
Implementierung neuer Aufgabenformen und die damit verbundenen neuen
Belohnungsstrukturen, wie z. B. der Invite-Only-Modus bei jovoto oder die Design-
Levels bei 99designs. Zudem werden in Abhängigkeit vom Aufgabentyp und
finanziellen Hintergrund des Auftraggebers zusätzliche monetäre Anreize (Boni)
gesetzt, die leistungsorientiert bzw. mengenorientiert sind oder fixe
Zusatzzahlungen oder Sachpreise beinhalten. Im Einzelnen konnten folgende
Charakteristika bei den monetären Belohnungssystemen identifiziert werden:
Crowd Guru: fixe Belohnung sowie leistungsorientierte Boni (Trefferpreise)
und mengenbasierte Bonuszahlungen
jovoto: fixe Belohnung jedoch ohne Vergütungsgarantie
(Wettbewerbsmodus), Invite-Only-Modus mit fixer, garantierter Bezahlung,
selten Client-Choice-Bonus als Sonderzahlung
99designs: fixe Vergütung je nach Design-Level, Sachpreise als
zusätzliche Anreize
Testbirds: fixe Vergütung sowie leistungsorientierte Boni (gefundene Bugs)
In Bezug auf Feedback zeigte sich, dass alle Plattformen geeignete
Feedbackprozesse verwenden, um dadurch die Ergebnisqualität effektiv und
zielgerichtet zu beeinflussen. Die vier betrachteten Plattformen lassen sich anhand
des Feedbackzeitpunkts im Arbeitsprozess in zwei Kategorien unterteilen: Zum
einen kommunizieren die Plattformen das Feedback während der Tätigkeit, dies
findet Anwendung bei kreativen, innovationsorientierten, konzeptionellen
Aufgaben (jovoto, 99designs). Zum anderen findet das Feedback bei granularen,
88
weniger komplexen Aufgabenstellungen, wie es sie zumeist bei testbirds oder
Crowd Guru gibt, erst nach der Ergebniseinreichung statt. Auch bei den beteiligten
Parteien im Feedbackprozess lässt sich die eben angesprochene Differenzierung
feststellen. Bei Crowd Guru und testbirds ist die zentrale Feedback gebende
Partei die Plattform selbst. Im Vergleich dazu werden bei jovoto und 99designs
auch die Auftraggeber aktiv in die Feedbackkommunikation einbezogen.
Zusammenfassend lassen sich die Maßnahmen wie folgt darstellen:
Crowd Guru: Feedback nach der Einreichung, Feedback von Crowd Guru
Testbirds: Feedback nach der Einreichung, Feedback von testbirds
Jovoto: Feedback während des Leistungserstellungsprozesses, Feedback
von jovoto, Crowd und Kunde
99designs: Feedback während des Leistungserstellungsprozesses,
Feedback von 99designs und Kunde
Zusammenfassend lassen sich die durch vier Experteninterviews ermittelten
Mechanismen und Maßnahmen wie folgt darstellen (Tabelle 3):
Kate-gorie Einflussfaktor Spezifischer
Aspekt Maßnahmen Plattform
crow
dabh
ängi
g
soziodemo-grafische Merkmale
keine systematische Erfassung und
Steuerung (testbirds ausgeschlossen)
99designs, jovoto,
Crowd Guru
Persönlichkeits-merkmale keine systematische Erfassung und
Steuerung alle
Plattformen
intrinsische Motivation
Community Forum, Chat / Shoutbox, private Nachrichten, Kommentare
Crowd Guru, jovoto,
testbirds
Spaß/Freude Gamification
(Kollaborationen, Community-Voting, Rangfolgen, Badges)
jovoto, testbirds
Altruismus Tätigkeit des Feedbacks an sich, Aufgabenstellung (kleine Stories) testbirds
89
Kategorie Einflussfaktor Spezifischer
Aspekt Maßnahmen Plattform cr
owda
bhän
gig
extrinsische Motivation
Verbesserung der
Jobaussichten
Design-Portfolio, Kontaktvermittlung zw. Kreativem und
Kunde, Empfehlungsschreiben
jovoto, testbirds
Lernen Blog-Content, Webinare, Einblicke in unveröffentlichte Software-Produkte
jovoto, testbirds
plat
tform
abhä
ngig
Aufgabendesign
Klarheit
kurze, allgemeinverständliche Aufgabenstellung, ohne Fremdwörter,
ohne Abkürzung und Zusatzinformationen
(z. B. Erklärungs-PDFs, Tutorials, Projektkit)
Crowd Guru, jovoto,
testbirds
Komplexität Zerlegung komplexer Aufgaben in Teilaufgaben
Crowd Guru, jovoto,
testbirds, 99designs
visuelle Darstellung
konventionelle Formatierungsmöglichkeiten, Videos,
Bilder
Growd Guru, jovoto,
testbirds, 99designs
Aufgaben-selektion und -empfehlung
Skill-based Selection Crowd Guru,
jovoto, 99designs
Task History-based Selection jovoto, 99designs
Demographic-based Selection Crowd Guru
finanzielle Belohnung
Höhe marktüblicher Stundensatz bzw. gesetzlicher Stundenlohn
Growd Guru, jovoto,
testbirds, 99designs
Belohnungs-form fixe Vergütung
Growd Guru, jovoto,
testbirds, 99designs
Bonus leistungsbezogener oder individueller Bonus
Growd Guru, jovoto,
testbirds, 99designs
Feedback
Feedback gebende Parteien
Kunde, Crowd und Plattform Jovoto, 99designs
Plattform Crowd Guru, testbirds
Zeitpunkt Während des Prozesses Jovoto,
99designs
nach der Abgabe Crowd Guru, testbirds
Tabelle 4: Zusammenfassung der Ergebnisse (Quelle: Eigene Darstellung).
90
6. Fazit und Ausblick Ziel und Anspruch der Arbeit war es, einen Beitrag zur nachweislich randständigen
und zum Teil partikulären wissenschaftlichen Auseinandersetzung mit der
Sicherstellung der Ergebnisqualität durch geeigneter Kontroll- und
Steuerungsmaßnahmen im Crowdsourcing zu leisten. Als Einstieg wurden
zunächst in einer theoretischen Einführung zentrale Charakteristika des
Crowdsourcing besprochen. Gemäß dem Forschungsinteresse wurden
anschließend anhand einer Literaturrecherche zentrale Einflussfaktoren auf die
Beitragsqualität identifiziert, um nachfolgend deren praxisbezogene Relevanz zu
verdeutlichen sowie deren Steuerung durch gezielte Maßnahmen auf
Crowdsourcing-Plattformen zu veranschaulichen. Um der praxisorientierten
Zielstellung gerecht zu werden, wurden vier Experten von vier unterschiedlichen
Crowdsourcing-Intermediären durch leitfadengestützte Experteninterviews befragt
sowie das Datenmaterial durch die strukturierende qualitative Inhaltsanalyse
ausgewertet.
Für die Beantwortung der ersten Forschungsfragen konnten sieben
Einflussgrößen auf die Ergebnisqualität identifiziert werden, die sich in Anlehnung
an die Differenzierung von Allahbakhsh et al. (2013) in crowd- und
plattformabhängig kategorisieren lassen (Kapitel 3). Es wurde deutlich, dass die
Faktoren von Komplexität geprägt sind und bei der Entwicklung effektiver
Steuerungs- und Kontrollmechanismen granulare Aspekte innerhalb der
Einflussgrößen selbst berücksichtigt werden müssen. Exemplarisch dafür steht die
finanzielle Vergütung. Um optimale monetäre Anreize zu setzen, ist nicht allein die
Höhe der Belohnung entscheidend. Ebenso gilt es, die Vergütungsform, die
Kommunikation dieser Anreize sowie die Herkunft der Crowd in die Entwicklung
und Implementierung geeigneter Belohnungsmechanismen einzubeziehen. Nicht
zuletzt aus diesem Grund wird sowohl seitens der Wissenschaft als auch seitens
der Wirtschaft Governance als eine der zentralen gegenwärtigen
Herausforderungen im Crowdsourcing angesehen, die auch im Rahmen der
Experteninterviews ihre Bestätigung fand.
In den Gesprächen mit den Experten offenbarte sich, dass die Verständlichkeit der
Aufgabenstellung und das Erfahrungsniveau der Crowd zu den relevanten
praktischen Einflussfaktoren zählen. Um u. a. diese Determinanten im Hinblick
91
auf die Ergebnisqualität zu beeinflussen, kommen eine Vielzahl unterschiedlicher
Ansätze sowie plattformseitiger Kontroll- und Steuerungsmechanismen bei
Crowdsourcing-Intermediären zum Einsatz. Grundlegend signalisierten die
Experten, als Repräsentant ihrer Crowdsourcing-Plattform, dass die zielgerichtete
Steuerung der Crowdaktivitäten ein notwendige und herausfordernde Aufgabe
ihrerseits ist, nicht nur um die Qualität zu gewährleisten, sondern auch um aus
Intermediär-Perspektive die gewünschten Ergebnisse der Kunden zu erzielen.
Ungeachtet dessen, dass die Plattformen unterschiedliche und speziell für ihre
Dienstleistung zugeschnittene Maßnahmen nutzen, konnten grundlegende
gemeinsame Einflussmaßnahmen identifiziert werden. So werden die
Einflussfaktoren Motivation, Aufgabendesign, Aufgabenselektion und -empfehlung,
finanzielle Belohnung und Feedback bei allen Plattformen durch entsprechender
Steuerungs- und Kontrollmechanismen beeinflusst, auch wenn Fokussierung und
Umsetzung zum Teil deutliche Unterschiede aufweisen (Tabelle 3). Trotz der
offensichtlichen positiven Einflussnahme der Faktoren soziodemografische
Merkmale und Persönlichkeitsmerkmale auf die finale Qualität der Beträge finden
diese keine ernstzunehmende Beachtung seitens der Plattform, obwohl ein
grundlegendes Verständnis dafür seitens der Experten besteht.
Mit Blick auf zukünftige Forschungsprojekte findet sich ausgehend von den
dargestellten Erkenntnissen dieser Arbeit sowie aus dem „dearth of research that
examines governance mechanism in crowdsourcing“ (Jain, 2010, S. 6) eine Reihe
von Anknüpfungspunkten. Neben der wissenschaftlichen Uneinigkeit bei der
definitorischen Begriffsbestimmung von Crowdsourcing und in Bezug auf die
einheitliche Systematisierung von Crowdsourcing-Plattformen herrscht bei dem
hier im Fokus stehenden Governance-Bereich ebenfalls Forschungsbedarf. Die
gegenwärtigen Forschungsarbeiten richten ihren Blick zumeist auf einzelne,
spezifische Einflussfaktoren, ohne eine überblicksartige Perspektive einzunehmen
oder entsprechende Lösungsansätze auf Grundlage ihrer methodischen
Ergebnisse in Aussicht zu stellen. Erschwerend hinzu kommt die
wissenschaftliche Konzentration auf die großen Crowdsourcing-Plattformen (AMT,
CrowdFlower, TopCoder) als Untersuchungsgegenstand. Kleine, regional tätige,
spezialisierte Crowdsourcing-Plattformen finden hingegen seitens der
Wissenschaft zumeist keine Beachtung. Im Rahmen dieser Arbeit konnte lediglich
92
ein kleiner Wirklichkeitsausschnitt mit vier Crowdsourcing-Plattformen betrachtet
werden, der dennoch für künftige Forschungsvorhaben als Anstoß und Grundlage
dienen könnte. Des Weiteren sollte bei zukünftigen Untersuchungen das komplexe
Zusammenspiel mehrerer Einflussfaktoren, gepaart mit den infrastrukturellen
Eigenschaften und Funktionen der Plattformen, in den Fokus gerückt werden, um
effiziente Kontroll- und Steuerungsmechanismen oder neue auf die Beschaffenheit
der Crowd zugeschnittene Aufgabenmodi, wie der Invite-Only-Modus bei jovoto,
zu entwickeln. Abseits dieser theoretischen Betrachtungsweise zeigte sich auch
im Aufgabenbereich der Plattformen Handlungsbedarf, insbesondere bezüglich
der Einflussfaktoren soziodemografische Merkmale und Persönlichkeitsstruktur.
Durch die Nicht-Berücksichtigung dieser Elemente verschenken die Intermediäre
einen vielversprechenden Einflussbereich auf die Ergebnisqualität, die doch
grundlegend im zentralen Interesse sowohl der Plattformen als
zwischengeschalteter Dienstleister als auch der Unternehmen als Auftraggeber
steht.
VIII
Anhang
Anhang A: Interviewleitfaden
Vielen Dank, dass Sie sich die Zeit für dieses Interview genommen haben. Sie
helfen mir dabei, meine Masterarbeit an der Hochschule Anhalt zu schreiben.
Die Intention meiner Untersuchung ist es, Kontroll- und Steuerungsmechanismen
sowie deren gezielten Einsatz zur Qualitätssicherung aufzuzeigen – dafür
benötige ich Ihr Wissen.
Vorweg möchte ich Sie gerne um die Erlaubnis für Tonbandaufzeichnung bitten.
Dies hilft mir bei der Auswertung des Interviews und gibt mir die Möglichkeit,
während des Interviews keine Mitschriften anfertigen zu müssen, die mich
eventuell ablenken könnten.
Kategorie Frage Nachfassaspekte
Gesprächseröffnung Was ist für Sie das Spannende am Crowdsourcing und welche Herausforderungen sehen Sie gegenwärtig?
- Governance - Qualitätssicherung
grundlegende
Einflussgrößen
In der Literatur werden verschiedene Faktoren beschrieben, die die Ergebnisqualität beeinflussen. Welche sind das bei Ihnen? Konnten Sie welche identifizieren? Warum genau diese?
soziodemografische
Merkmale
Verschiedene Studien konnten aufzeigen, dass soziodemografische Faktoren die Ergebnisqualität beeinflussen. Mit welchen Maßnahmen steuern Sie das?
- Herkunft (USA/Europa > Asien) - Alter (Ältere > Jüngere)
Persönlichkeits-
merkmale
Wie beeinflussen Sie bestimmte Persönlichkeitsmerkmale wie Offenheit, Gewissenhaftigkeit oder Extraversion, um die Arbeitsleistung zu verbessern?
- aufgabenspezifisch - Arbeitsform
IX
intrinsische
Motivation
Man ging lange Zeit davon aus, dass extrinsische Motivation die Arbeitsleistung erhöht. Das Blatt hat sich mittlerweile zur intrinsischen Motivation gewendet. Mit welchen Maßnahmen erhöhen Sie die intrinsische Motivation?
- Motive, die enjoyment-based sind - Motive, die community-based sind - Gamification
extrinsische
Motivation
Extrinsisch muss nicht zwangsläufig finanzielle Vergütung bedeuten, sondern kann auch Verbesserung von Jobaussichten und persönlicher Fähigkeiten umfassen. Wie setzen Sie diese Anreize in Szene?
- Verbesserung der Jobaussichten - persönliche Fähigkeiten / Lernen
Aufgabendesign Stellen Sie sich vor, die gestellte Aufgabe ist für die Crowd nicht komplett nachvollziehbar. Wie wirken Sie dem entgegen?
- Klarheit - Komplexität - visuelle Darstellung
Aufgabenselektion
und -empfehlung
Die richtige Aufgabe zu finden, kann viel Zeit und Motivation kosten. Wie lösen Sie das Problem? Nach welchen Kriterien werden Aufgaben vorgeschlagen bzw. selektiert?
- Selektionsmodi
finanzielle Belohnung Wie gestaltet sich die Preispolitik auf Ihrer Plattform? Wovon ist sie abhängig?
- Höhe - Belohnungsform - Bonuszahlungen
Feedback Feedback kann helfen, bessere Ergebnisse zu erzielen. Wie realisieren Sie das?
- beteiligte Parteien - Zeitpunkt
Vielen Dank, dass Sie sich die Zeit für das informative und unterhaltsame
Interview genommen haben.
Gern lasse ich Ihnen die Ergebnisse meiner Arbeit zu kommen.
X
Literaturverzeichnis 99designs. (2013). Community contest: SWATCH turned 30 and we celebrate this
together with the launch of 99designs.ch. Zugriff am 14.09.2017. Verfügbar
unter https://99designs.de/merchandise-design/contests/community-contest-
swatch-turned-celebrate-together-launch-designs-248140.
Afuah, A. & Tucci, C. L. (2012). Crowdsourcing As a Solution to Distant Search.
Academy of Management Review, 37 (3), 355-375.
Aker, A., El-Haj, M., Albakour, M.-D. & Kruschwitz, U. (2012). Assessing
Crowdsourcing Quality through Objective Tasks and Evaluation. In N. Calzolari,
K. Choukri, T. Declerck, M. U. Dogan, B. Maegaard, J. Mariani et al. (Hrsg.),
Proceedings of the Eighth International Conference on Language Resources
and Evaluation, LREC 2012, Istanbul, Turkey, May 23-25, 2012 (S. 1456-1461).
European Language Resources Association (ELRA). Zugriff am 19.10.2017.
Verfügbar unter http://www.lrec
conf.org/proceedings/lrec2012/summaries/583.html.
Allahbakhsh, M., Benatallah, B., Ignjatovic, A., Motahari-Nezhad, H. R., Bertino, E.
& Dustdar, S. (2013). Quality Control in Crowdsourcing Systems. Issues and
Directions. IEEE Internet Computing, 17 (2), 76-81.
Alter, S. (2008). Defining information systems as work systems. Implications for
the IS field. European Journal of Information Systems, 17 (5), 448-469. Zugriff
am 22.09.2017. Verfügbar unter https://doi.org/10.1057/ejis.2008.37.
Amrollahi, A. (2016). A Process Model for Crowdsourcing: Insights from the
Literature on Implementation. Australasian Conference on Information Systems,
2016.
Antikainen, M., Mäkipää, M. & Ahonen, M. (2010). Motivating and supporting
collaboration in open innovation. European Journal of Innovation Management,
13 (1), 100-119.
Archak, N. (2010). Money, glory and cheap talk. In M. Rappa (Hrsg.), Proceedings
of the 19th International Conference on World Wide Web. WWW'10 ; Raleigh,
NC, USA, April 26 - 30, 2010 (S. 21). New York, NY: ACM; ACM Digital Library.
XI
Belschak, F. D. & Den Hartog, D. N. (2009). Consequences of Positive and
Negative Feedback. The Impact on Emotions and Extra-Role Behaviors.
Applied Psychology, 58 (2), 274-303.
Benkler, Y. (2006). The wealth of networks. How social production transforms
markets and freedom. New Haven Conn. u.a.: Yale Univ. Press.
Blohm, I. & Leimeister, J. M. (2013). Gamification. Wirtschaftsinformatik, 55 (4),
275-278.
Bogner, A., Littig, B. & Menz, W. (2014). Interviews mit Experten. Wiesbaden:
Springer Fachmedien Wiesbaden.
Borromeo, R. M., Laurent, T. & Toyama, M. (2014). The Influence of Crowd Type
and Task Complexity on Crowdsourced Work Quality. In B. C. Desai, M.
Toyama, J. Bernardino & E. Desai (Hrsg.), Proceedings of IDEAS16. Montreal,
QC, Canada, 2016-07-11 - 2016-07-13 (ICPS : ACM international conference
proceeding series, S. 70-76). New York, New York: Association for Computing
Machinery.
Borst, I. (2010). Understanding Crowdsourcing. Effects of motivation and rewards
on participation and performance in voluntary online activities (ERIM Ph.D.
series research in management, Bd. 221) [Rotterdam]: Erasmus Research
Institute of Management (ERIM), Erasmus University Rotterdam; Erasmus
University [Host].
Boudreau, K. J. & Lakhani, K. R. (2013). Using the Crowd as an Innovation
Partner. Harvard Business Review, 91 (4), 61-69.
Bourdieu, P. (1987). Die feinen Unterschiede. Kritik der gesellschaftlichen
Urteilskraft (Suhrkamp-Taschenbuch Wissenschaft, Bd. 658, 1. Aufl.). Frankfurt
am Main: Suhrkamp.
Bowles, S. & Gintis, H. (2002). Social Capital And Community Governance*. The
Economic Journal, 112 (483), F419-F436.
Bowser, A., Hansen, D., He, Y., Boston, C., Reid, M., Gunnell, L. et al. (2013). Using gamification to inspire new citizen science volunteers. In L. E. Nacke, K.
Harrigan & N. Randall (Hrsg.), Gamification 2013. Proceedings of the First
International Conference on Gameful Design, Research, and Applications :
XII
October 2-4, 2013, Stratford, Ontario, Canada (ICPS, S. 18-25). New York, New
York: Association for Computing Machinery.
Brabham, D. C. (2008). Moving the crowd at iStockphoto. The composition of the
crowd and motivations for participation in a crowdsourcing application. First
Monday, 13 (6).
Brabham, D. C. (2009). Crowdsourcing the Public Participation Process for
Planning Projects. Planning Theory, 8 (3), 242-262.
Brabham, D. C. (2010). Moving the Crowd at Threadless. Information,
Communication & Society, 13 (8), 1122-1145.
Bretschneider, U. & Leimeister, J. M. (2016). Motivation for Open Innovation and
Crowdsourcing: Why Does the Crowd Engage in Virtual Ideas Communities? In
R. Egger, I. Gula & D. Walcher (Eds.), Open Tourism. Open Innovation,
Crowdsourcing and Co-Creation Challenging the Tourism Industry (Tourism on
the Verge, 1st ed., pp. 109-120). Heidelberg: Springer.
Cameron, J. & Pierce, W. D. (1994). Reinforcement, Reward, and Intrinsic
Motivation. A Meta-Analysis. Review of Educational Research, 64 (3), 363-423.
Campbell, D. J. (1988). Task Complexity. A Review and Analysis. Academy of
Management Review, 13 (1), 40-52.
Chandler, D. & Horton, J. J. (2011). Labor Allocation in Paid Crowdsourcing.
Experimental Evidence on Positioning, Nudges and Prices. Vortrag anlässlich
Workshops at the Twenty-Fifth AAAI Conference on Artificial Intelligence.
Zugriff am 23.11.2017. Verfügbar unter
https://www.aaai.org/ocs/index.php/WS/AAAIW11/paper/download/3983/4270.
Chesbrough, H. W. (2003). Open innovation. The new imperative for creating and
profiting from technology. Brighton: Harvard Business Review Press.
Chilton, L. B., Horton, J. J., Miller, R. C. & Azenkot, S. (2010). Task search in a
human computation market. In Unknown (Hrsg.), Proceedings of the ACM
SIGKDD Workshop on Human Computation - HCOMP '10 (S. 1). New York,
New York, USA: ACM Press.
Cianci, A. M., Klein, H. J. & Seijts, G. H. (2010). The effect of negative feedback
on tension and subsequent performance. The main and interactive effects of
XIII
goal content and conscientiousness. The Journal of applied psychology, 95 (4),
618-630.
Crowd Guru. (2015). Sixt setzt auf SEO-Texte von Crowd Guru. Zugriff am
12.09.2017. Verfügbar unter https://www.crowdguru.de/blog/sixt-setzt-auf-seo-
texte-von-crowd-guru/.
Deci, E. L. & Ryan, R. M. (1985). Intrinsic Motivation and Self-Determination in
Human Behavior. Boston, MA: Springer US.
Deci, E. L. & Ryan, R. M. (1987). The support of autonomy and the control of
behavior. Journal of personality and social psychology, 53 (6), 1024-1037.
Deterding, S., Sicart, M., Nacke, L., O'Hara, K. & Dixon, D. (2011). Gamification.
using game-design elements in non-gaming contexts. In D. Tan (Hrsg.),
Proceedings of the 2011 annual conference extended abstracts on Human
factors in computing systems (S. 2425). New York, NY: ACM.
DiGiammarino, Frank & Trudeau, Lena. (2008). Virtual Networks: An Opportunity
for Government. Public Manager, 37 (1), 5-11.
Doan, A., Ramakrishnan, R. & Halevy, A. Y. (2011). Crowdsourcing systems on
the World-Wide Web. Communications of the ACM, 54 (4), 86.
Dow, S., Kulkarni, A., Klemmer, S. & Hartmann, B. (2012). Shepherding the crowd
yields better work. In S. Poltrock (Hrsg.), Proceedings of the ACM 2012
conference on Computer Supported Cooperative Work (S. 1013). New York,
NY: ACM.
Downs, J. S., Holbrook, M. B., Sheng, S. & Cranor, L. F. (2010). Are your
participants gaming the system? In E. Mynatt, D. Schoner, G. Fitzpatrick, S.
Hudson, K. Edwards & T. Rodden (Hrsg.), CHI 2010 - we are HCI. Conference
proceedings and extended abstracts ; the 28th Annual CHI Conference on
Human Factors in Computing Systems, April 10 - 15, 2010 in Atlanta, GA, USA
(S. 2399). New York, NY: ACM.
Earley, P. C., Northcraft, G. B., Lee, C. & Lituchy, T. R. (1990). Impact of Process
and Outcome Feedback on the Relation of Goal Setting to Task Performance.
Academy of Management Journal, 33 (1), 87-105.
XIV
Eickhoff, C., Harris, C. G., Vries, A. P. D. & Srinivasan, P. (2012). Quality through
flow and immersion. In W. Hersh (Hrsg.), Proceedings of the 35th international
ACM SIGIR conference on Research and development in information retrieval
(S. 871). New York, NY: ACM.
Estellés-Arolas, E. & González-Ladrón-de-Guevara, F. (2012). Towards an
integrated crowdsourcing definition. Journal of Information Science, 38 (2), 189-
200.
Fähling, J., Blohm, I., Krcmar, H., Leimeister, J. M. & Fischer, J. (2011). Accelerating customer integration into innovation processes using Pico Jobs.
International Journal of Technology Marketing, 6 (2), 130.
Finin, T., Murnane, W., Karandikar, A., Keller, N., Martineau, J. & Dredze, M.
(2010). Annotating named entities in Twitter data with crowdsourcin.
Association for Computational Linguistics. Verfügbar unter
http://dl.acm.org/ft_gateway.cfm?id=1866709&type=pdf.
Finnerty, A., Kucherbaev, P., Tranquillini, S. & Convertino, G. (2013). Keep it
simple. In F. Garzotto (Hrsg.), Proceedings of the Biannual Conference of the
Italian Chapter of SIGCHI (ACM Digital Library, S. 1-4). New York, NY: ACM.
Flick, U. (Hrsg.). (2008). Qualitative Forschung. Ein Handbuch. Reinbek bei
Hamburg: Rowohlt.
Froschauer, U. & Lueger, M. (2003). Das qualitative Interview. Zur Praxis
interpretativer Analyse sozialer Systeme (UTB, Bd. 2418). Wien: WUV-Univ.-
Verlag.
Gadiraju, U., Fetahu, B. & Hube, C. (2016). Crystal Clear or Very Vague? Effects
of Task Clarity in the Microtask Crowdsourcing Ecosystem. In 8th International
ACM Web Science Conference. Hannover.
Gadiraju, U., Yang, J. & Bozzon, A. (2017). Clarity is a Worthwhile Quality. In P.
Dolog, P. Vojtas, F. Bonchi & D. Helic (Hrsg.), Proceedings of the 28th ACM
Conference on Hypertext and Social Media - HT '17 (S. 5-14). New York, New
York, USA: ACM Press.
XV
Gassmann, O. & Enkel, E. (2006). Open Innovation. Die Öffnung des
Innovationsprozesses erhöht das Innovationspotenzial. Vol. 75.2006, 3, p. 132-
138 3, (5/6). Stuttgart. Zeitschrift Führung + Organisation : ZfO.
Geiger, D. (2016). Personalized Task Recommendation in Crowdsourcing
Systems (Progress in IS, 1st ed. 2016). Cham: Springer International
Publishing; Imprint: Springer.
Geiger, D., Rosemann, M. & Fielt, E. (2011). Crowdsourcing information systems.
A systems theory perspective. In Australasian Conference on Information
Systems (ACIS) 2011. Sydney, Australia. Zugriff am 21.09.2017. Verfügbar
unter https://eprints.qut.edu.au/47466/.
Geiger, D., Rosemann, M., Fielt, E. & Schader, M. (2012). Crowdsourcing
Information Systems - Definition, Typology, and Design ICIS 2012, Orlando,
Florida, USA, December 16-19, 2012. In Proceedings of the International
Conference on Information Systems, ICIS 2012, Orlando, Florida, USA,
December 16-19, 2012. Association for Information Systems. Zugriff am
23.09.2017. Verfügbar unter
http://aisel.aisnet.org/icis2012/proceedings/ResearchInProgress/53.
Geiger, D. & Schader, M. (2014). Personalized task recommendation in
crowdsourcing information systems — Current state of the art. Decision Support
Systems, 65, 3-16.
Geiger, D., Seedorf, S., Schulze, T., Nickerson, R. C. & Schader, M. (2011).
Managing the Crowd: Towards a Taxonomy of Crowdsourcing Processes.
Proceedings of the 17th Americas Conference on Information Systems (AMCIS
2011), 2011.
Geiger, T. (1987). Die soziale Schichtung des deutschen Volkes.
Soziographischer Versuch auf statistischer Grundlage ; Nachdruck zum
150jährigen Bestehen des Ferdinand-Enke-Verl (Faks.-Nachdr. d. 1. Aufl.
1932). Stuttgart: Enke.
Ghezzi, A., Gabelloni, D., Martini, A. & Natalicchio, A. (2017). Crowdsourcing. A
Review and Suggestions for Future Research. International Journal of
Management Reviews, 18 (10), 180.
XVI
Gibbons, R. (1996). Incentives and Careers in Organizations. Cambridge, MA:
National Bureau of Economic Research.
Gilley, J. W., Morris, M. L., Waite, A. M., Coates, T. & Veliquette, A. (2010).
Integrated Theoretical Model for Building Effective Teams. Advances in
Developing Human Resources, 12 (1), 7-28.
Gläser, J. & Laudel, G. (2010). Experteninterviews und qualitative Inhaltsanalyse
als Instrumente rekonstruierender Untersuchungen (Lehrbuch, 4. Auflage).
Wiesbaden: VS Verlag.
Goldberg, L. R. (1992). The development of markers for the Big-Five factor
structure. Psychological Assessment, 4 (1), 26-42.
Goncalves, J., Ferreira, D., Hosio, S., Liu, Y., Rogstadius, J., Kukka, H. et al.
(2013). Crowdsourcing on the spot. In M. Langheinrich (Hrsg.), Proceedings of
the 2013 ACM International Joint Conference on Pervasive and Ubiquitous
Computing, September 8 - 12, 2013, Zurich, Switzerland ; co-located with the
2013 International Symposium on Wearable Computers (ISWC) ; [including]
UbiComp 2013 adjunct publication (S. 753). New York, NY: ACM.
Goncalves, J., Hosio, S., Rogstadius, J., Karapanos, E. & Kostakos, V. (2015).
Motivating participation and improving quality of contribution in ubiquitous
crowdsourcing. Computer Networks, 90, 34-48.
Greengard, S. (2011). Following the crowd. Communications of the ACM, 54 (2),
20.
Haas, D., Greenstein, M., Kamalov, K., Marcus, A., Olszewski, M. & Piette, M. Reducing Error in Context-Sensitive Crowdsourced Tasks. Vortrag anlässlich
First AAAI Conference on Human Computation and Crowdsourcing. Zugriff am
28.09.2017. Verfügbar unter
https://www.aaai.org/ocs/index.php/HCOMP/HCOMP13/paper/download/7510/7
436.
Halder, B. (2014). Evolution of crowdsourcing. Potential data protection, privacy
and security concerns under the new media age. Revista Democracia Digital e
Governo Eletrônico, 1 (10), 377-393. Zugriff am 18.09.2017. Verfügbar unter
XVII
http://buscalegis.ufsc.br/revistas/index.php/observatoriodoegov/article/download
/34341/33195.
Halfhill, T., Sundstrom, E., Lahner, J., Calderone, W. & Nielsen, T. M. (2016).
Group Personality Composition and Group Effectiveness. Small Group
Research, 36 (1), 83-105.
Hamari, J., Koivisto, J. & Sarsa, H. (2014). Does Gamification Work? -- A
Literature Review of Empirical Studies on Gamification. In IEEE 8th
International Symposium on Service-Oriented System Engineering (SOSE),
2014. 7 - 11 April 2014, Oxford, United Kingdom ; [including
workshop/simposium papers] (S. 3025-3034). Piscataway, NJ: IEEE.
Harris, C. G. (2011). You’re hired! an examination of crowdsourcing incentive
models in human resource tasks. In in WSDM Workshop on Crowdsourcing for
Search and Data Mining (CSDM (S. 15-18).
Haythornthwaite, C. A. (2009). Crowds and Communities: Light and Heavyweight
Models of Peer Production. In R. H. Sprague (Hrsg.), 42nd Hawaii International
Conference on System Sciences, 2009. HICSS '09 ; Waikoloa, Hawaii, 5 - 8
Jan. 2009 (S. 1-10). Piscataway, NJ: IEEE.
Hetmank, L. (2013). Components and Functions of Crowdsourcing Systems – A
Systematic Literature Review. Wirtschaftsinformatik Proceedings 2013. Zugriff
am 02.10.2017. Verfügbar unter http://aisel.aisnet.org/wi2013/4.
Hippel, E. von. (1986). Lead Users. A Source of Novel Product Concepts.
Management Science, 32 (7), 791-805.
Ho, C.-J., Slivkins, A., Suri, S. & Vaughan, J. W. (2015). Incentivizing High Quality
Crowdwork. In A. Gangemi, S. Leonardi & A. Panconesi (Hrsg.), Proceedings of
the 24rd International Conference on World Wide Web. May 18 - 22, 2015,
Florence, Italy (S. 419-429). New York, New York, USA: ACM Press.
Hossain, M. (2012). Users' motivation to participate in online crowdsourcing
platforms. In R. S. R. Kasim (Hrsg.), International Conference on Innovation,
Management and Technology Research (ICIMTR), 2012. 21 - 22 May 2012,
Malacca, Malaysia (S. 310-315). Piscataway, NJ: IEEE.
XVIII
Hosseini, M., Phalp, K., Taylor, J. & Ali, R. (2014). The four pillars of
crowdsourcing: A reference model. In M. Bajec (Hrsg.), 2014 IEEE Eighth
International Conference on Research Challenges in Information Science
(RCIS). 28 - 30 May 2014, Marrakesh, Morocco (S. 1-12). Piscataway, NJ:
IEEE.
Hoßfeld, T., Hirth, M. & Tran-Gia, P. (2011). Modeling of crowdsourcing platforms
and granularity of work organization in Future Internet. In 2011 23rd
International Teletraffic Congress (ITC) (S. 142-149).
Hoßfeld, T., Hirth, M. & Tran-Gia, P. (2012). Aktuelles Schlagwort. Crowdsourcing.
Informatik Spektrum, 35 (3).
Howe, J. (2006a). Crowdsourcing: A Definition. The White Paper Version. Zugriff
am 01.09.2017. Verfügbar unter www.crowdsourcing.com.
Howe, J. (2006b). The Rise of Crowdsourcing, Wired Magazine. Zugriff am
01.09.2017. Verfügbar unter https://www.wired.com/2006/06/crowds/.
Howe, J. (2008). Crowdsourcing. Why the power of the crowd is driving the future
of business (1. ed.). New York NY: Crown Business.
Hsueh, P.-Y., Melville, P. & Sindhwani, V. (2009). Data quality from
crowdsourcing. In E. Ringger, R. Hertel & K. Tomanek (Hrsg.), Proceedings of
the NAACL HLT 2009 Workshop on Active Learning for Natural Language
Processing - HLT '09 (S. 27). Morristown, NJ, USA: Association for
Computational Linguistics.
Huang, S.-W. & Fu, W.-T. (2013). Don't hide in the crowd! In W. E. Mackay, S.
Brewster & S. Bødker (Hrsg.), CHI 2013. Changing perspectives ; the 31st
Annual CHI Conference on Human Factors in Computing Systems, conference
proceedings, 27 April - 2 May 2013, Paris, France (S. 621). New York, NY:
ACM.
Hui, J., Glenn, A., Jue, R., Gerber, E. & Dow, S. Using Anonymity and Communal
Efforts to Improve Quality of Crowdsourced Feedback. In AAAI Conference on
Human Computation and Crowdsourcing .
Ipeirotis, P. G. (2010). Demographics of Mechanical Turk. In The Center for Digital
Economy Research (Hrsg.), CeDER Working Papers (10-01). New York. Zugriff
XIX
am 18.10.2017. Verfügbar unter
http://archive.nyu.edu/bitstream/2451/29585/2/CeDER-10-01.pdf
Itoko, T., Arita, S., Kobayashi, M. & Takagi, H. (2014). Involving Senior Workers in
Crowdsourced Proofreading. In D. Hutchison, T. Kanade & J. Kittler (Eds.),
Universal Access in Human-Computer Interaction. Aging and Assistive
Environments. 8th International Conference, UAHCI 2014, Held as Part of HCI
International 2014, Heraklion, Crete, Greece, June 22-27, 2014, Proceedings,
Part III (Lecture Notes in Computer Science / Information Systems and
Applications, Incl. Internet/Web, and HCI, v.8515, Bd. 8515, pp. 106-117).
Cham: Springer International Publishing.
Jain, R. (2010). Investigation of Governance Mechanisms for Crowdsourcing
Initiatives. AMCIS 2010 Proceedings. Zugriff am 28.09.2017. Verfügbar unter
http://aisel.aisnet.org/amcis2010/557.
Jakob Rogstadius, Vassilis Kostakos, Aniket Kittur, Boris Smus, Jim Laredo & Maja Vukovic (2011). An Assessment of Intrinsic and Extrinsic Motivation on
Task Performance in Crowdsourcing Markets. In Proceedings of the Fifth
International Conference on Weblogs and Social Media. Barcelona.
Jiang, Z., Huang, Y. & Beil, D. R. (2016). The Role of Feedback in Dynamic
Crowdsourcing Contests. A Structural Empirical Analysis. Zugriff am
23.11.2017. Verfügbar unter
https://deepblue.lib.umich.edu/bitstream/2027.42/134692/1/1334_YHuang.pdf.
Jovoto. (2017). Create a space that makes people’s stay at Swiss rail stations
more pleasant. Zugriff am 12.09.2017. Verfügbar unter
https://www.jovoto.com/projects/sbb/landing.
Kaufmann, N., Schulze, T. & Veit, D. J. (2011). More than fun and money. Worker
Motivation in Crowdsourcing - A Study on Mechanical Turk. In Proceedings of
the 17th Americas Conference on Information Systems (AMCIS 2011) (Paper
340). Atlanta, Ga.: AISeL. Zugriff am 17.10.2017. Verfügbar unter http://ub-
madoc.bib.uni-mannheim.de/29031/.
Kazai, G., Kamps, J. & Milic-Frayling, N. (2012). The face of quality in
crowdsourcing relevance labels. In X. Chen (Hrsg.), Proceedings of the 21st
XX
ACM international conference on Information and knowledge management
(S. 2583). New York, NY: ACM.
Khan, J. V., Dey, D., & Buchina, N. (2016). Evaluating The Role Of Empathy In
Crowdsourcing User Interfaces. In Weaving Relations of Trust in Crowd Work:
Transparency and Reputation across Platforms.
Khanna, S., Ratan, A., Davis, J. & Thies, W. (2010). Evaluating and improving the
usability of Mechanical Turk for low-income workers in India. In A. Dearden
(Hrsg.), Proceedings of the First ACM Symposium on Computing for
Development (S. 1). New York, NY: ACM.
Kickstarter. (2012). Pebble Time - Awesome Smartwatch, No Compromises.
Zugriff am 15.09.2017. Verfügbar unter
https://www.kickstarter.com/projects/getpebble/pebble-time-awesome-
smartwatch-no-compromises.
Kittur, A. & Kraut, R. E. (2008). Harnessing the wisdom of crowds in wikipedia. In
B. Begole (Hrsg.), Proceedings of the 2008 ACM conference on Computer
supported cooperative work (S. 37). New York, NY: ACM.
Kittur, A., Nickerson, J. V., Bernstein, M., Gerber, E., Shaw, A., Zimmerman, J. et
al. (2013). The future of crowd work: ACM. Zugriff am 02.09.2017. Verfügbar
unter http://dl.acm.org/ft_gateway.cfm?id=2441923&type=pdf
Kittur, A., Smus, B., Khamkar, S. & Kraut, R. E. (2011). CrowdForge. In J. Pierce
(Hrsg.), Proceedings of the 24th annual ACM symposium on User interface
software and technology (S. 43). New York, NY: ACM.
Krippendorff, K. (2013). Content analysis. An introduction to its methodology (Third
edition). Los Angeles: Sage.
Kuek, S. C., Paradi-Guilford, C. M., Fayomi, T., Imaizumi, S. & Ipeirotis, P. (World
Bank Group, Hrsg.). (2015). The global opportunity in online outsourcing. Zugriff
am 18.10.2017. Verfügbar unter
http://documents.worldbank.org/curated/en/138371468000900555/The-global-
opportunity-in-online-outsourcing.
XXI
Lakhani, K. & Wolf, R. G. (2003). Why Hackers Do What They Do. Understanding
Motivation and Effort in Free/Open Source Software Projects. SSRN Electronic
Journal.
Lamnek, S. (2005). Qualitative Sozialforschung. Lehrbuch (Lehrbuch, 4., vollst.
überarb. Aufl.). Weinheim: Beltz.
Lazarsfeld, P. F. (1969). Wahlen und Wähler. Soziologie des Wahlverhaltens.
Berlin: Neuwied.
Lazarsfeld, P. F., Berelson, B. & Gaudet, H. (1944). The people's choice. How the
voter makes up his mind in a presidential campaign. New York: Duelle Sloan
and Pearce.
Lee, T. Y., Dugan, C., Geyer, W., Ratchford, T., Rasmussen, J., Shami, N. S. et al
(2013). Experiments on Motivational Feedback for Crowdsourced Workers. In
Seventh International AAAI Conference on Weblogs and Social Media. Zugriff
am 24.11.2017. Verfügbar unter
https://www.aaai.org/ocs/index.php/ICWSM/ICWSM13/paper/download/6118/63
73.
Leicht, N., Durward, D., Haas, P., Zogaj, S., Blohm, I. & Leimeister, J. M. (2016).
An empirical taxonomy of crowdsourcing intermediaries. Academy of
Management Proceedings, 2016 (1), 17518.
Leimeister, J. M. (2010). Collective Intelligence. Business & Information Systems
Engineering, 2 (4), 245-248.
Leimeister, J. M., Huber, M., Bretschneider, U. & Krcmar, H. (2009). Leveraging
Crowdsourcing. Activation-Supporting Components for IT-Based Ideas
Competition. Journal of Management Information Systems, 26 (1), 197-224.
Leimeister, J. M., Zogaj, S., Durward, D. & Blohm, I. (2016). Systematisierung und
Analyse von Crowd-Sourcing-Anbietern und Crowd-Work-Projekten (Reihe
Praxiswissen Betriebsvereinbarungen, Nr. 324). Düsseldorf: Hans-Böckler-
Stiftung.
Leimeister, Jan Marco & Zogaj, Shkodran. (2013). Neue Arbeitsorganisation durch
Crowdsourcing. Eine Literaturstudie. Düsseldorf: Hans-Böckler-Stiftung.
XXII
Liebold, R. & Trinczek, R. (2009). Experteninterview. In S. Kühl (Hrsg.), Handbuch
Methoden der Organisationsforschung. Quantitative und qualitative Methoden
(1. Aufl., S. 32-56). Wiesbaden: Verl. für Sozialwiss. / GWV Fachverl.
Lisch, R. & Kriz, J. (1978). Grundlagen und Modelle der Inhaltsanalyse.
Bestandsaufnahme und Kritik (Rororo-Studium Sozialwissenschaft, Bd. 117).
Reinbek bei Hamburg: Rowohlt.
Litman, L., Robinson, J. & Rosenzweig, C. (2015). The relationship between
motivation, monetary compensation, and data quality among US- and India-
based workers on Mechanical Turk. Behavior research methods, 47 (2), 519-
528.
Liu, Y. & Liu, M. (2015). An Online Learning Approach to Improving the Quality of
Crowd-Sourcing. In B. Lin, J. (J.) Xu, S. Sengupta & D. Shah (Hrsg.),
Proceedings of the 2015 ACM SIGMETRICS International Conference on
Measurement and Modeling of Computer Systems - SIGMETRICS '15 (S. 217-
230). New York, New York, USA: ACM Press.
Lofi, C., Selke, J. & Balke, W.-T. (2012). Information Extraction Meets
Crowdsourcing. A Promising Couple. Datenbank-Spektrum, 12 (2), 109-120.
Lopez, V., Nikolov, A., Fernandez, M., Sabou, M., Uren, V. & Motta, E. (2009). Merging and Ranking Answers in the Semantic Web: The Wisdom of Crowds.
In A. Gómez-Pérez, Y. Yu & Y. Ding (Eds.), The semantic web. Fourth Asian
conference, ASWC 2009, Shanghai, China, December 6 - 9, 2009 ;
proceedings (Lecture Notes in Computer Science, vol. 5926, Bd. 5926, pp. 135-
152). Berlin: Springer.
Lykourentzou, I., Antoniou, A., Naudet, Y. & Dow, S. P. (2016). Personality
Matters: Balancing for Personality Types Leads to Better Outcomes for Crowd
Teams. In D. Gergle, M. R. Morris, P. Bjørn & J. Konstan (Hrsg.), CSCW'16.
Proceedings & companion of the ACM Conference on Computer-Supported
Cooperative Work and Social Computing : February 27-March 2, 2016, San
Francisco, CA, USA (S. 259-272). New York, NY: Association for Computing
Machinery.
XXIII
Mao, K., Capra, L., Harman, M. & Jia, Y. (2017). A survey of the use of
crowdsourcing in software engineering. Journal of Systems and Software, 126,
57-84.
Mason, B. & Thomas, S. (2008). A Million Penguins Research Report. Leicester,
UK: Institute of Creative Technologies,De Montfort University.
Mason, W. & Watts, D. J. (2009). Financial incentives and the "performance of
crowds". In P. Bennett (Hrsg.), Proceedings of the ACM SIGKDD Workshop on
Human Computation (S. 77). New York, NY: ACM.
Mavridis, P., Gross-Amblard, D. & Miklós, Z. (2016). Using Hierarchical Skills for
Optimized Task Assignment in Knowledge-Intensive Crowdsourcing. In J.
Bourdeau (Hrsg.), WWW'16. Proceedings of the 25th International Conference
on World Wide Web : May 11-15, 2016, Montreal, Canada (S. 843-853)
[Geneva, Switzerland]: International World Wide Web Conferences Steering
Committee.
Mayer, H. O. (2008). Interview und schriftliche Befragung. Entwicklung,
Durchführung und Auswertung (4., überarb. und erw. Aufl.). München:
Oldenbourg.
Maynard, D. C. & Hakel, M. D. (1997). Effects of Objective and Subjective Task
Complexity on Performance. Human Performance, 10 (4), 303-330.
Mayring, P. (2010). Qualitative Inhaltsanalyse. Grundlagen und Techniken
(Neuausgabe). Weinheim: Beltz.
Mayring, P. (2016). Einführung in die qualitative Sozialforschung. Eine Anleitung
zu qualitativem Denken (Pädagogik, 6., überarbeitete Auflage). Weinheim:
Beltz. Verfügbar unter http://d-nb.info/1079401547/04.
Meuser, M. & Nagel, U. (2002). ExpertInneninterviews – vielfach erprobt, wenig
bedacht. In A. Bogner, B. Littig & W. Menz (Hrsg.), Das Experteninterview.
Theorie, Methode, Anwendung (S. 71-93). Wiesbaden: VS Verlag für
Sozialwissenschaften.
Minder, P. & Bernstein, A. (2012). How to translate a book within an hour. In N.
Contractor, B. Uzzi, M. Macy & W. Nejdl (Hrsg.), Proceedings of the 3rd Annual
ACM Web Science Conference (S. 209-212). New York, NY: ACM.
XXIV
Mourelatos, E. & Tzagarakis, M. (2016). Investigating Factors Influencing the
Quality of Crowdsourced Work under Different Incentives. International Journal
of Innovation in the Digital Economy, 7 (2), 15-31.
Mourelatos, V. & Tzagarakis, M. (2016). Worker's Cognitive Abilities and
Personality Traits as Predictors of Effective Task Performance on
Crowdsourcing Tasks. In 5th ISCA/DEGA Workshop on Perceptual Quality of
Systems (PQS 2016) (S. 112-116). ISCA: ISCA.
Oomen, J. & Aroyo, L. (2011). Crowdsourcing in the cultural heritage domain. In
M. Foth (Hrsg.), Proceedings of the 5th International Conference on
Communities and Technologies (S. 138). New York, NY: ACM.
Patton, M. Q. (1990). Qualitative evaluation and research methods (2. ed.).
Newbury Park Calif. u.a.: Sage Publ.
Pavlick, E., Post, M., Irvine, A., Kachaev, D. & Callison-Burch, C. (2014). The
Language Demographics of Amazon Mechanical Turk. Transactions of the
Association for Computational Linguistics, 2 (0), 79-92.
Pedersen, J., Kocsis, D., Tripathi, A., Tarrell, A., Weerakoon, A., Tahmasbi, N. et al. (2013). Conceptual Foundations of Crowdsourcing: A Review of IS
Research. In R. H. Sprague (Hrsg.), 2013 46th Hawaii International Conference
on System Sciences (HICSS 2013). Wailea, [Maui], Hawaii, USA, 7 - 10
January 2013 ; [proceedings] (S. 579-588). Piscataway, NJ: IEEE.
Pilz, D. & Gewald, H. (2013). Does Money Matter? Motivational Factors for
Participation in Paid- and Non-Profit-Crowdsourcing Communities.
Wirtschaftsinformatik Proceedings 2013. Zugriff am 26.10.2017. Verfügbar
unter https://aisel.aisnet.org/wi2013/37.
Plath, H.-E. (2002). Erfahrungswissen und Handlungskompetenz -Konsequenzen
für die berufliche Weiterbildung. In G. Kleinheinz (Hrsg.), IAB-Kompendium
Arbeitsmarkt- und Berufsforschung (Beiträge zur Arbeitsmarkt- und
Berufsforschung, Bd. 250, S. 517-529). Nürnberg: Zentralamt der Bundesanst.
für Arbeit.
XXV
Poetz, M. K. & Schreier, M. (2012). The Value of Crowdsourcing. Can Users
Really Compete with Professionals in Generating New Product Ideas? Journal
of Product Innovation Management, 29 (2), 245-256.
Raithel, J. (2008). Quantitative Forschung. Ein Praxiskurs (2., durchgesehene
Auflage). Wiesbaden: VS Verlag für Sozialwissenschaften / GWV Fachverlage
GmbH Wiesbaden.
Ray, R. (2006). Prediction Markets and the Financial "Wisdom of Crowds". Journal
of Behavioral Finance, 7 (1), 2-4.
Rechenberger,, T., Jung, V., Schmidt, N. & Rosenkranz, C. (2015). Utilizing the
Crowd – A Literature Review on Factors influencing Crowdsourcing Initiative
Success. PACIS 2015 Proceedings. Zugriff am 04.10.2017. Verfügbar unter
http://aisel.aisnet.org/pacis2015/250.
Reichwald, R. & Piller, F. (2009). Interaktive Wertschöpfung. Open Innovation,
Individualisierung und neue Formen der Arbeitsteilung (2., vollständig
überarbeitete und erweiterte Auflage). Wiesbaden: Gabler Verlag / GWV
Fachverlage GmbH Wiesbaden.
Rheinberg, F. (2000). Motivation (Urban-Taschenbücher, Bd. 555, 3., überarb. und
erw. Aufl.). Stuttgart: Kohlhammer.
Riccardi, G., Ghosh, A., Chowdhury, S. A. & Bayer, A. O. (2013). Motivational
feedback in crowdsourcing. A case study in speech transcription.
Communication Association, Lyon, France, August 25-29, 2013. In F. Bimbot,
C. Cerisara, C. Fougeron, G. Gravier, L. Lamel, F. Pellegrino et al. (Hrsg.),
INTERSPEECH 2013, 14th Annual Conference of the International Speech
Communication Association, Lyon, France, August 25-29, 2013 (S. 1111-1115).
ISCA. Zugriff am 23.11.2017. Verfügbar unter http://www.isca-
speech.org/archive/interspeech_2013/i13_1111.html.
Riesmeyer, C. (2011). Das Leitfadeninterview. Königsweg der qualitativen
Journalismusforschung? In O. Jandura, T. Quandt & J. Vogelgesang (Hrsg.),
Methoden der Journalismusforschung (1. Aufl., S. 223-236). Wiesbaden: VS
Verlag für Sozialwissenschaften / Springer Fachmedien Wiesbaden GmbH
Wiesbaden.
XXVI
Robinson, P. (2012). Task complexity, cognitive resources, and syllabus design. A
triadic framework for examining task influences on SLA. In P. Robinson (Ed.),
Cognition and second language instruction (The Cambridge applied linguistics
series, pp. 287-318). Cambridge: Cambridge Univ. Press.
Ross, J., Irani, L., Silberman, M. S., Zaldivar, A. & Tomlinson, B. (2010). Who are
the crowdworkers? In E. Mynatt (Hrsg.), CHI '10 Extended Abstracts on Human
Factors in Computing Systems (S. 2863). New York, NY: ACM.
Rost, D. H. (Hrsg.). (2010). Handwörterbuch Pädagogische Psychologie (4.,
überarb. und erw. Aufl.). Weinheim: Beltz. Verfügbar unter http://www.content-
select.com/index.php?id=bib_view&ean=9783621279062.
Rouse, A. (2010). A Preliminary Taxonomy of Crowdsourcing. ACIS 2010
Proceedings. Zugriff am 30.08.2017. Verfügbar unter
http://aisel.aisnet.org/acis2010/76.
Saldanha, F. P., Cohendet, P. & Pozzebon, M. (2014). Challenging the Stage-
Gate Model in Crowdsourcing: The Case of Fiat Mio in Brazil. Technology
Innovation Management Review, 4, 28-35. Verfügbar unter
http://timreview.ca/article/829.
Sampath, H. A., Rajeshuni, R., Indurkhya, B., Karanam, S. & Dasgupta, K. (2013). Effect of Task Presentation on the Performance of Crowd Workers - A Cognitive
Study Abstracts, An Adjunct to the Proceedings of the First AAAI Conference on
Human Computation and Crowdsourcing, November 7-9, 2013, Palm Springs,
CA, USA. In Human Computation and Crowdsourcing. Works in Progress and
Demonstration Abstracts, An Adjunct to the Proceedings of the First AAAI
Conference on Human Computation and Crowdsourcing, November 7-9, 2013,
Palm Springs, CA, USA (AAAI Workshops, WS-13-18). AAAI. Zugriff am
10.10.2017. Verfügbar unter
http://www.aaai.org/ocs/index.php/HCOMP/HCOMP13/paper/view/7501.
Saur-Amaral, I. (2015). Wisdom-of-the-crowds to enhance innovation: state of the
art. Journal of Innovation Management, 2015 (3), 71-89.
Schenk, E. & Guittard, C. (2009). Crowdsourcing. What can be Outsourced to the
Crowd, and Why? Zugriff am 17.09.2017. Verfügbar unter: https://hal.archives-
ouvertes.fr/file/index/docid/439256/filename/Crowdsourcing_eng.pdf.
XXVII
Schenk, E. & Guittard, C. (2011). Towards a characterization of crowdsourcing
practices. Journal of Innovation Economics, 7 (1), 93.
Schnitzer, S., Neitzel, S., Schmidt, S. & Rensing, C. (2016). Perceived Task
Similarities for Task Recommendation in Crowdsourcing Systems. In J.
Bourdeau, J. A. Hendler, R. N. Nkambou, I. Horrocks & B. Y. Zhao (Hrsg.),
Proceedings of the 25th International Conference Companion on World Wide
Web (S. 585-590). Republic and Canton of Geneva: International World Wide
Web Conferences Steering Committee.
Schrage, M. (1995). No more teams! Mastering the dynamics of creative
collaboration (1. Currency paperback ed., rev., updated.). New York NY u.a.:
Currency Doubleday.
Schulze, T., Seedorf, S., Geiger, D., Kaufmann, N. & Schader, M. (2011). Exploring Task Properties in Crowdsourcing – An empirical Study von Amazon
Mechanical Turk. ECIS 2011 Proceedings. Zugriff am 14.11.2017. Verfügbar
unter https://aisel.aisnet.org/ecis2011/122.
Shaw, A. D., Horton, J. J. & Chen, D. L. (2011). Designing incentives for inexpert
human raters. In P. Hinds (Hrsg.), Proceedings of the ACM 2011 conference on
Computer supported cooperative work (S. 275). New York, NY: ACM.
Singla, A. & Krause, A. (2013). Truthful incentives in crowdsourcing tasks using
regret minimization mechanisms. In D. Schwabe (Hrsg.), Proceedings of the
22nd International Conference on the World Wide Web. May 13 - 17, 2013, Rio
de Janeiro, Brazil (S. 1167-1178). New York, NY: ACM.
Snell, S. A. (1992). Control Theory in Strategic Human Resource Management.
The Mediating Effect of Administrative Information. The Academy of
Management Journal, 35 (2), 292-327. Zugriff am 04.10.2017. Verfügbar unter
http://www.jstor.org/stable/256375.
Straub, T., Gimpel, H., Teschner, F. & Weinhardt, C. (2015). How (not) to Incent
Crowd Workers - Payment Schemes and Feedback in Crowdsourcing. Business
& Information Systems Engineering, 57 (3), 167-179. Zugriff am 23.11.2017.
Verfügbar unter https://aisel.aisnet.org/bise/vol57/iss3/3.
XXVIII
Surowiecki, J. (2004). The wisdom of crowds. Why the many are smarter than the
few and how collective wisdom shapes business, economies, societies and
nations (1. ed.). New York NY u.a.: Doubleday.
Tarrell, A., Tahmasbi, N., Kocsis, D., Tripathi, A., Pedersen, J., Xiong, J. et al. (2013). Crowdsourcing: A Snapshot of Published Research. AMCIS 2013
Proceedings. Zugriff am 05.09.2017. Verfügbar unter
http://aisel.aisnet.org/amcis2013/EndUserIS/GeneralPresentations/2.
TopCoder. (2015). NASA’s Asteroid Data Hunter Launch at SXSW. Zugriff am
15.09.2017. Verfügbar unter https://www.topcoder.com/blog/nasas-asteroid-
data-hunter-launch-at-sxsw/.
Venetis, P., Garcia-Molina, H., Huang, K. & Polyzotis, N. (2012). Max algorithms in
crowdsourcing environments. In A. Mille, F. Gandon, J. Misselis, M. Rabinovich
& S. Staab (Hrsg.), Proceedings of the 21st international conference on World
Wide Web (S. 989). New York, NY: ACM.
Vukovic, M. (2009). Crowdsourcing for Enterprises. In L.-J. Zhang (Hrsg.), World
Conference on Services-I, 2009. 6 - 10 July 2009, Los Angeles, CA ;
proceedings ; [including] 2009 International Conference on Cloud Computing,
Part I (CLOUD-I/2009) [and papers of 12 workshops] (S. 686-692). Piscataway,
NJ: IEEE.
Wagner, R. F., Hinz, A., Rausch, A. & Becker, B. (Hrsg.). (2014). Modul
Pädagogische Psychologie (UTB Psychologie, Bd. 3190, 2., überarb. und erw.
Aufl.). Bad Heilbrunn: Klinkhardt; UTB.
Wang, J., Ipeirotis, P. G. & Provost, F. (2013). Quality-Based Pricing for
Crowdsourced Workers. NYU Stern Research Working Paper. CBA-13-06.
Wolf, B. & Priebe, M. (2001). Wissenschaftstheoretische Richtungen (Forschung,
Statistik & Methoden, Bd. 8, 2. korrigierte Aufl.). Landau: Verl. Empirische
Pädagogik.
Wooten, J. & Ulrich, K. T. (2011). Idea Generation and the Role of Feedback.
Evidence from Field Experiments with Innovation Tournaments. SSRN
Electronic Journal.
XXIX
Wu, H., Corney, J. & Grant, M. (2014). Relationship between quality and payment
in crowdsourced design. In J.-L. Hou (Hrsg.), Proceedings of the 2014 IEEE
18th International Conference on Computer Supported Cooperative Work in
Design (CSCWD). 21 - 23 May 2014, Hsinchu, Taiwan (S. 499-504).
Piscataway, NJ: IEEE.
Yang, J., Redi, J., Demartini, G. & Bozzon, A. (2016). Modeling Task Complexity
in Crowdsourcing. Vortrag anlässlich Fourth AAAI Conference on Human
Computation and Crowdsourcing. Zugriff am 10.11.2017. Verfügbar unter
https://aaai.org/ocs/index.php/HCOMP/HCOMP16/paper/download/14039/1365
3.
Ye, T., You, S. & Robert, L. (2017). When Does More Money Work? Examining
the Role of Perceived Fairness in Pay on the Performance Quality of
Crowdworkers: AAAI. Zugriff am 13.11.2017. Verfügbar unter
https://deepblue.lib.umich.edu/bitstream/2027.42/136162/1/Final%20Ye%2c%2
0You%20and%20Robert-ICWSM17-
paper%23351%20AAAI%20press%20%2315601.pdf.
Yin, M., Chen, Y. & Sun, Y.-A. (2013). The Effects of Performance-Contingent
Financial Incentives in Online Labor Markets: Association for the Advancement
of Artificial Intelligence. Zugriff am 22.11.2017. Verfügbar unter
https://dash.harvard.edu/bitstream/handle/1/11129153/anchoringeffect-
camera.pdf?sequence=1.
Yuen, M.-C., King, I. & Leung, K.-S. (2011). A Survey of Crowdsourcing Systems.
In IEEE Third International Conference on Privacy, Security, Risk and Trust
(PASSAT), 2011 and 2011 IEEE Third International Conference on Social
Computing (SocialCom). 9 - 11 Oct. 2011, Boston, Massachusetts, USA ;
proceedings ; [including workshop papers] (S. 766-773). Piscataway, NJ: IEEE.
Yuen, M.-C., King, I. & Leung, K.-S. (2015). TaskRec. A Task Recommendation
Framework in Crowdsourcing Systems. Neural Processing Letters, 41 (2), 223-
238.
Zhai, Z., Sempolinski, P., Thain, D., Madey, G., Wei, D. & Kareem, A. (2011). Expert-Citizen Engineering: "Crowdsourcing" Skilled Citizens. In J. Chen
(Hrsg.), IEEE Ninth International Conference on Dependable, Autonomic and
XXX
Secure Computing (DASC), 2011. 12 - 14 Dec. 2011, Sydney, Australia ;
proceedings. Piscataway, NJ: IEEE.
Zhao, Y. & Zhu, Q. (2012). Exploring the Motivation of Participants in
Crowdsourcing Contest. ICIS 2012, Orlando, Florida, USA, December 16-19,
2012. In Proceedings of the International Conference on Information Systems,
ICIS 2012, Orlando, Florida, USA, December 16-19, 2012. Association for
Information Systems. Zugriff am 25.10.2017. Verfügbar unter
http://aisel.aisnet.org/icis2012/proceedings/ResearchInProgress/4.
Zhao, Y. & Zhu, Q. (2014). Evaluation on crowdsourcing research: Current status
and future direction. Information Systems Frontiers, 16 (3), 417-434. Zugriff am
28.09.2017. Verfügbar unter https://doi.org/10.1007/s10796-012-9350-4.
Zhu, H., Djurjagina, K. & Leker, J. (2014). Innovative behaviour types and their
influence on individual crowdsourcing performances. International Journal of
Innovation Management, 18 (06), 1440015.
Zogaj, S. (2016). Governance of crowdsourcing. Kassel University Press GmbH:
Kassel.
Zogaj, S., Peters, C. & Leimeister, J. M. (2013). Understanding the Principles of
Crowdsourcing in the Light of The Commons-Based Peer Production Model. In
73nd Academy of Management Annual Meeting. New York: Academy of
Management. Zugriff am 06.09.2017. Verfügbar unter
https://www.alexandria.unisg.ch/224107/.
