Altmetrics: Nutzung von Social Media Daten für die … · 2018. 7. 6. · Folie 4 Der Begriff...

Mitg

lied

de

r H

elm

ho

ltz-G

em

ein

sch

aft

Altmetrics: Nutzung von Social Media Daten für die Forschungsevaluation bzw. –politik?

Dr. Dirk Tunger, DeGEval Frühjahrstagung, 22. Juni 2018

Folie 2

Agenda

Einführung Altmetrics

Machbarkeitsstudie „Altmetrics“

Beispiel Altmetric-Explorer

Fazit

Fragen und Diskussion

Folie 3

Entstehung Altmetrics

Folie 4

Der Begriff Altmetrics wurde von Priem et al. erstmalig eingeführt und sollte für Metriken zur Messung des wissenschaftlichen Impacts in Web 2.0-Plattformen stehen. Das Grundmotiv war die klassische Bibliometrie damit zu unterstützen, da diese, aufgrund des veralteten Konzeptes des Peer-review und der nützlichen, aber unzureichenden Zitationsanalyse, nicht mehr zeitgemäß wäre (Priem et al., 2010).

Entstehung Altmetrics

Folie 5

Entstehung AltmetricsDie sogenannten Altmetrics sind als Antwort auf die an den klassischen Indikatoren geäußerten Kritik entstanden. Altmetrics messen nicht ausschliesslich die Reichweite von Publikationen in der Fachcommunity, sondern vor allem auch die Reichweite in einer breiteren Öffentlichkeit.

Ihnen ist gemeinsam, dass sie den Einfluss einer wissenschaftlichen Publikation auf der Ebene des einzelnen Artikels messen möchten und dabei nicht allein auf die Zitation abstellen, sondern vor allem auch darüberhinausgehende Einflussfaktoren, wie Nennungen, Bookmarks, Verlinkungen oder Download-Zahlen mitberücksichtigen.

Folie 6

Was ist "Altmetrics"?

Eine Alternative für eine schnellere Messung von Aufmerksamkeit

Aus neuen und bisher nicht genutzten Quellen

Zur Erstellung von Auswer-tungen in neuem Kontext

Social Media

Als Ergänzung, nicht als Ersatz

Zur Erzeugung eines multi-

dimensionalen Bildes

Folie 7

Machbarkeitsstudie zum Einsatz von Altmetrics

Es wird in der Machbarkeitsstudie nicht um die Frage gehen,welche Wissenschaftsorganisation den höchsten SocialMedia-Impact in den vergangenen Jahren erzielt hat,sondern um die Darstellung von Unterschieden in derZusammensetzung des Impacts und die Interpretationhiervon.

Folie 8

Ziel der Studie

Leitfrage

Inwiefern und in welcher Weise ist eine Anwendung von Altmetrics in Wissenschaftspolitik und -management derzeit sinnvoll?

Folie 9

Ziel der Studie

Oder ausführlich:

Wie weit ist die Forschung zu Altmetrics fortgeschritten?

Sind gegenwärtig bereits Anwendungsszenarien denkbar?

Worüber wird in der Altmetrics-Community diskutiert?

Was sind die Bottlenecks?

Folie 10

Studiendesign

Folie 11

Studiendesign

Abdeckung der DOIs der deutschen Wissenschaftsorganisationen auf Altmetric.com

Vergleich der Anteile der Disziplinen im WoS und auf Altmetric.com

Verteilung der altmetrischen Wahrnehmung in den einzelnen Disziplinen

Publikationsprofile der deutschen Wissenschaftsorganisationen

Eckpunkte quantitative Auswertung

Folie 12

Studiendesign

Fragenkatalog Interviews

Folie 13

Studiendesign

Dr. Dr. habil. Lutz BornmannLutz Bornmann arbeitet als Wissenschaftssoziologe in der Münchner Generalverwaltung der Max-Planck-Gesellschaft (MPG). Im Stabsreferat für Wissenschafts- und Innovationsforschung sowie Forschungsanalyse ist er dort für Fragen der Forschungsevaluation und Bibliometrie zuständig. Neben der Bibliometrie ist auch das Feld der Altmetrics eines seiner derzeitigen Forschungsthemen. Bornmann hat seit 2004 über 260 wissenschaftliche Publikationen verfasst.

Dr. Martina FranzenMartina Franzen ist als wissenschaftliche Mitarbeiterin der Forschungsgruppe Wissenschaftspolitik am Wissenschaftszentrum Berlin für Sozialforschung (WZB) tätig. Altmetrics gehören neben der Wissenschaftssoziologie und –kommunikation zu einem ihrer Forschungsschwerpunkte.

Kurzprofile Interviewpartner

Folie 14

StudiendesignKurzprofile Interviewpartner

Prof. Dr. Stefanie HausteinStefanie Haustein arbeitet als Assistant Professor an der School of Information Studies an der Universität Ottawa. Sie promovierte im Studienfach Informationswissenschaft an der Heinrich Heine Universität Düsseldorf und am Forschungszentrum Jülich. Im Mittelpunkt ihrer Forschung stehen die Themen Wissenschaftskommunikation, Bibliometrie, Altmetrics und Open Science.

Prof. Dr. Isabella PetersAls Professorin für Web Science ist Isabella Peters für das Leibniz-Informationszentrum Wirtschaft (ZBW) in Kiel tätig. Unter anderem gehören die wissenschaftliche Kommunikation im Social Web und Altmetrics zu ihren Arbeitsschwerpunkten. Als Mitglied der High Level Expert Group der Europäischen Kommission "Expert Group on Altmetrics" gehört sie zu den führenden Experten im Bereich Altmetrics.

Folie 15

StudiendesignKurzprofile Interviewpartner

Dr. Jürgen WastlJürgen Wastl bekleidet die Position des Head of Research Information der University of Cambridge. Er ist unter anderem für das Management und die Implementierung von Software Tools der Universität verantwortlich. Als eine der ersten Einrichtungen, vollzog Cambridge die Implementierung des Altmetric-

Explorers auf dem eigenen Campus, die von Jürgen Wastl geleitet wurde.

Folie 16

Ergebnisse quantitative Auswertung

2013 2014 2015

PublikationenWoS mit DOI 1.586.101 1.625.593 1.635.465

Publikationen Rücklauf Altmetric.com 529.392 596.484 690.535

Anteil 33,4% 36,7% 42,2%

Anzahl und Anteil der DOIs im WoS bzw. auf Almetric.com

Folie 17

Abdeckung der DOIs der deutschen Wissenschaftsorganisationen auf Altmetric.com

Ergebnisse quantitative Auswertung

Folie 18

Vergleich der Anteile der Disziplinen im WoS und auf Altmetric.com auf Basis der DOIs Publikationsjahr 2013

Ergebnisse quantitative Auswertung

Folie 19

Verteilung der altmetrischen Wahrnehmung in den einzelnen Disziplinen

Ergebnisse quantitative Auswertung

Folie 20

Verteilung der altmetrischen Wahrnehmung in den einzelnen Disziplinen

Ergebnisse quantitative Auswertung

Folie 21

Publikationsprofile der deutschen Wissenschaftsorganisationen(auf Basis von WoS und Altmetric.com, 2013)

Ergebnisse quantitative Auswertung

Folie 22

Interview mit …

Dr. Stefanie Haustein

"Altmetrics ist keine Alternative zu den traditionellen Metriken, sondern eine Erweiterung des verfügbaren Instrumentariums."

"Grundsätzlich sollte die ergänzende Perspektive durch Social Media Kennzahlen unterstrichen und zu hohen Erwartungen entgegengewirkt werden. Insbesondere Rückschlüsse auf die Leistungsfähigkeit von Individuen und Institutionen können nichtauf Basis quantitativer Social Media Kennzahlen gezogen werden."

Folie 23

Prof. Dr. Isabella Peters

"Eine Öffnung des wissenschaftlichen Belohnungssystems ist nötig –Altmetrics könnten genutzt werden, um auch Aktivitäten jenseits des Publizierens sichtbar zu machen und zu honorieren. Somit können auch Anreize für wissenschaftliche Akteure entstehen, sich stärker an gesellschaftlichen Bedarfen zu orientieren."

Interview mit …

Folie 24

Dr. Lutz Bornmann

"Beziehungen zwischen den einzelnen Usern können in Form von Netzwerken analysiert werden (Wer ist wie und mit wem vernetzt?). Einige Bereiche von Altmetrics sind durchaus relevant und können durchaus etwas aussagen (z.B. Erwähnungen in policy documents)."

Interview mit …

Folie 25

Dr. Martina Franzen

"Mendeley eignet sich am besten zur Messung des akademischen und educational Impacts, dagegen repräsentieren News den kulturellen Impact. Magazine sollten in Bezug auf kulturelle Fragenstellungen als Quelle ergänzt werden. Policy Dokumente stellen eine interessante Dimension der Resonanz für Stiftungen und Politikdar."

Interview mit …

Folie 26

Dr. Jürgen WastlAussagen können über die Wahrnehmung von Wissenschaft in der Öffentlichkeit getroffen werden."

"Noch ist in der Wissenschafts-evaluation keine verpflichtende Anwendung von Altmetrics zu beobachten. Allerdings wäre es durchaus vorstellbar, dass es im Rahmen von REF eingesetzt werden könnte. Im REF 2021 müssen explizit Metriken bereitgestellt werden – welche das sind, ist noch offen."

Interview mit …

Folie 27

Zusammenfassung Interviews

Folie 28

Beispiel Altmetric.com

Folie 29

Folie 30

Folie 31

Folie 32

Folie 33

Folie 34

Folie 35

Folie 36

Folie 37

Folie 38

Folie 39

Folie 40

Folie 41

Folie 42

Folie 43

Folie 44

Folie 45

Folie 46

Folie 47

FazitWissenschaftsevaluation, Leistungsbewertung und Messung von Social Impact

Ergebnisse der eigenen quantitativen Analyse, der vielschichtigenExperteninterviews und des intensiven Austauschs mit derAnbieterseite sowie die Sekundärliteratur unterstreichen denexplorativen Entwicklungsstand von Altmetrics. Daraus zeichnetsich ein einheitliches Bild auf die Anwendbarkeit in derLeistungsbewertung von Institutionen und Akteuren ab,beispielsweise im Rahmen der Wissenschaftsevaluation:

Im wissenschaftlichen Diskurs muss ein tiefergehendes Verständnisfür die Heterogenität und Aussagekraft der Daten, eine sinnvolleIndikatorik sowie Benchmarks weiter wachsen. Es ist gegenwärtigaber auf jeden Fall möglich, Altmetrics als Proxi für Diskussionvon Wissenschaft in der Gesellschaft zu sehen. Gegenüberklassischer Bibliometrie besteht ein Zeitvorteil.

Es ist zu beachten, dass einige Forschungsthemen stärker imgesellschaftlichen Fokus stehen als andere, ohne zwingend einengrößeren Social Impact aufzuweisen -> Nachrichtenfaktoren

Folie 48

Fazit

Wissenschaft und Öffentlichkeitsarbeit

Ein Teil der Kommunikation über Wissenschaft und deren Wahrnehmung in der Öffentlichkeit wird durch Altmetrics abgebildet. Festzuhalten ist auf jeden Fall, dass Social Media Aktivität sowohl gemessen an der Häufigkeit der Beiträge als auch der Anzahl von Akteuren in der Tendenz steigt. Damit steigt die Bedeutung und das Potenzial, Social Media Plattformen heranzuziehen, um proaktiv auf Forschung aufmerksam zu machen bzw. diese zu bewerben

Folie 49

Was sind noch zu klärende Fragen zum Einsatz von Altmetrics?

• Welche Aussage haben mögliche Indikatoren?

• Wie werden Indikatoren beeinflusst?

• Was passiert mit gelöschten Social Media Beiträgen und wie

wirkt sich das auf Indikatoren aus?

• Was wird gemessen?

• Wie können unterschiedliche Quellenarten in der

Interpretation berücksichtigt werden?

• Wie sauber sind die Daten?

• ...

Folie 50

Dr. Dirk Tunger

Forschungszentrum Jülich GmbH

Projektträger Jülich

52425 Jülich

Telefon: 02461 / 61-85310

d.tunger@fz-juelich.de

Vielen Dank!