Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

7. Österreichische 7. Österreichische Gesundheitsförderungs-Gesundheitsförderungs-

konferenzkonferenz

St. Veit/GlanSt. Veit/Glan25. Mai 200525. Mai 2005

SelbstevaluationSelbstevaluation

Wilhelm Frank Wilhelm Frank – ARWIG– ARWIG(Arbeitskreis wissenschaftsbasierte Gesundheitsversorgung)(Arbeitskreis wissenschaftsbasierte Gesundheitsversorgung)

Hubert Lobnig Hubert Lobnig – Lemon Consulting– Lemon Consulting

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

BegrifflichesBegriffliches

Selbstevaluation Selbstevaluation ≠ interne Evaluation≠ interne Evaluation Aber: Selbstevaluation ist immer interne Aber: Selbstevaluation ist immer interne

EvaluationEvaluation Engl.: self conducted evaluation oder Engl.: self conducted evaluation oder

autonomous evaluationautonomous evaluation AkteureAkteure

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

SelbstevaluationSelbstevaluation

Definition: Unter Selbstevaluation werden Definition: Unter Selbstevaluation werden systematische, datenbasiertesystematische, datenbasierte Verfahren der Verfahren der Beschreibung und Bewertung verstanden, bei Beschreibung und Bewertung verstanden, bei denen die praxisgestaltenden Akteure identisch denen die praxisgestaltenden Akteure identisch sind mit den evaluierenden Akteuren.sind mit den evaluierenden Akteuren.

Die Akteure sind daher in einer DoppelrolleDie Akteure sind daher in einer Doppelrolle

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

SelbstevaluationSelbstevaluation

Hauptfragen: Worüber will ich mehr wissen?Hauptfragen: Worüber will ich mehr wissen? Was will ich verbessern?Was will ich verbessern? Wie stelle ich die Intervention zählbar und Wie stelle ich die Intervention zählbar und

messbar fest?messbar fest? Etc.Etc.

Ziel: eigenes Handeln zu verbessern bzw. die Ziel: eigenes Handeln zu verbessern bzw. die Qualität zu belegen und zwar planmäßig, Qualität zu belegen und zwar planmäßig, dokumentiert und nachvollziehbar.dokumentiert und nachvollziehbar.

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

Evaluation - SelbstevaluationEvaluation - Selbstevaluation

Externe EvaluationExterne Evaluation ObjektiverObjektiver Glaubwürdiger für Glaubwürdiger für

DritteDritte stark quantitativstark quantitativ Extern gefordertExtern gefordert Einfaches FeedbackEinfaches Feedback

SelbstevaluationSelbstevaluation RascherRascher BilligerBilliger Quantitativ und Quantitativ und

qualitativqualitativ EigenmotivationEigenmotivation Doppelte Doppelte

RückkoppelungRückkoppelung

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

SelbstevaluationSelbstevaluation

Unterstützt Veränderungsprozesse in Unterstützt Veränderungsprozesse in kleinen Schrittenkleinen Schritten

Rasche Rückmeldung über Irrtümer oder Rasche Rückmeldung über Irrtümer oder ErfolgspfadeErfolgspfade

Schon kurzfristig positive Auswirkungen Schon kurzfristig positive Auswirkungen für die eigene Arbeit im Team oder in der für die eigene Arbeit im Team oder in der InstitutionInstitution

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

Evaluation – nur Gutes?Evaluation – nur Gutes?

Evaluation ist generell negativ besetztEvaluation ist generell negativ besetzt Kontrolle, Controlling, externe Kontrolle, Controlling, externe

Überprüfung,........Überprüfung,........ Aber:Aber: Selbstevaluation ist etwas anderes!!!!!Selbstevaluation ist etwas anderes!!!!!

Positive Einstellung zur Selbstevaluation Positive Einstellung zur Selbstevaluation macht Sinn, vor allem für sich selbstmacht Sinn, vor allem für sich selbst

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

Selbstevaluation - BedingungenSelbstevaluation - Bedingungen

Erfordern GestaltungsspielräumeErfordern Gestaltungsspielräume Klärung der EvaluationsaufgabeKlärung der Evaluationsaufgabe VerantwortungsdelegationVerantwortungsdelegation Strategien der Informationsverbreitung Strategien der Informationsverbreitung

(auch der Ergebnisse)(auch der Ergebnisse) Transparenz und vor allem Vertrauen als Transparenz und vor allem Vertrauen als

GrundlageGrundlage RessourcenRessourcen

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

Selbstevaluation - MethodenSelbstevaluation - Methoden

Qualitative Methoden – Quantitative Qualitative Methoden – Quantitative MethodenMethoden

Erfordern Dokumentation, AufzeichnungenErfordern Dokumentation, Aufzeichnungen

Erinnern wir uns:Erinnern wir uns:

SYSTEMATISCHE sowieSYSTEMATISCHE sowie DATENBASIERTE VorgehensweisenDATENBASIERTE Vorgehensweisen

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

Qualitative MethodenQualitative Methoden

Interviews mit Klienten, Projektleitern, Auftraggebern, Interviews mit Klienten, Projektleitern, Auftraggebern, Beobachtern Beobachtern ExperteninterviewsExperteninterviews Reviews, Peer- ReviewsReviews, Peer- Reviews

- Audits- teilnehmende Beobachtungen- Klausuren oder Meetings mit dem Evaluationscharakter- Analyse von Prozessdokumenten

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

ProzessdokumenteProzessdokumente Daten aus dem Projektverlauf:Daten aus dem Projektverlauf: Tagesnotizen, Protokolle, Unterlagen von SitzungenTagesnotizen, Protokolle, Unterlagen von Sitzungen Notizen (Feldnotizen, Beobachtungen)Notizen (Feldnotizen, Beobachtungen)

- Arbeitsaufzeichnungen (Working diaries, lfd. Arbeitsprotokolle)- Ereignisbeschreibungen (nicht triviale besondere Ereignisse)- Berichte (Zwischenberichte etc.)- Experteneinschätzungen (Audits)

Eckdaten des Settings:- Krankenstände, Dienstpläne, Absenzen, Materialienverbrauch

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

Selbstevaluation – Methoden IISelbstevaluation – Methoden II

Systematisch Systematisch strukturiert strukturiert Design Design Datenbasiert Datenbasiert methodenorientiert methodenorientiert

Selbstevaluation ist ebenfalls zu planen im Selbstevaluation ist ebenfalls zu planen im Sinne von:Sinne von:

Welche Daten werden (vom Akteur selbst) Welche Daten werden (vom Akteur selbst) wann, womit, mit welchem wann, womit, mit welchem Zweck,.........erhoben (Design)Zweck,.........erhoben (Design)

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

VerwertungsstrategienVerwertungsstrategien

Design determiniert weitgehend die Design determiniert weitgehend die Verwertbarkeit der DatenVerwertbarkeit der Daten

Korrekte Verwertung der Daten durch Korrekte Verwertung der Daten durch Methoden der empirischen Methoden der empirischen Sozialforschung / StatistikSozialforschung / Statistik

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

Selbstevaluation als Selbstevaluation als KommunikationsprozessKommunikationsprozess

Die Positionierung der Evaluation im ProjektDie Positionierung der Evaluation im Projekt

- - SupportingSupporting: Unterstützung der Entscheidungsträger durch Übermittlung : Unterstützung der Entscheidungsträger durch Übermittlung von Informationen über Programme, Zielsetzungen, Ergebnisse, von Informationen über Programme, Zielsetzungen, Ergebnisse, Faktoren, die zu effizienterem Einsatz von Mitteln und Personen führen Faktoren, die zu effizienterem Einsatz von Mitteln und Personen führen könnten, etc… könnten, etc…

- Diagnosing: Identifizierung von Problemen, Unterstützung bei der Entwicklung von Problemlösungsstrategien

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

Selbstevaluation als Selbstevaluation als KommunikationsprozessKommunikationsprozess

ConsultingConsulting: Bereitstellung relevanter Informationen für : Bereitstellung relevanter Informationen für Problemlösungen auf der Basis von Evaluationsdaten und – Problemlösungen auf der Basis von Evaluationsdaten und – ergebníssen. Unterstützung in der Benutzung der Daten für die ergebníssen. Unterstützung in der Benutzung der Daten für die Weiterentwicklung der Projekte. Weiterentwicklung der Projekte.

InformingInforming: Kommunikation der Daten in verständlicher Form und : Kommunikation der Daten in verständlicher Form und unter Berücksichtigung zeitlicher Verpflichtungen und Entwicklungen unter Berücksichtigung zeitlicher Verpflichtungen und Entwicklungen

LinkingLinking: Benützen und Kommunizieren von Informationen aus : Benützen und Kommunizieren von Informationen aus unterschiedlichen Teilen der Organisation bzw. des Projektes, unterschiedlichen Teilen der Organisation bzw. des Projektes, Verbindungen mit Informationen aus der relevanten Umwelt der Verbindungen mit Informationen aus der relevanten Umwelt der Organisation herstellen. Organisation herstellen.

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

ErgebnisinterpretationErgebnisinterpretation

Bei jeder Analyse: Vorsicht vor dem alles Bei jeder Analyse: Vorsicht vor dem alles dominierenden Effekt des ZUFALLSdominierenden Effekt des ZUFALLS

Wäre abgedeckt durch die schließende Wäre abgedeckt durch die schließende Statistik, erfordert jedoch spezielle Statistik, erfordert jedoch spezielle Kenntnisse, daher eher seltenKenntnisse, daher eher selten

Bedenke: wir haben i.d.R. keine Bedenke: wir haben i.d.R. keine Normwerte, Referenzwerte, StandardsNormwerte, Referenzwerte, Standards Interpretation birgt die Gefahr von Interpretation birgt die Gefahr von FehlschlüssenFehlschlüssen

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

Selbstevaluation - StandardsSelbstevaluation - Standards

NützlichkeitNützlichkeit

DurchführbarkeitDurchführbarkeit

FairnessFairness

GenauigkeitGenauigkeit

Quelle: DeGEval, EmpfehlungenQuelle: DeGEval, Empfehlungen

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

Selbstevaluation - NützlichkeitSelbstevaluation - Nützlichkeit

Identifizierung der Beteiligten und BetroffenenIdentifizierung der Beteiligten und Betroffenen Klärung der EvaluationszweckeKlärung der Evaluationszwecke Glaubwürdigkeit und Kompetenz des Evaluators Glaubwürdigkeit und Kompetenz des Evaluators

(der Evaluatorin)(der Evaluatorin) Auswahl und Umfang der InformationAuswahl und Umfang der Information Transparenz von WertenTransparenz von Werten Vollständigkeit und Klarheit der BerichterstattungVollständigkeit und Klarheit der Berichterstattung RechtzeitigkeitRechtzeitigkeit Nutzung und Nutzen der EvaluationNutzung und Nutzen der Evaluation

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

Selbstevaluation - DurchführbarkeitSelbstevaluation - Durchführbarkeit

Angemessene VerfahrenAngemessene Verfahren Diplomatisches VorgehenDiplomatisches Vorgehen Effizienz der EvaluationEffizienz der Evaluation

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

Selbstevaluation - FairnessSelbstevaluation - Fairness

Formale VereinbarungenFormale Vereinbarungen Schutz individueller RechteSchutz individueller Rechte Vollständige und faire ÜberprüfungVollständige und faire Überprüfung Unparteiische Durchführung und Unparteiische Durchführung und

BerichterstattungBerichterstattung Offenlegung der ErgebnisseOffenlegung der Ergebnisse

Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig

Selbstevaluation - GenauigkeitSelbstevaluation - Genauigkeit

Beschreibung des EvaluationsgegenstandesBeschreibung des Evaluationsgegenstandes KontextanalyseKontextanalyse Beschreibung von Zwecken und VorgehenBeschreibung von Zwecken und Vorgehen Angabe der InformationsquellenAngabe der Informationsquellen Valide und reliable InformationenValide und reliable Informationen Systematische FehlerprüfungSystematische Fehlerprüfung Analyse qualitativer und quantitativer Analyse qualitativer und quantitativer

InformationenInformationen Begründete SchlussfolgerungenBegründete Schlussfolgerungen Meta-AnalysenMeta-Analysen

Bitte um IHRE Bitte um IHRE WortmeldungenWortmeldungen

Bei Fragen: Bei Fragen: wilhelmwilhelm.frank@.frank@chellochello.at.at

bzw. lobnig@lemon.atbzw. lobnig@lemon.at