1. Einleitung, Problemdarstellung · programme mit nachhaltigem Erfolg wird daher nur in enger Kooperation von fachlichen und psychologischen / pädagogi-schen Experten wirklich zielführend

1. Einleitung, Problemdarstellung

1.1 Begriffsbestimmungen

Beim Versuch einer gültigen Beschreibung unseres Problem-

kreises und unserer Fragestellung stoßen wir bereits bei

der Wortwahl auf Vieldeutigkeiten und Unklarheiten. Die

„Trainingsmaßnahmen“ beziehen sich in unserem Fall auf Aus-

Fort- und Weiterbildungsmaßnahmen im wirtschaftlichen Kon-

text. Der Begriff Ausbildung beschreibt dabei den Erwerb

und die Festigung von Fähigkeiten und Fertigkeiten, welche

zur Ausübung eines „Basisberufes“ dienen. Fortbildung dient

der laufenden Aktualisierung und Vertiefung dieser Kennt-

nisse. Weiterbildung baut auf einem Basisberuf auf und

führt zu einer Spezialisierung innerhalb des Basisberufes

oder auch in durch den technologischen Wandel gegebenen

Randbereichen. {Rosenstiel 1987, S. 173; n. Bieling, 1980}

Der Vollständigkeit halber muss hier auch auf den sozialpo-

litisch bedeutsamen Unterschied zwischen den Begriffen Qua-

lifizierung und Bildung hingewiesen werden. Ersterer wird

stärker als das konkret auf eng umrissene Fertigkeiten zie-

lende Training verstanden. Letzterer wird häufiger mit dem

auf allgemeiner und übergeordneter besetzten Fähigkeiten

hinzielenden Training assoziiert. {Schmidt, in Münch 1996,

S. 10}

Evaluation ist ein Begriff aus dem Englischen und bedeutet

nach Langenscheidts Wörterbuch Englisch – Deutsch so viel

wie „Bewertung, Beurteilung, Auswertung, Abschätzung, Ein-

schätzung“. Die Anwendung auf Bildungsinhalte ist schwer-

punktmäßig erst ab Beginn der 90-er Jahre aus dem anglo-

amerikanischen Raum nach Europa, ab Mitte der 90-er Jahre

auch verstärkt in den deutschen Sprachraum vorgedrungen.

M.Herdlitzka - Evaluation von Trainingsmaßnahmen, S. 2 / 27

Man kann die Evaluation als notwendigen und logischen „Be-

gleiter“ der Thematik Qualität, Qualitätssicherung und Qua-

litätsmanagement betrachten, welche etwa zeitgleich ver-

mehrten Eingang in den Bildungssektor gefunden hat. Die

Entwicklung hat dabei ganz ähnlich wie in den Herkunftslän-

dern stattgefunden, nur mit zeitlicher Verzögerung, dafür

dann aber insgesamt rascher. Evaluation von Bildungsmaßna-

men fand zunächst fast ausschließlich im Bildungssektor

statt, beginnend an Universitäten und sich nur allmählich

in die „niedrigeren“ institutionellen Bildungsebenen vor-

tastend. Von universitären und vergleichbaren Einrichtungen

aus verbreiteten sich Methoden und Begriffe gemeinsam mit

der Qualitätsthematik in Richtung wirtschaftlicher und auch

anderer Organisationsformen, wie NGOûs, Kammern und Ver-

bände. {Keiner 2001, S. 10 f.}

1.2 Qualität – Kosten – Nutzen

Der wirtschaftliche Kontext bedingt, dass sämtliche o.a.

Arten von Trainingsmaßnahmen auch und vor allem unter öko-

nomischen Gesichtspunkten betrachtet werden müssen. Das be-

deutet, dass ein Training aus ökonomischer Sicht nur sinn-

voll und daher finanzierbar ist, wenn es eine bestimmte

„Qualität“ besitzt. Dies wiederum heißt auf einen einfachen

Nenner gebracht, ein eindeutig bestimmbarer und von vorne

herein „erwünschter“ Nutzen muss zu vertretbaren Kosten er-

bracht werden können. {Münch 1996, S. 38} Als „vertretbar“

werden in diesem Zusammenhang Kosten betrachtet, wenn der

zu erwartende Nutzen zumindest mittelfristig auch materiell

überwiegt. Dieser Nutzen richtet sich wiederum nach der ak-

tuellen Bedürfnislage, welche sich in unterschiedlichen mo-

tivatorischen „Grundstimmungen“ ausdrückt. Man unterschei-

det zwischen den Bedürfnissen nach Wachstum, Problembehe-

bung und Nichtstörung.


Im Wachstumsbedürfnis drückt sich der Wunsch aus, eine Tä-

tigkeit oder ein Produkt „besser, schöner, neuer, größer,

etc.“ zu machen oder zu erhalten. {Heiman & Sanchez 1998,

S. 143 f.} Die Motivation, die entsprechenden Änderungen

auch im Sinne der Personalentwicklung herbeizuführen, ist

sehr hoch und langfristig orientiert. Wir können folgern,

dass hier aus der Sicht des Trainers „optimale“ Bedingungen

vorliegen werden.

Im Bedürfnis nach Problembehebung steckt der Bedarf nach

der möglichst raschen Wiederherstellung eines Zustandes,

welcher durch eine Störung, ein Problem, einen nicht ge-

wünschten Umstand nicht mehr besteht. {Heiman & Sanchez

1998, S. 145 f.} Die Motivation, die „Reparatur“ schnells-

tens durchzuführen ist besonders hoch, die zeitliche Orien-

tierung allerdings besonders kurzfristig. Anzusetzende

Trainingsmaßnahmen werden am kurzfristigen Erwerb ganz spe-

zifischer, für die „Reparatur“ benötigter „Techniken“ aus-

zurichten sein.

Das Bedürfnis nach Nichtstörung kann auf Grund einer kor-

rekten Situationsanalyse bestehen und entspricht dem ver-

ständlichen Wunsch, den gegenwärtigen Kurs im derzeit opti-

mal ruhigen Fahrwasser beizubehalten. {Heiman & Sanchez

1998, S. 150 f.} Die Motivation, etwaige Änderungen wie

etwa Trainings durchzuführen ist gering. Allenfalls wird

man an Maßnahmen mit Incentive – Charakter denken. Die

gleiche Bedürfnislage kann sich auf Grund überheblicher

Verkennung der Lage ergeben. {Heiman & Sanchez 1998, S. 155

f.} Dieser mittelfristig äußerst gefährliche Zustand einer

Organisation ist auf die wahrnehmungsverzerrenden Phänomene

des sog. „Groupthink“ infolge zu hoher Konformität zurück-

zuführen. {O’Hair & Friedrich 1992, S. 286 f.} In diesen


Fällen wird jeder Versuch, Änderungen wie etwa Trainings-

maßnahmen vorzuschlagen, kläglich scheitern.

1.3 Evaluation von Nutzen

Um den Nutzen einer Trainingsmaßnahme konkret bestimmen und

daher auch überprüfen zu können, ist zunächst die Aufstel-

lung definierter Lernziele notwendig. Dabei ist es beson-

ders wichtig, die Ziele der Organisation mit jenen der In-

dividuen abzustimmen, um die Zielfestsetzung nicht aus-

schließlich nach den hier-und-jetzt Bedürfnissen, sondern

auch im Hinblick auf die zu erwartende Entwicklung der Or-

ganisation, der Technologie, der Umwelt und vor allem der

Individuen zu orientieren. Die Entwicklung geeigneter Lern-

programme mit nachhaltigem Erfolg wird daher nur in enger

Kooperation von fachlichen und psychologischen / pädagogi-

schen Experten wirklich zielführend sein können. Leicht

fassbare Kriterien, an welchen die Erfolgsbeurteilung aus-

gerichtet werden kann, sind zu entwickeln. {Rosenstiel

1987, S. 174}

Mögliche Kriterien kann man nach den zu messenden Quali-

tätsdimensionen einer Trainingsmaßnahme einteilen. Man un-

terscheidet z.B. Akzeptanzkriterien, wobei es um die Mes-

sung der Annahme von Inhalt, Darbietung und Darbieter geht.

An Hand von Lernkriterien stellt man fest, ob und wie weit

tatsächlich ein Wissens-, Könnens- oder Wollenszuwachs

stattgefunden hat. Transferkriterien sind wichtig, um das

Ausmaß der tatsächlichen Anwendung des Gelernten in der je-

weiligen Ist-Situation oder auch in anderen, ähnlichen

Kenntnisfeldern feststellen zu können. Schließlich kann man

mit Hilfe von Ergebniskriterien die praktischen und ökono-

misch fassbaren Auswirkungen von Bildungsmaßnahmen untersu-

chen. {Keiner 2001, S. 43 f.}


Darüber hinaus ist zwischen verschiedenen Beurteilungsquel-

len zu unterscheiden. Solche können die Lehrenden sein, de-

ren nicht direkt beteiligte Kollegen, die Trainierten

selbst oder interne oder externe, fachliche oder psycholo-

gische Experten. Schließlich gibt es auch „objektive“ Da-

ten, die zumeist im engen Zusammenhang mit Ergebniskrite-

rien stehen, wie z.B. die Fluktuationsrate. Des weiteren

sollte man sich über die Beurteilungseinheit im Klaren

sein. Wer oder was genau ist zu evaluieren, eine bestimmte

Lehreinheit, eine ganze Veranstaltung, ein bestimmter Leh-

render oder der organisatorische Träger einer Lehrveran-

staltung? {Keiner 2001, S. 43} Der Einsatz objektiver Quel-

len und die Feststellung von Veränderungen an Hand von ein-

deutigen Ergebniskriterien würde die Evaluation der Quali-

tät im Sinne der Beurteilung der Kosten- / Nutzenrelation

unter ökonomischen Gesichtspunkten ermöglichen.

1.4 Ausgangslage, Fragestellung

In der Praxiserfahrung werden einem sozusagen auf „den ers-

ten Blick“ eine Reihe von Mängeln und Einseitigkeiten übli-

cher Evaluationsverfahren bewusst. Selten existieren klare

und wohldefinierte Lernziele, am ehesten in Fällen, wo es

vordergründig um das Erfüllen von Lernkriterien, um das Be-

stehen von Prüfungen im weitesten Sinne geht. Institutio-

nelle Lehrveranstalter neigen dazu, sich fast ausschließ-

lich auf Akzeptanzkriterien zu verlassen, sogar dann, wenn

dies den selbst auferlegten Vorgaben eines Qualitätssiche-

rungssystems, z.B. nach ISO Norm 9000 f., widerspricht.

{Pribich, in Münch 1996, S. 75} Wo auch derartige quali-

tätssichernde Normen nicht gegeben sind, kann man mit größ-

ter Wahrscheinlichkeit davon ausgehen, dass unter „Evalua-

tion“ die – nur selten professionelle – Abfrage der aktuel-


len Teilnehmerbefindlichkeit am Ende einer Lehrveranstal-

tung zu verstehen ist. Manche Unternehmen als Auftraggeber

sehen hingegen ihr Heil in der extrem kurzfristig orien-

tierten – und damit den Zeitfaktor für erfolgreichen Trans-

fer negierenden – Festlegung von Ergebniskriterien.

So ist auch einer der häufigsten Kritikpunkte in Bezug auf

Trainings der mangelnde Transfer. Sehr oft beruht der

schlechte Transfer auf zu wenig Gelegenheit zum „Training

on the Job“. Diese fehlende Gelegenheit kann selbst wie-

derum in der Organisationsstruktur (Zwang zur stereotypen

„Fließbandarbeit“, fehlende organisatorische Vorkehrungen

zur gezielten Weiterentwicklung) oder auch in der Organisa-

tionskultur (geringe Fehlertoleranz, fehlende motivatori-

sche Vorkehrungen zur gezielten Weiterentwicklung) begrün-

det sein. {Anthony & Perrewe & Kacmar 1993, S. 324 f.}

Die gegenständliche Arbeit will näher beschreiben, wie eine

Evaluation von Trainingsmaßnahmen aussehen soll, um dem

„Stand der Wissenschaft“ zu entsprechen. Den „Stand der

Wissenschaft“ auszuloten ist dabei kein Selbstzweck, son-

dern dient lediglich als Vehikel, die Trainingsmaßnahmen

umfassend im Hinblick auf den nachhaltigen Erfolg der Teil-

nehmer (!) in unserer sich rasant ändernden ökonomischen

und politischen Umwelt ständig weiter zu entwickeln. Ge-

zeigt werden soll dies am Beispiel eines großen Institutes

(WiFI Kärnten, mehr als 1000 hauptamtliche und

nebenbeschäftigte Trainer, mehr als 30000 Teilnehmer p.a.),

welches in Anerkenntnis einer nicht völlig befriedigenden

Situation im Evaluationsbereich die Entwicklung vom Quali-

tätssicherungsmodell ISO 9001 zum EFQM Modell vornehmen

möchte. Die dazu notwendigen und sinnvollen Schritte im Be-

reich der Evaluation herauszufinden, möchte diese Arbeit

unterstützen.


Ein möglicher Ansatzpunkt ist das Konzept „Leistungsbewer-

tung statt Evaluation“. Dieses Konzept unterstützt sehr

stark die Vorstellung, dass nicht der Vorgang der Bewertung

im Vordergrund der Überlegungen stehen soll, sondern der

Prozess einer kontinuierlichen Leistungsverbesserung. {An-

thony & Perrewe & Kacmar 1993, S. 440 f.}

1.5 Literatur:

Rosenstiel, Lutz von; Grundlagen der Organisationspsycholo-

gie; Poeschel, Stuttgart 1987

Münch, Joachim, (Hrsg.); Ökonomie betrieblicher Bildungsar-

beit; Erich Schmidt, Berlin 1996

Keiner, Edwin, (Hrsg.); Evaluation in der Erziehungswissen-

schaft; Beltz, Weinheim, Basel 2001

Heiman, Stephen E. & Sanchez, Diane; The New Strategic Sel-

ling; Warner, New York 1998

O’Hair, Dan & Friedrich, Gustav W.; Strategic Communica-

tion; Houghton Mifflin, Boston 1992

Anthony, William P. & Perrewe, Pamela L. & Kacmar, K. Mich-

ele; Strategic Human Resource Management; Dryden, Orlando

1993


2. Die „ideale“ Evaluation

Von Robert Musil (1880 – 1942) ist der folgende Aphorismus über-

liefert: „Ideale haben merkwürdige Eigenschaften, unter anderem

die, dass sie in ihr Gegenteil umschlagen, sobald man sie ver-

wirklicht.“

Nach allem, was sich schon aus der Einleitung zum Thema in Er-

fahrung bringen lässt, scheint diese Gefahr auch bei der Evalua-

tion durchaus gegeben. Ein „idealer, nach dem Stand der Wissen-

schaft vollständiger“ Evaluationsprozess wäre in den meisten

Fällen derart aufwändig, dass der Umfang der Evaluation den Um-

fang der zu vermittelnden Inhalte übertreffen würde. Ein Blick

in ein Standardwerk methodisch ausgefeilter Evaluation {Bortz &

Döring 2002} genügt um festzustellen, dass man bei methodisch

„wirklich korrektem“ Vorgehen aus jedem Evaluationsverfahren

praktisch eine Habilitation machen müsste. Man würde aber zu-

meist nur ein bürokratisches Monstrum schaffen, welches haupt-

sächlich sich selbst dienen und den Blick auf den ursprünglichen

Zweck komplett verstellen würde. Daher wird die „wirklich ide-

ale“ Evaluation immer nur eine kluge, dem jeweiligen Erfordernis

gut angepasste Auswahl aus den sich bietenden Möglichkeiten dar-

stellen. Daran wollen wir uns vor allem im nächsten Kapitel,

wenn wir die „Fehler“ gängiger, allgemein bekannter Evaluations-

verfahren beleuchten, nochmals erinnern, vor allem, wo sich die

„Fehler“ auf „Fehlendes“ beziehen.

2.1 Der Zeitrahmen des Evaluationsverfahrens

Wie wir in 1.2 gesehen haben, beginnt ein sinnvoller Evalua-

tionsprozess lange vor einer letztlich zu evaluierenden

Lehrveranstaltung. Ausgehend von einer Erhebung der motiva-

torischen Grundstimmung muss man konkrete Zielvorgaben zur

Entwicklung der tatsächlich geforderten Lehrinhalte heraus-


bilden. Hier wird der enge Konnex zu qualitätssichernden

Prozessen deutlich, denn ohne konkrete Zielvorgaben wird man

keine der Situation adäquaten Inhalte anbieten können. Und

was sollte man sonst evaluieren, wenn nicht die „Wirksam-

keit“, den Nutzen einer Bildungsmaßnahme im Hinblick auf

eine klar definierte, erwünschte Änderung.

Beispiele für mögliche Zielsetzungen, welche je nach unter-

nehmensspezifischer Situation die Rahmenbedingungen für er-

wünschte Änderungen mit unterschiedlicher Gewichtung bilden,

finden sich reichlich. Zitiert sei hier nur die Untersuchung

von Maisberger, welche 1996 an 200 Unternehmen durchgeführt

wurde, und die folgenden Resultate zeigte:

Abb. 1: Ziele beruflicher Weiterbildung heute und in Zukunft

{Immenroth 2000, S. 11; zit. n. Becker, M., Personalentwick-

lung, Stuttgart 1999}


An Hand dieser Studie wird deutlich, dass bei Unternehmen

mit strategischer Personalentwicklung die Ausbildung „über-

geordneter“ oder „sozialer“ Kompetenzen eher im Vordergrund

steht, als die Entwicklung ganz konkreter Fertigkeiten. Die-

ser Trend wird sich in Zukunft noch weiter verstärken.

In 1.3 wurde bereits gezeigt, dass die Zielsetzung bzw. de-

ren Erreichung an Hand ganz unterschiedlicher Kriterien ge-

messen werden kann. Es ist einleuchtend, dass zur Beurtei-

lung einer Trainingsmaßnahme mit der Zielsetzung „Sichern

der Basisqualifikation“ völlig andere Kriterien ausschlagge-

bend sein werden, als hinsichtlich der Zielsetzung „Bestand-

teil der Unternehmenskultur“. Die Abstimmung der persönli-

chen Weiterbildungsziele mit jenen der Organisation wird je

nach Beurteilungskriterium einen mehr oder weniger hohen

Aufwand erfordern und daher ebenfalls auf den Zeitrahmen

sehr stark einwirken. Der „weise Evaluator“ wird stets einen

gewissen Mix aus den möglichen und sinnvollen Kriterien vor-

sehen. Einige dieser Kriterien, etwa Transfer- und Ergebnis-

kriterien sind aber zum Zeitpunkt des Endes der Bildungsmaß-

nahme noch in keiner Weise anwendbar. Bei Anwendung solcher

Kriterien muss also ein Zeitraum nach der Lehrveranstaltung

abgeschätzt werden, wo man frühestens bzw. nochmals eine

sinnvolle Abfrage erwarten kann.

2.2 Der Gegenstand der Evaluation

Wer ein Evaluationsverfahren entwickeln möchte, muss sich

ganz genau die Frage stellen, wer oder was genau der eigent-

liche Gegenstand der Beurteilung sein soll. Hier gibt es

zahlreiche Möglichkeiten (eine Lehrveranstaltung, eine Reihe

von Lehrveranstaltungen, also ein ganzer Kurs oder ein gan-

zes Semester, der organisatorische Träger der Veranstaltung,

der Trainer, das Umfeld, die Lehrmittel) und es sollte auch


hier ein optimaler Mix angestrebt werden. In diesem Fall

sind die Beurteilungsgegenstände deutlich voneinander abzu-

grenzen und auch offen zu kommunizieren. Sowohl den zu Beur-

teilenden als auch den Beurteilern sollte bei jeder einzel-

nen Fragestellung klar sein, um wen oder was es inhaltlich

geht. Denn sonst funktioniert die Zuordnung von geäußerter

Kritik (positiv wie negativ) zu den betreffenden Ursachen

nicht mehr. Durch die Offenlegung und Abgrenzung aller Eva-

luationsgegenstände kann es aber zu brisanten Interessens-

konflikten zwischen den impliziten und expliziten Zielen des

Evaluierenden kommen. {Prof. Pichler}

2.2.1 Explizite Ziele

Diese sind die sozusagen „offiziellen“ Ziele, welche

mit der Evaluierung in Zusammenhang gebracht werden.

Alles, was im Sinne von Qualitätssicherung, Kundenori-

entierung, Weiterentwicklung usw. genannt werden kann,

fällt in diese Sparte. Diese Ziele sind meist offen und

deutlich kommuniziert. Die in der vorstehenden Abbil-

dung gezeigten Möglichkeiten stellen sicher nur einen

kleinen Ausschnitt der denkbaren Zielsetzungen dar. Der

zu evaluierende Gegenstand wird sehr stark von Umfang

und Ausprägung dieser Art von Zielsetzungen abhängen.

Alle Beteiligten werden sich in mehr oder weniger aus-

geprägter Übereinstimmung im Hinblick auf die Zielver-

folgung befinden. Jedenfalls bedarf es zu einer zweck-

optimierten Zielfestsetzung einer gezielten Bedarfsana-

lyse.

Der jeweilige „optimale“ Bedarf errechnet sich dabei

aus dem Schnittpunkt der Bedarfsfunktionen instrumen-

tendominiertes Angebot – verhaltensdominierte Nachfrage

- problemdominierter Bedarf an Information.


Abb. 2: Schema einer Informationsbedarfsanalyse {Immen-

roth 2000, S. 11; zit. n. Weber, J., Controlling 7,

Stuttgart 1998}

2.2.2 Implizite Ziele

Darüber hinaus werden aber in den meisten Fällen auch

„inoffizielle“ Ziele vorhanden sein. Ein „idealer“ Eva-

luator wird diese Ziele bei sich und anderen Entschei-

dungsträgern ernsthaft zu finden versuchen. Es könnte

sein, dass man in der Evaluation auch ein Disziplinie-

rungsmittel (etwa dem Trainer gegenüber) sieht. Es

könnte sein, dass die offen kommunizierte Einhaltung

von Qualitätsstandards auch oder vordergründig durch

das nicht offen kommunizierte Ausfiltern der „schlech-

testen“ Lehrenden erreicht werden soll. Über die Legi-

timität solcher Ziele wird besser an anderer Stelle zu

diskutieren sein. Aber das grundsätzliche Dilemma muss

hier dargelegt werden, das Verfolgen impliziter Ziele

vernebelt und erschwert die Erreichung der expliziten

Ziele. Es entstehen Angst, Misstrauen und daraus wie-

derum bilden sich offene und / oder verdeckte Wider-

stände. Das Offenlegen impliziter Ziele hingegen macht


diese zu expliziten und somit das weitere Verfolgen der

impliziten, so legitim und wichtig sie auch sein mögen,

unmöglich. Der „ideale Evaluator“ wird sich dessen be-

wusst sein und berücksichtigen, dass – meiner Meinung

nach – ein gutes Evaluationsverfahren kein geeignetes

Medium zur Verfolgung der impliziten Ziele bildet.

In diesem Zusammenhang ließe sich eine interessante

Hypothese bilden, welche die Sinnhaftigkeit der Evalua-

tion grundsätzlich in Frage stellen könnte. Reischmann

{Reischmann 2003, S. 95 f.} hat festgestellt, dass

„qualitativ höchstwertige“ Programme, deren Wirkung

„offensichtlich“ ist, im Grunde gar nicht evaluiert zu

werden brauchen. Der Wunsch nach Evaluation stellte

sich seiner Erfahrung nach hauptsächlich im Zuge „wenig

erfolgreicher“ Maßnahmen ein. Hier scheinen also a pri-

ori implizite Ziele im Vordergrund zu stehen, quasi um

den „Misserfolg“ objektivieren zu können. Demnach wäre

der Verzicht aller Beteiligten auf eine separate Beur-

teilung ein Erfolgs- und Qualitätskriterium an sich. Zu

berücksichtigen ist dabei allerdings, dass seine Daten

in erster Linie aus Programmen zur Förderung simpelster

Basisqualifikationen in Ländern der dritten Welt stam-

men. Solche Ergebnisse sind nicht ohne weiteres auf

z.B. eine Leitbildentwicklung mit Führungskräften eines

internationalen Konzerns zu übertragen. Trotzdem muss

man sich fragen, inwieweit implizite Ziele die Entwick-

lung vieler Evaluationsverfahren ausgelöst oder geför-

dert, deren Brauchbarkeit jedoch beschädigt haben.

2.3 Die möglichen Beurteilungsquellen

An dieser Stelle müssen wir uns zunächst um eine Klärung der

verwendeten Begriffe bemühen. Die Literatur verweist häufig


auf die Wechselwirkungen von Fremd- und Selbstevaluation. Um

keine heillose Verwirrung zu stiften und keine wichtige

Quelle für Daten zur Beurteilung von Trainingsmaßnahmen,

sollten wir aber im folgenden die drei folgenden Begriffe

verwenden:

Externe, oder auch Fremdevaluation {Reischmann 2003, S. 106

f.} bedeutet, dass die Beurteilung „von aussen“, also von

nicht am zu evaluierenden Prozess Beteiligten erfolgt. Dies

geschieht etwa, wenn die Leistungen eines Weiterbildungsin-

stitutes durch den organisatorischen Kostenträger (also eine

Universität durch das entsprechende Ministerium) beurteilt,

oder wenn externe Experten dem Evaluationsverfahren hinzuge-

zogen werden. Die in der Praxis so häufige Befragung von Se-

minarteilnehmern fällt nicht unter diesen Begriff, weil die

Teilnehmer als dem Trainingsprozess zugehörig verstanden

werden. Der Einsatz „objektiver“ Datenquellen, also nur in-

direkt aber valide mit den Zielen der Trainingsmaßnahme ver-

bundener Daten, wie etwa einer Fluktuationsrate, würde aber

hierunter zu verstehen sein.

Hingegen wird der Begriff Selbstevaluation in unterschiedli-

cher Weise verwendet. Einerseits beschäftigt sich die in-

terne Evaluation {Reischmann 2003, S. 106 f.} mit der Beur-

teilung der Organisation durch sich selbst. Die Bildungsin-

stitution entwickelt also ein Verfahren, welches durch die

selbst an der Trainingsmaßnahme Beteiligten getragen und

ausgeführt wird. Davon sollte jedoch der enger zu verste-

hende Begriff Selbstevaluation {Riemann, in Irskens & Vogt

2000, S. 136 f.} klar unterschieden werden. Damit ist manch-

mal, und so wollen wir den Begriff weiter verwenden, die

tatsächlich persönliche Beurteilung durch sich selbst, ide-

alerweise an Hand eines strukturierten Verfahrens, gemeint.

Wie später noch aus den von uns durchgeführten Trainerinter-


views ersichtlich sein wird, stellt diese Methode eine

wichtige, weil in letzter Konsequenz „wirklich“ qualitäts-

steigernde, oft jedoch vernachlässigte Verfahrensweise dar.

Grundsätzlich erscheint auch hier ein Mix aus mehreren, dem

Situationserfordernis angepassten Quellen sinnvoller als die

Beschränkung auf eine einzige und auch niemals gewechselte

Datenquelle, z.B. die Teilnehmer. Denn es muss klar sein,

dass jede Datenquelle bestimmte Daten bestens, andere jedoch

schlecht oder gar nicht zur Verfügung stellen kann.

2.4 Bildungscontrolling

Ein umfassendes Konzept des Bildungscontrollings wird insge-

samt zielführender sein, als einzelne, abgeschlossene und in

anekdotischer Weise auf bestimmte Aspekte bestimmter Maßnah-

men abzielende Evaluierungen. Wie ein Ansatz eines solchen

Konzeptes gestaltet sein könnte, zeigt die folgende Abbil-

dung. Ein „vollständiges“ Controlling im Trainingsbereich

würde aber sehr schnell Gefahr laufen, das Schicksal der

eingangs erwähnten Musilûschen Ideale zu erleiden. Wie in

anderen wirtschaftlich orientierten Bereichen ebenfalls wird

es aber ohne ein Controlling auf Dauer nicht gehen, wenn man

die Verfolgung der expliziten Ziele wirklich ernsthaft

betreiben will.

Damit ergibt sich die Notwendigkeit eines vollständigen Pla-

nungszyklus, wie er aus mannigfachen anderen Wirtschaftsbe-

reichen bekannt ist. Beginnend bei einer Bedarfserhebung

werden Ziele festgelegt, Maßnahmen geplant, umgesetzt, deren

Wirksamkeit wird überprüft und schließlich die gelungene Um-

setzung in die reale Arbeitssituation beurteilt. Diese

Sichtweise führt die Bedeutungslosigkeit einer einzelnen,

punktuellen Messung deutlich vor Augen.


Abb. 3: Ein Konzept für Bildungscontrolling {Immenroth 2000,

S. 30; zit. n. Becker, M., Personalentwicklung, Stuttgart

1999}

Nach diesem Konzept ist es wichtig, die einzelnen Maßnahmen

als Teile eines Kreislaufes, welcher in verschiedenen Ebenen

abläuft, zu begreifen. Der Kreislauf Bedarfsermittlung –

Ziele festlegen – Maßnahmenplanung – Durchführung – Erfolgs-

kontrolle – Transfersicherung passt hervorragend ins bisher

gezeichnete Bild des „idealen“ Evaluationsverfahrens. Hält

man sich an diesen überschaubaren Regelkreis, müsste sich

der Aufwand für die Bildungsevaluation in vernünftigen Gren-

zen halten lassen. Der qualitätssteigernde Effekt wäre aber

so gut wie garantiert. Erfolg ist planbar – dieser Lehrsatz

lässt sich auch problemlos auf unseren Themenkreis anwenden.

Die Evaluation „an sich“ hätte demnach nur eine Berechtigung

und die oftmals behauptete qualitätssichernde Wirkung im

Rahmen eines umfassenden Planungs- und Controllingprozesses.


2.5 Literatur:

Bortz, Jürgen & Döring, Nicola; Forschungsmethoden und Eva-

luation; Springer, Berlin 2002

Immenroth, Tobias; Bildungscontrolling im Rahmen der Perso-

nalentwicklung; TIV, Braunschweig 2000

Reischmann, Jost; Weiterbildungs-Evaluation; Luchterhand,

Neuwied 2002

Irskens, Beate & Vogt, Herbert (Hrsg.); Qualität und Evalua-

tion; Deutscher Verein für öffentliche und private Fürsorge,

Frankfurt 2000


3. Die „Fehler“ in der Praxis

Wie bereits erwähnt, werden angesichts der im vorigen dargeleg-

ten Fülle von Erfolgsfaktoren für eine gelungene Evaluation in

der spontanen Erinnerung „selbst erlebter“ Evaluationen auf den

ersten Blick eine Reihe von Fehlern, auch im Sinne von fehlend,

bewusst. Auf diese augenfälligen Mängel brauchen wir hier nicht

näher einzugehen. Es würde sich ein reziprokes Abbild des 2. Ka-

pitels ergeben, eine Übung, die ich dem Leser und mir gerne er-

spare.

Ich begnüge mich mit der oberflächlichen Aufzählung, dass es in

den spontan erinnerten Evaluationsverfahren sozusagen „überall“

mangelt. Der Zeitrahmen wird viel zu kurzfristig gesetzt, die

gesamte Evaluation besteht oft aus einer einzigen Momentaufnahme

zum Zeitpunkt des Endes einer Trainingsmaßnahme. Die motivatori-

sche Ausgangslage wird nicht berücksichtigt, ja nicht einmal er-

hoben. Konkrete Ziele werden nicht formuliert oder, falls doch,

dann kaum unter den betreffenden Interessensgruppen (z.B. Unter-

nehmensleitung und Mitarbeiter) abgestimmt. Der genaue Gegens-

tand der Evaluation bleibt meist unklar, zur Beurteilung werden

Kriterien herangezogen, welche leicht verfügbar (Akzeptanzkrite-

rien) sind, anstelle von solchen, die dem Prozess insgesamt am

dienlichsten wären. Und letztlich beschränkt man sich sehr oft

auf eine einzige Datenquelle, meistens die Teilnehmer. Ein Be-

reich, welcher im Rahmen dieser Arbeit gar nicht oder nur am

Rande berührt wird, darf an dieser Stelle nicht unerwähnt blei-

ben: Die Wahl der Methodik, welche wiederum ein unerschöpfliches

Reservoir an Fehlerquellen bieten würde.

Einige Aspekte ergeben sich jedoch nicht so offensichtlich aus

dem bisher Gesagten. Diesen Aspekten und deren näherer Beleuch-

tung ist dieses Kapitel gewidmet.


3.1 Gelungene Weiterbildung wird „unsichtbar“

Bei Reischmann haben wir bereits gefunden, dass gerade bei

„offensichtlichem“ Erreichen von Bildungszielen der Wunsch

nach und die Notwendigkeit von Evaluierungsmaßnahmen deut-

lich nachlässt. Er geht einen Schritt weiter, wenn er sich

auf die gestaltpsychologische Erkenntnis beruft, dass be-

friedigte Bedürfnisse nicht mehr wahr genommen werden.

{Reischmann 2003, S. 96 f.} Stimmt die Outputquote in einer

Produktionsabteilung mit den Planzahlen überein, sieht nie-

mand mehr den Qualifizierungsaufwand, welcher zuvor damit

verbunden war. Spielt in einem Orchester niemand falsch,

wird der Einsatz aller einzelnen Musiker an Übung und des

gesamten Orchesters an Proben nicht bewusst. Es bedarf er-

heblichen Gehirnschmalzes, solchen Tendenzen durch Auswahl

und Definition der Bildungsziele gekonnt entgegen zu wirken.

Auch und gerade das Erreichen solcher Ziele muss dann aber

auch entsprechend kommuniziert werden, denn mit dem Errei-

chen wird auf das ursprüngliche Ziel leicht und schnell ver-

gessen.

Es ist daher auch sehr schwierig, dem solcherart bereits Er-

reichten einen Wert beizumessen. Da das Selbstverständliche

eben selbstverständlich ist, wird sich kaum jemand bereit

finden, dafür in die Tasche zu greifen. Ein in Planung und

Controlling „perfektes“ Bildungssystem, welches so früh ein-

greifen und wirksam werden würde, dass „Störungen“ gar nicht

erst auftreten, hätte demnach größte Probleme mit der eige-

nen Rechtfertigung.

Ein möglicher Ausweg ergäbe sich im Einsatz vergleichender

Verfahren (Benchmarking) zur Evaluation, weil die dadurch

erzwungene Außensicht das Entstehen blinder Flecken bezüg-

lich eigener „Selbstverständlichkeiten“ verhindern würde.


3.2 Objektiver und subjektiver Erfolg

Ein nicht unwesentlicher Punkt ist die Unterscheidung zwi-

schen dem objektiven Erfolg und dem subjektiven Erfolg. Ers-

terer stellt das Ergebnis der Erfolgsbeurteilung an Hand der

expliziten Ziele dar. Darüber hinaus gibt es aber auch auf

der Seite der Individuen so etwas wie implizite Ziele, d.h.

solche, deren Existenz dem Individuum (= in der Regel Teil-

nehmer) mehr oder weniger bewusst ist, das Wissen darüber

wird aber nicht oder nur im engsten Vertrautenkreis geteilt.

Jemand, der die Teilnahme an einem Seminar vorzeitig ab-

bricht, mag „objektiv“ in der Misserfolgsstatistik aufschei-

nen. Subjektiv kann ein großer Erfolg darin liegen, ein in-

dividuelles Ziel schon frühzeitig erreicht oder auch ganz

genau erfahren zu haben, was man nicht will. Je nach Komple-

xität solcher individuellen Zielsetzungen bzw. je nach deren

Unterschieden zu den „allgemeinen“ Zielen kann es durch eine

Trainingsmaßnahme zu einer gewaltigen Sammlung von „Neben-

wirkungen“ kommen. {Reischmann 2003, S. 97 f.}

„In den Griff“ kann man solche Nebenwirkungen nur durch eine

besonders akribische Erhebung der persönlichen Zielvorstel-

lungen und eine möglichst genaue, zumindest offen kommuni-

zierte Abstimmung der Organisationsziele mit den persönli-

chen Zielen bekommen. Dazu bedarf es in jedem Fall eines

sehr angstfreien, kooperativen Klimas zwischen allen Betei-

ligten, ein Punkt, auf den wir noch eingehen werden. Die an-

dere Möglichkeit wäre, das gesamte Erwachsenenbildungssystem

„offen“ zu lassen für Entwicklungen, welche zwar nicht ab-

sehbar sind, aber im Einzelfall wie oben erwähnt durchaus

positive Wirkungen entfalten können. Diese Offenheit würde

jeden Versuch einer Evaluation ad absurdum führen, trüge

aber auch die Gefahr in sich, dass manche „Nebenwirkungen“

auch sehr negative Folgen für den Einzelnen haben könnten.


3.3 Intervention und Validität

Ganz entscheidend an den folgenden Unterkapiteln ist die Er-

kenntnis, dass das „Ergebnis“ einer Trainingsmaßnahme durch

einen Evaluationsprozess verändert wird. Diese Veränderungen

können nicht nur negative, sondern durchaus positive Wirkun-

gen auf den Erfolg entfalten. Als „Fehler“ im Sinne dieses

Kapitels wäre auch eine positive Veränderung anzusehen, wenn

diese „passiert“ wäre, sich also unreflektiert in das Evalu-

ationsverfahren eingeschlichen hätte. Denn unbewusste Verän-

derungen der Messergebnisse verfälschen natürlich die Vali-

dität der Messung, also die Gültigkeit dessen, was zu messen

vorgegeben wurde. {Bortz & Döring 2002, S. 504 f.}

3.3.1 Einfluss der Intervention

Physikern dürfte es sofort bewusst werden, den mit der

Evaluation im Bildungsbereich meist betrauten Sozial-

wissenschaftlern vielleicht nicht: Ein Evaluationsver-

fahren stellt eine Intervention innerhalb des gesamten

Bildungsprozesses dar und es werden – wie in der Physik

– die Messergebnisse durch die Tatsache der Messung be-

einflusst. Diese Intervention kann aktiv genutzt wer-

den, um die positive Wirkung einer Trainingsmaßnahme zu

verstärken. {Patton 1997, in Heiner 1998, S. 61 f.}

Voraussetzung dafür ist, dass ein Evaluationsschritt in

einem definierten Zeitraum nach dem Ende der Bildungs-

maßnahme erfolgt und dies den Teilnehmern auch vorher

bekannt ist. Dann steigert die gedankliche Beschäfti-

gung mit der bevorstehenden Abfrage die Behaltensleis-

tung. Analog sind natürlich auch zahlreiche negative

Einflüsse denkbar.


3.3.2 Einfluss der Kriterien

Einen wesentlichen Einfluss auf den „Erfolg“ einer Bil-

dungsmaßnahme haben die angewendeten Kriterien. „Was

gemessen wird, wird getan“ lautet ein nicht von der

Hand zu weisendes Axiom. {Patton 1997, in Heiner 1998,

S. 63 f.} Ein Trainer, dessen Leistung vorwiegend mit-

tels Akzeptanzkriterien gemessen wird, wird mit Sicher-

heit früher oder später ein „guter Unterhalter“ sein,

der seinen Teilnehmern das Gefühl des Wohlbefindens

während der Seminarteilnahme vermitteln kann. Ob dies

den „eigentlichen“ Bildungsinhalten in deren Vermitt-

lung und Umsetzung wirklich optimal angemessen ist,

darf bezweifelt werden.

3.3.3 Einfluss des Prozesses

Wie es auch aus anderen qualitätsorientierten Prozessen

bekannt ist, entfaltet sich die positive Wirkung im

Hinblick auf die Zielsetzung oft weniger durch das „Er-

gebnis“ des Prozesses, sondern dadurch, dass überhaupt

dieser Prozess stattgefunden hat. Dieses Phänomen fin-

det sich genau so bei der Evaluation von Bildungsmaß-

nahmen. {Patton 1997, in Heiner 1998, S. 55 f.} Die

Ausbildung evaluativen Denkens ist ein wesentlicher,

wenn nicht der wesentliche Schritt auf dem Weg zur

„lernenden Organisation“. Das evaluative Denken stellt

praktisch eine Anleitung zum Lernen des Lernens dar,

ein wichtiges Hilfsmittel in einem Umfeld, wo Lernin-

halte eine stets kürzer werdende Halbwertszeit besit-

zen.

Dies wäre ein sehr starkes und einleuchtendes Argument

für die Evaluation – das Erlernen des evaluativen Den-


kens als „erwünschte Nebenwirkung“ und möglicherweise

in vielen Fällen in den langfristigen Auswirkungen

wichtiger als die evaluierten Inhalte selbst.

3.4 Macht ist im Spiel

In einem Beurteilungsverfahren, egal welcher Art, wird stets

explizit oder implizit auch Macht ausgeübt. Der Mächtigere

hat gegenüber dem weniger Mächtigen Zugriff auf vermehrte

oder qualitativ andere Ressourcen. Der Beurteiler ist dem zu

Beurteilenden gegenüber zweifellos in einer Machtposition.

Auch wenn diese Macht „real“ gar nicht eingesetzt wird, in

der Vorstellung des Beurteilten spielt dieser Faktor eine

wesentliche Rolle. {König 2002, S. 33 f.} Der Machtfaktor

sollte in irgendeiner Form „neutralisiert“ werden, etwa

durch eine „Gegenbeurteilung“ des Beurteilers durch den Be-

urteilten, um die Messung nicht unkontrollierbar zu beein-

flussen oder gar unmöglich zu machen. {Prof. Pichler}

Man muss nun aber Klarheit darüber gewinnen, wer letztlich

welche Rolle wann inne hat. Schon in der „gängigen Versuchs-

anordnung“ - die Teilnehmer eines Seminars beurteilen an

dessen Ende den Trainer durch Ausfüllen eines entsprechenden

Bogens - sind die Dinge nicht so einfach, wie sie scheinen

mögen. Der Trainer ist ja während des Seminars den Teilneh-

mern gegenüber in einer Machtposition, beurteilt laufend und

tut seine Beurteilungen laufend verbal und nonverbal kund.

Sind mit dem „positiven“ Absolvieren des Seminars gar „Prü-

fungen“ verbunden, wird diese Machtfülle durch die Prüfungs-

ergebnisse auch noch persönlich und öffentlich dokumentiert.

Dann wäre also das Ausfüllen des Evaluierungsbogens ein be-

scheidener Versuch, das vorhandene Machtgefälle wenigstens

ansatzweise zu neutralisieren.


Es ist nun aber in dieser Versuchsanordnung der beurteilende

Teilnehmer ja keineswegs die „letzte Instanz“. Denn irgend

jemand wertet die Fragebögen aus und kommt infolge dessen zu

einer Beurteilung. Diese Instanz ist nunmehr eigentlich dem

Beurteilten gegenüber in einer nicht neutralisierten Macht-

position. Von der individuellen Vorgeschichte, von den Um-

ständen, sicher auch von der Konzeption des Evaluierungsver-

fahrens (mit dessen expliziten und impliziten Zielen) wird

die Interpretation der Auswertung und damit die Beurteilung

abhängen. Je „externer“ die beurteilende Instanz erlebt

wird, desto deutlicher wird durch den Beurteilten das Macht-

gefälle empfunden werden. Je „interner“ Sinn und Durchfüh-

rung der Evaluation erlebt werden, je näher man sich ge-

fühlsmäßig an tatsächlicher Selbstevaluation befinden kann,

desto geringer werden störende Einflüsse des Machtfaktors

sein. Es sollte daher das „evaluative Denken“ innerhalb der

trainierenden Organisation selbst gestärkt und gefördert

werden. Denn nur dadurch kann es zu einer „inneren Neutrali-

sierung“ der Macht kommen, wenn man sich „freiwillig“ einer

Macht unterwirft, weil man vom Nutzen überzeugt ist. {König

2002, S. 36 f.} In diesem Zusammenhang ist es besonders in-

teressant, dass die Suche nach dem „Sinn“ - vielleicht nur

ein anderer Ausdruck für unser evaluatives Denken - immer

häufiger zur Triebfeder zur Teilnahme an Aktivitäten der Er-

wachsenenbildung wird.

In anderer Betrachtung ist auch die auswertende und beurtei-

lende Instanz nicht die „letzte“. Unter der Annahme markt-

wirtschaftlicher Gegebenheiten ist ja letztlich der Kunde

die unwiderruflich letzte Instanz. Irgend jemand nimmt Geld

in die Hand, um für die Teilnahme von sich selbst oder Mit-

arbeitern an einer Trainingsmaßnahme zu bezahlen. Auf diese

Weise findet die „eigentliche“ Beurteilung statt, ein Pro-

dukt wird (wieder) gekauft oder eben nicht. Der Kunde ent-


scheidet sich also und bezahlt auch noch für die zeitweilige

Aufhebung, ja Umkehrung der „realen“ Machtverhältnisse. {Kö-

nig 2002, S. 150 f.} Unter diesem Gesichtspunkt wäre ein

Evaluationsverfahren als ausgefeiltes Abfragesystem der Kun-

denzufriedenheit sogar besonders wichtig, um den zukünftigen

Erfolg zu sichern. Umso mehr kann eine einmalige Abfrage

nach Akzeptanzkriterien diesen Anspruch nicht erfüllen, son-

dern es müsste sich ein umfassendes System von der Bedarfs-

erhebung bis zur Transferkontrolle etablieren, ein Bildungs-

Marketing- Planungs- und Controllingsystem.

3.5 Vertrauen und Kooperation

Bereits in 3.2 haben wir auf die Notwendigkeit eines ver-

trauensfördernden, kooperativen Klimas hingewiesen, um man-

che „Nebenwirkungen“ kontrollieren zu können. Diese Notwen-

digkeit wird durch die in 3.4 herausgestellte „Freiwillig-

keit“ unterstrichen. Freiwilliges Eingliedern in ein Macht-

verhältnis setzt nicht nur die kognitive Einsicht in den

Nutzen dieses Tuns voraus, sondern kann auch nur in einem

vertrauensvollen Klima gelingen.

In allen erfolgreichen kundenorientierten Prozessen kann man

eine weitgehende Auflösung der Externalität beobachten. Kun-

den werden aktiv zu Gliedern und Teilnehmern des Prozesses

gemacht, von der „Leitung“ bis zum Kunden wird ein zusammen-

gehöriges Kontinuum hergestellt, in welchem jede Stufe je-

weils bestimmte Leistungen erhält und selbst auch liefert.

Nach diesem Muster müssten auch Bildungseinrichtungen struk-

turiert werden, um den langfristigen Erfolg aller Beteilig-

ten zu sichern.

Das „Spiel der Macht“, welches sich auf selektiven Zugang zu

bestimmten Ressourcen gründet, bedeutet demzufolge immer


auch Konkurrenz. Es kommt zu einer Konkurrenz der Mächtigen

um die Ressourcen und zu einer Konkurrenz der weniger Mäch-

tigen um die Zuteilung der von den Mächtigen ergatterten

Ressourcen. Dieser Mechanismus arbeitet immer selbsttätig,

während die Kooperation stets gefördert werden muss. {König

2002, S. 75 f.} Die Förderung gelingt durch Hervorheben der

Orientierung an der zu lösenden Aufgabe und an der Gruppe

der an der Lösung Beteiligten.

Obwohl es Belege für so etwas wie eine „angeborene“ Koopera-

tionsbereitschaft gibt {Ritschel 2000, S. 7 ff.}, stehen im

realen Alltag Kooperation und Konkurrenz ständig in einer

Art „Kontinuum“ gegenüber, in welchem manchmal das eine und

manchmal das andere Phänomen überwiegt. Die „natürliche“ Ko-

operation wird immer dann durch Konkurrenz überlagert, wenn

es in Folge massiv erlebter Ressourcenverknappung zu ver-

stärkter Individualisierung kommt. Dieser Effekt wird durch

Evaluierungsverfahren, welche nicht den durchgängigen Pro-

zess zwischen Leitung und Kunden verfolgen, gefördert. Trai-

ner werden in Konkurrenz zueinander sowohl um die Gunst der

Beurteilenden als auch um die „externen“ Teilnehmer ge-

schickt.

Wenig Zweifel besteht an der Auffassung, dass Kooperation im

Hinblick auf die Aufgabe zu besseren Leistungen befähigt als

Konkurrenz. Es scheint so zu sein, dass Konkurrenz, also das

Bestreben, jemand anderen zu übertrumpfen, sehr viel Energie

bindet, welche dann zur Lösung der Aufgabe fehlt. {Ritschel

2000, S. 13 ff.} Vertrauen als aktiver Entscheidungsprozess

mit dem Nutzen der Komplexitätsreduktion {Ritschel 2000, S.

23 ff.} muss gefördert werden, indem Externalität insofern

aufgelöst wird, dass die Erfüllung der Aufgabe im Rahmen ei-

nes komplexen Prozesses mit vielen Beteiligten in den Vor-

dergrund gerückt wird. Solches wäre also die Aufgabe eines


Evaluationsverfahrens. Es gibt ja auch Beispiele, die zei-

gen, dass auch erfahrene Trainer in schwierige Situationen

geraten können, welche am besten durch ein hohes Maß an Ko-

operation mit Kollegen, resp. der Kursleitung und den Teil-

nehmern gelöst werden können. {Herdlitzka 2002, S. 25 f.}

Als besonders ernsthaft in diese Richtung gehend können dem-

nach Versuche angesehen werden, wo Kundenorientierung und

Prozessdenken bereits durch die Konzeption sichtbar und

vielleicht sogar durch ein integriertes Managementsystem

nachgewiesen sind.

3.6 Literatur:

Reischmann, Jost; Weiterbildungs-Evaluation; Luchterhand,

Neuwied 2002

Bortz, Jürgen & Döring, Nicola; Forschungsmethoden und Eva-

luation; Springer, Berlin 2002

Heiner, Maja (Hrsg.); Experimentierende Evaluation; Juventa,

Weinheim 1998

König, Oliver; Macht in Gruppen; Pfeiffer Klett-Cotta,

Stuttgart 2002

Ritschel, Nicola; Die Rolle von Vertrauen und Identität in

Kooperation und Konkurrenz; Diplomarbeit, Johannes Kepler

Universität, Linz 2000

Herdlitzka, Michael R.; Intervention und Erfahrung; Projekt-

arbeit, University of Salzburg Business School, Salzburg

2002

Documents

1. Einleitung, Problemdarstellung · programme mit nachhaltigem Erfolg wird daher nur in enger Kooperation von fachlichen und psychologischen / pädagogi-schen Experten wirklich zielführend