Mehr als 70’000 Mal verkaufte sich das Buch von Kirkpatrick über Trainingsevaluation. Noch heute erfreut sich sein Modell grosser Beliebtheit, obwohl es inzwischen stark in Kritik geraten ist.

Mir begegnete das Modell vor Jahren in der Weiterbildung MAS Educational Management an der ZHAW in Zürich. Mit der Frage, wie gestalten wir als Bildungsfachleute die vermutlich unbeliebteste und unter Trainer und Erwachsenenbildner am stärksten vernachlässigten Aufgabe: Weiterbildungen zu evaluieren?

Denn in den weit verbreiteten „Happiness-Sheets“, die oft erst am Ende eines Trainings und eher missmutig von den Teilnehmenden ausgefüllt werden, finden sich meist nur Fragen zur Zufriedenheit oder organisatorische Rahmenbedingungen.

Beispiel: „Ist der Trainer auf Ihre Fragen eingegangen?“ oder „Wie beurteilen Sie die Räumlichkeiten?“

Die Antworten der Lernenden liefern uns wohl erste Hinweise über die Teilnehmerzufriedenheit mit dem kompetenten Trainer und die Wahrnehmung der organisatorischen Rahmenbedingungen. Doch nur wenige Ausbilder und Auftraggeber bemühen sich um die Klärung der viel interessanteren Fragen:

• Was nehmen Sie aus dem heutigen Training für Ihre Praxis mit?
• Wie hoch auf einer Skala von 1 bis 10 schätzen Sie die Möglichkeit, das Gelernte an Ihrem Arbeitsplatz umsetzen zu können?

Oder klären mit dem Auftraggeber, zeitverschoben, die konkrete Effektivität des Trainings:

• Sind als Folge des Trainings messbare Verhaltensänderung bei den Mitarbeitenden beobachtbar?
• Haben diese Veränderungen positive Wirkungen auf das finanzielle Ergebnis?

Die von mir hier skizzierten Fragen stehen neben der geläufigen Klärung der Zufriedenheit für die vier Ebenen des Weiterbildungs-Nutzens und damit für das Modell, welches Kirkpatrick in den 1950er-Jahren propagierte.

Seine Begriffe lauteten damals reaction, learning, behavior und results. Sie bezeichnen Kriterien, mit denen die Wirksamkeit von Trainings untersucht werden sollen. Ich beschreibe sie hier kurz:

1. Ebene: Zufriedenheit (reaction)
2. Ebene: Lernen (learning)
3. Ebene: Verhalten (behavior)
4. Ebene: Ergebnisse (results)

Wenn ich in meinen Trainings und Inhouse-Schulungen die 1. Ebene beleuchte, messe ich, wie die Teilnehmenden auf die Weiterbildung reagieren. Ich frage danach, ob die Präsentation zu „Didaktischer Reduktion“ gelungen ist. Ob ich das Thema interessant und abwechslungsreich vermittelte. Und ob die von mir ausgewählten Inhalte und Beispiele für ihre Welt relevant waren. Aus den Antworten der Teilnehmenden kann ich erkennen, ob mein Angebot akzeptiert wurde. Positive Rückmeldungen zeigen mir: Das Design des Trainings und mein Präsentationsstil ist angekommen.

Auf der 2. Ebene fragen wir, ob die Teilnehmenden ihr Wissen ergänzten und ihre Fähigkeiten erweiterten. Eigentlich geht es hier um die Frage, ob überhaupt etwas gelernt wurde. Damit wir objektive Zahlen erhalten, muss vor und nach dem Training gemessen werden. Denn nur so finden wir heraus, über welches Wissen die Teilnehmenden schon vor unserem Auftritt verfügten…und was wir in der Weiterbildung vermitteln konnten. Auf dieser Ebene finden wir folglich heraus, ob die von uns eingesetzten Methoden wirksam waren, die intendierten Lernziele zu erreichen.

Die 3. Ebene prüft, ob eine Verhaltensänderung erkennbar ist. Darauf zielt letztlich jede Weiterbildung ab: Auf ein erweitertes Verhaltensrepertoire. Wir prüfen damit, ob ein Lerntransfer zum Arbeitsplatz stattgefunden hat. Als Messverfahren empfehlen sich Test oder noch besser Beobachtungen. Für aussagekräftige Ergebnisse, muss auch das Umfeld der Lernenden befragt werden, das sind die Kollegen oder die Vorgesetzten.

Die Auswirkungen der Weiterbildung, interessieren uns auf der 4. Ebene. Fragen könnten sein: Welche Veränderung hat das Training für die Auftraggeberin, die Institution, gebracht? Sind für das Unternehmen „Werte“ geschaffen worden? Dabei denken wir an weniger Unfälle, verbesserte Qualität, höhere Produktivität, sinkende Kosten, mehr Umsatz, geringerer Personalwechsel. Valide Daten auf dieser 4. Ebene zu sammeln, Sie erkennen es, ist anspruchsvoller als auf den Ebenen 1 bis 3. Die 4. Ebene im Blick zu behalten ist aber entscheidend, weil erst diese Hinweise auf den Wertschöpfungsbeitrag der Weiterbildung in der Unternehmung belegen.

Hautpkritik: Der Nutzer vieler Weiterbildungen ist mit dem Kirkpatrick-Modell kaum oder sehr aufwendig messbar

Wenn wir uns auf die 4. Ebene und die Frage der „Effektivität“ konzentrieren, erkennen wir: Während einfacher gestrickte Weiterbildungen sich leichter untersuchen lassen, brauchen andere  ein ausgeklügeltes Instrumentarium.

Kirpatrick gibt in seinem Buch „Evaluating Training Programs“ selber zu, die Effektivität von Trainings z.B. in den Bereichen Kommunikation, Führung, Entscheidungsfindung seien auf Ebene 4 nur sehr aufwendig oder gar nicht messbar.

Zitat: „Sie ergeben keine konkreten Ergebnisse, die sich in Dollars oder Cent messen lassen.“

Sie werden vielleicht einwenden, genau wie Kirpatrick dies auch tut: Die in den Trainings angestossenen Verhaltensänderungen sollten sich doch auch in einem finanziellen Nutzen für die Unternehmung zeigen.

Darum schlug in den 1990-er Jahren der US-amerikanische HR-Management- und Evaluationsexperte Jack Philipps, den wir in meiner Weiterbildung auch studierten, eine 5. Ebene vor. Diese untersucht spezifisch den ROI (Return of Investment). Dabei werden die Seminarteilnehmenden vor und nach der Weiterbildung einem Leistungstest unterzogen. In dem wir vom erzielten Nutzen die Kosten abziehen, erhalten wir Hinweise auf die Zunahme der Produktivität. Im Idealfall eine konkrete Zahl oder eben den ROI der Massnahme.

Meine Kritik am Evaluations-Modell von Kirpatrick

Mit vielen anderen kritischen Geistern bemängle ich beim Vier-Ebenen-Modell nicht allein die Schwierigkeit der ROI-Messung. Problematischer finde ich die unterstellte Annahme, die vier Ebenen würden kausal aufeinander aufbauen. Und die jeweils untere Ebene habe einen Einfluss auf die nächsthöhere. Diese „Ursache-Wirkungs-Zusammenhänge“ sind mir nicht ersichtlich.

Inzwischen gibt es mehrere Studien, die eindeutig aufzeigen (z.B. Stefan Rädiker in seiner Dissertation über die Evaluation von Weiterbildungsprozessen): Teilnehmerzufriedenheit und Lernerfolg stehen in keinem direkten kausalen Zusammenhang. Wenn Teilnehmende zufrieden aus dem Training an ihren Arbeitsplatz zurückkehren, müssen sie nicht unbedingt etwas an ihrem Verhalten geändert haben. Vielleicht gefiel ihnen einfach die Atmosphäre in der Gruppe oder sie erhielten wertvolle Inspirationen durch den anregenden Vortragsstil des Dozenten.

Umgekehrt, kann sich auch bei unzufriedenen oder in ihren Feedbacks zurückhaltenden Teilnehmenden, ein Lernerfolg einstellen. Selber erlebte ich schon öfters, dass mir Studierende in einem Seminar ein bis zwei Jahre später dankbar mitteilten, wann ihnen schliesslich „ein Licht aufgegangen sei“ und wie sie heute ihre Aufgaben anders, effektiver, erledigen.

Fazit: Warum ist das Modell der Vier-Ebenen von Kirkpatrick, der am 9. Mai 2014 mit 90 Jahren gestorben ist, bis heute unter Ausbildenden, Trainern und Personalentwicklern beliebt? Vielleicht hat gerade die Schlichtheit des Modells zu seiner enormen Verbreitung beigetragen. Es ist einfach, einsichtig und zumindest auf den Ebenen 1 und 2 leicht umzusetzen. Und erzeugt  möglicherweise trotzdem die Illusion wirksamer und sinnvoller Weiterbildung…

John Hattie ist Professor für Erziehungswissenschaften an der University of Melbourne, Australien.

„Visibel Learning“ hiess sein Buch im Original, was man gut mit „sichtbare Lernprozesse“ übersetzen könnte.

Seit einigen Monaten wird seine inzwischen auf Deutsch vorgelegte epochale Sammlung, oder besser gesagt: Synthese von über 800 Meta-Analysen zum aktuellen Wissenstand über die Bedingungen des schulischen Lernens, heftig diskutiert.

Hattie extrahiert in seinem Buch 138 Faktoren, die in unterschiedlicher Stärke mit den Lernleistungen interagieren. Er beschreibt diese detailliert und zieht Schlüsse für die Gestaltung von Schule und Unterricht.

Entscheidend für guten Unterricht, der auch bildungsferne Schichten erreicht, so Hattie, sei der Lehrer und die Lehrerin.

Zitat: „Wir diskutieren leidenschaftlich über die äusseren Strukturen von Schule und Unterricht. Sie rangieren aber ganz unten in der Tabelle und sind, was das Lernen angeht, unwichtig.“

Denn Hattie geht es um Evidenz und seine Daten zeigen ganz klar, dass sich Unterschiede im Lernzuwachs nicht zwischen Schulen zeigen, sondern zwischen einzelnen Klassen, letztlich zwischen einzelnen Lehrpersonen. Er folgert daraus: Was Schüler lernen, überall auf der Welt, bestimmt die einzelne Lehrperson.

Für meine Arbeit bei der aeB Schweiz und in der Ausbildung von Erwachsenenbildner heisst dies: Ausbildende sollten ein breit gefächertes Repertoire an verschiedenen Unterrichtsstilen und Methoden aufbauen, die sie oder er je nach Zielgruppe einsetzen, „evidenzbasiert“ auswerten und auch mal mutig verwerfen.

Am 5.9.13 hatte ich mit rund 120 Bildungsinteressierten Gelegenheit, an dem von der aeB Schweiz mitorganisierten Referat des deutschten Hattie-Übersetzers Wolfgang Beywl in der PH St. Gallen teilzunehmen. Sein Verdienst ist es, das Buch „Visible Learning“ erfolgreich ins Deutsche übersetzt zu haben.

Da ich selber ursprünglich Übersetzer und Dolmetscher studierte, weiss ich um die enorme Schwierigkeit der Übersetzung von Fachbegriffen. Denn diese Begriffe haben stets eine Tradition und für den Übersetzer -besonders von pädagogischen Sachbüchern- stellt sich die Frage: In welche Tradition reihe ich mich ein?

Wolfgang Beywl arbeitete gut den Kerngedanken und die „kreative“ Hauptleistung des Bildungsforschers Hattie heraus: Mit der Messgrösse „Effektstärke“, die er im Buch anhand der Graphik von Barometern zeigt, einprägsam aufzeigen zu können, was gemäss den zurückliegenden Grund- und Metastudien erfolgreiches Lernen wirklich unterstützt.

Damit fasst er viele Bausteine zusammen (Erkenntnisse, die vielfach auch in anderen lokalen Studien bereits beschrieben wurden) und verdichtet sie in Aussagen, die zur Diskussion anregen, z.B. über die Frage: Was ist förderlich, was ist wichtig und welche Lehrstrategien versprechen im Vergleich zum Aufwand am meisten Lernfortschritte?

Meine Take-Home-Messages:

• Ausbildende und Bildungsverantwortliche sollten den Mut haben, immer wieder mit der eigenen Realität zu spielen.
• Es gibt gewisse Regelmöglichkeiten, Lernende in ihren Lernprozessen optimal zu unterstützen. Hattie listet im Buch über 138 Faktoren auf.
• Der Lernzuwachs muss wichtig bleiben; Lehrpersonen sollen den „Lernfortschritt“ ihrer Lernenden stets im Auge behalten
• Hattie hat viel Empathie für leidenschaftliche Lehrpersonen. Denn Sie machen den Unterschied und lassen den „Funken springen“.