Mehr als 70’000 Mal verkaufte sich das Buch von Kirkpatrick über Trainingsevaluation. Noch heute erfreut sich sein Modell grosser Beliebtheit, obwohl es inzwischen stark in Kritik geraten ist.

Mir begegnete das Modell vor Jahren in der Weiterbildung MAS Educational Management an der ZHAW in Zürich. Mit der Frage, wie gestalten wir als Bildungsfachleute die vermutlich unbeliebteste und unter Trainer und Erwachsenenbildner am stärksten vernachlässigten Aufgabe: Weiterbildungen zu evaluieren?

Denn in den weit verbreiteten „Happiness-Sheets“, die oft erst am Ende eines Trainings und eher missmutig von den Teilnehmenden ausgefüllt werden, finden sich meist nur Fragen zur Zufriedenheit oder organisatorische Rahmenbedingungen.

Beispiel: „Ist der Trainer auf Ihre Fragen eingegangen?“ oder „Wie beurteilen Sie die Räumlichkeiten?“

Die Antworten der Lernenden liefern uns wohl erste Hinweise über die Teilnehmerzufriedenheit mit dem kompetenten Trainer und die Wahrnehmung der organisatorischen Rahmenbedingungen. Doch nur wenige Ausbilder und Auftraggeber bemühen sich um die Klärung der viel interessanteren Fragen:

• Was nehmen Sie aus dem heutigen Training für Ihre Praxis mit?
• Wie hoch auf einer Skala von 1 bis 10 schätzen Sie die Möglichkeit, das Gelernte an Ihrem Arbeitsplatz umsetzen zu können?

Oder klären mit dem Auftraggeber, zeitverschoben, die konkrete Effektivität des Trainings:

• Sind als Folge des Trainings messbare Verhaltensänderung bei den Mitarbeitenden beobachtbar?
• Haben diese Veränderungen positive Wirkungen auf das finanzielle Ergebnis?

Die von mir hier skizzierten Fragen stehen neben der geläufigen Klärung der Zufriedenheit für die vier Ebenen des Weiterbildungs-Nutzens und damit für das Modell, welches Kirkpatrick in den 1950er-Jahren propagierte.

Seine Begriffe lauteten damals reaction, learning, behavior und results. Sie bezeichnen Kriterien, mit denen die Wirksamkeit von Trainings untersucht werden sollen. Ich beschreibe sie hier kurz:

1. Ebene: Zufriedenheit (reaction)
2. Ebene: Lernen (learning)
3. Ebene: Verhalten (behavior)
4. Ebene: Ergebnisse (results)

Wenn ich in meinen Trainings und Inhouse-Schulungen die 1. Ebene beleuchte, messe ich, wie die Teilnehmenden auf die Weiterbildung reagieren. Ich frage danach, ob die Präsentation zu „Didaktischer Reduktion“ gelungen ist. Ob ich das Thema interessant und abwechslungsreich vermittelte. Und ob die von mir ausgewählten Inhalte und Beispiele für ihre Welt relevant waren. Aus den Antworten der Teilnehmenden kann ich erkennen, ob mein Angebot akzeptiert wurde. Positive Rückmeldungen zeigen mir: Das Design des Trainings und mein Präsentationsstil ist angekommen.

Auf der 2. Ebene fragen wir, ob die Teilnehmenden ihr Wissen ergänzten und ihre Fähigkeiten erweiterten. Eigentlich geht es hier um die Frage, ob überhaupt etwas gelernt wurde. Damit wir objektive Zahlen erhalten, muss vor und nach dem Training gemessen werden. Denn nur so finden wir heraus, über welches Wissen die Teilnehmenden schon vor unserem Auftritt verfügten…und was wir in der Weiterbildung vermitteln konnten. Auf dieser Ebene finden wir folglich heraus, ob die von uns eingesetzten Methoden wirksam waren, die intendierten Lernziele zu erreichen.

Die 3. Ebene prüft, ob eine Verhaltensänderung erkennbar ist. Darauf zielt letztlich jede Weiterbildung ab: Auf ein erweitertes Verhaltensrepertoire. Wir prüfen damit, ob ein Lerntransfer zum Arbeitsplatz stattgefunden hat. Als Messverfahren empfehlen sich Test oder noch besser Beobachtungen. Für aussagekräftige Ergebnisse, muss auch das Umfeld der Lernenden befragt werden, das sind die Kollegen oder die Vorgesetzten.

Die Auswirkungen der Weiterbildung, interessieren uns auf der 4. Ebene. Fragen könnten sein: Welche Veränderung hat das Training für die Auftraggeberin, die Institution, gebracht? Sind für das Unternehmen „Werte“ geschaffen worden? Dabei denken wir an weniger Unfälle, verbesserte Qualität, höhere Produktivität, sinkende Kosten, mehr Umsatz, geringerer Personalwechsel. Valide Daten auf dieser 4. Ebene zu sammeln, Sie erkennen es, ist anspruchsvoller als auf den Ebenen 1 bis 3. Die 4. Ebene im Blick zu behalten ist aber entscheidend, weil erst diese Hinweise auf den Wertschöpfungsbeitrag der Weiterbildung in der Unternehmung belegen.

Hautpkritik: Der Nutzer vieler Weiterbildungen ist mit dem Kirkpatrick-Modell kaum oder sehr aufwendig messbar

Wenn wir uns auf die 4. Ebene und die Frage der „Effektivität“ konzentrieren, erkennen wir: Während einfacher gestrickte Weiterbildungen sich leichter untersuchen lassen, brauchen andere  ein ausgeklügeltes Instrumentarium.

Kirpatrick gibt in seinem Buch „Evaluating Training Programs“ selber zu, die Effektivität von Trainings z.B. in den Bereichen Kommunikation, Führung, Entscheidungsfindung seien auf Ebene 4 nur sehr aufwendig oder gar nicht messbar.

Zitat: „Sie ergeben keine konkreten Ergebnisse, die sich in Dollars oder Cent messen lassen.“

Sie werden vielleicht einwenden, genau wie Kirpatrick dies auch tut: Die in den Trainings angestossenen Verhaltensänderungen sollten sich doch auch in einem finanziellen Nutzen für die Unternehmung zeigen.

Darum schlug in den 1990-er Jahren der US-amerikanische HR-Management- und Evaluationsexperte Jack Philipps, den wir in meiner Weiterbildung auch studierten, eine 5. Ebene vor. Diese untersucht spezifisch den ROI (Return of Investment). Dabei werden die Seminarteilnehmenden vor und nach der Weiterbildung einem Leistungstest unterzogen. In dem wir vom erzielten Nutzen die Kosten abziehen, erhalten wir Hinweise auf die Zunahme der Produktivität. Im Idealfall eine konkrete Zahl oder eben den ROI der Massnahme.

Meine Kritik am Evaluations-Modell von Kirpatrick

Mit vielen anderen kritischen Geistern bemängle ich beim Vier-Ebenen-Modell nicht allein die Schwierigkeit der ROI-Messung. Problematischer finde ich die unterstellte Annahme, die vier Ebenen würden kausal aufeinander aufbauen. Und die jeweils untere Ebene habe einen Einfluss auf die nächsthöhere. Diese „Ursache-Wirkungs-Zusammenhänge“ sind mir nicht ersichtlich.

Inzwischen gibt es mehrere Studien, die eindeutig aufzeigen (z.B. Stefan Rädiker in seiner Dissertation über die Evaluation von Weiterbildungsprozessen): Teilnehmerzufriedenheit und Lernerfolg stehen in keinem direkten kausalen Zusammenhang. Wenn Teilnehmende zufrieden aus dem Training an ihren Arbeitsplatz zurückkehren, müssen sie nicht unbedingt etwas an ihrem Verhalten geändert haben. Vielleicht gefiel ihnen einfach die Atmosphäre in der Gruppe oder sie erhielten wertvolle Inspirationen durch den anregenden Vortragsstil des Dozenten.

Umgekehrt, kann sich auch bei unzufriedenen oder in ihren Feedbacks zurückhaltenden Teilnehmenden, ein Lernerfolg einstellen. Selber erlebte ich schon öfters, dass mir Studierende in einem Seminar ein bis zwei Jahre später dankbar mitteilten, wann ihnen schliesslich „ein Licht aufgegangen sei“ und wie sie heute ihre Aufgaben anders, effektiver, erledigen.

Fazit: Warum ist das Modell der Vier-Ebenen von Kirkpatrick, der am 9. Mai 2014 mit 90 Jahren gestorben ist, bis heute unter Ausbildenden, Trainern und Personalentwicklern beliebt? Vielleicht hat gerade die Schlichtheit des Modells zu seiner enormen Verbreitung beigetragen. Es ist einfach, einsichtig und zumindest auf den Ebenen 1 und 2 leicht umzusetzen. Und erzeugt  möglicherweise trotzdem die Illusion wirksamer und sinnvoller Weiterbildung…