Der Vater der Trainingsevaluation, Donald L. Kirkpatrick, ist tot. Eine kritische Würdigung.

Mehr als 70’000 Mal verkaufte sich das Buch von Kirkpatrick über Trainingsevaluation. Noch heute erfreut sich sein Modell grosser Beliebtheit, obwohl es inzwischen stark in Kritik geraten ist.

Mir begegnete das Modell vor Jahren in der Weiterbildung MAS Educational Management an der ZHAW in Zürich. Mit der Frage, wie gestalten wir als Bildungsfachleute die vermutlich unbeliebteste und unter Trainer und Erwachsenenbildner am stärksten vernachlässigten Aufgabe: Weiterbildungen zu evaluieren?

Denn in den weit verbreiteten „Happiness-Sheets“, die oft erst am Ende eines Trainings und eher missmutig von den Teilnehmenden ausgefüllt werden, finden sich meist nur Fragen zur Zufriedenheit oder organisatorische Rahmenbedingungen.

Beispiel: „Ist der Trainer auf Ihre Fragen eingegangen?“ oder „Wie beurteilen Sie die Räumlichkeiten?“

Die Antworten der Lernenden liefern uns wohl erste Hinweise über die Teilnehmerzufriedenheit mit dem kompetenten Trainer und die Wahrnehmung der organisatorischen Rahmenbedingungen. Doch nur wenige Ausbilder und Auftraggeber bemühen sich um die Klärung der viel interessanteren Fragen:

  • Was nehmen Sie aus dem heutigen Training für Ihre Praxis mit?
  • Wie hoch auf einer Skala von 1 bis 10 schätzen Sie die Möglichkeit, das Gelernte an Ihrem Arbeitsplatz umsetzen zu können?

Oder klären mit dem Auftraggeber, zeitverschoben, die konkrete Effektivität des Trainings:

  • Sind als Folge des Trainings messbare Verhaltensänderung bei den Mitarbeitenden beobachtbar?
  • Haben diese Veränderungen positive Wirkungen auf das finanzielle Ergebnis?

Die von mir hier skizzierten Fragen stehen neben der geläufigen Klärung der Zufriedenheit für die vier Ebenen des Weiterbildungs-Nutzens und damit für das Modell, welches Kirkpatrick in den 1950er-Jahren propagierte.

Seine Begriffe lauteten damals reaction, learning, behavior und results. Sie bezeichnen Kriterien, mit denen die Wirksamkeit von Trainings untersucht werden sollen. Ich beschreibe sie hier kurz:

  1. Ebene: Zufriedenheit (reaction)
  2. Ebene: Lernen (learning)
  3. Ebene: Verhalten (behavior)
  4. Ebene: Ergebnisse (results)

Wenn ich in meinen Trainings und Inhouse-Schulungen die 1. Ebene beleuchte, messe ich, wie die Teilnehmenden auf die Weiterbildung reagieren. Ich frage danach, ob die Präsentation zu „Didaktischer Reduktion“ gelungen ist. Ob ich das Thema interessant und abwechslungsreich vermittelte. Und ob die von mir ausgewählten Inhalte und Beispiele für ihre Welt relevant waren. Aus den Antworten der Teilnehmenden kann ich erkennen, ob mein Angebot akzeptiert wurde. Positive Rückmeldungen zeigen mir: Das Design des Trainings und mein Präsentationsstil ist angekommen.

Auf der 2. Ebene fragen wir, ob die Teilnehmenden ihr Wissen ergänzten und ihre Fähigkeiten erweiterten. Eigentlich geht es hier um die Frage, ob überhaupt etwas gelernt wurde. Damit wir objektive Zahlen erhalten, muss vor und nach dem Training gemessen werden. Denn nur so finden wir heraus, über welches Wissen die Teilnehmenden schon vor unserem Auftritt verfügten…und was wir in der Weiterbildung vermitteln konnten. Auf dieser Ebene finden wir folglich heraus, ob die von uns eingesetzten Methoden wirksam waren, die intendierten Lernziele zu erreichen.

Die 3. Ebene prüft, ob eine Verhaltensänderung erkennbar ist. Darauf zielt letztlich jede Weiterbildung ab: Auf ein erweitertes Verhaltensrepertoire. Wir prüfen damit, ob ein Lerntransfer zum Arbeitsplatz stattgefunden hat. Als Messverfahren empfehlen sich Test oder noch besser Beobachtungen. Für aussagekräftige Ergebnisse, muss auch das Umfeld der Lernenden befragt werden, das sind die Kollegen oder die Vorgesetzten.

Die Auswirkungen der Weiterbildung, interessieren uns auf der 4. Ebene. Fragen könnten sein: Welche Veränderung hat das Training für die Auftraggeberin, die Institution, gebracht? Sind für das Unternehmen „Werte“ geschaffen worden? Dabei denken wir an weniger Unfälle, verbesserte Qualität, höhere Produktivität, sinkende Kosten, mehr Umsatz, geringerer Personalwechsel. Valide Daten auf dieser 4. Ebene zu sammeln, Sie erkennen es, ist anspruchsvoller als auf den Ebenen 1 bis 3. Die 4. Ebene im Blick zu behalten ist aber entscheidend, weil erst diese Hinweise auf den Wertschöpfungsbeitrag der Weiterbildung in der Unternehmung belegen.Bildschirmfoto 2014-07-05 um 16.13.04

Hautpkritik: Der Nutzer vieler Weiterbildungen ist mit dem Kirkpatrick-Modell kaum oder sehr aufwendig messbar

Wenn wir uns auf die 4. Ebene und die Frage der „Effektivität“ konzentrieren, erkennen wir: Während einfacher gestrickte Weiterbildungen sich leichter untersuchen lassen, brauchen andere  ein ausgeklügeltes Instrumentarium.

Kirpatrick gibt in seinem Buch „Evaluating Training Programs“ selber zu, die Effektivität von Trainings z.B. in den Bereichen Kommunikation, Führung, Entscheidungsfindung seien auf Ebene 4 nur sehr aufwendig oder gar nicht messbar.

Zitat: „Sie ergeben keine konkreten Ergebnisse, die sich in Dollars oder Cent messen lassen.“

Sie werden vielleicht einwenden, genau wie Kirpatrick dies auch tut: Die in den Trainings angestossenen Verhaltensänderungen sollten sich doch auch in einem finanziellen Nutzen für die Unternehmung zeigen.

Darum schlug in den 1990-er Jahren der US-amerikanische HR-Management- und Evaluationsexperte Jack Philipps, den wir in meiner Weiterbildung auch studierten, eine 5. Ebene vor. Diese untersucht spezifisch den ROI (Return of Investment). Dabei werden die Seminarteilnehmenden vor und nach der Weiterbildung einem Leistungstest unterzogen. In dem wir vom erzielten Nutzen die Kosten abziehen, erhalten wir Hinweise auf die Zunahme der Produktivität. Im Idealfall eine konkrete Zahl oder eben den ROI der Massnahme.

Meine Kritik am Evaluations-Modell von Kirpatrick

Mit vielen anderen kritischen Geistern bemängle ich beim Vier-Ebenen-Modell nicht allein die Schwierigkeit der ROI-Messung. Problematischer finde ich die unterstellte Annahme, die vier Ebenen würden kausal aufeinander aufbauen. Und die jeweils untere Ebene habe einen Einfluss auf die nächsthöhere. Diese „Ursache-Wirkungs-Zusammenhänge“ sind mir nicht ersichtlich.

Inzwischen gibt es mehrere Studien, die eindeutig aufzeigen (z.B. Stefan Rädiker in seiner Dissertation über die Evaluation von Weiterbildungsprozessen): Teilnehmerzufriedenheit und Lernerfolg stehen in keinem direkten kausalen Zusammenhang. Wenn Teilnehmende zufrieden aus dem Training an ihren Arbeitsplatz zurückkehren, müssen sie nicht unbedingt etwas an ihrem Verhalten geändert haben. Vielleicht gefiel ihnen einfach die Atmosphäre in der Gruppe oder sie erhielten wertvolle Inspirationen durch den anregenden Vortragsstil des Dozenten.

Umgekehrt, kann sich auch bei unzufriedenen oder in ihren Feedbacks zurückhaltenden Teilnehmenden, ein Lernerfolg einstellen. Selber erlebte ich schon öfters, dass mir Studierende in einem Seminar ein bis zwei Jahre später dankbar mitteilten, wann ihnen schliesslich „ein Licht aufgegangen sei“ und wie sie heute ihre Aufgaben anders, effektiver, erledigen.

Fazit: Warum ist das Modell der Vier-Ebenen von Kirkpatrick, der am 9. Mai 2014 mit 90 Jahren gestorben ist, bis heute unter Ausbildenden, Trainern und Personalentwicklern beliebt? Vielleicht hat gerade die Schlichtheit des Modells zu seiner enormen Verbreitung beigetragen. Es ist einfach, einsichtig und zumindest auf den Ebenen 1 und 2 leicht umzusetzen. Und erzeugt  möglicherweise trotzdem die Illusion wirksamer und sinnvoller Weiterbildung…

4 Gedanken zu „Der Vater der Trainingsevaluation, Donald L. Kirkpatrick, ist tot. Eine kritische Würdigung.

  1. Danke für den fundierten Artikel, Herr Wüst!
    Habe ihn mir ausgedruckt und meine Studierenden arbeiten nun damit.
    Tja: Was ist wirklich wirksame Weiterbildung?

    Bin weiterhin auf der Suche nach Antworten…

    Bis die Tage
    Manfred Lehner

  2. Lieber Herr Wüst,

    über einen Hinweis am Online-Kongress „Transferfokus 2018“ habe ich zu Ihrem Beitrag und Ihre Webseite gefunden. Ihre klare Sprache und Ausdrucksweise gefällt mir. Gerne schreibe ich Ihnen über LinkedIn, damit ich mehr über Ihr Konzept zu „Didaktischer Reduktion“ erfahren kann.

    MfG
    K. Leithner

  3. Lieber Ivo, ganz herzlichen Dank für diesen ausgezeichneten Artikel. Wir hätten es ja so gern, all das Ungefähre, das doch so wirksam ist, messbar zu machen. Wirksamkeit aber ist, wie jeder und jede im eigenen Leben beobachten können, nicht das Gleiche wie Messbarkeit (auf einer Skala von 1 – 10…). Ich stelle mir seit Jahren diese Frage: Warum erinnere ich mich an die Stunden meines Mathematiklehrers in der Sekundarschule und wie er uns Gleichungen beigebracht hat? Und kann seither aus dem Stehgreif mathematisch Verhältnisse erkennen und berechnen? Und warum erinnere ich mich an eine einzige Stunde zur griechischen Säulenordnung? Und habe sie sofort wieder präsent – vor vielen Jahren in meinem Studium an der Uni? Und warum ist da eine bestimmte, schwierige Aikidotechnik, die ich während Jahren schon geübt hatte und dann von einem Lehrer aus Japan so unterrichtet bekommen habe, dass ich danach nie mehr ein Problem damit hatte? Und schliesslich: Warum an so vieles Anderes nicht? Ich denke, der Verdienst von Kirkpatrick ist, dass er versucht hat, eine geordnete und einigermassen anspruchsvolle Feedbackschlaufe ins Lehren und Lernen einzubauen. Es gehört zur Tragik solcher Leute, dass man ihre Erkenntnisse dann während Jahren für den Stein der Weisen hält – anstatt sie als Ausgangspunkt für neue Wege zu nehmen. Lieber Gruss – Nik

    • Lieber Nik,

      ja, damit der „Funken“ springt, braucht es immer auch die Persönlichkeit des Trainers oder der Lehrperson. Und wie du richtig schreibst: Kirkpatrick schlug als einer der Ersten diese strukturierten und der Reflexion förderlichen Feedbackschlaufen vor, die ich für sehr bedeutsam halte.

      In den letzten Jahren und besonders in den letzten Monaten habe ich mich für einen neuen Auftrag intensiv mit der Transferwirksamkeit von Lernprozessen beschäftigte. Darum konnte ich inzwischen eine Reihe von Instrumenten (transferfördernden Massnahmen) sammeln, die weit über den Ansatz von Kirkpatrick hinausgehen.

      Fast in allen betrieblichen Lernsituationen ist besonders der Punkt „Unterstützung durch Vorgesetzte“ verbesserungswürdig. Dann aber auch die Frage, wie schnell und intensiv nach dem Training der neue Stoff oder die neue Verhaltensweise geübt wird. Hilfreich zeigte sich auch die „Transferplanungssequenz“, in der erste Schritte realistisch und verbindlich festgehalten werden.

      Bereits früher und in allen meinen Trainings zu „Didaktischer Reduktion“ war „Transferwirksamkeit“ mein ganz persönlicher Anspruch. Gerade darum war und ist es mir wichtig, in der Dozentenschulung etwas Handfestes und Greifbares, genau in der Komplexität, die für die jeweilige Teilnehmergruppe anschlussfähig ist, vermitteln zu können.

      Wollen wir diesen Frühling einmal zusammen einen Kaffee trinken und austauschen, wie deine und meine Sicht und Erfahrungen zum Thema sind? Herzliche Grüsse
      Yvo

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden /  Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden /  Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden /  Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden /  Ändern )

Verbinde mit %s