Evaluationsstufen nach Donald Kirkpatrick

Die Evaluation von Weiterbildungsmaßnahmen gehört zu den wohl wichtigsten, unbeliebtesten und damit auch stark vernachlässigten Aufgaben von Trainern und Personalentwicklern. Wenn sie denn stattfindet, beschränkt sich die Evaluation meist auf den klassischen Feedback-Bogen, den die Teilnehmer unmittelbar im Anschluss an das Seminar ausfüllen...

Evaluationsstufen nach Donald Kirkpatrick

In der Regel finden sich dort Fragen wie 'Wurden Ihre Erwartungen erfüllt?' oder 'Ging der Dozent auf Ihre Fragen ein?' Antworten darauf liefern zwar erste Indizien über die Teilnehmerzufriedenheit und stimmige organisatorische Rahmenbedingungen, mehr aber auch nicht.

Als alleiniges Instrument ist ihr Nutzen zweischneidig, gerne werden sie auch als so genannte 'Happyness-Sheets' belächelt: Die Teilnehmer sind begeistert über den sympathischen Trainer, Personalabteilungen und Veranstalter haben ihr Gewissen beruhigt, weil eine Grundvoraussetzung für den Lernerfolg abgefragt wurde. Nur fünf bis zehn Prozent der Personalabteilungen, so schätzen Experten, bemühen sich um Antworten auf darüber hinausgehende Fragen:

• Was konkret haben die Teilnehmer gelernt?
  
• Wird das Gelernte vom Teilnehmer am Arbeitsplatz auch umgesetzt?
  
• Sind in Folge der Anwendung neuen Wissens messbare Verbesserungen im Unternehmen nachweisbar? Haben diese positive Auswirkungen auf wirtschaftliche Kennzahlen?

Diese Fragen stehen nach der Eingangsfrage der Teilnehmerzufriedenheit für vier Ebenen des Trainings-Nutzens - und damit für ein Denkmodell, das bereits 1959 von dem US-Professor Donald Kirkpatrick entwickelt wurde und bis heute als Standard für die Evaluation von Weiterbildungsmaßnahmen gilt.

Die Begriffe reaction, learning, behavior und results bezeichnen dabei die Kriterien, die Schritt für Schritt analysiert werden müssen, um brauchbare Aussagen über die Wirksamkeit und den Return on Investment (ROI) von Trainingsmaßnahmen machen zu können.

Ebene 1: Zufriedenheit (reaction)
Auf dieser Ebene wird gemessen, wie die Teilnehmer auf die Maßnahme reagiert haben. Gefragt wird beispielsweise: Wie haben die Teilnehmer die Maßnahme empfunden? Waren sie mit der Präsentation zufrieden? Wurde das Thema vollständig behandelt? Waren die Inhalte des Programms für die Arbeit relevant? Antworten auf diese Fragen lassen erkennen, ob die Maßnahme überhaupt von den Teilnehmern akzeptiert wurde - eine Voraussetzung für deren Wirksamkeit. Positive Bewertungen zeigen an, dass das Trainings-Design und die Präsentation der Inhalte in Ordnung sind.

Ebene 2: Lernen (learning)
Haben die Teilnehmer ihr Wissen verbessert und ihre Fähigkeiten ergänzt?, so lauten Fragen, die zur zweiten Ebene gehören. Es geht also darum, ob die Teilnehmer überhaupt etwas gelernt haben. Brauchbare Aussagen setzen allerdings voraus, dass sowohl vor als auch nach der Maßnahme gemessen wird - nur so lässt sich ermitteln, welches Wissen schon vorher bestand und welches Wissen durch das Training erworben wurde. Mit der Messung auf Ebene 2 lässt sich ermitteln, ob die Methoden wirksam waren, die zur Erreichung des Lernziels eingesetzt wurden.

Ebene 3: Verhalten (behavior)
'Gibt es eine Verhaltensänderung?' lautet die zentrale Fragestellung auf Ebene 3. Geprüft wird, ob die Teilnehmer die erlernten Fähigkeiten in der Praxis anwenden können und damit auch der Lerntransfer am Arbeitsplatz einhergeht. Als Messverfahren hierfür eignen sich Tests oder Beobachtungen, die durchgeführt werden, wenn der Lernende in seine Arbeitsumgebung zurückgekehrt ist. Um zu brauchbaren Ergebnissen zu kommen, muss auch das Umfeld des Lernenden befragt werden - etwa Vorgesetzte oder Kollegen.

Ebene 4: Ergebnisse (results)
Auf Ebene 4 wird die Effektivität des Trainings gemessen: 'Welche Veränderung hat die Maßnahme für das Unternehmen erzeugt?' - Betrachtet wird hierbei also nicht die isolierte Welt des Teilnehmers, vielmehr wird analysiert, ob durch das Training Werte für das Unternehmen geschaffen wurden. Das kann sich etwa in den Dimensionen Geld, Effizienz oder Produktivität ausdrücken. Messdaten auf der Ebene 4 zu sammeln, zu organisieren und zu analysieren ist ungleich schwerer als auf den Ebenen 1 bis 3. Es lohnt sich aber, weil erst diese Ergebnisse den Wertschöpfungsbeitrag der Weiterbildung zu einer Organisation belegen.

Es liegt auf der Hand, dass sich der Return on Investment bei einigen Trainingsmaßnahmen relativ einfach eruieren lässt, während bei anderen Maßnahmen ein ausgefeiltes und aufwendiges Instrumentarium erforderlich ist.

Ein einfaches Beispiel: Ein Unternehmen klagt über zahlreiche Kundenreklamationen, weil sich die Service-Mitarbeiter nicht genügend mit der Wartung eines neuen Geräts auskennen. Folglich müssen sie häufig mehrmals vor Ort erscheinen, bis das Gerät einwandfrei funktioniert. Nach einer entsprechenden Schulung sinkt die Reklamationsquote deutlich. Dieser Nutzen lässt sich relativ einfach in Euro bewerten.

Nicht immer aber ist der Zusammenhang zwischen Ursache und Wirkung so einfach zu ziehen. Die Brücke, die von Ebene 3 ('Wir setzen das Gelernte am Arbeitsplatz um') zu Ebene 4 ('weniger Reklamationen, dadurch weniger Kosten') führt, ist wackelig und kaum begehbar. Wenn sich in Folge eines Seminars die Zusammenarbeit im Team verbessert, ist der positive Effekt auf Unternehmenskennzahlen vermutlich sogar vorhanden - dessen Nachweis setzt allerdings einen enormen Aufwand voraus, der Zeit, Geld und Ressourcen bindet und seinerseits alle Kosten/Nutzen-Relationen sprengt.

Gerade im Bereich des Trainings von Sozialkompetenzen stößt die Evaluation nach Kirkpatricks Vier-Stufen-Modell bei Ebene 3 an ihre Grenzen: Man beschränkt sich darauf, die positive Wirkung am Arbeitsplatz festzustellen. Typische Fragen nach der Umsetzung, die in Feedback-Analysen gestellt werden, lesen sich so:

• Welche Schritte aus dem Seminar haben Sie umgesetzt?
  
• Zu wie viel Prozent haben Sie diese Schritte umgesetzt?
  
• Auf welchen Anteil Ihres Arbeitspensums wirken sich die neu erworbenen Kenntnisse aus?
  
• Wie bewerten Sie die erzielte Verbesserung?

Mit den Antworten lässt sich zumindest abschätzen, ob die Maßnahme geeignet war, den Schritt vom Lernen zur gewünschten Verhaltensänderung zu vollziehen. Neben dem Teilnehmer-Feedback lässt sich hierzu auch die Methode der Beobachtung einsetzen. Die Resultate können etwa für folgende Bewertungen hilfreich sein:

• Welche Trainings haben die besten Arbeitsplatz-Effekte?
  
• In welchen Teilnehmer-Zielgruppen erreicht ein bestimmtes Training die beste Wirkung?
  
• Welche Trainer vermitteln das beste Umsetzungswissen, welche Trainer sind hier weniger leistungsfähig?
  
• Welche Trainings können auf Grund hoher Wirkung weitergeführt werden, welche Trainings mit wenig Wirkung lassen sich bei begrenztem Budget ohne großen Schaden einstellen?

So schlüssig und hilfreich Kirkpatricks Modell auch ist, einen wesentlichen Aspekt erfasst es nicht: Sind überhaupt die Umfeldfaktoren vorhanden, damit Weiterbildungsmaßnahmen im Unternehmen auf fruchtbaren Boden fallen? Für den Erfolg von Trainings sind bestimmte Teilnehmervoraussetzungen wie Motivation und Offenheit für Neues genauso wichtig wie Vorgesetzte, die den Teilnehmer bestärken, dass Gelernte uneingeschränkt umzusetzen und dabei auch bisherige Arbeitsroutinen in Frage zu stellen. Doch genau das macht die Evaluation nicht nur so aufwendig und komplex, sondern auch so unbeliebt bei allen Beteiligten.

Weiterführende Literatur:
Donald Kirkpatrick: Evaluating Training Programs: The Four Levels. San Francisco/CA, Berrett-Koehler Publishers Inc., 2. Auflage 1998.

zurück