Kunden-Login


Ihr Warenkorb ist leer
 

Ihr Warenkorb ist leer !

Seminarevaluation und Transfersicherung - Tipps und Beispielkonzept für Trainer

Seminarevaluation und Transfersicherung - Tipps und Beispielkonzept für Trainer

Als in den 60er Jahren die Erkenntnis Raum gewann, dass reines Zahlenmanagement nicht ausreicht, um ein Unternehmen erfolgreich zu steuern, betrachtete man den Faktor Mensch in einem neuen Licht: Er wurde investitionswürdig. Was aber trotzdem einfach nicht unter den Tisch fallen wollte und uns so bis zum heutigen Tag verfolgt, ist die betriebswirtschaftliche Formel, die verlangt, dass sich investiertes Geld am Ende des Tages - bitteschön! - auch rentieren soll. Wir verraten, was Sie zum Thema Evaluation und Transfersicherung von Seminaren wissen sollten.

Status quo der Seminarevaluation

'Bildungscontrolling' heißt das Stichwort, wenn es um den betriebswirtschaftlichen Nutzen von Weiterbildungsmaßnahmen geht. Ein Blick in die Fachliteratur oder ein Besuch einschlägiger Messen für Personaler und Trainer verrät, dass man händeringend nach Mitteln und Wegen sucht, das Thema 'Bildungscontrolling' endlich in den Griff zu bekommen. In den letzten Jahren wurden unüberschaubar viele Ansätze verfolgt, man mühte sich, Einigkeit zu erzielen, welche Kriterien mit welchen Zahlen bewertet werden sollen, begann Buch zu führen über Bildungsmaßnahmen, stellte Soll-Werte gegen Ist-Werte, leitete Bedarfe ab und befand sich in einem immer größer werdenden Durcheinander mit nur einer einzigen belastbaren Aussage: soviel Geld wurde ausgegeben. Aber nirgendwo konnte man leicht erkennen, wie viel davon wann zurückkam oder ob es zumindest sinnvoll angelegt wurde.

Auch aktuell angepriesene, einfache, technische Lösungen verbergen zunächst den Blick auf die Tatsache, dass diese Technik zuerst mit Daten bestückt werden muss, um ein Controlling der Bildung möglich zu machen.

Trotz der intensiven Bemühungen um Innovationen in den letzten Jahren, die sich beispielsweise in der Durchführung von eigenen Kongressen zum Bildungscontrolling ausdrücken, auf denen dann aber häufig doch nur schwer oder gar nicht verallgemeinerbare individuelle Lösungen von Unternehmen oder Seminaranbietern präsentiert werden, tritt der Markt scheinbar auf der Stelle. Wie sonst ist es zu erklären, dass man auf der Suche nach Evaluationskonzepten fast ausschließlich auf das Evaluationsmodell von Kirkpatrick stößt.

Dieses hat vor allem durch seine Einfachheit und offensichtlichen Plausibilität einen hohen Stellenwert inne. Danach sollte eine Evaluation auf vier Ebenen erfolgen: Reaktionen (Zufriedenheit) der Teilnehmer, Lernen, Verhalten und Ergebnisse. Doch dieses Konzept ist seit seinem Erscheinen 1959/60 unverändert. Von Innovation kann somit keine Rede sein.


Defizite aktueller Evaluationskonzepte

Umfrageergebnisse zeigen, dass es große Unterschiede zwischen empfohlener und tatsächlicher Evaluation von Qualifizierungsmaßnahmen gibt. Es besteht eine deutliche Diskrepanz zwischen Anspruch und Wirklichkeit in der Seminarevaluation und Transfersicherung. Tatsächlich wird fast ausschließlich auf der ersten Ebene (den Teilnehmerreaktionen) evaluiert.

Doch trotz ihrer dominierenden Stellung in der Evaluationspraxis ist die erste Ebene nicht unumstritten. Den Hauptvorwurf spiegelt die gängige Bezeichnung 'happiness index' oder 'smile sheets' wider. Dahinter verbirgt sich die Kritik, eine Erhebung der Teilnehmerreaktionen sei lediglich ein Stimmungsbild darüber, wie 'happy' die Teilnehmer mit dem Trainer, dem Seminar, dem Veranstaltungsort und der Verpflegung sind. Was das Training bringt, wird jedoch nicht erfasst.

Auch die Qualität der verwendeten Fragebögen ist häufig zweifelhaft. Beispielsweise ist die Verwendung einer einfachen Schulnotenskala von 1 bis 5 (oder 6) gänzlich ungeeignet, um die Qualität von Trainern und Seminaren zu erfassen. Denn wie häufig erhält ein erfahrener Trainer die Note 3 oder schlechter? Es werden in der Regel die Noten 1 und 2 vergeben, eine wirkliche Differenzierung der Qualität kann so nicht erfolgen.

Bei der Evaluation auf der Ergebnisebene bzw. beim Bildungscontrolling unter betriebswirtschaftlichem Blickwinkel werden häufig ungeeignete Kennwerte verwendet. Mit Ausnahme von Vertriebsseminare, bei denen der Umsatz der Teilnehmer gemessen werden kann, sind kaum objektive Zahlen verfügbar, die tatsächlich in einem kausalem Zusammenhang zu einer bestimmten Qualifizierungsmaßnahme stehen. Ersatzweise verwendete Kennwerte wie beispielsweise die Anzahl von Weiterbildungstagen haben jedoch keine Aussagekraft über die Qualität und den Nutzen einer Maßnahmen.

Ein Hauptkritikpunkt am Kirkpatrick-Modell liegt in seiner Einfachheit. Es fehlt dabei die Berücksichtigung von Einflussfaktoren, die auf den Transferprozess einwirken können. Selbst wenn eine Evaluation auf allen vier Ebenen erfolgen sollte, lässt sich am Ende nicht sagen, warum ein Seminar erfolgreich war oder eben nicht. Wenn beispielsweise wegen ungünstiger Transferbedingungen am Arbeitsplatz das Seminar keine Effekte zeigt (beim Lernen, Verhalten und den Ergebnissen), wird vorschnell der Trainer oder das Seminarkonzept in Frage gestellt und somit die Qualität des Seminaranbieters. Dies ist wohl der Hauptgrund, warum nur wenige Seminaranbieter die Evaluation ihrer Maßnahmen aktiv betreiben.

Weitere Probleme stellen der vermeintliche Aufwand einer systematischen Evaluation und das Fehlen von geeigneten Evaluationsinstrumenten - neben dem Feedbackbogen - dar.

Und schließlich sollte auch der Datenschutz im Sinne die Vertraulichkeit im Umgang mit den erhobenen Daten kritisch betrachtet werden. Es ist grundsätzlich davon abzuraten, dass ein Unternehmen, z.B. über seine Personalabteilung, die Evaluation selbst durchführt. Die Einhaltung des Datenschutzes wird dann von den Teilnehmern/Mitarbeitern generell in Frage gestellt und Sie beteiligen sich entweder gar nicht an der Evaluation oder geben erwünschte Urteile ab. Aber auch die Durchführung durch den Seminaranbieter ist aufgrund des latenten Manipulationsverdachts kritisch zu sehen.


Empfehlungen für die Seminarevaluation

1. Die Seminarbewertung sollte über das unmittelbare Feedback hinaus erfolgen. Beispielsweise können drei Befragungen durchgeführt werden:

  • 1. Befragung: am Seminarende (Erfassung der Zufriedenheit mit dem Seminar)
  • 2. Befragung: ca. 2 Wochen nach dem Seminar (wie gelingt der Übergang von der Theorie in die Praxis)
  • 3. Befragung: ca. 2 Monaten nach dem Seminar (Einschätzung des tatsächlichen Tranfers und Nutzens des Seminars)

2. Seminarbewertungen sollten neben der Zufriedenheit (affektive reactions), auch Nutzeneinschätzungen (utility reactions) beinhalten.

3. Berücksichtigung von Faktoren, welche die Effektivität der Maßnahme beeinflussen:
  • Personenmerkmale (z.B. Bedarf der Teilnehmer)
  • Trainingsmerkmale (z.B. Trainingsinhalte)
  • Organisationsmerkmale (z.B. Transferklima)

4. Sorgfältiges Abwägen zwischen Standardisierung und Anpassung der Instrumente an das jeweilige Seminar:
  • Seminarbewertungen sollten standardisiert erfolgen. Nur so können die Ergebnisse verschiedener Seminare miteinander verglichen werden.
  • Verwendung von speziellen auf den Seminarinhalt angepassten Lerntests (sind vom Seminaranbieter zu stellen).
  • Erfassung des Verhaltens durch wissenschaftlich entwickelte Standardinstrumente.

5. Instrumente zur Messung des Lernens (bzw. Wissens) und des Verhaltens sind unter Berücksichtigung des Bearbeitungsaufwands vor und nach dem Seminar einzusetzen. Somit lässt sich die Bedarfsanalyse objektivieren und durch die Vorher-Nachher-Messung wird der tatsächliche Lern- und Verhaltenseffekt erfasst.

6. Ergebnis-Kennzahlen können alternativ zu objektiven Unternehmenszahlen über sekundäre Verhaltenanalysen gewonnen werden. Beispielsweise liefert eine Teamanalyse Informationen darüber, inwieweit sich die Teilnahme des Teamleiters an einem Führungskräfte-Seminar über sein eigenes Führungsverhalten hinaus auf die Zusammenarbeit im Team auswirkt, was als Ergebnis einer verbesserten Führung zu interpretieren ist.

7. Verwendung von Onlinebefragungen, um den Aufwand für Organisation, Durchführung und Auswertung zu reduzieren. Ergebnisse sind für Trainer, Seminaranbieter und Kunden unmittelbar verfügbar.

8. Individuelles Feedback für die Teilnehmer über die bisherigen Umsetzungserfolge: Dies ist von großer Bedeutung für die Motivation zur weiteren Umsetzung.

9. Die Durchführung von Evaluationen sollte durch einen unabhängigen, spezialisierten Anbieter erfolgen, um Qualität, Praktikabilität und Datenschutz sicherzustellen.

Die Liste von Umsetzungsempfehlungen, die sicher nicht erschöpfend ist, soll nicht den Eindruck erwecken, dass eine professionelle Evaluation weder praktikabel noch bezahlbar ist. Es gibt erprobte Instrumente (z.B. seminarPlus von der HR CheckSystems GmbH), die diese Anforderungen erfüllen, und mit einem überschaubaren Aufwand für die PE-Verantwortlichen und vor allem vor die Teilnehmer anwendbar sind.

Der finanzielle Aufwand muss in einer positiven Verhältnis zum Nutzen stehen. Dies betrifft einerseits die anfallenden Kosten und andererseits ist zu berücksichtigen, dass durch die Integration von Feedbacks an die Teilnehmer die Umsetzungswahrscheinlichkeit steigt, und dass die bereits getätigten Seminarinvestitionen durch die Evaluation legitimiert werden.


Beispielkonzept einer Seminarevaluation/Transfersicherung

Exemplarisch für Führungskräfteseminare kann eine ganzheitliche Evaluation und Transfersicherung durch die Kombination von Seminarbewertung (Reaktionsebene), Führungsfeedback (Verhaltensebene) und Teamanalyse (Ergebnis) folgendermaßen konzipiert werden:

0. Führungsfeedback und Teamanalyse vor dem Seminar

Seminardurchführung (inkl. Analyse der Vorbefragungsergebnisse)

1. Seminarfeedback am Ende des Seminars
2. Rückblickende Seminarbewertung ca. 2 Wochen nach dem Seminar
3. Wirksamkeitseinschätzung ca. 2 Monate nach dem Seminar
4. Führungsfeedback und Teamanalyse ca. 4 Monate nach dem Seminar

Es ist nicht immer die Evaluation auf allen Ebenen notwendig. Aus ökonomischen Gründen (z.B. Zeitaufwand für die Teilnehmer) wird in diesen Konzept auf die Analyse der Lernebene verzichtet. Denn gerade bei der Führung wiegt das tatsächliche Handeln deutlich schwerer als das theoretische Wissen.

Führungsfeedback und Teamanalyse erfolgen durch das jeweilige Team der am Seminar teilnehmenden Führungskräfte. Durch das Einbinden der Mitarbeiter wird ein nachhaltiger Teamentwicklungsprozess angestoßen. Denn die Qualität der von den Führungskräften geführten Teams ist schließlich das Ergebnis der Führung und somit als 4. Ebene der Evaluation zu betrachten.

Ergebnisse der Evaluation von Vertriebsseminaren

Auf der CheckSystems-Homepage sind exemplarisch Ergebnisauszüge der systematischen Evaluation eines Qualifizierungsprojekts von AchieveGlobal bei Ericsson dargestellt.


Quelle und Linktipp

Dieser Beitrag wurde managerSeminare online mit freundlicher Genehmigung von Jens Brandt, in Zusammenarbeit mit Carin Jungmann (Beraterin bei AchieveGlobal Deutschland) zur Verfügung gestellt. Jens Brandt ist Geschäftsführer der HR CheckSystems GmbH mit den Schwerpunkten Evaluation von Qualifizierungsmaßnahmen sowie Team- und Organisationsanalysen. Informationen und Instrumente zur Seminarevaluation finden Sie auf der Website von HR CheckSystems.


ANZEIGE
  
drucken versenden

RSS-Feed bookmark

ANZEIGE

Suche in Tools/Wissen/Recht und Lexikon

Weitere Informationen zum Thema


© 1996-2017, managerSeminare Verlags GmbH, Endenicher Str. 41, D-53115 Bonn
Mobile-Ansicht



OK

Wir verwenden Cookies, um Ihre Zufriedenheit auf unserer Website zu steigern. Mit der Nutzung unserer Dienste erklären Sie sich damit einverstanden, dass wir Cookies verwenden. Weitere Informationen finden Sie hier