הערכת אפקטיביות תהליכי למידה - מודלים נוספים ("לא רק קירקפטריק")

ברשימות האחרונות תיארתי את יסודות מודל קירקפטריק להערכת אפקטיביות תהליכי למידה ואת עיקרי הביקורת על מודל קירקפטריק. אולם, במקביל להיותו המודל המוכר ביותר, קיימות גישות נוספות להערכת תהליכי למידה, חלקן התפתחויות בעקבות המודל שהציג דונלד קירקפטריק  וחלקן מודלים נפרדים לגמרי.

בפוסט זה אציג בקצרה אחדות מהגישות החלופיות להערכת תהליכי למידה. זו טעימה "על קצה המזלג", ומי שמעוניין בהעמקה מוזמן לעקוב אחר הקישורים המצורפים.

פיליפס - ROI

כפי שהוזכר בפרסום קודם, המודל שפרסם ג'ק פיליפס בשנות ה- 90 הוא למעשה תוספת של רמה חמישית למודל קירקפטריק. בשעה שהרמה הרביעית במודל עוסקת בתרומה לביצועי הארגון, ברמה החמישית נבחן האם עלות הלמידה/הדרכה קטנה או גדולה ממידת התרומה לארגון.

נוסחת חישוב ROI:

קירקפטריק פלוס (קאופמן ואחרים)

מודל "קירקפטריק פלוס" שהוצג בשנת 1998, הוא אחת הווריאציות שהוצעו להתאמות ופיתוח של מודל קירקפטריק המקורי. מודל זה בן 5 הרמות מנסה לקשר בין הביצועים לציפיות.

• רמה 1 - Resources and processes - משאבים ותהליך - רמה המחולקת לשתי תת-רמות: התשומות ועמדות הלומדים
• רמה 2 - Acquisition - רכישה - האם מטרות ההתערבות ההדרכתית הושגו?
• רמה 3 - Application - יישום - האם ידע ומיומנויות חדשים מיושמים בעבודה?
• רמה 4 - Organizational payoffs - תועלת ארגונית - מה התועלת מנקודת מבט ארגונית?
• רמה 5 -  Societal contributions - תרומה חברתית - מה התרומה ללקוח ולחברה?

מודל CIRO

מודל CIRO להערכת אפקטיביות הדרכה גם הוא מודל של 4 רמות הערכה. מודל זה משנת 1970 פותח על ידי WARR, BIRD ו- BACKHAM.

רמות המודל:

• Context - הקשר - בחינת ההקשר של הלמידה בהיבטים של צרכים ומטרות
• Input - תשומות - בחינת התהליך ההדרכתי (מתודות, צוות, מתקני הדרכה, תקציב) לבדיקת יעילות מבחינת עלות-תועלת
• Reaction - תגובה - בחינת התגובות הסובייקטיביות של הלומדים ללמידה/הדרכה, בדומה לרמת התגובה במודל קירקפטריק, וכן הצעות לשיפור
• Outcome - תוצאה - בחינת שינויים בעקבות ההדרכה בטווח הזמן הקצר, הבינוני והארוך

CIPP

מודל CIPP מתמקד בתהליך קבלת ההחלטות הקשור בתהליך הלמידה וניתן ליישמו בשלבים שונים של התהליך. הקו המנחה במודל זה הוא שמטרתה המרכזית של ההערכה היא שיפור תהליך הלמידה. גם מודל זה הוא ראשי תיבות:

• Context - מה עלינו לעשות? מה הצרכים והמטרות?
• Inputs - איך עלינו לעשות זאת? מה הצעדים לביצוע והמשאבים הדרושים?
• Process - האם התהליך מבוצע? האם מיושם כראוי?
• Product - האם ההדרכה "עובדת"? האם התהליך מצליח?

מודל CIPP מגדיר שאלות ייעודיות לכל אחד מארבעת האלמנטים של המודל.

שיטת סיפורי הצלחה

"שיטת סיפורי הצלחה" (The Success Case Method – SCM) פותחה בשנת 2001 על-ידי רוברט ברינקרהוף. השיטה מתבססת על ההנחה כי ניתן ללמוד הרבה מתוך בחינת קבוצת לומדים מצומצמת בלבד (להבדיל מבדיקת ההשפעה על כלל הלומדים). הקבוצה הנבדקת נבחרת על סמך הישגיהם יוצאי הדופן בתהליך הלימוד.

השיטה משלבת את האוּמנות העתיקה של סיפור סיפורים (storytelling) עם גישות מודרניות להערכה וחקר מקרה. ביסודו של דבר, כאשר מיישמים את שיטת סיפורי הצלחה (SCM) שואלים:

• מי הם היחידים/הקבוצות שהצליחו ליישם מתהליך הלמידה לטובת הישגים עסקיים? מדוע הם הצליחו?
• מי הם היחידים/הקבוצות שלא הצליחו? מדוע?

הערכת אפקטיביות תהליכי למידה - מודל קירקפטריק: הביקורת

בפוסט הקודם הצגתי את יסודות מודל קירקפטריק להערכת אפקטיביות תהליכי למידה. מודל קירקפטריק, על אף היותו המודל המוכר והנפוץ להערכת אפקטיביות תהליכי למידה בארגונים, ספג גם לא מעט ביקורות עם השנים.

יתרה מכך, ככל שעולים ברמות המדידה, כך פוחת מספר הארגונים המיישמים הערכה של אפקטיביות הלמידה. במחקר שפרסם ארגון ה- ATD נמצא כי מעל 60% מהארגונים מעריכים תכניות הדרכה באמצעות מודל קירקפטריק, כאשר 77% מעריכים את שביעות רצון המשתתפים, 38% מעריכים את רמת הלמידה, 14% שינויים התנהגותיים ו- 7% בלבד מעריכים תוצאות. המחקר פורסם אמנם בתחילת שנות ה- 2000, אך עוצמת הפיחות בהיקפי המדידה מרמזת כי הוא עדיין רלוונטי.  

בפוסט זה אסקור כמה מהביקורות המרכזיות על מודל קירקפטריק.

קושי לנטרל גורמים מתערבים

כאשר בוחנים את אפקטיביות ההדרכה ברמות 3 (יישום) ו-4 (תוצאות), קשה עד בלתי אפשרי לנטרל גורמים אחרים שעשויים להשפיע על הביצועים. בין אם זו התנהלות המנהל הישיר ועד שינויי תשתית (לדוגמא: מערכת מחשב) – תמיד ימצא גורם כלשהו שעשוי להתערב ולהשפיע גם הוא על הביצועים.

העדר מתאם בין רמות המודל

מודל קירקפטריק מציע תלות בין רמות המדידה – כל רמה מסתמכת על קודמתה. זהו מבנה היררכי. מכאן שרמה 4 היא ה"חשובה" ביותר ומעידה על עמידה מוצלחת ברמות ה"נמוכות" יותר. אולם, מחקרים שונים לא הצליחו למצוא מתאם בין הרמות. לפיהם, שביעות רצון גבוהה מההדרכה (רמה 1 במודל) אינה תורמת לסיכוי של יישום מוצלח (רמה 3 במודל).

התמקדות בתוצאות - 1

המיקוד של המודל הוא בתוצאות, כך שאלמנטים "רכים" יותר ופחות מדידים אינם מקבלים ביטוי. למשל, ההשפעות של קורס פיתוח מנהלים עשויות להיות רחבות יותר ממה שניתן ללמוד, הן בסוג ההשפעות והן בטווח ההשפעה לאורך זמן.

התמקדות בתוצאות - 2

המיקוד של המודל הוא ב"מה" ולא ב"איך". בתוצאה ולא בתהליך. אין כאן בדיקה מובנית של ה"למה" התקבלו התוצאות כפי שהן. הסקת מסקנות למטרות שיפור תהליך הלמידה מצריכה גם בדיקה של התהליך. ניסיון להבין מדוע התרחשו הדברים כפי שהתרחשו (וכיצד ניתן לשפר בעתיד).

עלויות

לתהליך הבדיקה יש משמעות כספית וככל שעולים ברמת ההערכה, עם מורכבותה הרבה יותר, כך העלויות עשויות לגדול, כך עד רמה שמטילה בספק את כדאיות ביצוע ההערכה.

כמה מילות סיכום

• מודל קירקפטריק להערכת אפקטיביות תהליכי למידה ספג לא מעט ביקורות ב- 60 שנות קיומו וארגונים מעטים בלבד מיישמים אותו באופן מלא. יחד עם זאת, המודל שהציג דונלד קירקפטריק בשנת 1959 תרם תרומה אדירה לעולם הלמידה הארגונית ולשיח המקצועי על הערכת אפקטיביות הלמידה.
• כיום, קיימת הבנה כי הערכה היא חלק אינהרנטי מתהליך ניהול הלמידה בארגון, ועם השנים הוצגו מודלים נוספים להערכת אפקטיביות תהליכי למידה, חלקם וריאציות על מודל קירקפטריק.
• משפחת קירקפטריק עצמה הציגה, 50 שנה לאחר פרסום המודל המקורי, עדכון למודל, שבא להתמודד עם הדרישות והשינויים שחלו עם השנים. בני המשפחה טוענים כי אינם מנסים לבודד את התוצאות הנובעות מההדרכה בלבד, אך בהכירם  את חשיבות התוצאתיות, הם כן מדגישים את חשיבות התיקוף של מעבר מלמידה להתנהגויות בסביבת העבודה.

הערכת אפקטיביות תהליכי למידה - מודל קירקפטריק: היסודות

הבלוג חוזר לפעילות אחרי חופשה ארוכה-ארוכה (סיבות טובות!!). נתחיל בהשלמת חוב ישן מתחום יסודות פיתוח ההדרכה – מודל קירקפטריק להערכת אפקטיביות תהליכי למידה. ברשת ניתן למצוא חומרים רבים על המודל. אנסה לעשות כאן קצת סדר. בפוסט זה – יסודות המודל. בהמשך – הרחבות ותוספות.

אמירה נפוצה היא כי "מה שלא נמדד - לא מנוהל". עולם ההדרכה נדרש גם הוא למדוד ולהעריך. הערכת אפקטיביות הלמידה מאפשרת למחלקות הלמידה גם "להצדיק את קיומן" ובפרט להצדיק את תהליך הלמידה המדובר. מעבר לכך, המדידה היא כלי – כלי ללמידה, לשיפור ולייעול התהליכים בעתיד.

יחד עם זאת, בפועל פעמים רבות אפקטיביות הלמידה כלל אינה נמדדת, או שנמדדת ברמה בסיסית בלבד. חשוב להבין את המשמעויות של המדידה ברמות השונות, כדי לקבל החלטות מושכלות.

מודל קירקפטריק להערכת אפקטיביות תהליך הלמידה

מודל קירפטריק הוא המודל המוכר ביותר להערכת למידה ארגונית. למרות ביקורות שונות, הוא עדיין המודל המוביל והמצליח בהקשר של הערכת הלמידה. המודל המקורי פורסם ב- 1959 ע"י דונלד קירקפטריק,  וכלל 4 רמות להערכת הדרכה. כ- 50 שנה לאחר מכן, ב- 2010 מפרסמת משפחת קירקפטריק עדכון למודל כדי להתאימו לצרכים הארגוניים העדכניים ולתת מענה לחלק מהביקורות.

חוקרים אחדים הציעו השלמות למודל, ביניהם ג'ק פיליפס. התוספת שהציע פיליפס בשנות ה- 90 נתפסת על ידי רבים כרמה חמישית: ROI.

מודל קירקפטריק - רמות ההערכה

ההערכה מתחילה ברמה הראשונה (תגובה) ובהתאם לצרכים ולאפשרויות מעריכים רמות הגבוהות יותר. כל רמה משמשת בסיס ותורמת מידע לרמה שמעליה. ככל ש"עולים" ברמות ההערכה גדלה מורכבות המדידה. בהתאם, פחות תהליכי מדידה מבוצעים בפועל להערכת הרמות הגבוהות יותר במודל.

רמה 1 – תגובה (Reaction)

למה נמדוד? לשביעות הרצון חשיבות רבה בהגברת הנכונות ללמידה, ופתיחות לשיפור ותיקון ההתנהגות

מה נמדוד? כיצד הלומדים חושבים/מרגישים בנוגע להדרכה

איך נמדוד? -   שיחת סיכום -   שאלוני משוב

מתי נמדוד? במהלך הפעילות ההדרכתית או בסיומה

אתגרים וביקורת? התחושה הסובייקטיבית של הלומדים אינה מעידה בהכרח על הבנה, יכולת או התנהגות ב"שטח"

רמה 2 – למידה (Learning)

למה נמדוד? רמה זו, שהיא עדיין פשוטה יחסית למדידה, מלמדת מה המשתתף יודע (או יודע לעשות) כעת, שלא ידע קודם לכן

מה נמדוד? השינוי אצל הלומד בעקבות הלמידה -  בידע, במיומנות או בתפישה - האם הלומדים הבינו את הנלמד ובאיזה מידה רכשו ידע/כישורים/תפיסות חדשים

איך נמדוד? -   מבחן תיאורטי (בכתב או בעל פה) -   מבחן ביצוע -   סימולציה -   מטלה אישית או קבוצתית (עבודת גמר)

מתי נמדוד? -   לפני תחילת הלמידה (מומלץ אך לא תמיד מבוצע) – מבחן שישמש T0 כדי שניתן יהיה להשוות את הרמות שמתקבלות לפני ואחרי הלימוד וזיהוי הדלתא שנוספה -   בסיום פעילות הלמידה

אתגרים וביקורת? -   ידע בכיתה אינו מבטיח יישום ב"שטח" -   כאשר ההערכה מתבססת על מבחנים בעל-פה, דיונים, סימולציות וכדומה, קשה יותר לקבל ציון מדויק

דגשים נוספים? השאלון או כל מבחן אחר צריכים להתבסס על מטרות הלימוד, כפי שהוגדרו מראש - לשם כך ניתן להסתייע בטקסונומיה של בלום

רמה 3 – יישום (Behavior)

למה נמדוד? רבים רואים ברמה זו את הסימן המובהק לתועלת בתהליך הלימוד - הושג השינוי ההתנהגותי אשר בגינו בוצע תהליך הלמידה

מה נמדוד? מה השתנה בהתנהגות העובד/הלומד בפועל או "בשטח" - זהו למעשה יישום התוכן הנלמד בפעילות היום-יומית

איך נמדוד? -   תצפיות וביקורות בשטח -   מבחני יכולת -   שאלוני מנהלים -   דו"חות ביצוע

מתי נמדוד? -   בסיום הלמידה -   בדיקה מושהית - מספר חודשים לאחר הלמידה

אתגרים וביקורת? -   הביצוע "בשטח" אינו מנוטרל מהשפעות חיצוניות אחרות

דגשים נוספים? כאמור, פעמים רבות זו הסיבה המקורית לשמה נבנה תהליך הלימוד - שינוי רצוי בהתנהגות בפועל. לכן, יש המציעים לעצור את המדידה ברמה זו

רמה ד – תוצאות (Results)

למה נמדוד? זו השורה התחתונה – כמה פעילות הלמידה תרמה לארגון – האם האימון/ההדרכה השיגו את התוצאות הרצויות לחברה

מה נמדוד? מהי התרומה לעסק דוגמאות: עליה במכירות, ירידה בשיעור תקלות, קיצור זמן המתנה, עלייה בתפוקה, עמידה ביעדים, שיפור האיכות, הקטנת עלויות, הגדלת מכירות, הקטנת שיעור תחלופת עובדים

איך נמדוד? -   דו"חות ביצוע -   שאלונים וסקרים (עובדים, לקוחות)

מתי נמדוד? -   בדיקה מושהית - מספר חודשים לאחר הלמידה

אתגרים וביקורת? -  קשה לנטרל השפעות חיצוניות - כמעט תמיד כאשר נצפה שינוי בביצועים ניתן לייחס אותו גם לאירועים אחרים וקשה להסיק סיבתיות ברורה

דגשים נוספים? רמת הערכה זו מורכבת ומסובכת יותר לכימות, אך כאשר מציגים אותה יש בה כדי להעיד על שינוי לטובה בביצועי הארגון

רמה 5 (תוספת מודל פיליפס) – ROI

למה נמדוד? "מה שלא נמדד - לא מנוהל"

מה נמדוד? החזר להשקעה -  האם התועלת מההדרכה/למידה עולה על ההשקעה ומלמדת על כדאיות כלכלית

איך נמדוד?

מתי נמדוד? לאחר סיום ההדרכה

אתגרים וביקורת? -   לא פשוט, ולעיתים כלל לא אפשרי, לבודד את השפעת ההדרכה מגורמים אחרים המשפיעים על התוצאות - הערכה לפי רמה זו מורכבת ודורשת חשיבה והשקעה במדידה עצמה, עד כדי להפוך את כדאיות המדידה למוטלת בספק -   הפוקוס על תועלת כלכלית מזניח תועלות "רכות" יותר, כמו חיזוק תפיסת העובדים את הארגון

דגשים נוספים? משום מורכבותה, רמת הערכה זו מיושמת מעט יחסית, ורלוונטית בעיקר לתהליכי למידה יקרים

קרא גם על הערכת אפקטיביות תהליכי למידה - מודל קירקפטריק: הביקורת.