יולי 2021
מאמר זה נכתב עם סיומה של סדרת ההכשרה המקצועית לחברי פורום הקרנות בישראל בנושא למידה-מדידה-הערכה (למ”ה). הוא מבוסס על נושאים וסוגיות שעלו בה, תוך ניסיון שאפתני – לדחוס את סיפור ההתפתחות של תחום הערכה בפילנתרופיה למספר מלים מוגבל. מקווה שהצלחתי במשימה, ומזמין לשאלות ודיון. טענתי המרכזית: התפתחות בתפיסת העולם הניהולית בפילנתרופיה הולכת יד ביד עם התפתחות בתפקיד הלמ”ה – הן באופן שבו מבצעים למידה-מדידה-הערכה ברמת התוכנית והן ברמת הקרן הפילנתרופית והשדה שבו היא פועלת.
שינויים בהנחות ובמושגי יסוד בשדה הניהול הפילנתרופי
הנחות היסוד המאפיינות את תורות הניהול עוברות שינוי דרמטי. אחת המרכזיות שבהן היא התפתחות החשיבה המערכתית, ממערכות סגורות למערכות מורכבות: אם בעבר הנחת היסוד היתה שהיכולת להצליח ולהשפיע תלויה בארגון או בתוכנית שלנו, לאורך זמן חלחלה ההבנה שהאינטראקציה שהארגון מקיים עם השדה ואירועים חיצוניים בשדה משפיעים על ההצלחה לא פחות. למעשה, לפי תפיסת המערכות המורכבות, קיים קושי לקבוע קשר ישיר בין פעולה מסוימת לתוצאה. שינוי חשיבתי זה מאתגר גם את תפיסת המנהיגות בארגון, ובו דן פורום הקרנות באחרונה במסגרת ההכשרה בנושא מנהיגות אדפטיבית.
בשדה הפילנתרופי אנו חווים בהתפתחות מקבילה. באופן גס, ניתן לחלק את העשייה הפילנתרופית לשלושה סוגים:
- נתינה – חלוקת תרומות ומענקים כמענה לצורך מיידי ו/או בנושאי עניין של הקרן / תורם
- פילנתרופיה אסטרטגית – חלוקת מענקים והשקעות ממוקדות מטרה, המיועדת לייצר השפעה בשדה
- קולקטיב אימפקט וחדשנות אסטרטגית – הנחת היסוד בחשיבה זו היא שהקרן היא רק גורם אחד במערכת, ושהשפעה תיווצר רק מתוך פעילות משותפת בשדה. במצב כזה יינתנו מענקים ויבוצעו השקעות לצורך חיבור וסנכרון גורמים במערכת, ו/או לפיתוח רכיבים שחסרים בה
השינויים בשדה “הערכה”
הגדרת היסוד של המושג “הערכה” משתנה בחמשת העשורים מאז החל השדה להתמסד, בהלימה לשינויים התפיסתיים הללו ומתוך צורך לספק להם מענה. אחת ההגדרות המוצגות בוויקיפדיה באנגלית, כוללת מספר רבדים, המאפיינים את ההתפתחות הזאת:
- הערכה היא חקירה שיטתית, המיועדת לזהות את השווי של מושא הערכה ביחס לתקן מוסכם – תפיסה מראשית ימיה של הערכה, שנקשרה למחקר אקדמי
- הערכה מיועדת לסייע לכל סוג של יוזמה והתערבות, ו/או להעריך כל מטרה, לטובת קבלת החלטות, או לזהות את רמת ההישג מול יעדים מוגדרים – תפיסה שבה תהליך הערכה נבחן על-פי רמת השימושיות של התוצר לקרן ו/או לארגון, הרלוונטית במיוחד בפילנתרופיה אסטרטגית המציבה יעדים ברורים
- הערכה מיועדת לספק תובנות ביחס ליוזמות קיימות ולזהות כיווני התפתחות לעתיד – בהלימה להנחה שתוכניות ושדות פילנתרופיים הם חלק ממערכות מורכבות, ושיש צורך לשנות אסטרטגיה בכל תקופה, לזהות הזדמנויות ועוד.
התפתחות ההגדרה מעידה על שינוי בליבת העיסוק:
- מ-מדידה – איסוף מידע על היוזמה
- ל-הערכה – שיפוט של היוזמה והצלחתה
- ול-למידה – מוכוונות לפיתוח והשתנות היוזמה
חשוב להדגיש, כי ההתפתחות היא תוספתית – נוספו שכבות, רבדים ואפשרויות. לכן, גם גישות המזוהות עם העבר יתאימו לצרכים מסוימים היום.
כעת נצלול לשינויים הללו, תוך חלוקה לשלושה דורות, המבוססת על הסדר הכרונולוגי שבהם הוצגו.
דור 1.0
כאשר עולה צורך בהערכה, רובנו עדיין משתמשים בעיקר בשני מושגי יסוד: הערכה מסכמת (Summative evaluation) ו-הערכה מעצבת (Formative evaluation).
המושגים האלו נהגו בשנות ה-60׳ על-ידי Michael Scriven, המתואר לעתים כהוגה הראשון בשדה ה-הערכה. הם ביטאו חשיבה של מחקר אקדמי, ונבראו כדי לתאר את סוג הערכה שבמערכת החינוך שלנו שכיח עד היום: בחינות הבגרות. כך, בחינות הבגרות מהוות הערכה מסכמת של תהליך הלמידה וההוראה, שניתן לנתח אותו ברמת התלמיד (הישג של הפרט) וברמת המערכת (ההישגים הכוללים) אל מול מדד הצלחה מוחלט (הצלחה במבחן גנרי). הערכה מעצבת בהקשר זה היא בחינת המתכונת – בחינה מקבילה לבגרות, הנערכת קודם לכן ומאפשרת לבצע שיפור.
הגדרות אלו מתעלמות מרכיבים מערכתיים וסביבתיים, משינויים, מתהליכים, מתנאים ייחודיים של הזמן והמקום – אין בהן התייחסות למורכבות מערכתית ואנושית. יחד עם זאת, השימוש בהן, תוך שינוי בחלק מתפיסות היסוד, עדיין תדיר. הנה הסבר על האופן שבו הן מתורגמות להערכת תוכניות:
- הערכה מסכמת – במקרים רבים, קרן מבקשת הערכה מסכמת של תוכנית, כחלק מתהליך של אחריותיות (Accountability), כלומר כדי לדעת שתוכנית ביצעה את מה שהבטיחה. חשוב לדעת, שבהערכה כזאת בדרך-כלל קל יחסית לבחון את התפוקות (למשל מספר משתתפים), אך קיים קושי למדוד את התוצאות (הערכת תוצאות) – משום שתוצאות ניתנת לזיהוי רק אחרי מספר שנים, או משום שהמורכבות בסביבה מקשה על זיהוי של קשר ישיר בין תוצאות לבין תוכנית ספציפית
- הערכה מעצבת – אמנם המטרה של הערכה כזאת היא שיפור של תוכנית, אך לאורך השנים הוכנסו לתוך משפחת ההערכה הזו שאלות מגוונות שאינן מסכמות… המרכזיות שבהן: בדיקת צרכים של מוטבים פוטנציאליים לטובת פיתוח תוכנית, בדיקה ראשונית של תוכנית בשיטות מחקר איכותניות
גם לטובת הערכת הקרן את עצמה ניתן לעשות שימוש בהערכה מסוג זה: אם הקרן הגדירה לעצמה תפוקות ותוצאות, הרי שניתן לבצע מדידה שלהן ולזהות אותן – האם היא עומדת ביעדים שהציבה לעצמה? אלו מרכיבים כדאי לשפר באופן התנהלותה (כגון, באופן החלוקה של מענקים)? יחד עם זאת, קרנות רבות נוהגות להגדיר את הצלחתן על-פי מדידת ההצלחה של תוכניות בדידות שהן מממנות – מה שמעלה את השאלה לגבי תיאוריית השינוי של הקרן: האם הצלחת הקרן היא אך ורק סה”כ התוצאות של התוכניות שהיא מממנת? ומה לגבי השפעה על השדה, כמו הקמת שולחנות עגולים/רשתות/קואליציות, יח”צ/קידום/חשיפה לנושאים בשדה, פעולות מול משפיענים ושיתופי פעולה בין מגזריים?
דוגמאות מהשטח: הערכת תוצאות – להשתמש או להימנע?
לפני מספר שנים התבקשתי להעריך תוכנית מחנות קיץ המפגישה בין צעירים מישראל וצעירים יהודים מארה”ב, המופעלת במתכונת אחידה תקופה ארוכה. הארגון הפילנתרופי ביקש לקבל החלטה, האם להמשיך לממן אותה והאם צריך לערוך בה שינוי? כלומר, שאלות ההערכה כללו רכיב מעצב ורכיב תוצאתי. לצורך ההערכה המעצבת עשינו שימוש באמצעים מגוונים, ובכלל זה תצפיות ומשובים. בדיקת התוצאות התאפשרה, בין היתר, עקב העובדה שחלק משמעותי מהמשתתפים לא הושפעו בנושאי הבדיקה מתוכניות או מגורמים אחרים, לבד מהתוכנית הנבדקת – כך התאפשר למדוד שינויים בעמדות ובהתנהגות החל מתקופה קודמת לתוכנית ועד ל-5 שנים לאחר סיום ההשתתפות. יחד עם המממנים והמפעילים, שמחתי לגלות שלמרות שיש צורך לבצע בה שינויים מסוימים, בסך-הכל התוכנית מוצלחת והיא משפיעה על עמדות והתנהגויות המשתתפים באופן שמצדיק את ההשקעה!
לעומת זאת, מיזם חברתי בן כשנה, המיועד להוביל שינוי מדיניות ברמה לאומית והפועל בשדה מורכב עם שחקנים דומיננטיים, פנה לגוף פילנתרופי גדול. היחס לבקשה היה חיובי ואפילו אוהד, אלא שלקבלת המענק נוספה דרישה: כבר כעת לספק הוכחה להשפעה, באמצעות מדידת תוצאות: ביצוע מערך מדידה מבוסס לפני-אחרי של המיזם. אלוהי כל המעריכים שישמור! שאלתי איך אפשר לדרוש מדידה כזאת, כשהתוכנית צעירה כל-כך ועדיין לא יציבה, כשהשדה מורכב ויש הרבה מאוד גורמים שמשפיעים על ההצלחה, וכשברור מראש שלא ניתן לראות תוצאות בטווח קצר משלוש שנים? מניסיון של מי שביצע הערכות דומות: דרישה כזאת בעיתוי מוקדם כל-כך עלולה להתברר כדרך מצוינת להרוג תוכניות צעירות, שראויות להישאר בחיים ולהתפתח.
דור 2.0
בתחילת שנות ה-80׳ פרסם Michael Quinn Patton – הרוח החיה בשדה בארבעת העשורים האחרונים – את הרעיון פורץ הדרך של הערכה ממוקדת שימושיות (Utilization focused Evaluation).
הרעיון הבסיסי הוא פשוט: הערכה כבר אינה מחקר אקדמי, אלא תהליך חקר המיועד לספק לקרנות ולארגונים מידע שימושי שיסייע להם בקבלת החלטות. המידע יכול להיות על כל דבר שקשור בשדה – אסטרטגיות, תוכניות, התנסויות ועוד. כדי שהמידע יהיה שימושי הדבר החשוב ביותר שעל המעריך לבצע הוא לשוחח עם המשתמשים הצפויים במידע, ולוודא איתם מה חשוב להם לקבל ושעשוי להשפיע על תהליך קבלת ההחלטות שלהם. לכן חשוב מאוד שכל משתמש פוטנציאלי יהיה חלק מהתהליך מייד עם תחילתו: מנכ”ל הקרן שנתנה מענק, מנהל בארגון הממומן, איש שטח ועוד. וכן, ייתכן מצב שבו מגוון המשתמשים הפוטנציאליים יעלו צרכים מגוונים – מקרה שבו יהיה צורך למצוא פיתרון עבור כולם או להגדיר סדר עדיפויות.
משתמש יכול להיות גם מנכ”ל קרן, אשר מעוניין במידע על הקרן שלו, כדי לקבל החלטה הקשורה בהתנהלות הקרן. למשל, ניתן לסייע לקרן לבחון את השאלה, האם הקרן מתקדמת בכיוון הנכון למימוש האסטרטגיה שלה? האם תיאוריית השינוי נכונה?
דוגמאות מהשטח: הערכת פיתוח יכולות בארגון שדרה, והערכת שימושיות ההערכה אצל המממן
גוף פילנתרופי ביקש לקבל החלטה: אחרי שלוש שנות מימון, האם להמשיך לממן תוכנית לשינוי התרבות הארגונית בארגון שדרה? במקביל, עלתה בקשה שהערכה תהיה שימושית גם לארגון השדרה. לכן, בתחילת התהליך, ביקשנו מהגוף המממן להגדיר על בסיס אילו פריטי מידע תתקבל ההחלטה, ובמקביל פנינו למנהלים בארגון השדרה, שביקשו ללמוד את היקף ההטמעה של התרבות הארגונית החדשה ולקבל תובנות לגבי השלב האסטרטגי הבא. כלומר, שני גופים – שתי מטרות הערכה שונות. בתוך כך הוחלט מה לא מעריכים, וזה לא פחות חשוב: נמנעים מניסיון להעריך את השינוי בקרב “המוטבים” / “משתמשי הקצה”, משום שהשינוי אצלם צפוי להתרחש רק במורד הדרך. ההערכה סיפקה מידע מלא לשני השותפים – המממן קיבל מידע שתמך בהחלטה מושכלת על המימון, והארגון למד את היקף השינוי בתרבות הארגונית של עובדיו וכיצד יש להבנות את השלב הבא.
מאוחר יותר המממן ביצע הערכה שימושית נוספת, הפעם בקרב עובדיו שלו: עד כמה תהליכי הערכה שבוצעו עבורם אכן סייעו להם בקבלת ההחלטות? בעקבות התשובה שהתקבלה, הארגון שינה את תהליכי הערכה שהוא מוביל.
דור 3.0
כיצד ניתן לבצע הערכה כשרוצים לקיים מהלכים שיהיו שימושיים, ועוד מוסיפים להם נדבך של מערכות מורכבות וסביבה משתנה? באמצעות שימוש בגישות הערכה ייעודיות המתאימות למצבים ייחודיים ולהקשר שבו מתרחש התהליך.
הערכה מתפתחת (Developmental Evaluation): תפיסה שהוצגה על-ידי אותו Patton בספרו ב-2008, המיועדת לתמוך בתוכניות ואסטרטגיות צעירות, או בכאלו המתנהלות בסביבה משתנה ולכן משתנות כל תקופה. הרעיון המרכזי הוא שתהליך הערכה צריך להתבצע כחלק אינהרנטי ועקבי בתוכנית עצמה. צוות התוכנית והמעריך מזהים שאלות העשויות להשפיע על כיווני התפתחות התוכנית, ובהתאם מקיימים תהליך הערכה המספק תשובות נדרשות. בעקבותיהן מוטמע השינוי הנדרש וחוזר חלילה. במפגש שלי עמו הסביר פאטון שבדיעבד היה קורא להערכה הזאת הערכה הסתגלותית – כדי להדגיש את הרעיון שתהליך הערכה משתנה, כדי להסתגל לשינויים באסטרטגיה ו/או בתוכנית. מכל מקום, בהערכה מסוג זה קיים “איסור” למדוד תוצאות בגישה המסורתית, כיוון שהתוכנית אינה בשלה עדיין, וכן משום שהמטרה “זזה” כל הזמן – כלומר, כשמשתנה אסטרטגיה משתנים מטרות ותהליכים שאמורים להימדד (אל דאגה, כישראלים מצאנו גם לזה פיתרון…).
תפיסה מסוג זה רווחת היום לא רק כהערכה של תוכנית, אלא גם בקרב גופים פילנתרופיים פורצי דרך. במאמרים שונים מתוארות, למשל, פעולות של קרנות מובילות בארה”ב – הללו מנטרות באופן תדיר את השדות שבהם הן מבקשות לבצע שינוי באמצעות הערכה מתפתחת. כשהן מזהות הזדמנות, כגון החלטה של הממשל להגדיל את התקצוב לתחום מסוים, הן מתאימות את האסטרטגיה כדי לתמוך ביוזמות שישתלבו במהלכי הממשל ויבטיחו השפעה.
דוגמה נוספת, משיח לו הייתי שותף באחרונה: בשדה של השקעות אימפקט (Impact investments) מקובל לבצע מדידה תוצאתית, המכמתת את ההחזר על ההשקעה במונחים של השפעה חברתית (SROI – Social Return On Investment). יחד עם זאת, בחלוף הזמן, המשקיעים לומדים על מגבלותיה של הערכה זו, ומשלבים הערכה מתפתחת לשיפור הישגיהם.
דוגמאות מהשטח: הערכה מתפתחת לאסטרטגיה משתנה
אחד הארגונים שעמם אני עובד הוא ארגון מורכב מאוד, הפועל באתרים רבים ובסביבות מקומיות רבות, ויכולת מימוש האסטרטגיה שלו מושפעת מכוח אדם ותהליכים פנימיים כמו גם מאירועים ותקינה ממשלתית. בתוך הקלחת הזאת מובילה ההנהלה אסטרטגיה חדשנית הפורצת מוסכמות של עשורים רבים. הערכה מנטרת באופן עקבי מדדים ארגוניים, המסייעים לזהות את רמות המימוש של רכיבים באסטרטגיה. המדדים משתנים מדי תקופה, כדי להתאימם לשינויים שחלים באסטרטגיה. במקביל, ההנהלה מציבה שאלות ממוקדות על הצלחת האסטרטגיה כמכלול, הזוכות למענה בניתוח מידע קיים ו/או בביצוע של מערך מחקר ייעודי – כאשר מתוך המידע שעולה ההנהלה מקבלת החלטה לסובב את ההגה לכיוון הנדרש. לצד זאת, כל השותפים, ובהם גם מממנים, נדרשים לסבלנות בנושא אחד – תוצאות. השינוי מורכב כל-כך שקיימת הפנמה שאין לצפות מייד לתוצאות.
הערכת עקרונות (Principles Focused Evaluation). תפיסת הערכה שהוצגה ב-2018, מיועדת להובלת אסטרטגיה במערכות מורכבות, בעולם של Collective impact, קואליציות וכיו”ב. קיימת הבנה שישנה תוצאה ברמה הגבוהה שהיא ברורה ומוחלטת, כגון הפחתת פליטת גזי חממה. תוצאה מסוג זה נמדדות באופן תדיר על-ידי מומחים שאינם קשורים לתוכנית (כגון גופי ממשל, בנק מרכזי, הלשכה המרכזית לסטטיסטיקה בישראל). השאלה היא מה מודדים בדרך, כשיש מגוון של פעולות ו/או שותפים הפועלים בתצורות שונות? למשל, גורם אחד תומך בהכנסת כלי רכב מונעי חשמל ואחר בהקטנת צריכת בשר הבקר. אחד הפתרונות שהוצעו הוא מדידה של עקרונות מנחים: הסכמת השותפים על ערכים משותפים הנכונים לכל הפעולות, המתורגמים לעקרונות המנחים אותן. עקרונות כאלו אמורים בין היתר לספק הכוונה לצורה שעל פעילות ללבוש, לסייע בצמתי החלטה של מה כן לעשות ומה לא. וכך, במקום למדוד את רכיבי התהליך מודדים את הרמה שבה העקרונות ממומשים – אם כן, אנחנו בדרך הנכונה!
הערכה מסוג זה משמשת גופים פילנתרופיים וקואליציות למדידת שדה. היא יכולה לשמש כרכיב במערכת מדידה משותפת – המקובלת במסגרות של Collective Impact. לצד זאת, היא יכולה לסייע ברמת תוכנית בדידה – אסטרטגיה תכלול ערכים, אשר יתורגמו לעקרונות מנחים. הללו לא ישמשו רק למדידה, אלא גם לפיתוח מחוונים המנחים כיצד לפתח את הפעולות בתוכנית, באופן שיקדמו את האסטרטגיה.
דוגמאות מהשטח: הערכת פורום הקרנות לצד Global Alliance for the Future of Food
פורום הקרנות בישראל אימץ לפני שנתיים הערכת עקרונות, כבסיס להערכת התוכנית האסטרטגית שלו ולמימוש ערכי הליבה. בתוכנית האסטרטגית הוגדרו ערכי ליבה, הללו תורגמו לעקרונות מנחים, שהמימוש שלהם מוערך בסיום כל פעילות על-ידי מספר חברים. במקביל, נכתב מחוון המסייע לחברים לפתח פעולות, כך שיקדמו ככל הניתן את ערכי הפורום. בסוף כל שנה מבוצע ניתוח שבו מזוהה הרמה שבה הפעולות תומכות את מימוש ערכי הליבה, ומזוהים אלו עקרונות מומשו ואלו פחות. על בסיס ממצאים אלו מבוצעת למידה נוספת, שבסופה מעודכן המחוון.
לדוגמה: אחד מערכי הליבה בתוכנית האסטרטגית של פורום הקרנות הוא קהילתיות. בסדנה שבוצעה עם חברי הפורום הערך “תורגם” למספר עקרונות מנחים, בהם “שקיפות – פעולות פורום הקרנות יתוכננו, ימומשו ויוערכו בשותפות של מירב בעלי העניין”. בסיום כל פעילות נשאלים נציגים ממשתתפיה באיזו רמה היא בוצעה בשקיפות. בסיום השנה מתקבל מדד מסכם של שקיפות בפעילויות, וניתן להחליט האם ואיך להגביר אותה. במקביל, במחוון התכנון ניתן ללמוד מניסיון העבר של החברים, מה יכול לסייע להגברת השקיפות.
מימוש התפיסה ברמת השדה מוצג למשל על-ידי ה- Global Alliance for the Future of Food – ברית של קרנות פילנתרופיות המשתפות פעולה לשינוי מערכות המזון העולמיות כדי להשפיע על האקלים והבטחון התזונתי. הפעולה המורכבת בשדה הרחב הובילה את הברית לפתח מערך הערכה הכולל רכיבים מגוונים, בהם: הגדרה של 7 עקרונות מנחים, וכן הערכה מתפתחת שנועדה לסייע לברית להתפתח.
לסיום
שדה הערכה מתפתח לאורך העשורים האחרונים יד ביד עם ההתפתחות בשדה החשיבה הניהולית ובניהול הפילנתרופי. שדה זה כולל היום גישות מגוונות, והוא מציע פתרונות למגוון שאלות הערכה אפשריות, המתבססים על רעיונות של מדידה, שיפוט ולמידה. הגדרה מדויקת של צרכי ההערכה ומטרותיה תוביל לבחירת גישת ההערכה המיטבית, אשר תסייע לעבודת הקרן ו/או הארגון.
דוגמאות מהשטח: 7 עקרונות הערכה של Hewlett Foundation
- אנחנו מעריכים עם מטרה
- הערכה בבסיסה היא תהליך לימודי
- הערכה היא מרכיב מפתח במחזור החיים של האסטרטגיה
- אנחנו בוחרים באופן אסטרטגי מה להעריך
- אנחנו בוחרים שיטות הערכה קפדניות, ללא התפשרות על רלוונטיות
- אנחנו חולקים את הממצאים עם קהלים מתאימים ועם הציבור
- אנחנו משתמשים בנתונים!
לקריאה נוספת:
Scriven, M. 1967. The methodology of evaluation. In: Tyler, R. W., Gagne, R. M., & Scriven, M. (Eds.), Perspectives of Curriculum Evaluation. American Educational Research Association Monograph Series on Curriculum Evaluation, Vol. 1. Pp. 39-83
Patton, M. Q. (1978). Utilization-focused evaluation. Beverly Hills: Sage Publications
Patton, M. Q. (2011). Developmental evaluation: Applying complexity concepts to enhance innovation and use. Guilford Press
Patton, M. Q. (2018). Principles-focused evaluation: The GUIDE. Guilford Press
אתר עשיר על הערכה: https://www.betterevaluation.org/en
איגוד המעריכים האמריקני: https://www.eval.org/
חברת COMPASS כולל הפניות ומידע מקצועי: https://ccg.co.il/
חומרים על אפקטיביות הקרן, ניתן למצוא בין היתר כאן:
https://hewlett.org/practice-effective-philanthropy-resources-guides-hewlett-foundation/
מאמר מעורר השראה על פילנתרופיה אסטרטגית בכתב העת של סטנפורד (לצד מאמרים מעולים נוספים):
https://ssir.org/up_for_debate/article/strategic_philanthropy
אתר Global Alliance for the Future of Food:
https://futureoffood.org/our-approach/monitoring-and-evaluation/