Zewnętrzna ewaluacja ex post – przykład zastosowania

Badania ewaluacyjne projektów z zakresu edukacji, profilaktyki czy promocji zdrowia powinny stanowić obligatoryjny element ich wdrażania. Powinny nie tylko być prowadzone w sposób stały, ale zaleca się także, aby realizowały je osoby nie zaangażowane w przygotowanie i prowadzenie walidowanych działań. Przedstawiamy wybrane wyniki takich właśnie badań ewaluacyjnych programów warszawskiej Fundacji Centrum Edukacji Liderskiej zrealizowanych w latach 2007-2010.

Prowadzenie ewaluacji zewnętrznej minimalizuje zakłócające wpływy tzw. lęku przed oceną i oczekiwań eksperymentatora¹⁾. Użyteczność prowadzonej w ten sposób ewaluacji wyraża się przede wszystkim w dostarczeniu danych pozwalających na wprowadzanie ewentualnych korekt, podnoszących jakość projektów, a także w podsumowującej je ocenie (szczególnie, gdy prowadzona jest w systematyczny sposób przez dłuższy czas).

Programy i ich ewaluacja

Realizowane przez Fundację programy²⁾ adresowane są do trzech podstawowych typów odbiorców: młodych dorosłych (np. DDA), rodziców i dorosłych członków rodzin dysfunkcyjnych. Projekty przybierają formę zajęć warsztatowych (poprzedzanych konsultacjami indywidualnymi z psychologiem) mających na celu m. in. rozwój osobisty, zdobycie wiedzy/umiejętności przydatnych w rozwiązywaniu problemów osobistych, kształtowaniu relacji z ludźmi (członkami rodziny, partnerami życiowymi), wychowywaniu dzieci. Czas ich trwania jest zróżnicowany – od 8 do 80 godzin. Większość projektów (i ich ewaluacji) finansowana była ze środków warszawskiego samorządu, a także m. in. Krajowego Biura ds. Przeciwdziałania Narkomanii, Programu Operacyjnego Funduszu Inicjatyw Obywatelskich i Mazowieckiego Centrum Polityki Społecznej.

Wszystkie programy wdrażane przez Fundację podlegają (także obecnie) ewaluacji ex post wykorzystującej tę samą ilościową metodologię – badanie stanowi ostatni element realizacji projektów i prowadzone jest za pośrednictwem ankiet audytoryjnych³⁾. Relacjonowana niżej ewaluacja miała anonimowy i zewnętrzny charakter (poza pojedynczymi przypadkami)⁴⁾, pomiary przeprowadzili: Agnieszka Górecka, Albert Hupa i autor niniejszego artykułu. Ankietowani informowani byli o celu badania, zasadzie anonimowości (również o tym, że osoby prowadzące zajęcia nie będą miały wglądu do wypełnionych kwestionariuszy) i sposobie wykorzystania wyników – tworzenie zbiorczych zestawień na bieżąco przekazywanych trenerom, prowadzącym podlegające ewaluacji zajęcia i kierownictwu Fundacji oraz opracowanie rocznego raportu na użytek Fundacji i sponsorów. Niektórzy uczestnicy pomiarów wchodzili w skład więcej niż jednej grupy warsztatowej, dlatego liczba oddanych ankiet nie odpowiada liczbie uczestników zajęć. Liczby ankiet zebrane w poszczególnych latach: 2007 r. – 385, 2008 r. – 361, 2009 r. – 526, 2010 r. – 621.

Dane zebrane w ostatnich latach potwierdzają, że socjodemograficzny profil uczestników warsztatów pozostaje zasadniczo niezmienny. Dominują kobiety (w 2010 r. – 84,2% kwestionariuszy), trzydziesto-czterdziestolatkowie (w 2010 r. – 39,6%) oraz dwudziestolatkowie (w 2010 r. – 34,5%). Zwykle są to osoby z wyższym wykształceniem lub studiujące (w 2010 r. –70,5%), czynne zawodowo i/lub uczące się (w 2010 r. – 87,0%).

Prezentacja wyników badań

Recepcja sposobu realizacji zajęć

Sposób prowadzenia zajęć oceniano za pośrednictwem skali od 1 (bardzo źle) do 5 (bardzo dobrze). W latach 2007–2010 średnie arytmetyczne ocen dotyczących komunikatywności i profesjonalnego przygotowania trenerów utrzymywały się na takim samym poziomie: 4,8. W analizowanych latach, dwie najwyższe oceny dotyczące sposobu realizacji zajęć, zaznaczano w 95,6% lub więcej kwestionariuszy. W 2010 r. były to: komunikatywność – 96,9%, profesjonalne przygotowanie – 96,3%. Za wyjątkiem 2009 r. nie odnotowano wskazań najniższych (jedynki). W 2010 r. w próbie znalazło się 0,3% odpowiedzi (dotyczących komunikatywności i profesjonalnego przygotowania), w których badani zaznaczyli dwójki (najwięcej takich ocen wystawiono w 2009 r.: 0,6% – profesjonalne przygotowanie; w 2008 r. nikt nie dokonał takiej oceny).

Ocena przydatności zajęć i stopnia realizacji potrzeb

W 2010 r. na pytanie „Czy w trakcie zajęć zdobył(a) Pan(i) jakieś nowe umiejętności lub wiadomości?” (N=606) uzyskano 99,0% odpowiedzi twierdzących. W pozostałych przypadkach zakreślono „nie”.

Respondenci, którzy udzielili pozytywnej odpowiedzi na powyższe pytanie, poproszeni zostali o wskazanie, jakie wiadomości lub umiejętności uległy zmianie. W 80,0% zakreślono „poznanie osobistych możliwości i ograniczeń”. W ponad połowie ankiet wskazano na „komunikację” (58,2%) oraz „formułowanie celów i potrzeb” (56,8%). Niemal w co drugim przypadku (49,2%) stwierdzano „docenienie własnej wartości”.

W latach 2007–2010 kategoria „poznanie osobistych możliwości i ograniczeń” wskazywana była najczęściej. W analizowanym okresie, pierwsze pięć⁵⁾ najczęściej zaznaczanych odpowiedzi pozostaje niezmiennych (różnice dotyczą tylko rang – maksymalnie w zakresie dwóch pozycji). Oprócz czterech wyżej wymienionych są to jeszcze „zasady współpracy z innymi”.

Ankietowani zostali poproszeni, aby posługując się wspomnianą skalą od 1 do 5, dokonali ewaluacji przydatności warsztatów ze względu na: poszerzenie lub utrwalenie 1) wiedzy oraz 2) umiejętności. W 2010 r. średnie arytmetyczne ocen to 4,5. „Ogólna atrakcyjność zajęć” – 4,6. W latach 2007–2009 średnie wynosiły od 4,3 do 4,6.

W 2010 r., podobnie jak w latach ubiegłych, w ewaluacji przydatności zajęć ze względu na poszerzenie lub utrwalenie umiejętności i wiedzy oraz ogólnej atrakcyjności zajęć dominowały czwórki lub piątki, odsetki wyniosły odpowiednio: 90,9%, 90,2% i 94,4%. W okresie od 2007 r. do 2009 r. wskazania na dwie najwyższe noty w odniesieniu do poszerzenia lub utrwalenia wiedzy i umiejętności utrzymywały się na poziomie od 80,8% do 91,7%. Z kolei ewaluacje z lat 2007–2009, dotyczące ogólnej atrakcyjności zajęć, wskazujące na cztery lub pięć, przekraczały 91% odpowiedzi – od 91,9% do 93,0%. Każdorazowo piątki wystawiano w ponad połowie przypadków (okres 2007–2010, ocena dotycząca umiejętności, wiedzy i ogólnej atrakcyjności warsztatów). W odniesieniu do poszczególnych analizowanych kategorii, w latach 2007–2010, przypadki zakreślania jedynek lub dwójek utrzymywały się na poziomie od 0,0% do 3,9%.

Badani dokonywali ewaluacji stopnia realizacji oczekiwań związanych z udziałem w zajęciach, posługując się siedmiostopniową skalą: 0 – w ogóle, 1 – w bardzo małym stopniu, 2 – w małym, 3 – w średnim, 4 – w dużym, 5 – w bardzo dużym, 6 – całkowicie. Średnia arytmetyczna wskazań w 2010 r. to 4,6 (N=617), 2009 r. – 4,6 (N=521), 2008 r. – 4,7 (N=359), 2007 r. – 4,5 (N=381).

W 87,0% kwestionariuszy zebranych w 2010 r. uznano, że zajęcia spełniły oczekiwania respondentów w dużym lub większym stopniu (2009 r. – 85,4%, 2008 r. – 89,7%, 2007 r. – 85,2%). Odpowiedzi przeciwne (0, 1 lub 2) – 2,3% (2009 r. – 2,6%, 2008 r. – 1,1%, 2007 r. – 2,1%). W ponad połowie przypadków (59,8%) oceniono, że oczekiwania zrealizowano w dużym stopniu lub całkowicie (2009 r. – 57,8%, 2008 r. – 59,5%, 2007 r. – 52,7%). Wskazania przeciwstawne („w ogóle”, „w bardzo małym stopniu”) – 0,5% (2009 r. – 1,1%, 2008 r. – 0,3%, 2007 r. – 1,1%).

Generalnie, w 2010 r., podobnie jak w latach ubiegłych, uczestnicy badania uznali, że udział w projektach realizowanych przez Fundację CEL wiązał się z doskonaleniem wiedzy i umiejętności odnoszących się zarówno do sfery jednostkowej, jak i interpersonalnej, a w szczególności do: samopoznania, sfery komunikacyjnej oraz formułowania celów i potrzeb. Sposób prowadzenia zajęć i ich przydatność zostały ocenione bardzo wysoko. Udział w warsztatach – w opinii respondentów – wiązał się z wysokim stopniem realizacji ich potrzeb.