Wstępna ewaluacja programu „Smak życia, czyli debata o dopalaczach”
Na początku lipca odbyło się spotkanie EAD – europejskiej kampanii przeciw narkotykom. Była to okazja do przyjrzenia się rozmaitym inicjatywom obywatelskim zmierzającym do ograniczania popytu na narkotyki w Europie, jaki i do zaprezentowania naszego programu pt. „Smak życia, czyli debata o dopalaczach” oraz wyników jego ewaluacji.
Akurat zakończyłem wstępną fazę badań ewaluacyjnych nad tą procedurą i mogłem zapoznać zebranych nie tylko z kształtem scenariusza, ale również z wynikami wstępnych – tym niemniej bardzo cennych – badań ewaluacyjnych.
Istnieje pewien stały „cykl rozwojowy” programów profilaktycznych. Od zaproponowania programu i początkowych realizacji mija zwykle pewien czas, zanim osiągnie on pełną dojrzałość czyli „zoptymalizuje się”. Badania zawsze sugerują pewne zmiany, czasami istotne, i w tej fazie program zawsze powinien być traktowany jako wstępny projekt, który ma prawo być zmieniany, kwestionowany, rozwijany. Podstawą do takich zmian są właśnie rezultaty badań prowadzonych w trakcie pierwszych realizacji. W artykule przedstawiam wybrane wyniki.
W ciągu ostatnich kilku miesięcy przeprowadziłem szereg realizacji programu. Proces ten trwał od marca i dotyczył pracy z różnymi grupami osób, od gimnazjalistów z klasy I do dorosłych uczestników seminarium trzeźwościowego w Mikołowie, czy grupy nauczycieli w Częstochowie. W sumie zebrałem osobiste doświadczenie w kontakcie z ponad 500 osobami – jeżeli liczyć grupy staranniej ankietowane, a z ponad 1000 – jeśli liczyć wszystkich uczestników. Daje to już jakiś wgląd w zaproponowaną strukturę.
W tym artykule nie ma potrzeby wyjaśniania jak prowadzi się ten program, gdyż jest on skierowany do domeny publicznej, czyli dostępny dla każdego zainteresowanego. Był wydany drukiem, można go pobrać ze strony internetowej KBPN. W artykule skupię się tylko na uwagach ewaluacyjno-rozwojowych, gdyż mogą być przydatne tym, którzy zechcą realizować „Smak życia”.
Aspekty wdrożeniowe
Przede wszystkim cieszy to, że program jest wykonywalny, że daje się zastosować. Przecież to jest podstawowa kwestia w każdym przypadku. Miałem już do czynienia ze scenariuszami, które były wielce obiecujące, ale zbyt sofistyczne i przez to niewykonalne w praktyce. Mój „Smak życia” chyba do nich nie należy. Daje się sprawnie poprowadzić w założonym czasie i w warunkach opisanych w scenariuszu. Oczywiście daje się prowadzić przez autora. Zatem nadal otwarta jest kwestia prowadzenia programu przez osobę, która zna go tylko z lektury opisu programu. Sprawdzenie „wydolności” scenariusza w rękach kolejnych prowadzących to ważny aspekt dalszych badań ewaluacyjnych, zapewne kluczowy. Jednak sprawność wyjściowej struktury ma znaczenie i zwłaszcza w przypadku wykonań autorskich program nie powinien się zacinać. I nie zacina się. Idzie tak, jak w scenariuszu, w sposób zwarty, energiczny, dynamiczny. Takie jest moje autorskie doświadczenie.
A co z innymi osobami? Na jesieni przekazałem wstępny scenariusz kilkudziesięciu osobom do obejrzenia i ewentualnego zastosowania. Byli to doświadczeni profilaktycy. Jednak, mimo moich próśb czy nawet wymagań, bardzo nieliczni podzielili się swoimi uwagami po lekturze lub realizacji. Ta sytuacja bardzo mnie zastanowiła. Odniosłem wręcz wrażenie zmiany na „polskim rynku profilaktycznym”. Gdy w latach 90. rozpoczynałem projektowanie moich specyficznych programów, sytuacja była inna. Realizatorzy byli skłonni nawet zrzeszyć się w Stowarzyszeniu Noe i byli otwarci na wymianę doświadczeń, na wspólne szkolenie. Dziś jakby zindywidualizowaliśmy się. „Każdy sobie rzepkę skrobie” i… oferuje ją klientom. Profilaktyka niepostrzeżenie urynkowiła się, ale czy w dobrym kierunku?
W artykule Adama Czerwińskiego pod tytułem „Lekarze: „Dopalacze zeszły do podziemia i wciąż trują”, który znalazłem w serwisie internetowym Gazeta.pl (08.08.2011) przeczytałem, że systematycznie pojawiają się „klienci dopalaczowi” na toksykologii w Instytucie Medycyny Pracy (ok. dwie osoby na tydzień, co ciekawe, klasyczne narkotyki skutkują ok. dwoma przyjęciami w miesiącu). Zatem nie jest to już lawina hospitalizacji, jak na początku epidemii, ale strumyczek wyraźnie toczący swe wody. Dopalacze stały się kolejnym nielegalnym środkiem i szukają swego miejsca w życiu społecznym. To, że tak się stanie było pewne. Tak jak pewne było dla mnie to, że trzeba je jak najszybciej zdelegalizować, gdyż status legalności i dostępności, wraz z elementem pewnego rodzaju nowości, sprawiał, że szybko się rozpowszechniały i w ciągu dwóch lat zdołały zająć część rynku substancji – jak widać niemałą.
Czy to znaczy, że nie należy robić takich ruchów jak zrobił rząd? Nie, nieustannie chwalę rząd za zdecydowanie w tej sprawie (może za pewne szczegóły wykonawcze już mniej). Trzeba zawsze starać się ograniczać dostępność wszystkich szkodliwych substancji psychoaktywnych działających na człowieka. W tej sprawie krótka historia „substancji zastępczych” jest wręcz modelowa i stanowi komentarz do modnych ostatnio trendów legalizacyjnych w sprawie narkotyków. Z wielu badań wiadomo: zasadniczym czynnikiem ryzyka używania substancji jest ich dostępność. I nic tego nie zmieni, bo taka jest natura ludzka (w którą koledzy postmoderniści nie wierzą, chociaż w niej sami uczestniczą). Świat pełnej dostępności szkodliwych substancji psychoaktywnych – o jakim, jestem przekonany, wielu w głębi serca marzy – jest bardzo szkodliwą utopią. Ze względu na ludzkie słabości taki świat zaczyna cierpieć i szukający radości odnajdują smutek.
Wspominam o tym, ponieważ irytują mnie liczne głosy „ekspertów”, którzy upatrują remedium na kłopoty z narkotykami w ich pełnej dostępności. Taką intencję wyczuwam w wielu głosach – niestety. I jest to intencja, która odsłania niedojrzałość tych, którym nie przeszkadza ludzka słabość, która nam, jako ludziom, stale towarzyszy. Otóż mnie przeszkadza i wizja skrajnie „wolnego świata” z narkotykami w każdym kiosku, nie jest moją ulubioną wizją. Nawet odważni kiedyś Holendrzy mają ostatnio dosyć swego „konopnego raju” i usiłują administracyjnie ograniczyć podaż przetworów konopi.
Wyniki badań
Wracajmy do programu. Warto przyjrzeć się pewnym podstawowym wynikom ewaluacji formatywnej. Pokażemy je na podstawie wyników jednego badania w jednej z podwarszawskich szkół, gdzie autor przeprowadził osobiście dziewięć spotkań z uczniami gimnazjum. Zebrano po programie 147 ankiet po 7 realizacjach (2 spotkań nie badano ilościowo).
We wszystkich 9 klasach program przebiegał zgodnie z treścią scenariusza i bez jakichkolwiek przeszkód technicznych czy organizacyjnych, przy bardzo dużym zaangażowaniu uczestników. Uczniowie w pełni włączali się w zajęcia i zasadniczo przestrzegali kontraktu dydaktycznego ustanowionego na początku każdych zajęć. Ewentualne trudności ze strony zachowania uczniów nie przekraczały ram wyznaczonych dobrem programu. W zajęciach brali też udział nauczyciele-wychowawcy jako obserwatorzy, – 9 osób.
Wnioski z wstępnej ankiety roboczej
Zwykle na początku zajęć dokonuje się kroku w postaci zachęcenia uczniów do wypełnienia ankiety wstępnej. Ma ona pomóc w programie, jest jego częścią i zasadniczo nie jest badaniem epidemiologicznym. Mimo to, można z niej wysnuć pewne wstępne wnioski, dotyczące sytuacji uczniów z punktu widzenia problemów z używaniem substancji. Najważniejszym wskaźnikiem jest liczba uczniów, którzy w ciągu ostatniego miesiąca pili napoje alkoholowe, palili tytoń, używali narkotyków czy dopalaczy. Wyniki tych wstępnych ustaleń wskazują na to, że uczniowie w badanym gimnazjum, prezentowali średni poziom używania substancji psychoaktywnych w sposób zbliżony do wyników ogólnej populacji polskiej w tym wieku i sytuacji. Najczęściej używany był alkohol (głównie w postaci piwa), następnie tytoń, w bardzo małym zakresie narkotyki i dopalacze. Mimo tego optymistycznego wyniku, trzeba też zaznaczyć, że we wszystkich klasach dała się zaobserwować obecność grupy podwyższonego ryzyka, która w styl życia już wpisała używanie substancji i stanowi nawet niewielką, swoistą „subkulturę” szkolną.
Zbiorcze wyniki ankiet ewaluacyjnych
Po zakończeniu zajęć proponuje się uczniom wypełnienie formatywnej ankiety ewaluacyjnej. Pozwala ona na ocenę recepcji zajęć i wyrażenie zadowolenia bądź niezadowolenia. Oto wyniki na podstawie 147 ankiet.
„Czy zajęcia, w których brałeś udział podobały Ci się?”
Odpowiedzi | TAK | NIE | Trudno powiedzieć |
Liczba wskazań | 122 | 6 | 19 |
Proc. | 83,0 | 4,1 | 12,9 |
Sytuacja, w której ponad 4/5 uczestników akceptuje zajęcia, które przecież mają w sobie aspekty interwencyjne, wskazuje na uniwersalny charakter programu. Program podoba się, co jest podstawową cechą wszelkich udanych działań psychoedukacyjnych. Uzyskanie takiego wyniku bardzo zachęca do posługiwania się scenariuszem.
„Na jaki stopień w skali szkolnej (1-6) oceniasz te zajęcia?”
Ocena | 1 | 2 | 3 | 4 | 5 | 6 |
Liczba wskazań | 2 | 2 | 6 | 26 | 72 | 39 |
Proc. | 1,4 | 1,4 | 4,1 | 17,7 | 49,0 | 26,5 |
Uzyskana średnia: 4,9 w szkolnej skali ocen. Jeżeli uznać, że oceny od „4” w górę są wyrazem zadowolenia z uczestnictwa w programie, to aż 93,1% uczestników wyraziło w ten sposób uznanie dla zajęć. To bardzo wysoki wskaźnik.
„Na jaki stopień w szkolnej skali ocen oceniasz pracę prowadzącego program?”
Ocena | 1 | 2 | 3 | 4 | 5 | 6 |
Liczba wskazań | 2 | 1 | 5 | 10 | 54 | 75 |
Proc. | 1,4 | 0,7 | 3,4 | 6,8 | 36,7 | 51,0 |
Pytanie to wyodrębnia ten element zajęć, który jest związany ze stylem pracy prowadzącego. Jak widać styl ten przypadł do gustu uczestnikom: 94,5% uczestników wystawiło co najmniej czwórkę. Średnia: 5,3. Wyraźnie wskazuje to na konieczność dbania o kontakt z uczestnikami. Styl prowadzenia pracy jest bardzo ważny, gdyż przekłada się na wiarygodność komunikatów profilaktycznych i ich odbiór.
W ankiecie znalazło się też pytanie otwarte, w którym sprawdzano, czy jakiś element programu był szczególnie znaczący dla uczestników. Odpowiedzi mają duże znaczenie dla doskonalenia programu i analizy jego recepcji. Pozwalało również na ocenę zbiorczą, gdyż wysoki poziom wskazań sprzyja uznaniu zajęć za wciągające dla uczestników i orientację co do tych elementów, które mają szczególne znaczenie. W artykule pominę szczegóły podając jedynie ilu uczestników zechciało potwierdzić i wpisać jakiś element. Potwierdzenie i wpis – 95 osoby (64,6%). Zaprzeczenie – 52 respondentów (35,4%). Kolejne pytanie otwarte dotyczyło elementów programu, które mogą być potencjalnie niekorzystne, zniechęcające, szkodliwe. Aż 92,5%, czyli 136 uczestników nie dopatrzyło się takich elementów. Potwierdzenie i wpis – 11 osób (7,5%).
„Czy uważasz, że należy proponować takie zajęcia uczniom w Twoim wieku?”
Odpowiedzi | TAK | NIE | Trudno powiedzieć |
Liczba wskazań | 130 | 8 | 9 |
Proc. | 88,4 | 5,4 | 6,1 |
Ewentualna rekomendacja programu jako odpowiedniego dla rówieśników jest bardzo ważnym kryterium ewaluacyjnym, gdyż „obiektywizuje” odpowiedź – przestają mieć znaczenie względy osobiste, a wychodzą na plan pierwszy istotne obserwacje poczynione w trakcie pracy. Ponownie ponad 4/5 uczestników zaakceptowało program w roli narzędzia dla podobnych sobie osób.
„Czy sądzisz, że uczestnicy tego rodzaju zajęć będą po nich bardziej ostrożni w kwestii używania substancji psychoaktywnych?”
Odpowiedzi | TAK | NIE | Trudno powiedzieć |
Liczba wskazań | 83 | 16 | 48 |
Proc. | 56,5 | 10,9 | 32,7 |
Pytanie jest próbą potraktowania uczestników jako „ekspertów” albo „sędziów kompetentnych”. Ponad 1/2 uczestników uznała, że ich zdaniem odbiorcy programu mogą zwiększyć swoją ostrożność. Taki wynik to wspaniała zachęta do dokonania ewaluacji sumatywnej. Taki program dobrze rokuje pod względem wpływu profilaktycznego.
„Czy zajęcia wniosły coś nowego do Twojej wiedzy lub Twoich poglądów na temat substancji psychoaktywnych?”
Odpowiedzi | TAK | NIE | Trudno powiedzieć |
Liczba wskazań | 120 | 16 | 11 |
Proc. | 81,6 | 10,9 | 7,5 |
Przyrost wiedzy nie jest warunkiem wystarczającym w interwencji profilaktycznej, ale jest elementem niezbędnym. Bez przyrostu wiedzy nie ma zmiany postaw, a bez niej nie ma zmiany zachowań. Liczba osób, które nie dowiedziały się niczego nowego wyniosła poniżej 20%. To wskazuje na dużą siłę edukacyjną programu, w końcu dość krótkiego w przebiegu – tylko 3 godziny lekcyjne.
„Czy chciałbyś/chciałabyś, aby w przyszłości Twoje dzieci w wieku nastoletnim wzięły udział w takich zajęciach w szkole?”
Odpowiedzi | TAK | NIE | Trudno powiedzieć |
Liczba wskazań | 128 | 9 | 10 |
Proc. | 87,1 | 6,1 | 6,8 |
Odpowiedź twierdząca na poziomie 87% jest rewelacyjna. „Zatroskanie o przyszłe potomstwo” jest bowiem sytuacją, która w jakimś stopniu eliminuje subiektywny opór i pozwala na bezstronną ocenę programu. Jak widać jest ona bardzo pozytywna.
„Zajęcia miały sprawić, aby osoby w Twoim wieku nie sięgały po substancje psychoaktywne. Czy Twoim zdaniem udało się taki cel osiągnąć?”
Odpowiedzi | TAK | NIE | Trudno powiedzieć |
Liczba wskazań | 81 | 13 | 53 |
Proc. | 55,1 | 8,8 | 36,1 |
Pytanie to stanowi niezwykłe wyzwanie. Młodzi ludzie, podobnie jak dorośli, raczej wątpią w skuteczność oddziaływań profilaktycznych. Dlatego pytanie jest wyzwaniem wobec naturalnego (i często uzasadnionego) sceptycyzmu profilaktycznego. W takich warunkach liczba sądzących, że program tego typu wpłynie na zachowania, wynosi powyżej 1/2. To niezwykle optymistyczny wynik, dodajmy – znacznie bardziej optymistyczny – niż przewidywania samego autora programu.
Wyniki ankiety formatywnej są pozytywne. Wydaje się, że zajęcia spełniły swoją rolę w ramach profilaktyki uniwersalnej. Ujawniły również duży pozytywny potencjał profilaktyczny odbiorców. Gdyby był on mocniej wykorzystany, to zapewne udałoby się zatrzymanie tzw. trendu rozwojowego w zakresie picia alkoholu, palenia i brania narkotyków przez osoby biorące udział w programie.
Perspektywy
Co dalej? Dalej przed nami kolejne badania ewaluacyjne, które doskonalą program. Z punktu widzenia autora narzędzie wydaje się wielce obiecujące. Kto wie, może to będzie kiedyś najlepszy z moich programów? Mam zamiar przede wszystkim dokonać dalszej uniwersalizacji programu, tak aby jego stosowalność nie zawężała się wyłącznie do „środków zastępczych” czyli tzw. dopalaczy. Najbliższy rok zajmą zastosowania i badania, miejmy nadzieję, że doprowadzone do etapu ewaluacji sumatywnej. W każdym razie będę badał sumatywnie raczej już rozwiniętą, zoptymalizowaną postać programu. We wrześniu będzie okazja wprowadzić w program grono osób biorących udział w warsztatach profilaktycznych w Sopocie (III Sopockie Sympozjum „Nowe wyzwania w profilaktyce i terapii uzależnień”) i chociaż będzie to krótki warsztat, to da kolejną wiedzę o sposobach uczenia adeptów programu, wprowadzania w jego stosowanie. Może też dojrzeję do pełnego szkolenia? W ramach tego co robię w WSNS Pedagogium byłoby to możliwe jako formalny kurs udoskonalonego programu. Wydaje się, że bez takiego zaopiekowania program nie przyjmie się sam z siebie. Scenariusze nie mają takich własności, muszą mieć stałe zaplecze wdrożeń i badań. Chociaż czasy idą trudne, spróbuję zabezpieczyć rozwojowo to moje kolejne „profilaktyczne dziecko”, najlepiej jak się da. Zapraszam Czytelników do współpracy.
Publikacja pierwotna: miesięcznik „Remedium” nr 10/2011.