Jak sprawdzić, czy projekt się udał?

tekst: Tomasz Kasprzak, Dominika Dzido, Marcin Jewdokimow i dr Bartłomiej Walczak, 2009

Czyli propozycja autoewaluacji dla uczestników projektów społeczno-kulturalnych*

Wstęp

Wiele osób realizujących różnorodne projektu społeczno-kulturalne, zwraca uwagę, że brakuje im narzędzi, które pomogłyby oceniać efekty ich własnej pracy. Bo jak na przykład sprawdzić wpływ projektu na społeczność lokalną, jeśli taki cel sobie założyliśmy? Albo ocenić zmianę postaw młodzieży, która brała udział w naszych warsztatach? Innymi słowy, skąd wiedzieć, czy projekt wpływa na tych, na których ma wpływać (czyli beneficjentów)? Oczywiście, realizatorzy projektu zdobywają tę wiedzę z własnych obserwacji i rozmów z uczestnikami. W tym miejscu proponujemy jednak lekko zmodyfikować te „naturalne” sposoby mierzenia wpływu własnych projektów. Główna zmiana dotyczy tzw. standaryzacji – proponujemy zadawać wszystkim osobom, z którymi np. rozmawia się o odbiorze projektu, te same pytania oraz notować lub rejestrować na dyktafonie odpowiedzi. Dzięki tej małej zmianie zyskujemy wartościową dokumentację, jak również ujednolicony materiał, który umożliwi porównanie odpowiedzi i spojrzenie na wydarzenie z szerszej perspektywy. Ta mała zmian sprawia również, że zaczynamy prowadzić autoewaluację, czyli samemu dokonywać oceny własnych działań (nie znaczy to oczywiście, że sami zadajemy sobie pytaniaJ - kontaktujemy się oczywiście z beneficjentami projektu i innymi jego odbiorcami).

Co to jest autoewaluacja?

Autoewaluacja to metoda umożliwiająca dokładniejsze poznanie efektów prowadzonych działań przez osoby/organizacje, które je realizują. Generalnie, polega na zbieraniu informacji na temat odbioru i wpływu prowadzonych działań, np. liczby uczestników, ich opinii o wydarzeniu, własnych odczuć związanych z nastrojem wydarzenia (np. czy uczestnicy byli pobudzeni, refleksyjni, zadowoleni itp.). Ta wiedza pozwala spojrzeć na własne działania w szerszej perspektywie, a dzięki temu m.in. rozwijać własną działalność oraz ulepszać przyszłe projekty.

Zalety autoewaluacji

Autoewaluacja umożliwia zdobycie wiedzy na temat realizacji własnego projektu, co umożliwia ocenę swoich działań, ich modyfikację (wyostrzenie pewnych elementów, osłabienie innych) w celu dostosowania do potrzeb beneficjentów. Grantodawcy też bardzo lubią, gdy ze sprawozdania z realizacji projektu wiedzą dokładnie, kto w nim uczestniczył, ile było tych osób, co zyskały, co się im podobało, itp.

Co robić z zebranymi materiałami?

Materiały zebrane w ramach autoewaluacji mogą być wykorzystane na różne sposoby. Po pierwsze, po opracowaniu mogą zostać włączone do sprawozdania z realizacji projektu. Po drugie, mogą być analizowane przez realizatorów projektu w celu zdobycia pogłębionej wiedzy o własnych działaniach. Po trzecie, mogą zostać przekazane ewaluatorom (tzn. osobom, które oceniają projekt „z zewnątrz”, aby pomóc organizatorom ustalić, które z zamierzonych celów zostały osiągnięte, a które nie) i/lub przedyskutowane z nimi. Po czwarte – pozwolą na sensowniejsze zaplanowanie przyszłych działań.

Narzędzia autoewaluacji, czyli jak to zrobić?

Do autoewaluacji można wykorzystać różne techniki:

1. obserwacja – polega na odnotowywaniu różnych elementów wydarzenia, np. zachowania uczestników i ich liczby podczas warsztatów, rozmów, które prowadzili oni podczas wystawy, itp. Istotnym elementem obserwacji jest sporządzenia notatek w trakcie trwania wydarzenia lub zaraz po jego zakończeniu, gdyż im więcej czasu upłynęło od wydarzenia, tym po prostu mniej się z niego pamięta. Przykładowa karta obserwacji – patrz dalej.

2. ankieta wśród uczestników – polega na rozdaniu uczestnikom wydarzenia (warsztatów, wystawy, itp.) ankiety dotyczącej przebiegu oraz odbioru wydarzenia (Co się podobało? Co się nie podobało? Czego brakowało? Itp.) oraz danych o samych uczestnikach (wiek, płeć, miejsce zamieszkania, zainteresowania). Pamiętajmy, żeby poinformować osoby ankietowane o anonimowości badania – i faktycznie tak postępować (czyli nie zbierać danych, które identyfikują ankietowanych, takich jak np. imię i nazwisko oraz nie upubliczniać danych o badanych). Dzięki temu możemy liczyć na bardziej szczere odpowiedzi i większą chęć udziału w badaniu. Przykładowa ankieta – patrz dalej.

3. wywiady indywidualne – chyba najlepszym sposobem poznania opinii konkretnych beneficjentów na temat projektu jest prowadzenie z nimi rozmów. Należy jednak pamiętać o przygotowaniu wcześniej pytań oraz o tym, że treść rozmowy należy notować lub rejestrować na dyktafonie. Dzięki temu zyskujemy nie tylko dokumentację, ale możemy też po wywiadzie, na spokojnie, jeszcze raz przeanalizować wypowiedź i odnieść ją do wypowiedzi innych osób, porównać. Tak samo jak w przypadku poprzednich technik, rozmowa może dotyczyć odbioru wydarzenia przez uczestnika (Co ci się najbardziej podobało? Dlaczego? W jaki sposób tu trafiłeś/aś? itp.). Przykładowe pytania – patrz dalej.

4. wywiady grupowe – niektóre wydarzenia, np. warsztaty, sprzyjają bardziej rozmowom grupowym niż indywidualnym (mamy wszystkich beneficjentów razem w jednym miejscu). W takiej sytuacji można przeprowadzić wywiad grupowy, czyli zapytać obecnych uczestników np. o to, co najbardziej im się podobało, co zmieniliby w warsztatach, itp. Pamiętajmy, żeby wypowiedzieć mógł się każdy uczestnik. Tak jak w przypadku innych technik należy sporządzać notatki i/lub rejestrować wywiad.

5. fotoesej – w trakcie realizacji projektu robi się zazwyczaj dużo zdjęć – podejmowanych działań, uczestników naszego projektu czy osiągniętych rezultatów. W ramach ewaluacji możemy wykorzystać ten zwyczaj, proponując formę fotoeseju. Dzięki fotoesejom powstają wizualne materiały promujące projekt (jest to ważne dla organizacji, a także dla grantodawców). Dla osób realizujących projekt, jest to możliwość przyjęcie innej perspektywy patrzenia na podejmowane działania; wreszcie dla ewaluatorów fotoesej stanowi dodatkowy, ważny element ewaluacji.

Co to jest fotoesej?
Fotoesej to fotograficzna opowieść na dowolny temat, w której za pomocą serii zdjęć próbuje się „opowiedzieć” daną historię czy przedstawić dany problem. Ponieważ zdjęcia same z siebie są wieloznaczne, wykonane serie będą opisane przez ich autorów. Nasz fotoesej składa się z trzech etapów: przed, w trakcie i po zakończeniu działań. Aby fotoesej pozostał formą owocną i zarazem nieobciążającą, proponujemy wykonanie małej ilości zdjęć (od 5 do 8) w trzech etapach projektu; wedle poniższego schematu:

Etapy fotografowania:
1.Wykonanie 5 – 8 zdjęć, które najlepiej przedstawiają otoczenia, w którym chcemy pracować, które chcemy zmienić (ludzie, miejsca, sytuacje) plus opis zdjęć i uzasadnienie wyboru tego, co na zdjęciach
2.Wykonanie 5 – 8 zdjęć, które najlepiej przedstawiają aktywności podejmowane w ramach realizowanego działania (ludzie, miejsca, sytuacje) plus opis zdjęć i uzasadnienie wyboru tego, co na zdjęciach
3.Wykonanie 5 – 8 zdjęć, które najlepiej przedstawiają efekty podjętych działań – zarówno dla środowiska (otoczenia, lokalnej społeczności itd.), jak i dla uczestników projektu (ludzie, miejsca, sytuacje) plus opis zdjęć i uzasadnienie wyboru tego, co na zdjęciach

Poza autoewaluacją rozwojowi projektu sprzyja również zbieranie danych zastanych, czyli publikacji (książki, broszury, przewodniki, wycinki z gazet, informacje z internetu itp.), zdjęć, itp., które wiążą się z tematyką projektu i miejscem, w którym jest on realizowany. Bardzo się to przydaje do rozbudowywania własnego projektu oraz umieszczania go w szerszym kontekście.

Poniżej przedstawiamy przykładową ankietę, kartę obserwacji oraz scenariusze do wywiadów indywidualnych i grupowych, które wykorzystać można do autoewaluacji.

Jeżeli jesteście zainteresowanie pogłębieniem wiedzy o ewaluacji metodach badawczych polecamy:

Babbie E., Badania społeczne w praktyce, Warszawa 2003, PWN.
B. Abrignani, R. Gomes, D. de Vilder (red.), Zarządzanie projektem. Pakiet szkoleniowy (seria „T-kit“), rozdział 3.4. Ewaluacja projektu (Pakiety są dostępne w Internecie: http://www.mlodziez.org.pl/index.php/ida/7/)

DODATKOWE MATERIAŁY

Miejsce:
Data:

Dziękujemy za wypełnienie ankiety!

Robimy notatki z obserwacji z każdych imprez/szkoleń itd. w których uczestniczymy (najlepiej zaraz po wydarzeniu, „na świeżo”- później dużo się traci). Zapisujemy zarówno to, co obserwujemy, jak i nasze interpretacje.

1. Obszary obserwacji
1.1 Krótka charakterystyka miejsca (imprezy, szkolenia, festiwalu itd.)
1.1.1 Opis:
1.1.2 typ miejsca:
1.1.3 położenie (np. centralny plac/peryferie/odległość od ważnych budynków)
1.1.5 warunki lokalowe
1.1.6 inne:
                                          _
1.2 Krótka charakterystyka odbiorców/uczestników
1.2.1 liczba
1.2.2 proporcja młodzieży szkolnej
1.2.3 proporcja płci i wieku
1.2.4 czy są to celowo dobrani beneficjenci czy przypadkowe osoby:
1.2.5    wielkość “towarzystwa” (czy są jakieś wyodrębniające się grupy)
1.2.5 zmiany tych charakterystyk w trakcie obserwacji (kto doszedł, kto wyszedł?)

1.3 Opis zachowań uczestników
1.3.1 rodzaje aktywności:
1.3.2 wypowiedzi (co i jak mówią – cytaty):
1.3.3 stosunek osób uczestniczących do działań:
1.3.4 czy uczestnicy wiedzą, kto jest organizatorem i czego dotyczy program

1.4 Zachowania towarzyszące (jeżeli się pojawią)
1.4.1 np. taniec
1.4.2 np. rozmowy
1.4.3 np. kłótnie
1.4.4 np. zachowania ryzykowne (agresywne gesty, bójki, zaczepki, picie, czy są oponenci?)
1.4.5 zainteresowanie/brak zainteresowania
1.4.6 inne (jakie?)

Uwagi Każdy wywiad warto nagrywać, ewentualnie zrobić notatki w trakcie wywiadu. Po wywiadzie należy zapisać z kim wywiad był prowadzony (kto to, czym się zajmuje). Poniższe pytania podane są w wersji dla młodzieży (bez form grzecznościowych Pani/Pani) warto to zmodyfikować gdy rozmawiamy z kimś starszym:

1. Jak oceniasz program wydarzenia?

2. Jak oceniasz realizację wydarzenia?

3. Jaka była największa zaleta wydarzenia?

4. Jaka była największa wada wydarzenia?

5. Dlaczego wziąłeś/wzięłaś udział w tym wydarzeniu?

6. Czy nauczyłeś się czegoś o innych kulturach / narodach / religiach? Jeżeli tak to czego?

7. Co o tym wydarzeniu mówią inne osoby, które znasz?

Autorzy:

Tomasz Kasprzak
oraz zespół badawczy:
Dominika Dzido, Marcin Jewdokimow i dr Bartłomiej Walczak

Redakcja tekstu dla e-Akademii:
Agnieszka Pajączkowska

* Tekst powstał w ramach projektu „Dla Tolerancji: to, co wspólne/to, co rożne” realizowanego przez Fundację Batorego w partnerstwie z Towarzystwem Inicjatyw Twórczych „ę”. Na potrzeby e-Akademii tekst został w nieznacznym stopniu przeredagowany.
Źródło: http://www.dlatolerancji.pl/ewaluacja.html