Pełny tekst publikacji

( 246,3 kb )

Streszczenie

    Ocenę (ewaluację) programu można zdefiniować jako określenie jego wartości w odniesieniu do wcześniej zdefiniowanych kryteriów i w oparciu o odpowiednie informacje. Ponieważ z całego zestawu zagadnień związanych z przygotowaniem i wdrażaniem obecnych i przyszłych programów pomocowych Unii Europejskiej, sprawy dotyczące oceny (ewaluacji) są najmniej znane (czego najlepszym dowodem jest brak podobnych do tej publikacji w języku polskim), niniejsze opracowanie ma przybliżyć czytelnikom - przede wszystkim pracownikom administracji zaangażowanym w opracowywanie oraz wdrażanie programów i projektów o charakterze społeczno-gospodarczym - podstawowe informacje na temat celów, zastosowań, procedur i metod stosowanych na etapie przygotowania, realizacji oraz wykorzystania wyników oceny (ewaluacji).

    W pierwszej części publikacji autor przedstawia wybrane definicje oceny (ewaluacji) i w oparciu o te definicje wskazuje na różnice pomiędzy oceną (ewaluacją), monitoringiem oraz kontrolą. Opisuje także cztery podstawowe cele prowadzenia oceny (ewaluacji): (1) kontrolę nad działaniem władz publicznych oraz zwiększanie przejrzystości tych działań, (2) zwiększanie skuteczności i efektywności projektów i programów podejmowanych przez sektor publiczny, (3) kształtowanie kierunków i priorytetów działalności sektora publicznego oraz (4) poznawanie mechanizmów programów i projektów. Wprowadzona zostaje także klasyfikacja oceny (ewaluacji) ze względu na termin jej przeprowadzenia (ex-ante, okresowa i ex-post), zakres (globalna, szczegółowa i tematyczna) oraz cel (formatywna i podsumowująca).

    W kontekście przygotowań Polski do korzystania z funduszy strukturalnych szczególnego znaczenia nabiera poznanie zasad oceny (ewaluacji) dokumentów programowych opracowywanych w ramach polityki regionalnej Unii Europejskiej. Zgodnie z prawodawstwem unijnym, plany rozwoju, programy operacyjne oraz uzupełnienia do programów operacyjnych podlegają ocenie (ewaluacji) przed, w trakcie i po zakończeniu ich realizacji. Cele i zasady każdego z tych rodzajów ewaluacji, obowiązujące w aktualnym okresie programowania polityki regionalnej UE 2000-2006, zostały opisane w rozdziale 5 niniejszej publikacji.

    Przedstawiciele administracji (zamawiający) odgrywają niezmiernie istotną rolę w procesie przygotowania, nadzoru nad realizacją oraz wykorzystania wyników oceny (ewaluacji). Rolę zamawiającego przedstawiono przy okazji omawiania poszczególnych etapów realizacji projektów ewaluacyjnych: przygotowania zakresu zadań dla oceny, wyboru wykonawcy, wdrażania zadania ewaluacyjnego, odbioru zadania ewaluacyjnego oraz wykorzystania wyników oceny.

    Podstawą dla przeprowadzenia oceny (ewaluacji) programu lub projektu są pytania ewaluacyjne, zdefiniowane w zakresie zadań. Każde z pytań ewaluacyjnych można zakwalifikować do jednego z pięciu kryteriów ewaluacyjnych: skuteczności (czy cele programu zostały osiągnięte?), efektywności (jakie były nakłady przeznaczone na osiągnięcie efektów programu?), odpowiedniości (czy cele programu są zgodne z potrzebami?), użyteczności (czy rzeczywiste efekty programu są zgodne z potrzebami?) oraz długotrwałości (czy efekty programu są trwałe?).

    Sam proces prowadzenia oceny (ewaluacji) można podzielić na cztery etapy: strukturyzacji, obserwacji, analizy i oceniania. Na każdym z tych etapów wykorzystuje się inne metody i narzędzia badawcze. W publikacji opisane zostały metody stosowane w fazie strukturyzacji (analiza SWOT, matryca logiczna, metaplan, mapa oddziaływania), obserwacji (wywiady, kwestionariusze, zogniskowane wywiady grupowe, studia przypadków, obserwacja uczestnicząca, wykorzystanie danych z systemu monitoringu), analizy (grupy porównawcze, systemy informacji geograficznej, modele makroekonomiczne, metody statystyczne, analiza shift-share) oraz oceniania efektów (panel ekspertów, analiza wielokryteriowa, benchmarking, analiza kosztów i korzyści, analiza kosztów i efektywności).

    Przy omawianiu odbioru zadania ewaluacyjnego przez zamawiającego autor opisuje osiem kryteriów oceny jakości wykonanej ewaluacji: zaspokojenie potrzeb zamawiającego, odpowiedni zakres ewaluacji, stosowność zastosowanych metod, wiarygodność danych, prawidłowość analizy danych, wiarygodność rezultatów, bezstronność wniosków oraz formalną stronę raportu.

    Ostatni rozdział publikacji jest poświęcony wykorzystaniu oceny (ewaluacji) w polskiej administracji. Podkreślając słaby rozwój praktyki ewaluacyjnej w Polsce, wskazane zostają niektóre z przyczyn takiego stanu rzeczy. Jedną z najistotniejszych jest niewątpliwie nie wprowadzenie na szerszą skalę do polskiej administracji zasad związanych z zarządzaniem sprawami publicznymi ukierunkowanym na rezultaty. Pierwszym polskim aktem prawnym w randze ustawy, który na szerszą skalę wprowadza zagadnienia związane z oceną programów jest ustawa o zasadach wspierania rozwoju regionalnego. Niemniej jednak ustawa wraz z aktami wykonawczymi zawiera szereg błędów i uchybień, które wymagają szeregu zmian, tak aby możliwe stało się jej dostosowanie do wymogów unijnych w zakresie ewaluacji.