Evaluation study as an efficient management tool Текст научной статьи по специальности «Экономика и бизнес»

D01:10.12845/bitp.36.4.2014.4

mgr Marta WOLOSIAK1 mgr Ewa MICHALSKA1

Przyj^ty/Accepted/Принята: 11.12.2013; Zrecenzowany/Reviewed/Рецензирована: 16.11.2014; Opublikowany/Published/Опубликована: 31.12.2014;

BADANIA EWALUACYJNE JAKO NARZ^DZIE SPRAWNEGO ZARZ4DZANIA2

Evaluation Study as an Efficient Management Tool

Оценочные исследования в качестве инструмента эффективного управления

Abstrakt

Cel: Przedstawienie pojccia badan ewaluacyjnych. Autorki skupiajq sic na wykorzystaniu ewaluacji w zarzqdzaniu, gdzie sluzy ona podniesieniu efektywnosci i utylitarnosci wdrazanych dzialan. Artykul przedstawia wzrost zainteresowania badaniami ewaluacyjnymi i zwickszonq czcstotliwosc ich uzycia jako wynik intensywnej praktyki w zakresie wdrazania programów, projektów i innych pomniejszych interwencji w zakresie zarzqdzania organizacjami. Autorki pragnq sklonic odbiorcc do wnikliwszego zapoznania sic z pojcciem i wprowadzenia go do praktyki organizacji.

Wprowadzenie: W niniejszym artykule pokrótce scharakteryzowano pojccie badan ewaluacyjnych, jego etymologic oraz specyfikc na tle wyrazen takich jak „kontrola", „audyt" czy „monitoring". Przedstawiono historic ewaluacji - jej genezc. Autorki wyszczególnily podstawowe kryteria ewaluacyjne, a takze staraly sic przyblizyc czytelnikowi, w swietle wczesniejszych informacji, najczcsciej uzywane typologie badan ewaluacyjnych. Artykul ukazuje badania ewaluacyjne jako szczególny typ dzialan nastawionych na usprawnienie zarzqdzania. Ich wyjqtkowosc polega na wieloaspektowosci - podejsciu do badan nie tylko od strony badanego zjawiska, procesu, ale takze na wykorzystaniu kontekstu i silnego sprzczenia na linii dzialanie - poddani dzialaniu. W tym kontekscie ewaluacja jawi sic jako bardzo demokratyczna i egalitarna metoda badawcza, co silnie wplywa na jej uzytecznosc w praktyce. Wnioski: Od wielu dekad ewaluacja jest uzytecznq i przynoszqcq wymierne skutki dla procesu efektywnego zarzqdzania formq praktycznego wykorzystania dorobku nauk spolecznych. Badania ewaluacyjne, z uwagi na traktowanie jako ich istoty nie tyle samego dzialania, co jego silnej korelacji z bezposrednimi odbiorcami i otoczeniem spolecznym, s§ szczególnym przykladem metody sluzqcej poprawie jakosci zarzqdzania. Ewaluacja jest wicc ciekawq propozyj dla praktyków silnie nastawionych na usprawnienie organizacji. Znaczenie dla praktyki: Przedstawienie badan ewaluacyjnych jako mozliwosci dzialania w obszarze zarzqdzania. Zapoznanie czytelnika z podstawowq wiedzq w zakresie ewaluacji, jej podstawowych kryteriów i typów oraz kontekstów ich wykorzystania. Dzicki praktycznemu uzyciu badan ewaluacyjnych mozliwe bcdzie zwickszenie efektywnosci procesów zarzqdzania zarówno od strony merytorycznej, jak i administracyjnej.

SJowa kluczowe: badania ewaluacyjne, ewaluacja, zarzqdzanie, efektywnosc, nauki spoleczne, ocena, kryteria, interwencja, projekt, Unia Europejska

Typ artykuJu: artykul przeglqdowy Abstract

Aim: To introduce the concept of evaluation studies. The authors focus on the use of evaluation in management, where the concept is used to increase the efficiency and benefits of implemented actions. The article reveals the growth of interest in evaluation studies and increased frequency of its usage as a result of its intensive implementation in programmes, projects and other lesser interventions within the scope of organisational management. The authors wish to encourage readers to familiarize themselves with the concept and to introduce it within their area of business activity.

Introduction: In this article the authors briefly characterized the concept of evaluation studies, its etymology, as well as its specific character in relation to phrases such as "control", "audit" or "monitoring". The article presents a history of evaluation, its roots and

1 Centrum Naukowo-Badawcze Ochrony Przeciwpozarowej im. Jozefa Tuliszkowskiego Panstwowy Instytut Badawczy, ul. Nadwis-lanska 213, 05-420 Jozefow, [email protected] / Scientific and Research Centre for Fire Protection - National Research Institute, Poland;

2 Autorzy wniesli rowny wklad merytoryczny w powstanie artykulu / The authors contributed equally to this article;

D01:10.12845/bitp.36.4.2014.4

origins. The authors listed the basic criteria of evaluation and tried to familiarize the reader, in light of prior information, with the most frequently used approaches engaged in evaluation studies. The article presents evaluation studies as a distinctive series of actions aimed at improving management of an organisation. The uniqueness of evaluation study stems from its multi-dimensionality; a research approach, which evaluates a situation from several aspects, not only from the standpoint of observed events or process, but also from the use of context and strong correlation between action, and elements exposed to action. In such circumstances evaluation is seen as a highly democratic and egalitarian method of research, which strongly impacts on its usability in practice.

Conclusions: For many decades evaluation, a practical application of achievements in social sciences, has generated benefits and brought measurable results to effective organisational management processes. Evaluation studies, because of their fundamental nature, not only as an isolated activity but in tandem with the strong correlation between beneficiaries and social environment, provides a specific example of an approach, which helps to improve the quality of management. Evaluation is therefore an interesting option for practitioners who are strongly focused on improving an organization.

Practical Benefits: Presentation of evaluation studies as a tool, which may be harnessed in the field of management. Familiarise the reader with basic knowledge in the sphere of evaluation studies, its fundamental criteria, types and contexts of use. With the practical application of evaluation studies it will be possible to increase the effectiveness of management processes in terms of decision making and performance.

Keywords: evaluation studies, evaluation, management, efficiency, social science, valuation, criteria, intervention, project, European Union

Type of article: review article Аннотация

Цель: Представить понятие оценочных исследований. Авторы обращают особое внимание на использование оценивания в процессе управления, в котором оно способствует повышению эффективности и практичности внедряемых действий. Статья указывает, на то, что оценочные исследования набирают популярность и всё чаще используются в качестве результата интенсивной практики в области внедрения программ, проектов и других менее крупных действий во время управления организациями. Авторы хотели бы призвать читателя узнать больше об этом понятии и внедрить его в практику организации. Введение: В данной статье коротко охарактеризовано понятие „оценочные исследования", его этимологию и специфику на фоне таких выражений как „контроль", „аудит" или „мониторинг". Представлена история оценивания - его корни и генезис. Авторы указали основные оценочные критерии, а также старались приблизить читателю, в свете указанной ранее информации, наиболее часто используемые типологии оценочных исследований. Статья показывает оценочные исследования как особый вид действий, направленных на совершенствование управления. Их особенность заключается в их многомерности - подходу к исследованиям не только со стороны исследуемого явления, процесса, но также в использовании контекста и сильной взаимосвязи между действием и субъектами действия. В этом контексте оценивание представляет собой очень демократический и эгалитарный исследовательский метод, что сильно влияет на его целесообразность в практике. Выводы: На протяжении многих десятилетий оценивание является полезной и приносящей заметные эффекты для процесса эффективного управления формой практического использования достижений общественных наук. Оценочные исследования, из-за восприятия их как сущности не только самого действия, но также сильной взаимосвязи с непосредственными получателями и общественной средой, являются особенным примером способа улучшения качества управления. Поэтому оценивание является интересным предложением для практиков, направленных на улучшение управления организации. Значение для практики: Представление оценочных исследований как возможности действий в области управления. Ознакомление читателя с основными знаниями в области оценивания, его основных критериев, типов и целей их использования. Благодаря практическому использованию оценочных исследований можно будет повысить эффективность процессов управления как с мериторической, так и с административной стороны.

Ключевые слова: оценочные исследования, оценивание, управление, эффективность, общественные науки, оценка, критерии, интервенция, проект, Европейский Союз Вид статьи: обзорная статья

1. Wst^p

Specyfik^ nauk spolecznych jest ich zlozonosc i szero-ki wachlarz zastosowan. Ich celem jest uchwycenie, zdia-gnozowanie i opisanie mechanizmów rz^dz^cych spole-czenstwem, z zachowaniem szerszego kontekstu, jakim jest jego otoczenie. Na tak pojmowane otoczenie spolecz-ne sklada si§ szereg ludzkich aktywnosci, mi^dzy inny-mi praca, nauka, dzialalnosc polityczna, ekonomia i go-spodarka.

Na styku zarz^dzania i nauk spolecznych usytuowa-ne s^ badania ewaluacyjne, które maj^ za zadanie ocen§ i monitorowanie wdrazanych interwencji. Badania ewaluacyjne s^ silnie zwi^zane z meritum nauk spolecznych. Zapozyczona z nich wiedza i metody sluz^ procesowi ra-cjonalizacji i zwi^kszenia efektywnosci prowadzonych

b^dz b^d^cych w planach polityk, programów czy pro-jektów. Z drugiej strony badania ewaluacyjne, jako zin-stytucjonalizowane dzialanie, skladaj^ si§ na szeroko po-praktyk^ nauk spolecznych i jak twierdzi Kazimierz W. Frieske, staj^ si§ waznym elementem demokratyzacji i partycypacji obywateli w zyciu zbiorowym [2].

Poj^cie ewaluacji stalo si§ w Polsce szczególnie za-uwazalne wraz z akcesj^ do Unii Europejskiej i zwi^kszo-щ aktywnosci^ polskich podmiotów w projektach euro-pejskich. Równiez w programach i projektach krajowych spotykamy si§ z ewaluacji, której znaczenie wci^z rosnie. Beneficjenci róznego rodzaju przedsi^wzi^c s^ coraz cz§-sciej zainteresowani wykorzystaniem ewaluacji w prakty-ce badawczej.

ГУМАНИСТИЧЕСКИЕ И ОБЩЕСТВЕННЫЕ НАУКИ НА БЛАГО БЕЗОПАСНОСТИ D01:10.12845/bitp.36.4.2014.4

Zagadnienie ewaluacji dotyczy jednak nie tylko sil-nie zinstytucjonalizowanych programów i projektów na poziomie miçdzynarodowym czy krajowym. Coraz czç-sciej staje siç równiez czçsci^ skladow^ procesu efektyw-nego zarz^dzania. Dlatego tez warto zapoznac siç z poru-szanym pojçciem. Czym jest ewaluacja? Jaka jest jej ge-neza i rodzaje? Czego dowiemy siç dziçki ewaluacji? Na te i inne pytania autorki postaraj^ siç odpowiedziec w po-nizszym artykule, bçd^cym krótkim wprowadzeniem do badan ewaluacyjnych.

2. Czym jest ewaluacja?

Lingwistycznie pojçcie ewaluacji siçga swoimi korze-niami do lacinskiego valeo-ere, oznaczaj^cego „miec siç dobrze", „byc cos wartym". Jçzyk angielski evaluation i francuski évaluation zapozyczyly lacinskie wyrazenie i upowszechnily je w innych jçzykach. Angielskie valuation znaczy „wartosciowac", „oceniac", natomiast prze-drostek „e-" nawi^zuje najprawdopodobniej do lacinskiego ex-, czyli „od", „z", i moze wskazywac na wyniko-wosc ewaluacji, czyli rozpatrywanie jej jako skutku tego, co dziçki niej otrzymalismy [3].

W wielu wypowiedziach i publikacjach termin ewaluacja czy badania ewaluacyjne jest blçdnie utozsamiany z „kontrol^", „monitoringiem" czy „audytem". Podczas gdy ewaluacja opiera siç na scisle okreslonych kryteriach i standardach, a takze czerpie z metod badan spolecznych, „kontrola" jest dzialaniem bazuj^cym na aspektach praw-no-finansowych i koncentruje siç na wyszukiwaniu nie-prawidlowosci, a jej efektem s^ skonstruowane wnioski i zalecenia. Kontrola moze miec charakter zdarzenia punktowego, badaj^cego jedynie pewien wycinek z ca-losci. „Monitorowanie" jest natomiast systematyczn^ ob-serwaj programu czy projektu, z jednoczesn^ analiza jego przebiegu pod k^tem zalozonych celów. „Audyt" skupia siç na porównywaniu dzialania z przepisami praw-nymi i narzuconymi standardami. Podczas audytu badana jest w szczególnosci zgodnosc wykorzystania zasobów fi-nansowych i materialnych.

Ewaluacja, rozumiana w kontekscie pewnego rodza-ju dzialania czy procesu, jest czçsci^ badan spoleczno--ekonomicznych realizowanych w celu oceny jakosci i efektów prowadzonych dzialan [4]. Leszek Korporo-wicz przedstawil ewaluacjç w kontekscie jej uzytecznosci jako „systematyczne badanie wartosci albo cech konkret-nego programu, dzialania b^dz obiektu z punktu widze-nia przyjçtych kryteriów w celu ich usprawnienia, rozwo-ju lub lepszego rozumienia" [5]. Tak skonstruowana de-finicja uwypukla utylitarny charakter ewaluacji, zorien-towany na podniesienie szeroko pojçtej efektywnosci jej przedmiotu. Poslugiwanie siç tego rodzaju definij zwra-ca uwagç na istotnosc badan ewaluacyjnych w praktyce zarz^dzania. Henri Fayol, klasyk zarz^dzania, zdefinio-wal zarz^dzanie jako sumç poszczególnych jego funkcji: planowania, organizowania, motywowania, koordynowa-nia i kontrolowania [6]. Badania ewaluacyjne wpisuj^ siç i mog^ byc wykorzystane w kazdym etapie (funkcji) za-rz^dzania. Dodatkowo na tej plaszczyznie wyraznie ry-suje siç silne powi^zanie miçdzy badanym zjawiskiem, jego odbiorcami i ich otoczeniem spolecznym. Takie po-

strzeganie ewaluacji, jako „uwzgl^dniania potrzeb i opi-nii wielu podmiotów spolecznych jako pelnoprawnych uczestników realizowanych dzialan" [7] sprzyja wyko-rzystywaniu badan ewaluacyjnych jako narz^dzia demo-kratyzacji procesu zarz^dzania i jego dostosowania do rzeczywistych potrzeb badanych podmiotów.

Na uzytecznosc ewaluacji zwrócily uwag§ takze in-stytucje Unii Europejskiej wdrazaj^ce fundusze struktu-ralne. W rozporz^dzeniu Komisji Europejskiej mozemy znalezc charakterystyk^ ewaluacji jako dzialania prowa-dzonego w celu poprawy „jakosci, skutecznosci i spój-nosci pomocy funduszy oraz strategii i realizacji progra-mów operacyjnych w odniesieniu do konkretnych proble-mów strukturalnych dotykaj^cych dane panstwa czlon-kowskie i regiony, z jednoczesnym uwzgl^dnieniem celu w postaci trwalego rozwoju i wlasciwego prawodawstwa wspólnotowego" [1]. Oznacza to, ze badania ewaluacyjne mog^ byc postrzegane jako element sprawnego zarz^-dzania i wykorzystywane w administracji równiez na poziomie mi^dzynarodowym. Ewaluacja cz^sto sluzy we-ryfikowaniu, wedle okreslonych kryteriów, wprowadza-nych przez wladze publiczne polityk i programów maj^-cych sluzyc okreslonym grupom ludzi b^dz wszystkim czlonkom spoleczenstwa. Spoleczenstwo jest osi^ szeroko rozpowszechnionej definicji ewaluacji autorstwa Petera H. Rossiego, Howarda E. Freemana i Marka W. Lip-seya, gdzie ewaluacja okresla si§ jako „wykorzystanie metod badan spolecznych do systematycznego okresla-nia efektywnosci programów spolecznych pod wzgl^dem tego, w jaki sposób adaptuj^ si§ do swojego otoczenia or-ganizacyjnego i politycznego oraz w jaki sposób odpo-wiadaj^ na potrzeby informacyjne, których zaspokojenie oznacza w zalozeniu poprawy sytuacji spolecznej" [8]. Zwraca si§ tu szczególn^ uwag§ na potencjal ewaluacji jako sily naprawczej i spoiny mi^dzy wprowadzaj^cymi dzialania a ich odbiorcami.

3. Historia ewaluacji

Za zal^zek ewaluacji, czyli oceny wprowadzanego dzialania, uznaje si§ badania nad szkolnictwem i syste-mem oswiaty w Stanach Zjednoczonych w XIX wieku. Przyczyn^ rozwoju ewaluacji byla post^puj^ca liberaliza-cja zycia spolecznego i stopniowe wprowadzanie reform spolecznych, z reform^ edukacji i polityki spolecznej na czele. Wdrazanie coraz nowszych uslug spolecznych spo-wodowalo koniecznosc badania ich efektywnosci, uzy-tecznosci i przede wszystkim adekwatnosci wykorzysta-nia srodków finansowych. Na standaryzaj i ujednolice-nie kryteriów ewaluacji mialy wplyw nowe metody zarz^-dzania pomyslu F. Tylora. Polozenie nacisku na efektyw-nosc, standaryzaj i racjonalnosc przygotowalo grunt pod rozwój badan ewaluacyjnych. W drugiej polowie XX wieku ewaluacja trafila na podatny grunt do dalszego rozwoju i ekspansji na inne dziedziny zycia spolecznego, dzi^ki rosn^cej liczbie propagatorów racjonalnosci i efek-tywnego zarz^dzania.

W latach 40. XX wieku ukazala si§ publikacja Ralpha W. Tylera, który zostal uznany za pierwszego licz^cego si§ w swiecie nauki teoretyka ewaluacji. R.W. Tyler sfor-mulowal definicji „ewaluacji zorientowanej na cele" (ob-

jectives-oriented evaluation), w ktorej ewaluator na za-sadzie porownania konfrontuje programowe cele inter-wencji z ich rezultatami wyrazonymi za pomoc^ obser-wowalnych wskaznikow [9]. Mozna wiçc zaryzykowac stwierdzenie, ze w pogl^dach R. W. Tylera, ewaluacja jest weryfikowaniem hipotezy wyrazonej w postaci celow in-terwencji sformulowanych na jej pocz^tkowym etapie.

W pozniejszych dekadach proces badan ewaluacyj-nych zostal upubliczniony i podlegal stopniowej demo-kratyzacji. Wyrazalo siç to w probach przedstawiania ewaluacji jako skutecznego narzçdzia zarz^dzania i rz^-dzenia politykami publicznymi. Badania oceniaj^ce mia-ly pelnic funkcjç filtru oddzielaj^cego „dobre praktyki" od „zlych praktyk", a tym samym mialy prowadzic do lepszego ksztaltowania siç polityki. W latach 70. zmie-niono sposob patrzenia na wyniki ewaluacji. W tamtym okresie ich priorytetowym zadaniem bylo edukowanie wdrazaj^cych w obszarze danej polityki. Ewaluacja miala stanowic klucz do otwarcia publicznej debaty na temat innowacyjnosci. Jej kluczow^ funkj w tamtym okresie bylo wiçc zorganizowanie plaszczyzny wspolnej dyskusji i zobrazowanie walorow edukacyjnych. Lata 70. to takze okres przyspieszonej instytucjonalizacji ewaluacji jako podejscia badawczego. Wraz z koncem XX wieku klu-czow^ funkcjç ewaluacji zaczçla stanowic analiza kosz-tow i korzysci, a konkretnie zmniejszanie kosztow przy zachowaniu zadowalaj^cych rezultatow programow, pro-jektow i dzialan.

Srodowisko ewaluatorow stopniowo organizowalo siç w wiçksze zbiorowosci, najczçsciej obejmuj^ce po-wierzchniç jednego kraju. Z biegiem czasu powolywano takze towarzystwa ewaluacyjne o szerszym zasiçgu, miç-dzy innymi European Evaluation Society (1994). Ewa-luacja krok po kroku wkraczala na uniwersytety i uczel-nie wyzsze, gdzie tworzono katedry i instytuty ksztalc^ce w dziedzinie badan ewaluacyjnych. Do promowania ewaluacji w szczegolnosci przyczynila siç Unia Europejska, ktora doceniala jej wplyw na polepszanie jakosci prowa-dzenia swoich polityk i strategii. W Polsce ewaluacjç zin-stytucjonalizowano stosunkowo pozno, w 2000 roku po-wstalo Polskie Towarzystwo Ewaluacyjne.

4. Kryteria i typologie ewaluacji

Przygotowuj^c ocenç danego dzialania musimy przy-j^c pewne punkty odniesienia. W przypadku ewaluacji punktami sluz^cymi za podstawç do formulowania pytan badawczych s^ kryteria ewaluacyjne. Wymagane jest, by pytania badawcze odnosily siç przynajmniej do jednego z kryteriow. Stosowanie siç do scisle okreslonych kryteriow jest istotne z punktu widzenia zachowania porz^dku i przejrzystosci oceny. Wynika to ze specyfiki ewaluacji, ktora polega na ocenie badanego dzialania i jego wartosci. Aby unikn^c mnozenia punktow widzenia i dostosowy-wania kazdorazowo wartosci do mierzalnych kryteriow, z gory przyjçte zostalo piçc podstawowych kryteriow ewaluacyjnych: trafnosc/odpowiedniosc (relevance), sku-tecznosc (effectiveness), efektywnosc (efficiency), uzy-tecznosc (utility) i trwalosc (sustainability).

Trafnosc ocenia zgodnosc celow i metod dzialania bç-d^cego przedmiotem ewaluacji z rzeczywistymi proble-

DOI:10.12845/bitp.36.4.2014.4

mami i potrzebami zidentyfikowanymi w diagnozie. Sku-tecznosc ma za zadanie zweryfikowanie osi^gniçcia ce-lów dzialania zakladanych na etapie planowania. Analiza zaleznosci miçdzy efektami dzialania a zasobami (fi-nansowymi, ludzkimi) wykorzystanymi na jego realizacjç to kryterium efektywnosci. Uzytecznosc, istotna w ewaluacji po zakonczeniu interwencji, bada uzyskane efekty, planowane i uboczne, w odniesieniu do potrzeb otocze-nia, na które interwencja miala oddzialywac. Dziçki kryterium uzytecznosci uzyskujemy informacjç, czy wyniki dzialania s^ przydatne dla poddanego dzialaniu segmen-tu odbiorców. Bezposrednio po zakonczeniu interwencji, oraz w perspektywie dlugookresowej (czyli po 2-3 latach od zakonczenia), uzywamy do ewaluacji kryterium trwa-losci, czyli oceniamy permanentnosc efektów, ich ci^-glosc [4]. To, jakimi kryteriami poslugujemy siç w danym momencie badania ewaluacyjnego, zalezy w duzej mie-rze od praktykowanego rodzaju ewaluacji. Jednakze uzy-cie poszczególnych kryteriów jest takze scisle skorelowa-ne z dostçpnymi srodkami finansowymi oraz dostçpno-sci^ niezbçdnych do oceny materialów.

W zaleznosci od tego, jakie przyjmiemy kryterium, mozemy wyróznic kilka typologii ewaluacji. Gdy skupi-my siç na podmiocie ewaluacji, mozemy wyróznic ewaluacjç polityki b^dz strategii (w najszerszym ujçciu), ewaluacjç programu (dlugoterminowego, sekwencyjnego, zlozonego z wielu róznych, daj^cych siç odseparowac dzialan), ewaluacjç projektu (rozumianego jako calosc charakteryzuj^c^ siç zalozonymi celami i dysponuj^c^ okreslonymi zasobami), czy w koncu na najnizszym po-ziomie, tzw. poziomie mikro - ewaluacjç dzialania b^dz interwencji (swiadomego d^zenia do osi^gniçcia zalozo-nego celu).

W literaturze przedmiotu oraz w praktyce mozemy spotkac siç z podzialem na ewaluacjç zewnçtrzn^ i we-wnçtrzn^. Pierwsza z nich jest wykonywana przez ze-wnçtrzny, wykwalifikowany i wyspecjalizowany w pro-wadzeniu badan ewaluacyjnych podmiot, który obiek-tywnie i niezaleznie wykona powierzon^ ewaluacjç. W tego typu badaniu mamy pewnosc, iz zostanie ona przeprowadzona przez eksperta posiadaj^cego kompe-tencje okreslone przez organ nadzoruj^cy. Ewaluacja we-wnçtrzna polega z kolei na „realizowaniu oceny przez podmioty bezposrednio zaangazowane we wdrazanie da-nej interwencji" [4]. W przypadku ewaluacji realizowanej przez zaangazowany podmiot istnieje duze ryzyko utra-ty obiektywizmu. W tym wypadku wzrastaj^ w instytu-cji równiez naklady czasu, pracy i personelu. Rekompen-sowac moze to jednak efektywniejsze wykorzystanie wy-ników ewaluacji w praktyce i jej szybsze wdrozenie, które zostanie zapewnione przez utrzymywanie stalej relacji z ewaluowanym srodowiskiem.

Kryterium rózniajcym rodzaje ewaluacji moze byc takze jej zakres. W takim przekrojowym ujçciu mozna wyróznic ewaluacjç tematyczn^, horyzontaln^ i sektoro-w^. Specjalnym rodzajem przekrojowej, szeroko zakrojo-nej ewaluacji jest metaewaluacja, czyli ocena innej ewaluacji lub calego ich zbioru. Tego typu narzçdzie jest wy-korzystywane jako element kontroli i nadzoru nad reali-zowaniem procesu badawczego.

ГУМАНИСТИЧЕСКИЕ И ОБЩЕСТВЕННЫЕ НАУКИ НА БЛАГО БЕЗОПАСНОСТИ D01:10.12845/bitp.36.4.2014.4

Najbardziej rozpowszechnionym, najczçsciej stoso-wanym i najwyrazniej roznicuj^cym podzialem jest ten na ewaluacjç wstçpn^, ewaluacjç okresow^ i ewaluacjç kon-cow^3. Typy ewaluacji zostaly tu rozroznione za pomo-c^ kryterium momentu przeprowadzenia badania, czyli umieszczenia go w wybranej fazie realizacji interwencji.

Ewaluacja wstçpna, czyli ex-ante, jest inaczej nazy-wana ocen^ szacunkow^ i wykonywana jest jeszcze przed wejsciem w zycie badanego obiektu (rozumianego jako program/projekt/dzialanie). Podstawowym zadaniem ewaluacji ex-ante jest zweryfikowanie zalozen dzialania z rzeczywistymi potrzebami spolecznymi, gospodarczy-mi itp. Ewaluatorzy koncentruj^ siç na ocenie wewnçtrz-nej spojnosci dzialania, a takze dokomj jego weryfika-cji od strony formalnej z uwzglçdnieniem aspektu praw-nego i ekonomicznego. W szczegolnosci zwraca siç uwa-gç na roznego rodzaju harmonogramy dzialania czy plany finansowe4. W celu przeprowadzenia poglçbionej oceny wstçpnej niezbçdne jest zidentyfikowanie potrzeb adre-satow danego dzialania oraz podobnych pod wzglçdem celow i zalozen interwencji, zarowno zakonczonych, jak i bçd^cych w toku realizacji. Nalezy rowniez odniesc siç do szeroko pojçtego kontekstu - sytuacji ekonomicznej, spolecznej i gospodarczej, ktora bçdzie stanowila tlo dla planowanych dzialan. Ewaluacja ex-ante diagnozuje sla-be i mocne strony dzialania, jego potencjalne zagrozenia i mozliwosci. Wyniki dobrze i profesjonalnie przepro-wadzonej ewaluacji ex-ante mog^ stac siç punktem wyj-scia dla pozniejszej ewaluacji, kontroli czy monitoringu. Ostatecznym celem ewaluacji ex-ante jest przygotowanie zbioru wnioskow maj^cych posluzyc ulepszeniu wprowa-dzanej interwencji.

W artykule 41 Rozporz^dzenia (WE) Rady NR 1260/1999 z dnia 21 czerwca 1999 roku ustanawiaj^ce-go przepisy ogolne w sprawie funduszy strukturalnych (Dz. U. L. 161/1) mozemy znalezc zapis, iz „celem oceny ex-ante jest dostarczenie podstaw do przygotowania pla-now rozwoju, pomocy oraz uzupelnienia programu, kto-rych czçsci^ jest ocena". Rownoczesnie w Rozporz^dze-niu wskazane zostaly rozne obszary szczegolnego zainte-resowania ewaluacji wstçpnej, takie jak na przyklad kon-kurencyjnosc i innowacyjnosc dzialania, zasady ochrony srodowiska i zrownowazonego rozwoju czy rownosci plci na rynku pracy.

W ewaluacji ex-ante szczegolny nacisk kladziemy wiçc na ponizsze kryteria:

• spojnosc (wewnçtrzn^ - spojne cele programu i ze-wnçtrzn^ - spojnosc z szerszym kontekstem, szersz^ strategic dzialania, w ktorç wpisuje siç interwencja),

• racjonalnosc (adekwatnosc wyboru srodkow do reali-zacji zakladanych celow),

• trafnosc (zgodnosc zalozen z realnymi potrzebami),

• skutecznosc (zakladany stopien zrealizowania celow),

3 Po raz pierwszy podzial taki zinstytucjonalizowany zostal przez Radç Wspolnot Europejskich w 1999 roku.

4 W przypadku projektow finansowanych z programow unij-nych, na tym etapie ocenia siç takze adekwatnosc przedstawio-nych zalozen z wymaganiami konkursowymi.

• etycznosc (zgodnosc dzialania z powszechnie obo-wi^zuj^cym systemem wartosci, bez naruszania norm i dobrych obyczajow) [3].

Metod^ badawcz^ powszechnie stosowan^ w przypadku ewaluacji wstçpnej jest tzw. desk research, bazuj^-cy na dokumentacji projektowej, dokumentach strategicz-nych, ewaluacjach wczesniejszych/podobnych dzialan, danych diagnostycznych opisuj^cych kontekst spoleczno--ekonomiczny. Czçsto uzywa siç takze modeli logicznych czy tez zestawien na zasadzie porownania dwoch mozli-wych scenariuszy [4].

W trakcie trwania programu, projektu czy dzialania mozemy miec do czynienia z dwoma rodzajami ewalu-acji: mid-term i on-going. Pierwsza z nich polega na prze-prowadzeniu oceny w polowie cyklu trwania wdrazanego dzialania. Korzysta siç z niej przede wszystkim w przypadku dlugofalowych procesow, ktore wymagaj^ wiçk-szej liczby okresow kontrolnych. Ewaluacja mid-term staje siç wiçc straznikiem czuwaj^cym nad prawidlo-wym przebiegiem wdrazania dzialania. Zgodnie z defini-j przyjçt^ przez instytucje Unii Europejskiej ewaluacja mid-term to „ocena prowadzona w polowie okresu pro-gramowania badaj^ca, w swietle oceny ex-ante, wstçpne wyniki pomocy, ich przydatnosc oraz stopien osi^gniç-cia celow. Ocenia takze wykorzystanie srodkow finan-sowych oraz dzialania monitorowania i wykonania" [1]. Srodokresowa ocena jest wiçc pierwszy okazj^ do wery-fikacji jakosci prowadzenia dzialan i ich rezultatow. Jako ze interwencja nie odbywa siç w prozni, mozliwe jest od-czuwanie pewnych zmian otoczenia spoleczno-gospodar-czego, potrzeb beneficjentow czy nastrojow spolecznych. W takim przypadku ewaluacja daje mozliwosc ich iden-tyfikacji i prowadzi do sporz^dzenia wnioskow celem do-stosowania interwencji do nowych warunkow. Za kryteria ewaluacyjne na tym etapie przyjmujemy:

• skutecznosc (na danym etapie),

• efektywnosc (zaleznosc miçdzy dotychczasowymi na-kladami i efektami),

• spojnosc (gdy konieczna jest weryfikacja i ponow-ne dostosowanie celow do wymogow wewnçtrznych i zewnçtrznych),

• uzytecznosc (adekwatnosc efektow z dotychczaso-wych etapow z rzeczywistymi potrzebami).

Najczçsciej spotykan^ metod^ badawcz^ w tej fazie dzialania jest analiza danych zastanych, takich jak raporty z monitoringu i wewnçtrzne dokumenty [10].

Drugim rodzajem ewaluacji prowadzonej w trakcie trwania interwencji jest ewaluacja biez^ca, czyli on-going. Dzialanie wymaga zastosowania tego typu oceny w przypadku wyst^pienia w toku jego trwania doraz-nych problemow czy barier. Ewaluator skupia siç na w^-skim wycinku dzialania (badanie punktowe), kilku wy-cinkach tego samego typu lub, jezeli zauwazalnych kom-plikacji jest wiçcej, kilku wycinkach roznego typu. Glow-nym zadaniem ewaluatora jest przygotowanie zalecen i wskazowek w celu usprawnienia dzialania, podniesienia jego wydajnosci i efektywnosci. Kontekst oceny w tym

D01:10.12845/bitp.36.4.2014.4

typie ewaluacji skupia si§ na dzialaniach zarz^dczych i menadzerskich.

W ewaluacji on-going, podobnie jak w ewaluacji midterm badacz kieruje si§ kryterium skutecznosci i efektywnosci, a dodatkowo, czego nie wykorzystuje w tak duzym stopniu w ewaluacji mid-term, trafnosci (badanie ade-kwatnosci zalozonych celow do zmieniaj^cych si§ po-trzeb).

Analiza danych zastanych, podobnie jak w przypad-ku ewaluacji mid-term, moze bye glown^ metod^ badaw-cz^ wykorzystywan^ w ewaluacji on-going. Ewaluatorzy korzystaj^ jednak coraz cz^sciej z metod tradycyjnej so-cjologii, czyli badan ilosciowych (bazuj^cych na mierni-kach statystycznych i wnioskowaniu statystycznym) i ja-kosciowych [glownie uczestnicz^cych, czyli angazuj^-cych ewaluatora w proces interakcji z jednostk^ wdra-zaj^c^ dzialanie, s^ to na przyklad wywiady pogl^bione, warsztaty, zogniskowane wywiady grupowe (tzw. fokusy) czy obserwacja] [4].

Po zakonczeniu dzialania nastaje czas na przeprowa-dzenie najcz^sciej spotykanej i najobszerniejszej z ewaluacji - ewaluacji koncowej, czyli ex-post. Zgodnie z wy-tycznymi Unii Europejskiej ewaluacji koncow^ nalezy przeprowadzie najpozniej na trzy lata po zakonczeniu in-terwencji. Cz^sto spotykan^ praktyk^ jest dualne przepro-wadzenie ewaluacji koncowej: bezposrednio po zakonczeniu dzialania i w 2-3 lata po tej dacie. Mozliwe jest zamienne uzywanie nazw ewaluacja ex-post i ewaluacja „podsumowuj^ca", co jest zwi^zane z calosciow^ form^ prowadzenia oceny. Ewaluacja ex-post ma za zadanie od-powiedziee na pytanie o rezultaty interwencji, jej znacze-nie i stopien odpowiedzi na potrzeby beneficjentow. Jed-noczesnie, tego rodzaju podsumowanie stanowi kompendium wiedzy o interwencji dla decydentow - okresla, co zostalo juz dokonane i jakiego typu wyzwania oraz zada-nia nalezy teraz obrae za cel.

W ewaluacji ex-post punktem centralnym oceny s^ re-alne efekty wdrazanych dzialan, a takze ich wplyw i od-dzialywanie na odbiorcow. Dodatkowo, co nie mniej waz-ne, mierzone jest spelnienie pocz^tkowych zamierzen interwencji, zarowno merytoryczne, jak i w kontekscie ad-ministracyjno-zarz^dczym. St^d tez ewaluatorzy kon-centrj si§ takze na weryfikacji wykorzystania srodkow finansowych i pozafinansowych, wypelnieniu ustalonych harmonogramow i spelnieniu innych kryteriow (np. upo-wszechnianiu wynikow dzialania, prowadzenia dzialalno-sci edukacyjnej i informacyjnej na temat wdrazania interwencji i jej skutkow o duzej donioslosci w danej dziedzi-nie). Dzi^ki ewaluacji ex-post mozliwe jest odnalezienie przyczyn sukcesu b^dz niepowodzenia dzialania, a tak-ze zbadanie trwalosci jego rezultatow. Ewaluacja ex-post jest badaniem opieraj^cym si§ na czterech kryteriach: • skutecznose (odpowiada na pytanie „czy?", a jesli tak, to w jakim stopniu zostaly osi^gni^te cele zalozone na etapie przygotowywania dzialania. Dodatkowo, za pomoc^ mierzalnych wskaznikow, ewaluator jest w stanie oszacowae, jak bardzo przydatny jest wynik interwencji i czy jest to tego rodzaju uzytecznose, jaka byla zakladana w pocz^tkowej fazie dzialania),

• efektywnose (kryterium efektywnosci bada mozliwo-sci osi^gni^cia identycznych b^dz zblizonych efektow przy udziale mniejszych srodkow finansowych i/lub rzeczowych),

• uzytecznose (weryfikacja i skonfrontowanie efektow wdrozenia z realnymi potrzebami, a takze ocena nie-planowanych, o ile takie wyst^puj^, skutkow),

• trwalose (zaklada zbadanie i oszacowanie utrzymy-wania si§ efektow dzialania po jego zakonczeniu oraz opisanie skutkow interwencji) [4].

Dzi^ki roznego rodzaju metodom ilosciowym i jako-sciowym ewaluacja dostarcza zainteresowanym (zarz^-dzaj^cym, beneficjentom, decydentom, podmiotom wdra-zaj^cym i finansuj^cym) ogl^du na efekty prowadzonych dzialan. Specyfik^ metodologii ewaluacji ex-post jest wy-korzystanie mi^dzy innymi eksperymentu i quasi-ekspe-rymentu, ktore to pozwalaj^ na porownanie rzeczywistej sytuacji (w ktorej wyst^pila interwencja) z sytuaj po-tencjaln^ (czyli pozbawion^ wszelkich bodzcow zwi^za-nych z dzialaniem). Dzi^ki tego typu porownaniom moz-liwe jest zweryfikowanie rzeczywistych wplywow dzia-lania i ustalenie zwi^zkow przyczynowo-skutkowych. Z uwagi na rozn^ specyfik^ metod jakosciowych i iloscio-wych oraz roznoaspektowose dostarczonych przez nie da-nych, najbardziej funkcjonalne i uzyteczne jest mieszanie roznych technik i narz^dzi, czyli tzw. triangulacja metod.

Ewaluacja ex-post jest wi§c pewnego rodzaju rozli-czeniem z prowadzenia dzialania i jego efektow. Oddaje najpelniejszy obraz interwencji, wraz z jej skrajnymi eta-pami - planowaniem i wdrozeniem. Jednoczesnie moze pelnie funkj rezerwuaru wiedzy z prowadzenia dzialania, przez co sluzy jako narz^dzie do ulepszania i zwi^k-szania efektywnosci zarz^dzania.

Ryc. 1. Rodzaje badan ewaluacyjnych w cyklu wdrazania interwencji [4] Fig. 1. Various types of evaluation in the cycle of intervention implementation [4]

5. Podsumowanie

W praktyce zarz^dzania badania ewaluacyjne sta-nowi^ bardzo istotny, aczkolwiek cz^sto niedoceniany i sprowadzony na drugi plan element. Pod ogolnym po-

ГУМАНИСТИЧЕСКИЕ И ОБЩЕСТВЕННЫЕ НАУКИ НА БЛАГО БЕЗОПАСНОСТИ DQI:10.12845/bitp.36.4.2014.4

jçciem „ewaluacji" kryje siç zarówno ocena wdrozonych dzialan, jak i ich stala obserwacja juz na etapie realizacji. Najczçsciej spotykanym typem ewaluacji jest tzw. ewaluacja koncowa. Dziçki badaniom ewaluacyjnym otrzymu-jemy zestaw wniosków i rekomendacji na kazdym etapie dzialania - od jego projektowania, przez wdrozenie, az do wykorzystania w procesie zarz^dzania.

Znajomosc pojçcia ewaluacji oraz jej podstawowej charakterystyki niew^tpliwie ulatwia procedury zarz^d-cze. Przede wszystkim pozwoli na glçbokie zrozumienie calej interwencji, jak równiez wskaze pewne newralgicz-ne punkty i zasady, przydatne przy formulowaniu, reali-zowaniu i wdrazaniu do praktyki efektów dzialan, zarów-no pod k^tem merytorycznym, jak i administracyjnym.

Ewaluacja jest znakomitym przykladem wspólpracy na gruncie zarz^dzania i nauk spolecznych. L^czy w sobie aparat pojçciowy i metodologiç z obszaru nauk spolecz-nych (ze znakomit^ przewag^ socjologii) oraz praktyczne zastosowanie i utylitarnosc zarz^dzania. Ewaluacja czer-pie z praktyki i sluzy praktyce, wypracowuj^c wskazówki i zalecenia prowadz^ce do osi^gniçcia najlepszych efek-tów. Praktykowanie ewaluacji jest dzialaniem, które niesie za sob^ wiele ulatwien i uproszczen, zarówno w ob-rçbie zarz^dzania, jak i otrzymywanych wyników dzialania. Ewaluacjç nalezy wiçc traktowac jako narzçdzie po-mocnicze prowadz^ce do zwiçkszenia efektywnosci i po-lepszenia jakosci na plaszczyznie zarz^dzania w kazdym jego wymiarze: od wdrazania pojedynczych zadan me-nadzerskich, przez szersze projekty i programy sektorowe lub globalne, az po calosciowe zarz^dzanie organizaj

Literatura

1. Rozporzqdzenie Rady 2006/l083/WE z dnia ll lipca 2006 r. ustanawiajqce przepisy ogólne dotyczqce Europej-skiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Spolecznego oraz Funduszu Spójnosci i uchyla-jqcego rozporzqdzenie (WE) Nr l260/l999.

2. Frieskie K.W., Nauki spoleczne w sluzbie spraw publicznych -polskie tradycje, [w:] Srodowisko i warsztat ewaluacji, Haber A., Szalaj M. (red.), PARP, Warszawa 2008, s. l3-28.

3. Szarfenberg R., Zagadnienia terminologiczne, [w:] Ewaluacja w sluzbach spolecznych, Szatur-Jaworska B. (red.), Mazowieckie Centrum Polityki Spolecznej, Warszawa 2010, s. 24-37.

4. Bienias S., Strzçboszewski P., Opalka E., Ewaluacja. Po-radnik dla pracownikow administracji publicznej, Wydaw-nictwo Ministerstwa Rozwoju Regionalnego, Warszawa 2012.

5. Korporowicz L., Ewaluacja w edukacji, Oficyna Naukowa, Warszawa 1997.

6. Bogdanienko J., Piotrowski W., Zarzqdzanie. Tradycja i no-woczesnosc, Polskie Wydawnictwo Ekonomiczne, Warszawa 2013.

7. Korporowicz L., Spoleczna odpowiedzialnosc ewaluacji, [w:] Ewaluacja programow operacyjnych. Aspekty teore-tyczne, metodologiczne i praktyczne, Urzqd Marszalkow-ski Wojewodztwa Kujawsko-Pomorskiego, Torun 2013, s. 29-42.

8. Ekiert K., Ewaluacja w administracji publicznej. Funkcje, standardy i warunki stosowania, Rzqdowe Centrum Stu-diow Strategicznych, [dok elektr.] http://www.pte.org.pl/re-pository/files/PTE/Ewaluacj a_w_administracj i_publicznej. pdf [dostçp z 20 wrzesnia 2013].

9. Theiss M., Historyczne zrodla i czynniki rozwoju ewaluacji, [w:] Ewaluacja w sluzbach spolecznych, Szatur-Jaworska B. (red.), Mazowieckie Centrum Polityki Spolecznej, Warszawa 2010, s. 15-23.

10. Szatur-Jaworska B., Typologie ewaluacji, [w:] Ewaluacja w sluzbach spolecznych, Szatur-Jaworska B. (red.), Mazowieckie Centrum Polityki Spolecznej, Warszawa 2010, s. 34-44.

mgr Marta Wolosiak - mlodszy specjalista w Dziale Obslugi Badan Centrum Naukowo-Badawczego Ochro-ny Przeciwpozarowej - Panstwowym Instytucie Badaw-czym. Absolwentka studiow na kierunku socjologia i po-litologia.

mgr Ewa Michalska - starszy specjalista w Dziale Obslugi Badan Centrum Naukowo-Badawczego Ochro-ny Przeciwpozarowej - Panstwowym Instytucie Badaw-czym. Absolwentka Wyzszej Szkoly Menedzerskiej na kierunku administracja.