Paul Warner, Univerzitet u Kentakiju Nick Place, Univerzitet

Paul Warner, Univerzitet u Kentakiju Nick Place, Univerzitet

Paul Warner, Univerzitet u Kentakiju Nick Place, Univerzitet u Merliendu, Januar 25-27, 2011 1 Ukoliko neto ne moe da dokae svoju vrednost, ne dobija podrku. Da li je imalo pozitivan uticaj? Ako ne moete da demonstrirate uspeh, ne moete ga ni nagraditi. U stvari, moda time nagraujete neuspeh. To to neko naporno radi ne osigurava da e to dati rezultate. Ukoliko ne znate koje metode su su najuspenije, moe se desiti da i dalje nastavite

da koristite neefikasne metode. Ukoliko ne znate uticaje programa, oni moda nee opravdati ulaganja. 2 Logiki model u evaluaciji ta elite da znate? Kako to elite da saznate? Evaluacija: pregledajte i proverite 3 Formativne na procesu) evaluacije (fokus je U cilju poboljavanja programa Summativne evaluacije

je na rezultatima) (fokus Za dokumentovanje uticaja. Dobitak u odnosu na investicije Odnos koristi naspram trokova 4 (Fokusi na outputima aktivnosti i participaciji) Da li je program ostvario svoju svrhu? Koji metod isporuke je bio najuspeniji? Koji su kvalitetni aspekti isporuke? Koji je participatorni nivo eljenih uesnika? Koje su bile reakcije participanata (nivo zadovoljenja)? 5

(Fokus je na kratkoronim, srednjeronim i dugoronim rezultatima) U kolikoj meri su se znanje, svest, vetine i raspoloenje promenili? U kojoj meri su se ponaanja i prakse promenili? U kojoj meri su se socijalne, ekonomske, graanske i ekoloke situacije promenile? 6 Hierarhija efekata Social-economic-environmental improvements Izvor: Bennett i Rockwell, 1995, Ciljanje rezultata programa Aktivnosti

Uenje Reakcije Uee Izmene u ponaanju i praksama Izmene u znanju, raspoloenju, vetinama, i nastojanjima Stepen satisfakcije sa programom, nivo interesa, oseanja prema aktivnostima, edukacione metode Broj i karakteristike ljudi koji do kojih se doprelo, frekvencija i intenzitet kontakata 7 8 Prua

opis programa koji vodi na evaluacioni proces Pomae nam da uskladimo evaluacione metode sa programom Pomae nam pri spoznavanju ta treba da merimo (aktivnosti, uee, rezultati) Pomae nam da saznamo ta treba da merimo 9 INPUTI Investicije programa OUTPUTI Aktivnosti Uee REZULTATI Kratkoro ni

Srednjer oni Dugoro ni Evaluaciona pitanja: Na kakva pitanja elite da odgovorite? npr., dostignua pri svakom koraku, oekivane neobavezne veze; neplanirane posledice ili lanci dogaaja koji su pokrenuti Indikatori: Kakvi dokazi vam trebaju da biste odgovorili na pitanja? 10 ta elite da saznate o svom programu? Evaluacija: ta meriti i kada? Koja koliina novca i koje vreme je investirano?

Od ega se zaprao sastojao program? Ko je zapravo uestvovao i u emu? Da li je ovo dopreo do naeg cilja? Do kog nivoa su se znanje i vetine poveali? Do kog nivoa su se prakse promenile? Do kog stepena se upotreba fosfora

smanjila? Da li su farmeri utedeli sredstva? 11 Identifikovati aspekte programa koje treba evaluirati (aktivnosti, participacija, ili kratko, srednje i dugorone rezultate) Formulisati evaluaciona pitanja Identifikovati indikatore za svako pitanje Odredii izvore informacija za svaki indikator Odrediti metode prikupljanja podataka i vreme za koje treba prikupiti podatke Sumirati podatke i doneti zakljuke 12 Evaluacioni Plan Tip evaluacije (input, output, rezultat) Evaluaciona pitanja

Indikatori Sakupljanje podataka Izvori Metode Vremensk i okvir 13 Mogua evaluaciona pitanja Roditelji unapreuju svoje znanje o razvoju dece Procena programa edukacije roditelja Osoblje Novac Partneri

Dizajnirati i isporuiti program zasnovan na dokazima u 8 sesija Istraivanje Omoguiti grupnu podrku Koja koliina novca i vremena je investirana? Da li su sve sesije odrane? Koliko dobro? Da li se grupe za podrku sastaju? Roditelji dece od 3-10 godina

starosti prisustvuju Roditelji bolje razumeju sopstveni nain vaspitanja Roditelji stiu vetine efektivnog roditeljstva i vaspitanja dece Da li svi roditelji uestvuju kao to je zamiljeno? Ko nije i zato? Da li su prisustvovali svim sesijama?...grupe za podrku? Nivo zadovoljstva? Roditelji identifikuju akcije koje treba preduzeti

Roditelji koriste efektivne vetine roditeljstva Do kojeg stepena su se znanje i vetine poveali? Kod koga? Zato? ta se jo desilo? Do kojeg stepena su se ponaanja promenila? Za koga? Zato? ta se jo desilo? Smanjenje stresa Bolji odnos izmeu roditelja i dece

Jaka porodica Do kojeg stepena je stres smanjen? odnosi poboljani? 14 Koji je najbolji indikator (ili indikatori) koji daje odgovor na svako evaluaciono pitanje? Da li je to iroko prihvaeni koncept merenja? Koju vrstu dokaza indikator daje (kvantitativni ili kvalitativni)? Koja je jedinica merenja? ($, #, %) Da li se lako moe izmeriti? Da li se lako moe sumirati ili sakupiti?

15 Primer edukacije roditelja: Evaluaciona pitanja, Roditelji indikatori unapreuju Zaposleni Novac Partneri Istraivanje Izraditi nastavni plan i program za edukaciju roditelja Sprovesti seriju od 8 interaktivnih sesija svoje znanje o razvoju dece

Roditelji dece od 3-10 godina starosti Omoguiti grupnu podrku Koliko je sesija odrano? Koliko dobro? #, kvalitet rada grupe za podrku? INDICATORS # Osoblja Iskoriena koliina novca # partnera Roditelji stiu vetine novih

naina vaspitanja dece Roditelji postaju sigurni u sopstvene sposobnosti EVALUACIONA PITANJA Koja koliina novca i koliko vremena je uloeno? Roditelji bolje razumeju sopstveni nain vaspitanja Ko/koliko roditelja je prisustvovalo/nije prisustvovalo sesijama? Da li su

prisustvovali svim sesijama? Grupe za podrku? Da li su bili zadovoljni zatozato nisu? # Odranih sesija #,% uesnika po sesiji Kriterijum kvaliteta Sertifikati Koliko su znanje i vetine poveani? Kod koga? Zato? ta se jo dogodilo?

#,% onih koji su pokazali poveano znanje i vetine Dodatni rezultati Roditelji identifikuju akcije koje treba preduzeti Roditelji koriste efektivne vetine roditeljstva Smanjenje stresa Bolji odnos izmeu roditelja i dece Jaka porodica

Koliko se promenilo ponaanje? Kod koga? Zato? ta se jo dogodilo? Koliko se smanjio stres? Koliko su sepoboljali odnosi? #,% onih kod kojih je dolo do promena #,% onih kod kojih je dolo do poboljanja Vrste promena Vrste

poboljanja 16 Kvantitet pruenih usluga Broj edukacija (broj radionica, poseta gazdinstvima, itd.) Tip pruene usluge Broj svakog od tipova usluga Broj usluenih klijenata Broj klijenata koji su uestvovali (za svaku aktivnost ili dogaaj) Proportion of target population served Tip uesnika (commodities of farmer, size of operation, pol) Kvalitet pruene usluge Nivo zadovoljstva klijenta Kvalitet prezentacija Subjektivna ocena od

strane supervizora zasnovana na posmatranju i povratnoj informaciji (feedback u) od strane klijenata 17 Outputi Implementiran program Rezultati Polj. proizvoai kojima je program namenjen Broj odranih Broj i radionica procenat polj. proizvoaa Kvalitet koji su radionica prisustvovali edukaciji

Polj. proizvoai ue Broj i procenat polj. proizvoaa koji su poveali svoje znanje Polj. proizvoai primenjuju nove tehnike u praksi Broj i procenat onih koji primenjuju nove tehnike

Profitabilnost poljoprivrednog gazdinstva raste Broj i procenat onih kod kojih je dolo do poveanja profita; nivo poveanja 18 Program Outputi Rezultati Kontrola kriminala asovi provedeni u patroliranju

# odgovora na pozive graana # istraenih kriminalnih dela Izvrena hapenja Smanjenje poinjenih kriminalnih dela Smanjenje broja smrtnih sluajeva i povreda nastalih zbog kriminala; Manje oteenja i gubitka imovine zbog kriminala Izgradnja autoputa Uraeni projekti Kilometri novoizgraenog autoputa Kilometri rekonstruisanog

autoputa Poveani kapaciteti Poboljan protok saobraaja Skraeno vreme putovanja Smanjenje broja saobraajnih nezgoda i povreda From Poister, 2003 Sekundarne Metode Pregled izvetaja popisivanje, upis programa Privatne agencije ili agencije vlade 20

Informacije mogu biti lako dostupne i to po niskoj ceni, ili mogu biti u potpunosti nedostupne Moe se desiti da to nije indikator koji je vama potreban Od malog znaaja za uesnike programa To moe biti uoptena informacija koja se ne moe dovesti u vezu sa uspehom programa To, takoe, moe biti poverljiva informacija dostupna samo u saetom obliku 21 Primarne metode

Ankete Fokus grupe Posmatranje (opservacija) ponaanja uesnika Pre-test/Post-test Samo Post-test Post-test plus priseanje Testiranje Poreenje pojedinaca i grupa Kontrolne grupe Studija sluaja Ispitivanje zadovoljstva klijenata 22 Moe se sprovesti mail-om, telefonski, licem u lice ili putem interneta Moe da ispituje ponaanje, kao i

stavove i miljenja Moe da ispituje uzorak iz grupe Moe da se sprovodi u grupi kao i pojedinanim ispitivanjem Potrebna je vetina u kreiranju pitanja u upitniku Moe da prikuplja informacije kvantitativnog i kvalitativnog karaktera 23 Ova metoda omoguava diskusiju sa liderom koji od lanova grupe trai da mu daju svoje miljenje o nekoj temi Daje raznolika gledita lanovi grupe mogu da reaguju na miljenja ostalih kroz interakciju Ne daje informaciju o pojedincu Moe s desiti da miljenja manjine ne dou do izraaja 24

Pogodna za posmatranje ponaanja Omoguava vizuelnu povratnu informaciju (feedback) Zavisno od ponaanja koje treba da se posmatra, moe se sprovesti na mestu edukacije ili na lokaciji uesnika Ako su uesnici svesni da ih neko posmatra, rezultat opservacije moe biti pogrean 25 Informacije se prikupljaju dva puta, pre i posle programa Dokumentuje promenu koja se moe dovesti u vezu sa ueem u programu Mora se doneti odluka o tome koliko vremena treba da proe od zavretka programa da bi se mogle zabeleiti promene koje su rezultat uea u programu (tj. da se uradi post test) Evaluacioni plan mora biti napravljen i implementiran pre nego to program pone

26 Dokumentuje ponaanje poto je program sproveden Pokuava da ponaanje posle programa povee sa ueem u programu Moe biti dobra ako se sigurno zna da niko od uesnika nije koristio nove metode pre programa Ova metoda moe biti neophodna ako evaluacija nije bila napravljena pre nego to je program poeo 27

Dokumentuje ponaanje posle programa, pri emu se od uesnika trai da navedu odlike svog ponaanja pre programa Daje informaciju o stanju pre programa ako se bazira na tanosti priseanja Seanje uesnika moe biti netano ili pristrasno Meutim, bolje je dobiti informaciju kroz priseanje, nego nemati nikakvu informaciju o stanju pre programa 28 Obino se koristi da se ispita steeno znanje ali, u nekim sluajevima, i da se dokumentuje nov nain ponaanja Neka testiranja mogu biti unutar samog programa u vidu vebi uesnika Obino daje bolje rezultate kada su u pitanju mladi nego kada su to odrasli uesnici Ne moe da dokumentuje dugorone rezultate

29 Obino se koristi kada su metode prenoenja programa razliite za razliite pojedince ili grupe Daje mogunost kreatoru programa da odredi koja je metoda bila najbolja poreenjem dva ili vie pojedinaca ili grupa 30 Obino se ne koristi kod programa edukacije jer bi to znailo uskraivanje programa jednoj grupi ili pojedincu da bismo imali

kontrolnu grupu Meutim, ako se program ne sprovodi za jednu grupu usled nedostatka sredstava ili je planiran za neki drugi termin, ukazuje se prilika da se uporede rezultati grupe koja je prola kroz program i one koja nije Grupa koja je prola kroz program mora biti veoma slina kontrolnoj grupi da bi poreenje bilo validno Prikupljanje informacija od kontrolne grupe moe biti teko jer ona nije bila korisnik programa 31 Prikupljanje detaljnijih informacija od male grupe pojedinaca koji su uestvovali u programu

Obino daje kompletniju sliku o tome kako je pojedinac reagovao na program i iskoristio informacije koje kroz program dobio Ne moe se generalizovati, tj. proiriti na ostatak populacije Moe biti veoma ubedljiva kada je u pitanju uticaj programa na pojedinca 32 Obezbeuje povratnu informaciju od strane klijenta o adekvatnosti teme i metodama predavanja Moe da ukae na to da li uesnik smatra program vrednim truda

Moe, ali ne mora obavezno, da ukae na to da li je neto naueno ili da li je dolo do promene ponaanja Moe se desiti da samo pokae da li je predava bio zabavan i da li se alio tokom predavanja Moe se koristiti za ocenu jednog program ili cele organizacije 33 Izvetaji o programu (registrcija uesnika, evidencija prisutnih, itd.) Sekundarni ivori podataka (broj polj. Proizvoaa po tipu proizvodnje kojom se bave, broj grla, itd.) Uesnici na programu Zaposleni (osoblje) Opservacija Saradnici Izvetai Agrobiznis 34

PROBLEM Iznoenje problema na koji se program odnosi PROGRAM Opis odlika programa edukacije UEE Izvetavanje o tome koliko i kakvi tipovi osoba su uestvovali u programu UTICAJ Objanjenje rezultata programa 35 Budet, organizacioni kapacitet i strunjaci

spremni da podre proces evaluacije Raspoloivo vreme zaposlenih za sprovoenje evaluacije Voljnost uesnika da odgovaraju na evaluaciona pitanja Izbor trenutka evaluacije u odnosu na implementaciju programa Dostupnost uesnika Cilj (oblast) programa 36 Centralni izvetajni sistem za prikupljanje i agregaciju informacija o izvrenju programa Evaluacione studije koje dokumentuju uticaje prgrama to omoguava ekstrapolaciju rezultata kada se program ponovo primenjuje Uticaji programa postaju deo ocene uinka zaposlenih 37

U kojoj meri se promene u rezultatima mogu pripisati Savetodavnim programima (u kojoj meri se spoljanji uticaji mogu prepoznati i kontrolisati)? Koje su dugorone posledice programa? (1, 5, 10, 20 godina kasnije) Cost benefit analiza. Da li vredi investirati u program? ta je alternativa kada su trokovi u pitanju? Da li je ovo najbolji nain korienja sredstava za postizanje rezultata? Koje metode edukacije su najuspenije? ta su prepreke za poboljanje efektivnosti?

ta su nenamerne posledice? 38 39 Svaka grupa priprema evaluacioni plan za jedan od tri programa Identifikuje aspekte programa koje treba evaluirati (aktivnosti; uee; kratkorone, srednjerone i dugorone rezultate) Formulie evaluaciona pitanja Identifikuje indikatore za svako pitanje Odreuje izvore informacija za svaki indikator Odreuje metode prikupljanja podataka i vreme kada se podaci prikupljaju.

40 Neki koncepti i slajdovi u ovoj prezentaciji su preuzeti iz prezentacija sa Univerziteta u Viskonsinu Savetodavsvo, a potom adaptirani. 41

Recently Viewed Presentations

  • The Case for NRENS

    The Case for NRENS

    Readiness Study Objectives Establish a Knowledge Base Analysis of Current Situation Outreach and Dissemination Scenarios and Recommendations R&E Networking Community Agreement: TERENA General Assembly NREN PC European NREN CEOs TERENA and DANTE Management TERENA and DANTE collaborate TERENA point of...
  • Lets talk smart! Robert A. Yetter, Ph.D. Associate

    Lets talk smart! Robert A. Yetter, Ph.D. Associate

    Contact me via phone at: 301-827-0373 Or contact me via e-mail at: [email protected] 4 weeks before meeting 75 days All others C 4 weeks before meeting 60 days Pre-IND End Phase 2 Pre-BLA B 2 weeks before meeting 30 days...
  • Agenda - hed.state.nm.us

    Agenda - hed.state.nm.us

    Does the Lottery Scholarship cover other expenses such as student fees, books, or room and board? ... 1964 to the official termination of the Vietnam conflict as designated by executive order of the President of the United States, is eligible...
  • Mozambique Investment Forum Finance Opportunities within Mozambique Paris,

    Mozambique Investment Forum Finance Opportunities within Mozambique Paris,

    Times Blank Bitmap Image Microsoft Photo Editor 3.0 Photo Microsoft Excel Chart PaintShopPro Mozambique Investment Forum Finance Opportunities within Mozambique Paris, 3 October 2003 Rui Fernandes, Chairman, mCel History History Beginning of 2001 Beginning of 2001 2002 - Changes to...
  • Importance of Mobile Applications in Accessibility

    Importance of Mobile Applications in Accessibility

    Texas Department of State Health Services. How's your mobile? Importance of Mobile Applications in Accessibility. Hello I'm Susan Hewitt, Accessibility Coordinator at the Dept of State Health Services and I'm here to give you a whirlwind tour of where accessibility...
  • Assisted Suicide - Whitney Ayers - Introductions

    Assisted Suicide - Whitney Ayers - Introductions

    Upon completion of this seminar you should be able to define and differentiate between the terms euthanasia, and physician-assisted suicide. Describe the laws and ethics regarding assisted suicide and the controversies surrounding the issue. Identify two of the criteria that...
  • Arthropods and Echinoderms  The zebra swallowtail butterfly is

    Arthropods and Echinoderms The zebra swallowtail butterfly is

    Arthropods and Echinoderms The zebra swallowtail butterfly is one of more than 750,000 species of arthropods--the largest phylum of animals
  • Innovation and innovation policies in developing countries

    Innovation and innovation policies in developing countries

    Innovation policy in developing countries: main characteristics and future challenges. The literature on innovation policy in developing countries is limited . Often official documents by LDCs governments overlook the topic and do not include innovation policy among the priorities.