La presentazione è in caricamento. Aspetta per favore

La presentazione è in caricamento. Aspetta per favore

Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi.

Presentazioni simili


Presentazione sul tema: "Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi."— Transcript della presentazione:

1 Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi dei principali approcci e prospettive Coordinatrice: Liliana Leone 17 giugno 2010 Pawson R., Reviewing inner mechanisms: youth mentoring Relatrici: Laura Fantini e Daniela Ferrazza

2 Sommario Prima parte (Daniela Ferrazza) Introduzione e concetti base Studi da 1 a 4 Seconda parte (Laura Fantini) Studi da 5 a 9 Conclusioni

3 Prima parte La costruzione dellipotesi iniziale e linizio del confronto tra teoria ed evidenze empiriche

4 Mentoring come sfida per la sintesi realista Esemplificazione dellimpianto metodologico descritto nel cap.4 attraverso la messa in pratica della revisione realista su alcuni programmi e interventi che riguardano ilmentoring In cosa consiste il mentoring? – I programmi di mentoring sono molti vari, flessibili, fluttuanti – Mentoring è una ricetta che va bene in molti settori – Non sempre – quasi mai – nei programmi vi è una definizione operativa di ciò che si intende di volta in volta per mentoring, è difficile per il revisore capire cosa succedere realmente per questo è una valida sfida per sintesi realista

5 Mentoring, idee di base e perimetro della sintesi Si impara dallesperienza + si impara dagli altri = creare un relazione con una guida saggia può contribuire a migliorarsi e/o ad uscire da situazione di difficoltà La relazione è il trattamento del mentoring, spesso è inserito in un programma più ampio di attività In questo capitolo Pawson approfondisce solo i meccanismi di mentoring adulto/ragazzo escluso-deviante, la revisione completa riguardava anche mentoring tra pari, mentoring sul posto di lavoro e intervento di auto mutuo aiuto a supporto dei malati Inoltre, qui non ci si occupa di tutto il percorso esposto nel cap 4, ma specificatamente del processo di articolazione della teoria, test della teoria e ridefinizione della teoria / rifinitura (la discussione sulla ricerca e selezione del materiale è omessa)

6 Ri-costruire una teoria sullo Youth mentoring Cosa si intende per mentoring? – aiutare, guidare, orientare amichevolmente, legarsi, scambiare aiuto, dare un orientamento, perorare la causa, dare fiducia, sitting by Nellie, ecc… Troppe accezioni per poter ricavare lezioni e consigli per i policy maker È possibile individuare dei termini comuni, delle proprietà centrali, un comune denominatore che identifica le relazioni di successo? Nel modello realista, lambizione primaria della sintesi è la costruzione di spiegazioni. Lo scopo è articolare la teoria del programma sottostante e, con essa, interrogare levidenza per verificare quali teorie siano pertinenti e fruttuose.

7 Le proposte della letteratura Kram and Isabellas (1985) Career mentoring, finalizzato a trasmettere competenze professionali, La cassetta degli attrezzi Psycho social mentoring, finalizzato a ristabilire un equilibrio emotivo del mentee Role modeling mentoring, finalizzato a ottenere un cambiamento più complessivo /del ruolo, attraverso i meccanismo del seguire un leader e del guidare dando lesempio Noe, 1988: Formal mentoring and Unformal mentoring e Freedman, 1993: volontarietà è lingrediente vincente del mentoring Phillip and Hendry (2000) and Colley (2004) Achievement mentoring, supporta gli avanzamenti di status fornendo aiuto per lacquisizione di competenze professionali e quindi laumento delloccupabilità Identity mentoring, opera attraverso la relazione amicale,il support emotivo al mentee cercando di portare alla luce e sviluppare la sua idea di se stesso Engagement mentoring, è una combinazione dei due e mira a ottenere miglioramenti sia professionali che identitari

8 La rielaborazione del revisore Obiettivo iniziale: ricostruire unipotesi, uno schema esplicativo iniziale da mettere a confronto con le evidenze empiriche. In quali modi il revisore confronta teoria ed evidenze? juxtaposing adjudicating reconciling consolidating situating

9 Interrogativo di partenza Che forma deve assumere la relazione di mentoring per riuscire nellobiettivo di includere lescluso (socialmente)? C M R

10 Gli ingredienti della relazione In letteratura si fa riferimento a tre concetti fondamentali per spiegare perché alcune relazioni funzionano più di altre: 1.La differenza di status tra gli attori (mentore e mentee) 2.I rispettivi gruppi di riferimento 3.Il meccanismo di mentoring

11 1. Differenza di status Lattore sociale occupa una certa posizione nella società (status) da cui derivano un insieme di aspettative nei suoi confronti (ruolo atteso) con riferimento a comportamenti, atteggiamenti, opinioni (Linton R., Merton R.K e Parsons T.) Le iniziative di mentoring sono in genere finalizzate ad ottenere un cambiamento nello status e/o nel ruolo del beneficiario. In tal senso, si può riflettere su similarità e differenze in termini di status/ruolo che sussistono tra i due membri della relazione (Cosa funziona meglio e quando?) Considerando che ciascun partner può essere: Insider, Marginal, Outsider

12 2. Gruppi di riferimento Cosa induce il mentee a cambiare status/ruolo ? «[…]gli uomini, nel formare il loro comportamento e le loro valutazioni, si orientano di frequente verso gruppi diversi dai propri, e sono appunto i problemi che riguardano questo orientamento verso gruppi di non appartenenza a costituir il particolare oggetto della teoria dei gruppi di riferimento». (Merton, 1968, tr. it., 2000, p. 377). La teoria dei gruppi di riferimento sistematizza gli atteggiamenti e le disposizioni del nuovo membro rispetto al gruppo di riferimento preso in considerazione: aspirante, vuole il cambiamento indifferente ostile, osteggia il cambiamento In che modo il mentore guida verso questo cambiamento? Può assumere vari tipi di atteggiamento: proselitismo autonomia ostruzionismo

13 3. Meccanismi di mentoring Cosa succede/deve succedere tra i due attori affinchè si inneschi il cambiamento desiderato? Dalla Sintesi della letteratura emerge la seguente tipologia di base dei meccanismi di mentoring: Mentoring as befriending, il mentore offre risorse affettive per instaurare un legame amicale finalizzato a far comprendere al mentee lesistenza e il valore di altri punti di vista Mentoring as direction setting, il mentore offre risorse cognitive e si pone come guida nella maturazione delle scelte del mentee, allo scopo di considerare e riconsiderare i propri valori e orientamenti Mentoring as coaching, il mentore offre risorse pratico-conoscitive (skills) e incoraggiamento, che dovrebbero facilitare il mentee ad entrare a far parte del nuovo gruppo di riferimento (mainstream) Mentoring as sponsoring, il mentore offre risorse di rete, si offre come sponsor del mentee, lo introduce nella propria rete di contatti o nel circuito istituzionale

14 Modello iniziale di engagement mentoring sponsoring Impiegato, formato, membro Disoccupato, formato, aspirante Disoccupato, non formato, aspirante Disoccupato, non formato, indifferente Disoccupato, non formato, antagonista coaching direction - setting befriending Caratteristiche del mentee Tipo di mentoring Ipotesi su condizioni limitanti Il successo di ogni passo si compie solo se la relazione è in grado di assolvere la relativa funzione e quindi innescare il rispettivo meccanismo; Linnesco del meccanismo sbagliato/inappropriato per quel livello di relazione può determinare risultati negativi; Il successo di tutto il percorso è incrementale, bisogna fare tutti i passi, non cè possibilità di scorciatoie; Lintera sequenza è simbolica di una vera e proprio cambio di vita, quindi si potranno verificare stati intermedi nei casi concreti; È probabile che il singolo mentore non abbia le risorse/qualità per assolvere le funzioni di tutti i passi previsti; Per via della limitatezza delle proprie risorse il mentore potrà avere bisogno di essere supportato da altri attori/agenzie che dispongono di mezzi diversi dai suoi.

15 Le evidenze: 9 studi di caso Disclaimer Gli studi presentati in questo capitolo, che è una sintesi di un report più ampio e articolato, intendono sottoporre a verifica unicamente gli aspetti che riguardano ciò che Pawson definisce le dinamiche del coinvolgimento (dei giovani) nei meccanismi di mentoring, quindi in questa sede altri aspetti legati ad esempio al corretto match tra mentore e mentee sono tralasciati

16 Studio 1

17

18 Studio 2

19

20 Studio 3

21

22 Studio 4

23

24

25 Seconda parte Altre evidenze tratte dagli studi (5-9) Conclusioni e modello finale

26 5. St James-Roberts, I. and Singh, C. (2001) Can Mentors Help Primary School Children with Behaviour Problems? Home Office Research Study 233. London: Home Office Research and Statistics Directorate, 60pp Nome programma CHANCE Obiettivo del programma Far intervenire il mentor prima che i problemi diventino irrisolvibili, per supportare e reindirizzare i bambini fuori da comportamenti antisociali, dallesclusione sociale e da comportamenti criminali. Target Bambini con problemi comportamentali ed altri fattori di rischio della scuola elementare. 97% maschi, 50% bianchi. I bambini, oltre ad avere situazioni socio-economiche difficili, hanno anche gravi problemi comportamentali. Sono stati scelti dagli insegnanti, quindi costituiscono un target resistente al cambiamento. Profilo del mentor Mentor volontari. 80% donne, per lo più bianche. Training di 4 giorni per loro formazione. Caratteristiche del mentoring Befirending + direction-setting Il mentor interviene prima che i problemi diventino quasi irrisolvibili. Meccanismo utilizzato: I mentor incontrano generalmente i bambini per 2-4 ore a settimana, fino ad un max di 120 ore allanno. Le attività più comuni sono: passeggiate, sport, attività nel parco; cinema, teatro, zoo; attività in casa come cucinare, puzzle, costruzione di cose, giochi al computer; visite a biblioteche e musei; chiacchiere. Pochi mentor includono i mentee in attività con i propri bambini. La maggior parte dei mentor hanno regolari contatti con le madri dei mentee.

27 5. Metodo di valutazione Metodo misto: interviste semi-strutturate a tutti gli stakeholder + valutazione dei risultati tramite gruppo di controllo di 25 bambini con gli stessi tipi di problemi comportamentali. Quality appraisal Nellanalisi quantitativa probabilmente il gruppo di controllo, come accade spesso, è nel sistema, e non fuori. I mentor sono quasi tutte donne rispetto ad un target quasi tutto maschile Usufruiscono di un training di soli 4 giorni e non hanno capacità sotto il profilo cognitivo. Evidenza della sintesi Dalla ricerca qualitativa emerge che la parte di befriending ha risultati positivi, quella di direction-setting meno perché alcuni mentor non avevano chiaro come dovevano attuare. Dalla ricerca quantitativa emerge che non vi sono differenze sostanziali tra i due gruppi e i problemi continuano in entrambe. Il profilo del mentor, il tipo di attività, e quindi anche di meccanismo, utilizzato con un target resistente, risulta inappropriato e porta a risultati di insuccesso per il livello di direction-setting. (Consolidate) Diagramma della teoria C+M+O tratteggiato Risultati parzialmente negativi C M O

28 6. Shiner, M., Newburn, T., Young, T. and Groben, S. (2004) Mentoring Disaffected Young People: an Evaluation of Mentoring Plus. York: Joseph Rowntree Foundation, 92pp. Nome programma Mentoring Plus Obiettivo del programma _ Target Giovani ad alto livello di depravazione ed aggressività Motivati a restare nel programma (in quanto è possibile uscirne in qualsiasi fase dello stesso). Profilo del mentor Volontario Caratteristiche del mentoring Il mentoring è accompagnato da un preprogramma con un corso residenziale e un programma parallelo educativo e di training, condotto da altro staff. Al beneficiario era concessa la possibilità di ritirarsi in ognuna delle fasi di selezione per la partecipazione al programma. Modello: befriending – problem-solving – action-oriented (lavoro e educazione).

29 6. Metodo di valutazione Metodo misto di un programma complesso. Dalla ricerca qualitativa emergono le relazioni di mentoring, da quella quantitativa emergono gli impatti. Quality appraisal Nella ricerca quantitativa cè un problema nella selezione, perché il gruppo di controllo diviene quello che volontariamente non ha voluto partecipare al programma o ne è uscito dopo un po (questo falsa i risultati). Evidenza della sintesi Lo studio evidenzia che i passaggi da uno step allaltro del meccanismo di mentoring non sono automatici ed il processo è ciclico perchè vi possono essere dei punti di crisi che fanno tornare indietro. Il progresso successivo dipende dal successo della risposta a questi elementi di crisi. Dopo il primo livello di acquisizione della fiducia e di una buona relazione, se il punto di crisi viene risolto con successo e la relazione viene ripristinata, alcuni riusciranno a passare alla parte di azione sul piano educativo e lavorativo. Levidenza dellimpatto mostra effetti su lavoro, training più che nelle relazioni familiari, abuso di sostanze e comportamenti aggressivi. Lelemento plus ha risultati più positivi del mentoring. ll mentoring da solo non può promuovere il coinvolgimento in tutti gli stadi previsti dal modello, vi devessere buona sinergia tra mentoring e elementi plus. Il ruolo del mentor ha risultati positivi se facilitato da altro. (Consolidate) Diagramma della teoria C+M+O tratteggiato

30 7. Grossman, J. and Tierney, J. (1998) Does mentoring work? An impact study of the Big Brothers Big Sisters program, Evaluation Review, 22(3): Nome programma Big Brothers Big Sisters Obiettivo del programma Diminuire la propensione alluso di droghe ed alcool, aumentare il livello di frequenza a scuola, raggiungere voti più alti, relazioni migliori con la famiglia e con i coetanei. Target L80% dei giovani aveva dai 13 anni in giù. Rispetto al genere ed alla razza: 23% donne appartenenti a minoranze, 34% maschi appartenenti a minoranze, 15% donne bianche, 23% uomini bianchi. Rispetto alla condizione sociale: 43% vivevano in case che ricevevano assistenza pubblica, 39% aveva genitori divorziati o separati, 40% aveva storie di violenza domestica, 21% aveva sofferto abusi emotivi, l11,2% abusi fisici. Non ci sono informazioni sul tipo di motivazione. Sappiamo solo che erano comunque motivati ad entrare nel programma la cui adesione era volontaria. Profilo del mentor Mentor volontari Caratteristiche del mentoring ll programma ha dettato una serie di requisiti per la partecipazione (tra cui la motivazione sia dei giovani che delle famiglie) e lo studio ha posto una serie di esclusioni (tra cui, la partecipazione dei giovani ad altri programmi). Non vi sono informazioni sul meccanismo di mentoring.

31 7. Metodo di valutazione Randomized Control Trial. Un campione di 959 volontari è stato suddiviso nel gruppo sperimentale e nel gruppo di controllo in lista dattesa del programma. Quality appraisal E considerato lo studio più conosciuto del più conosciuto programma di mentoring. Le sue conclusioni positive hanno la responsabilità della popolarità che hanno acquisito i programmi di mentoring. I requisiti richiesti tanto dal programma quanto dallo studio ne fanno uno studio non troppo coraggioso in quanto si rivolge a giovani compiacenti e particolarmente perseveranti, e che il tipo di risultati positivi raggiunto è più semplice con un target ben motivato. Gli impatti (che mostrano dei risultati in generale positivi rispetto ad una serie di comportamenti) sono semplificati attraverso una serie di tavole. Ovviamente ci sono delle fluttuazioni: ad es in termini di comportamenti antisociali il programma ha generato una riduzione nelluso di droghe e nel fumo, mentre non si rilevano risultati nel furto e danni alle cose. Gli impatti sono riportati per sottogruppi ma vengono differenziati solo nel rapporto razza/genere, mentre le variabili più direttamente ricollegabili a deprivazione (es violenze domestiche) non sono utilizzate. Per cui, nostante gli impatti riportati dalle conclusioni dello studio siano positivi in generale, manca nellanalisi un test delle differenze tra coloro che hanno fatto grandi o piccole oscillazioni nella scala dellengagement. P. segnala come limite dello studio che i dati sullimpatto siano stati raccolti tramite autovalutazioni tramite sondaggio telefonico (gli autori giustificano la scelta adducendo la validità dello strumento come accettabile dagli standard convenzionali delle scienze sociali).

32 7. Evidenza della sintesi Se da una parte lo studio fornisce le basi per dire che il mentoring funziona per attutire una serie di problemi e per migliorare una serie di comportamenti, dallaltra però non fornisce dati affidabili sulla misurazione degli outcome. P. sottolinea che il tipo di risultati positivi raggiunto è semplice con un target ben motivato. P. contesta inoltre che il programma sopravvive da quasi un secolo ed ha una serie di agenzie robuste e può godere di liste dattesa enormi, quindi ha uninfrastruttura così robusta da non poter generalizzare a tutti i programmi di mentoring i suoi risultati positivi. Juxtaposing. Lo studio menziona i risultati positivi e i prerequisiti ed il target group, ma non sottolinea il meccanismo. Diagramma della teoria C+O, outcome positivi, ma non misurati in maniera affidabile Manca menzione del meccanismo. C O

33 8. Rhodes, J., Grossman, J. and Resch, N. (2000) Agents of change: pathways through which mentoring relationships influence adolescents academic adjustment, Child Development, 71(6): Nome programma _ Obiettivo del programma _ Target Adolescenti Profilo del mentor _ Caratteristiche del mentoring _

34 8. Metodo di valutazione Analisi quantitativa multivariata su alcuni aspetti chiave della relazione di mentoring al fine di dare evidenza del successo. Metodo di analisi: LISREL per arrivare ad un modello statistico dei pattern del cambiamento in output e outcome legati alla partecipazione al programma. (Nellarticolo non va nei tecnicismi statistici che si possono trovare invece nella revisione completa) Quality appraisal Nonostante normalmente siano gli studi qualitativi a fornire informazioni sul processo, mentre quelli quantitativi sugli outcome, in questo caso P. rileva che gli studi multivariati che esaminano una serie di cambiamenti associati ad un programma possono fornire alcune chiavi sui pattern e le sequenze di questi cambiamenti e dare indicazioni su come sono legati tra loro causalmente. Tentativo di modellizzare i pathway dei cambiamenti. Evidenza della sintesi Lo studio evidenzia che gli effetti del mentoring sono parzialmente mediati dalla percezione che gli adolescenti hanno delle loro relazioni familiari. Lo studio non dà spiegazioni su come funziona il processo: il pattern è statistico, coloro che riportano un miglioramento in ambito educativo sono gli stessi che lo riportano anche nelle relazioni a casa. Quello che lo studio aggiunge allipotesi iniziale è che il processo di cambiamento personale passa da una relazione esclusiva a due (mentor-adolescente) ad una relazione a tre (mentor-adolescente-(in questo caso) altri membri della famiglia). Il modello di befriending necessita di attori supplementari per arrivare al coinvolgimento. Juxtaposing perché si concentra sulla spiegazione dei pattern di outcome Diagramma della teoria C+O Lo studio non dice nulla sul processo

35 9. DuBois, D., Holloway, B., Valentine, J. and Cooper, H. (2002) Effectiveness of mentoring programmes for youth: a meta-analytic review, American Journal of Community Psychology, 30(2): Nome programma Programmi di mentoring in USA presenti nella letteratura tra il 1970 ed il 1998 Obiettivo del programma E una revisione che ha lobiettivo di analizzare gli effetti dei programmi di mentoring rivolti ai giovani e di investigare gli impatti in relazione agli aspetti chiave del disegno e dellimplementazione dei programmi. Target Giovani ad alto rischio e svantaggio ambientale, cioè derivanti dal contesto (povertà, razza, situazioni familiari, ecc) (diverso dal rischio individuale: es. disagi comportamentali, abuso di sostanze, attività criminali, vittime di abusi.) Non ci dice nulla sulla loro motivazione e aspirazioni. Profilo del mentor Caratteristiche del mentoring Si desume che i programmi di mentoring inclusi nella revisione tocchino tutti i livelli del mentoring (Befriending-Direction setting-Coaching-Advocacy)

36 9. Metodo di valutazione Meta-analisi dei risultati di 55 valutazioni sperimentali e semi-sperimentali sui programmi di mentoring in USA presenti nella letteratura tra il 1970 ed il 1998, estrapolando 44 indicatori di outcome dagli studi primari. Quality appraisal _ Evidenza della sintesi Levidenza che emerge dalla revisione è che i programmi di mentoring sono efficaci ma limpatto è dichiarato piccolo o modesto. La base empirica più consistente mostra lutilizzo del mentoring come intervento preventivo per giovani il cui background include condizioni di rischio dettato dallambiente e svantaggi significativi. Ne discende che il mentoring funziona meglio per i giovani a più alto rischio derivante dal contesto. Lipotesi della revisione per cui è raro il coinvolgimento di giovani ad alto rischio con problemi comportamentali è validato. Si hanno risultati positivi per la formazione e il rendimento scolastico. Se il mentoring è solo o è parte di un programma con più componenti, leffetto non è molto diverso. Questo contrasta con altre conclusioni di studi precedenti. Se ne dà una spiegazione metodologica: la meta-analisi finisce per fare un paragone categorizzando riduttivamente in ogni valutazione il mentoring come solo o multi componenti. Le relazioni di mentoring possono essere giudicate meglio ad un livello di relazioni individualei anziché in assoluto Diagramma della teoria

37 Figura 6.3: Pathway del Youth Mentoring Efficacia del mentoring Elementi di recupero/soccorso I Risorse supplementari Elementi di recupero/soccorso II Befriending Direction Setting Coaching Advocacy Confidence Building Resilience Building Trust Building Family & Peers Youth & Community Education & Training Work & Career Honest-broking Peace-making Fence-mending Trouble-shooting


Scaricare ppt "Seminario sui Classici moderni della valutazione a.a. 2009/2010 Ciclo: Le revisioni sistematiche per lo sviluppo di politiche basate sulle evidenze: analisi."

Presentazioni simili


Annunci Google