INDICATORI E RICERCA VALUTATIVA Lezione del 4 e 11 dicembre 2014.

Presentazione sul tema: "INDICATORI E RICERCA VALUTATIVA Lezione del 4 e 11 dicembre 2014."— Transcript della presentazione:

1 INDICATORI E RICERCA VALUTATIVA Lezione del 4 e 11 dicembre 2014

2 Un indicatore sintetico è una misura del livello di un fenomeno complesso (ad es. benessere, sviluppo), non direttamente misurabile, ottenuta tramite l’applicazione di una opportuna combinazione di indicatori elementari Che cos’è un indicatore complesso L’indicatore è un indice, una variabile o, più in generale, un dato statistico che assume un significato compiuto nell’ambito di un modello di ricerca e/o di uno schema interpretativo Rapporto di indicazione = relazione fra un concetto generale e aspetti specifici che vi si relazionano L’indice è un’entità numerica che esprime il rapporto fra due entità quantitative o tra due fenomeni

3 Passo 1 : il quadro teorico Il fenomeno oggetto di attenzione deve, dunque, essere ben delineato nelle sue diverse sfaccettature; occorre cioè mettere a punto una sua definizione multidimensionale. Dimensioni e sottodimensioni dovranno comunque essere descrivibili e plausibili, dal punto di vista teorico e/o da quello empirico. È all’interno di un inquadramento teorico ampio che si rende possibile la selezione e la combinazione delle variabili oggetto che entreranno a far parte dell’indicatore. È auspicabile, in questa fase il coinvolgimento di esperti e di eventuali parti sociali interessate alla tematica. I 10 passi per la costruzione di un indicatore di sintesi

4 Passo 1 : il quadro teorico: schema logico per la costruzione di un indicatore composito I 10 passi per la costruzione di un indicatore di sintesi CONCETTO DIMENSIONE 1 DIMENSIONE 2 DIMENSIONE 3 Indicatore dimensione 1 Indicatore dimensione 2 Indicatore dimensione 3 Formula logica combinatoria INDICATORE COMPOSITO

5 Passo 1 : il quadro teorico: schema logico per la costruzione di un indicatore composito I 10 passi per la costruzione di un indicatore di sintesi SVILUPPO UMANO Longevità Livello di istruzione Benessere economico Speranza di vita alla nascita % di adulti con laurea PIL Formula logica combinatoria INDICATORE COMPOSITO % di studenti per grado di istruzione sul totale popolazione

6 Passo 2 : la selezione dei dati Gli indicatori includono dati qualitativi (soft) raccolti tramite surveys o policy reviews, oltre a dati quantitativi (hard). L’integrazione di tipologie di dati diverse all’interno del medesimo indicatore, si rende necessaria quasi sempre, per garantire la misura di una o più dimensioni ritenute importanti. La selezione dei dati dovrebbe essere basata su alcuni criteri quali: la solidità e misurabilità copertura (geografica, temporale) pertinenza rispetto al fenomeno da misurare attinenza e relazione reciproca tra i dati

7 7 Passo 3 : l’imputazione dei dati mancanti Esistono essenzialmente tre modi di affrontare la questione: Escludere i dati mancanti e limitare l’analisi ai soli casi completi Considerare i dati mancanti parte dell’analisi e provare ad imputare o valori singoli (ad esempio con la media della variabile) o valori multipli. Nessuna modalità di imputazione è libera da assunzioni fatte a monte. Il set di dati deve essere completo! È possibile perciò valutare l’opportunità di una imputazione di dati mancanti. Tuttavia questa operazione deve essere accompagnata da una attenta valutazione dell’impatto che essa può avere sulla distribuzione della variabile oggetto di imputazione, ma anche sui risultati dell’indicatore composito.

8 8 Passo 4: l’analisi multivariata L’Analisi in Componenti Principali consente di organizzare le informazioni sulla base delle variabili a disposizione, fa emergere ls struttura dimensionale del fenomeno. La Cluster Analysis consente, invece, di organizzare le informazioni secondo il Paese o Regione, fa emergere eventuali somiglianze. La struttura complessiva del dataset deve essere studiata attraverso opportune tecniche di analisi multivariata. Le tecniche multivariate maggiormente diffuse ed idonee alla individuazione di dimensioni principali sottostanti ai dati vi sono l’Analisi in Componenti Principali (ACP) e/o la Cluster Analysis

9 9 Passo 5: la normalizzazione Questa operazione consente trasformazioni di carattere matematico, funzionali ai successivi calcoli: correggere discrepanza nelle scale di misura (riportando le variabili alla stessa scala di misura). trasformare distribuzioni fortemente asimmetriche. La normalizzazione si rende necessaria per rendere confrontabili le variabili. Bisogna scegliere la procedura di normalizzazione più corretta, in relazione al quadro teorico e alle proprietà dei dati. Inoltre, la normalizzazione consente una riflessione sull’eventuale presenza di valori anomali

10 10 Passo 6: ponderazione e aggregazione Per assegnare i pesi che i singoli indicatori devono assumere all’interno dell’indicatore sintetico, si può ricorrere sia a criteri soggettivi (come le valutazioni di esperti) sia a criteri di tipo statistico (ad esempio, riconsiderando il grado di associazione tra gli indicatori di partenza, valutando se assegnare un peso inferiore a indicatori fortemente correlati tra loro (i quali potrebbero rappresentare la medesima dimensione e che rischiano di ‘duplicare’ il loro peso!) L’aggregazione (lineare o geometrica) produce una più o meno accentuata compensazione tra i singoli indicatori, tale per cui un deficit in una dimensione può essere compensato da un surplus nell’altra. La ponderazione delle variabili all’interno dell’indicatore sintetico e il calcolo di aggregazione devono essere entrambi scelti sulla base di riflessioni di tipo concettuale. Solo il quadro teorico può fornire indicazioni circa il peso da attribuire alle diverse dimensioni misurate e selezionate e suggerire il calcolo matematico attraverso il quale i singoli punteggi diventano un’unica quantità!

11 11 Passo 6: ponderazione e aggregazione Tecniche di costruzione degli indicatori: - ordinali (ranghi) - cardinali (numeri indice, normalizzazione, standardizzazione, percentuali) - statistica multivariata (ACP, scaling)

12 12 Passo 7: analisi dell’incertezza e della sensibilità Quest’analisi viene eseguita adottando un approccio inferenziale e stabilendo quali sono le principali fonti di instabilità o incertezza dei risultati (vedendo se ad esempio i punteggi finali ottenuti con l’indicatore sintetico sono molto diversi, a seconda del metodo di aggregazione o a seconda del sistema di pesi utilizzato) Inoltre, è importante valutare quanto l’indicatore sintetico è sensibile alle diverse scelte metodologiche fatte nei diversi steps Vengono riprese e sottoposte al vaglio tutte le possibili fonti di imprecisioni ed errori, ripercorrendo se necessario anche tutti i passaggi precedentemente eseguiti, ipotizzando soluzioni alternative e confrontando la performance dell’indicatore sintetico, costruito nell’una e nell’altra maniera.

13 13 Passo 8: il ritorno sui dati In questo momento, è possibile delineare dei Profili (dei collettivi/Paesi/Regioni oggetto di analisi) proprio a partire dalla performance ottenuta nell’indicatore sintetico. Grazie a questo tipo di analisi ci si può accorgere se il comportamento dell’indicatore sintetico sia monopolizzato da uno o da alcuni degli indicatori di base. Una volta osservato l’indicatore sintetico e visti i valori che assume nei casi contemplati, si tornano ad osservare, congiuntamente, i valori che i casi assumono sui singoli indicatori. In questo modo, si possono commentare meglio i risultati e descrivere più efficacemente quali aspetti hanno inciso maggiormente nel determinare la performance complessiva, negativa o positiva, dell’indicatore complesso.

14 14 Passo 9: relazioni con altri indicatori Nel caso di fenomeni sui quali vi sono già lavori del genere in letteratura, si potranno anche in questo caso applicare opportune tecniche statistiche, per mettere in evidenza i legami (correlazioni) tra gli indicatori costruiti. Eventuali discrepanze devono essere lette con strumenti teorici e metodologici e possono portare o a rivedere ulteriormente le procedure seguite oppure possono portare a riflessioni più ampie, in grado di far emergere nuovi percorsi di ricerca. Nella fase conclusiva del lavoro è importante verificare i legami concettuali e metodologici con altri indicatori già conosciuti in letteratura, inerenti il medesimo fenomeno di interesse. Ciò è finalizzato anche a sviluppare delle narrazioni che accompagnare i risultati.

15 15 Passo 10: visualizzazione e diffusione dei risultati L’obiettivo resta quello di fornire risultati in forma accurata e chiara. In quest’ottica, è importante anche conservare ed organizzare efficacemente anche la documentazione inerente tutti i passaggi teorici e metodologici. La diffusione dei risultati accompagnata da idonei strumenti di lettura ed comprensione (note metodologiche) garantisce maggiore penetrazione dei risultati. Inoltre, un uso efficace anche di rappresentazioni visive può influenzare l’interpretazione.

16 L'indice di Sviluppo Umano (HDI) SVILUPPO UMANO Longevità Livello di istruzione Benessere economico Speranza di vita alla nascita % di adulti con laurea PIL Formula logica combinatoria INDICATORE COMPOSITO % di studenti per grado di istruzione sul totale popolazione http://hdr.undp.org/en/data