Il Disegno Campionario

Slides:



Advertisements
Presentazioni simili
Dati della rilevazione SNV 2009/2010
Advertisements

PROVA NAZIONALE a.s Risultati in Matematica PISA 2003 e voti: Fonte: Rapporto Regionale del Veneto PISA 2003 Angela Martini –
Lofferta sussidiaria negli IP Seminario USP Venezia Jesolo, 11 marzo 2011 Appunti a cura di Arduino Salatin.
ORDINAMENTO DELLA REPUBBLICA
Trapianto di RENE – Anni 1992/2006 Inclusi i trapianti combinati 2006: Dati preliminari al FONTE DATI: Dati Reports CIR.
LINVECCHIAMENTO NEI COMUNI E NEGLI AMBITI COMUNALI Indicatore relativo di vecchiaia al 1991 negli ambiti di 30 km.
ELEZIONI REGIONALI 2010 PRIMI RISULTATI E SCENARI 14 aprile 2010.
Riccardo Varaldo Direttore Scuola Superiore SantAnna Firenze, 7 luglio 2003 TENDENZE E CAMBIAMENTI DELLINDUSTRIA TOSCANA CINQUE ANNI DOPO.
Milano, Palazzo delle Stelline, 5 marzo 2004
Obiettivo di servizio per il Mezzogiorno Innalzare il livello delle competenze degli studenti Percentuale degli studenti di 15 anni con scarse.
05/02/ Domande presentate 45 Trasferimenti Volontari Individuali – DOMANDE 2011 Domande inserite in graduatoria 16 CESSATI DOPO.
TANDARDUROPEI ISTEMA NFORMATIVO OSSICODIPENDENZE S E S I T.
PROGRAMMAZIONE ISTITUTI TECNICI SUPERIORI (I.T.S.) nel biennio 2011/13: 62 Fondazioni I. T. S. operanti a livello nazionale in 17 Regioni hanno attivato,
Piano graduale di roll-out e Focus su Competence Center Amministrativi
A cura del corsista Giancarlo Memmo CORSO MODULARE DEL C.S.A. PER INSEGNAMENTO DI SOSTEGNO AD ALLIEVI IN SITUAZIONE DI HANDICAP a.s. 2003/2004 Prof. Giancarlo.
MP – RU – Organizzazione Operativa Pianificazione Razionalizzazione Geografica Filiali MERCATO PRIVATI 17 giugno 2009.
Ritardi dei pagamenti nel welfare Roma, 17 ottobre 2012.
tutto fumo e niente arrosto ?!?
11 Tutela della Salute Mentale: Il superamento degli Ospedali Psichiatrici Giudiziari alla luce della nuova legge n. 57/ LUGLIO 2013 Filippo Basso.
Scheda Ente Ente Privato Ente Pubblico. 2ROL - Richieste On Line.
VALUTARE, PROGETTARE E ORGANIZZARE IN PEDIATRIA DI FAMIGLIA
PRESENTAZIONE DI GIORGIO CARLETTI VICE PRESIDENTE DI CONFIDA – ASSOCIAZIONE ITALIANA DELLA DISTRIBUZIONE AUTOMATICA.
1 Questionario di soddisfazione ATA - a. sc. 2008/09 Il questionario è stato somministrato nel mese di aprile Sono stati restituiti 29 questionari.
Estratto per la relazione del Dott. Trevisanato 30 maggio 2008.
SERATA INAUGURAZIONE Scuola infanzia statale Pesche 1 1 Scuola infanzia statale Pesche 1- Categoria: RAGAZZI.
Los Angeles.
Il Compendio delle prove OCSE PISA
Il digitale tra accesso e conservazione Trento, 11 e 12 marzo 2014 Università di Trento, Facoltà di Lettere e Filosofia Sezione Trentino Alto Adige/Südtirol.
GEOGRAFIA ITALIA POLITICA Progetto realizzato dalla
RESTITUZIONE DATI DEL SERVIZIO NAZIONALE DI VALUTAZIONE E DELL’ ESAME DI STATO DEL PRIMO CICLO (INVALSI ) PER L’ A.S : LETTURA RISULTATI Risultati.
Lez. 3 - Gli Indici di VARIABILITA’
Questa ricerca COMMISSIONATA AD ASTRARICERCHE DA COMIECO
Direzione Integrata della Prevenzione SSD Promozione della salute Peer education su prevenzione degli incidenti stradali Temi da approfondire I rischi.
Sportello Unico per l’Immigrazione Ricezione domande di Nullaosta Rilevazione dati 18 Dicembre 2007.
Sintesi dei dati della prova INVALSI A cura di FRACCARO dott. Mario.
SITUAZIONE COMPLESSIVA ENTI EX ART. 243 BIS
… fanno pensare ad un comportamento anomalo
1 DOSSIER STATISTICO Conoscere per Programmare Gli alunni con cittadinanza non italiana Anno Scolastico 2001/2002.
L’Italia geografia.
L’INDICATORE DI ATTIVITÀ ECONOMICA REGIONALE PER LA STIMA DEGLI EFFETTI ECONOMICI DEI TERREMOTI Cristina Brasili Dipartimento di Statistica “P. Fortunati”
Le Discipline Sportive Associate: “un mondo in continua crescita” Rimini, 26 Ottobre 2012.
Agenzia del Territorio L’ Internal Auditing nell’Agenzia del Territorio FORUM P.A
“nascita” ed espansione dell’italiano Lingua scritta di cultura Lingua scritta letteraria Lingua scritta (e parlata) nazionale parlata e scritta Lingua.
II Fase di Attuazione La linea 2: il riuso delle soluzioni di e-government Roberto Pizzicannella Area Innovazione Regioni ed Enti Locali - CNIPA ROMA -
1 “Teoria e metodi della ricerca sociale e organizzativa” Corso di Laurea in Scienze dell’Organizzazione Facoltà di Sociologia Università Milano-Bicocca.
Relazione risultati INVALSI dell’anno scolastico 2013/2014
Il campionamento: esempio di campionamento in un indagine Multiscopo
La Fondazione Consulenti per il Lavoro. è l’Agenzia per il lavoro del Consiglio Nazionale dell’Ordine dei Consulenti del Lavoro. Aut. Min. n , del.
1 Copertura nei distretti industriali – Marzo 2012 Copertura distretti industriali (gennaio 2012) Dati Osservatorio Banda Larga Between Marzo 2012.
Voluntary disclosure Conferenza stampa Mercoledì 9 dicembre 2015 dati aggiornati al 30 novembre 2015.
Presenta …. In continuità con il Road Show dello scorso anno con il quale abbiamo portato Assoprom “a spasso per l’Italia” toccando alcune importanti.
Nazionalità dichiarate al momento dello sbarco 2014.
Istanze per regione 1 REGIONEISTANZE PRESENTATEINCIDENZA PERCENTUALE ABRUZZO6410,49% BASILICATA880,07% BOLZANO (Provincia)1.1140,86% CALABRIA3540,27% CAMPANIA1.5911,23%
I.C. “A. MANZONI” MESOLA (FE)
Il contributo delle Regioni italiane alla revisione intermedia della Strategia Europa 2020 I Target.
L’attuazione dell’Asse IV giugno - dicembre 2013 presentazione è stata realizzata dall’INEA nell’ambito delle attività della Task Force Leader – Rete Rurale.
Lo stato di attuazione dei POR FESR Tabella 1 Numero di progetti, costi e pagamenti rendicontabili UE (euro) per tipologia di soggetto attuatore,
Il profilo quantitativo di lungo periodo ( ) Storia economica LM
RISULTATI INVALSI a.s. 2014/15 SCUOLA PRIMARIA CLASSI II E V I.C. “O. GIORGI” Valmontone (RM)
ENTE REGIONALE PRO SU DERETU A S’ISTUDIU UNIVERSITARIU DE CASTEDDU ENTE REGIONALE PER IL DIRITTO ALLO STUDIO UNIVERSITARIO DI CAGLIARI AA 2014/15AA 2015/16*
Luca Rigoni PM ICAR plus ICAR plus: la struttura attivata, i primi risultati, le prospettive, le criticità.
Dati statistici sui risultati della selezione La gestione delle azioni di Partenariati Multilaterali Leonardo da Vinci Seminario Progetti Approvati Annualità.
Europa (Russia-EU,Serbia,Bosnia) Asia (Cina,India,Iran,Russia-As., Kazachistan,Tailandia) America.
Dati statistici sui risultati della selezione La gestione delle azioni di Partenariati Multilaterali Leonardo da Vinci Seminario Progetti Approvati Annualità.
Gli animali sono i Benvenuti Anno 2017
Riferimento Ruolo Cellulare Roberto Marino
Riferimento Ruolo Cellulare Fabrizio Vitelli
Riferimento Ruolo Cellulare Fabrizio Vitelli
Riconosci le regioni italiane
Transcript della presentazione:

Il Disegno Campionario Servizio Nazionale Valutazione Anno Scolastico 2008 - 2009 Il Disegno Campionario La Qualità dei Dati del Campione Analisi del Cheating Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 Disegno Campionario Primo Stadio * Estrazione * Campionamento Sistematica Casuale Semplice Scuole Classi 2 Diapo Il disegno campionario per la Prova nazionale è stratificato a due stadi. Le scuole sono estratte in modo sistematico con probabilità di inclusione proporzionale alla dimensione della scuola (numero di Alunni della III classe), mentre le classi sono campionate mediante un campionamento casuale semplice. Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 Disegno Campionario Secondo Stadio * Prima Fase: * Seconda Fase: Calcolo Peso Calcolo Peso Livello Scuola Livello Classe 3 Diapo Poiché un Alunno non rappresenta necessariamente la stessa porzione di popolazione rispetto ad un altro, è necessario prevedere un sistema di pesi campionari per ottenere stime adeguate. La procedura generale per la definizione dei pesi si articola in tre fasi. La prima fase consiste nel calcolo del peso a livello di scuola, comprensivo di eventuali aggiustamenti nel caso in cui alcune scuole non avessero partecipato. In una seconda fase si determina il peso a livello di classe. Infine, nell’ultima fase si calcola il peso a livello di Alunno, comprensivo anche questo di eventuali aggiustamenti dovuti ad eventuali Alunni non partecipanti. * Terza Fase: Calcolo Peso Livello Alunno Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 Disegno Campionario Peso di Scuola * Viene Ricavato in rapporto a: * Numero Scuole Campionate nella Regione * Numero Totale Scuole della Regione * Numeri di Alunni nella Scuola 4 Diapo Nel caso sia impossibile inserire una scuola nel campione, si procede alla selezione di quella immediatamente successiva nella lista delle scuole (primo rimpiazzo) o, in subordine, a quella precedente (secondo rimpiazzo). Se nessuna delle due soluzioni è possibile, si procede al calcolo di un coefficiente di aggiustamento. Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 Disegno Campionario Peso Livello Classe * Viene Ricavato in rapporto a: * Numero Classi Campionate nella Scuola * Numero Classi Presenti nella Scuola Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 Disegno Campionario Peso Livello Alunno * Viene Ricavato in rapporto a: * Numero Alunni Effettivamente Partecipanti nella Classe * Numero Alunni non Partecipanti alla Prova nella Classe 6 Diapo Poiché nel caso della Prova Nazionale vengono presi in esame tutti gli Alunni della classe campionata, per il peso a livello Alunno bisogna tenere presente dell’aggiustamento che si rende necessario nel caso vi siano Allievi non ammessi o assenti alla prova. Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 Disegno Campionario Peso Complessivo * Viene Ricavato dal Prodotto: * Numero Scuole Campionate * Numero Classi Campionate nella Scuola * Numero Alunni Effettivamente Partecipanti nelle Classi 7 Diapo E’ importante notare che i pesi campionari variano in base alla scuola e alla classe. Comunque Alunni nella stessa classe hanno lo stesso peso campionario. Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 Accuratezza dei Dati - Analisi del Cheating ► Controllo Accuratezza Dati ► Scelta Opportuni Indicatori: Punteggi Medi Classe Variabilità Rispetto Punteggi Tassi Non Risposta Omogeneità Risposte ► Calcolo Coefficienti Cheating per tutta la Popolazione (Fuzzy Logic) 8 Diapo L’analisi della presenza di comportamenti anomali nelle modalità di svolgimento della prova è stata effettuata sulla base delle operazioni qui descritte in questa slide. ► Analisi Congiunta Indicatori (Analisi Componenti Principali) Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 La Qualità dei Dati del Campione Comportamenti Opportunistici Evidenti Passaggio Fondamentale Procedura Correzione Dati: Editing Statistico 9 Diapo Dal campione emergono evidenti indicazioni di comportamenti opportunistici in alcune scuole. Questo fenomeno ha richiesto una procedura di correzione dei dati (editing statistico) per eliminare l’effetto distorsivo prodotto dai suddetti comportamenti anomali. Le analisi proposte fanno riferimento, quindi, ai dati netti, ovvero dopo la procedura di editing statistico. Eliminazione Effetto Distorsivo Dati Anomali Correzione Dati Anomali Effettuazione Analisi Dati Netti Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 La Qualità dei Dati del Campione Controllo Preventivo Accuratezza Passaggio Fondamentale Reale Valore Informativo Analisi Proposte 10 Diapo Il controllo preventivo sull’accuratezza dei dati è un passaggio fondamentale per comprendere il reale valore informativo delle analisi proposte. Inoltre, i risultati della rilevazione campionaria sulla Prova Nazionale del 2007/08 hanno evidenziato l’importanza di procedere preventivamente all’analisi dell’accuratezza. Il suddetto controllo è stato effettuato adottando una metodologia statistica di seguito sinteticamente illustrata volta all’individuazione dei dati anomali e della loro conseguente correzione (Quintano e altri 2005). Individuazione Dati Anomali Correzione Dati Anomali Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 La Qualità dei Dati del Campione Individuazione /Correzione Dati Anomali Passaggio Fondamentale Definizione Sistema Pesi di Correzione 11 Diapo La metodologia di individuazione e correzione dei dati anomali si basa fondamentalmente sulla definizione di un sistema di pesi di correzione mediante i quali il valore originario, tipicamente un punteggio, viene trasformato mediante un coefficiente di correzione che permette di attenuare l’effetto della presenza di dati anomali, di comportamenti opportunistici. Poiché il campione con il quale sono stati rilevati i dati della Prova Nazionale 2009 è stato stratificato su base regionale, la suddetta analisi è stata condotta separatamente su ogni regione per verificare la presenza di eventuali differenze di comportamento nelle diverse aree del Paese. Inoltre, il metodo seguito è stato applicato sia al fascicolo di italiano che a quello di matematica, sempre con l’obiettivo di cogliere eventuali differenze nell’accuratezza dei dati relativi alle due sezioni della prova. L’analisi proposta si articola in due fasi di seguito sinteticamente descritte. Valore Originario: Un Punteggio Coefficiente Correzione Attenuazione Effetto Presenza Dati Anomali Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 La Qualità dei Dati del Campione Procedure di Correzione Passaggio Fondamentale Individuazione Gruppi di Rispondenti con Caratteristiche Particolari 12 Diapo Solitamente, le procedure di correzione si basano sulla individuazione di gruppi di rispondenti che presentano delle caratteristiche particolari e, quindi, si cerca di stimare l’incidenza dei loro risultati rispetto agli esiti complessivi della prova. Tuttavia, questo metodo (Hard Clustering) non supera totalmente il problema della presenza dei dati anomali e non è in grado di tenere conto di nuance diverse con le quali le anomalie si possono presentare. Stima lncidenza Risultati Rispetto Esiti Complessivi Prova (Hard Clustering) Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 La Qualità dei Dati del Campione Procedure di Correzione * Fuzzy Logic * Attribuzione Alunno Rispondente 13 Diapo Per questa ragione è stata adottato un approccio sfuocato (Fuzzy Fogic) in grado di fornire ad ogni rispondente (Alunno) un punteggio compreso tra 0 ed 1 in grado di attenuare fortemente l’incidenza di comportamenti opportunistici. Poiché il campione con il quale sono stati rilevati i dati della Prova Nazionale 2009 è stato stratificato su base regionale, la suddetta analisi è stata condotta separatamente su ogni regione per verificare la presenza di eventuali differenze di comportamento nelle diverse aree del Paese. Inoltre, il metodo seguito è stato applicato sia al fascicolo di italiano che a quello di matematica, sempre con l’obiettivo di cogliere eventuali differenze nell’accuratezza dei dati relativi alle due sezioni della prova. Punteggio Compreso tra 0 ed 1 Forte Attenuazione Incidenza Comportamenti Opportunistici Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 La Qualità dei Dati del Campione Fase I: Indicatori a Livello Scuola 1. Calcolo Punteggio Medio (p j) (Media dei Punteggi di Ciascun Alunno espressi in termini di Risposte Corrette fornite) 14 Diapo L’analisi proposta si articola in due fasi di seguito sinteticamente descritte. 14.1 Come primo passo, per ogni scuola campione è stato calcolato il punteggio medio (pj) della sezione di italiano e matematica, inteso come la media dei punteggi di ciascun Allievo espressi in termini di risposte corrette fornite. Il punteggio medio per classe è un primo indicatore dei risultati ottenuti dagli Allievi e, di conseguenza, del livello di prestazione conseguito nella prova. Naturalmente il conseguimento di un punteggio medio di classe non fornisce informazioni sufficienti per valutare il risultato della prova. Se elevati punteggi medi certamente indicano risultati elevati, essi possono essere il frutto di dinamiche molto differenti all’interno di una classe. Per i fini che qui interessano, ovvero l’individuazione di eventuali indicazioni di comportamenti opportunistici, punteggi medi di classe prossimi al valore massimo teorico conseguibile nel caso in cui tutti gli Alunni avessero risposto correttamente a tutte le domande (40 punti per l’italiano e 27 per la matematica), se di per sé non permettono di concludere che vi siano stati comportamenti non auspicabili nel fornire le risposte, tuttavia suggeriscono la presenza di potenziali distorsioni che devono essere approfondite ed attentamente valutate. 14.2 Sempre per ogni classe, è stato calcolato un indicatore di variabilità del punteggio medio ovvero lo scarto quadratico medio (σ j). Come indicato in precedenza, per valutare i risultati medi di una classe non è sufficiente prendere in considerazione solo il punteggio medio, poiché quest’ultimo è la risultante di modalità di risposta potenzialmente molto differenti. Lo scarto quadratico medio consente di valutare la variabilità del punteggio medio e, soprattutto, permette di individuare quelle classi che sono caratterizzate da una forte omogeneità nel comportamento di risposta. Valori molto bassi di σ j indicano, anche se non in modo conclusivo e dirimente, che la classe tende a fornire risposte molto simili a buona parte della prova. Analogamente a quanto osservato per il valore medio, anche un’indicazione di questo tipo, ovvero valori di σ j piuttosto bassi, suggerisce l’opportunità di approfondire in modo sistemico lo studio della presenza di eventuali comportamenti opportunistici. 2. Calcolo Scarto Quadratico Medio (σ j) (Indicatore di Variabilità del Punteggio Medio) Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 La Qualità dei Dati del Campione Fase I: Indicatori a Livello Scuola 3. Calcolo Tasso Mancata Compilazione per Classe (MJ) (Valutazione Tasso Medio Adesione Classe alla Prova) 15 Diapo 15.3 Inoltre, sempre per ogni classe, è stato determinato un indice in grado di esprimere l’adesione degli Allievi alla prova. Più precisamente è stato calcolato un tasso di mancata compilazione per classe, dove M ij è il numero di risposte mancanti o non valide fornite dall’ Alunno di quella classe. Questo indice assume valore 0 se tutti gli Alunni hanno fornito una risposta valida e valori che tendono ad 1 tanto più è elevato il numero di risposte non valide o mancanti. L’indice MCj fornisce un’informazione diversa rispetto a quella che si può ottenere dai due indicatori precedenti. Infatti esso permette di valutare il tasso medio di adesione della classe alla prova. Se una classe presenta un valore di MCj molto elevato, superiore alla media generale, ciò lascia immaginare che nella classe si siano verificate delle difficoltà particolari che, inoltre, si riflettono potenzialmente anche sui due indicatori precedenti poiché si riduce notevolmente il numero degli Allievi effettivamente rispondenti. 15.4 Infine è stato calcolato un indice medio relativo di omogeneità delle risposte (Ej) nelle singole domande sulla base dell’indice di eterogeneità di Gini. Questo indice è molto utile per valutare le modalità di risposta di una classe poiché prende in considerazione ciascuna domanda nella sua interezza, non solo in termini di risposta corretta o errata. Come è noto, eventuali comportamenti opportunistici non si concentrano solo ed esclusivamente sulla risposta esatta, ma possono manifestarsi anche su altre opzioni di risposta. Poiché si tratta di un indice relativo, esso assume valori compresi tra 0 ed 1. Quando questo indice relativo assume valori prossimi a 0 ciò significa che tutti gli Alunni hanno fornito la stessa risposta, sia essa quella corretta o quella errata, mentre quando raggiunge valori prossimi ad 1, allora nella classe si riscontra il massimo dell’eterogeneità possibile. 4. Indice Medio Relativo Omogeneità Risposte (E j) (Indice Eterogeneità/Omogeneità Risposta su Ciascuna delle Domande) Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 La Qualità dei Dati del Campione: Fase I Tavola 1. Valori Medi per Regione Indicatori p j , MC j , E j p j σ j MC j E j I M Abruzzo 28,58 19,38 5,48 3,79 0,01 0,02 0,50 Totale 28,37 19,34 5,60 3,82 0,51 16 Diapo I citati quattro indicatori possono fornire utili informazioni per l’individuazione di eventuali comportamenti anomali in alcune istituzioni scolastiche. I valori riportati nella tabella mostrano, specie per alcuni indicatori delle differenze a livello regionale che suggeriscono l’importanza di approfondire l’analisi con riferimento alla disaggregazione territoriale dei risultati. Tuttavia, è importante osservare come ogni indice, di per sé considerato, fornisce solo delle indicazioni di eventuali anomalie nelle modalità di risposta, ma non delle informazioni conclusive. E’ quindi fondamentale, come si illustrerà nella fase II, considerare congiuntamente questi indici mediante opportune tecniche statistiche multivariate che consentono di valutare la rilevanza complessiva di ciascuna indicazione. Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 La Qualità dei Dati del Campione Fase II: Sintesi Indicatori Livello di Scuola I quattro indicatori individuati nella prima fase di analisi devono essere opportunamente applicati a ciascuna scuola per individuare la presenza di eventuali dati anomali. Come noto nella letteratura statistica, è quindi necessario operare un’opportuna sintesi, se possibile, dei quattro indicatori tale da ottenere un’informazione di facile utilizzo ed interpretazione, ma che, al contempo, consenta di rappresentare nella misura massima possibile la variabilità insita nel fenomeno stesso. L’analisi delle componenti principali (ACP) permette di conseguire i suddetti obiettivi operando una riduzione delle dimensioni oggetto d’interesse. 17 Diapo Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 La Qualità dei Dati del Campione: Fase II Tavola 4. Valori Medi Coefficienti di Cheating ITALIANO MATEMATICA Media Abruzzo 0,0734 0,089 ITALIA 0,0458 0,091 18 Diapo La finalità principale dell’analisi è quella di vedere l’entità e la distribuzione geografica dei pesi di appartenenza (coefficienti di cheating) di ciascuna classe al gruppo che identifica il profilo delle scuole che manifestano comportamenti opportunistici. Se tali comportamenti hanno una scarsa rilevanza, allora i suddetti pesi assumeranno tutti valori prossimi a 0, viceversa, tanto più questi comportamenti opportunistici sono importanti, tanto più vicini ad 1 saranno i pesi desunti dall’analisi proposta. La tabella riporta i valori medi degli indici di cheating in ciascuna regione. Essa evidenzia valori piuttosto differenti a livello territoriale sia per il fascicolo di italiano che per quello di matematica. Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 Indici di Cheating nelle diverse Regioni: ITALIANO 19 Diapo Le differenze territoriali della tabella possono essere meglio intese analizzando graficamente l’intera distribuzione degli indici di cheating nelle diverse regioni. Il grafico della figura riporta i box plot per ogni regione. Essi si utilizzano per visualizzare graficamente alcune caratteristiche fondamentali di una distribuzione statistica: la misura di tendenza centrale (mediana), indicata con un segmento orizzontale all’interno del rettangolo, il primo ed il terzo quartile, i valori non anomali più piccoli del primo quartile e più grandi del terzo (individuati dai segmenti verticali, detti baffi), i valori anomali indicati con un cerchietto) ed i valori estremi (indicati con una stellina). Il grafico della figura mostra valori molto contenuti dei coefficienti di cheating nelle diverse regioni italiane, con la sola eccezione della Campania, Calabria e, in misura minore, della Puglia. Inoltre la quasi totalità dei valori anomali ed estremi riguarda solo le regioni centro-meridionali, con una forte concentrazione in Campania, Puglia, Basilicata e Calabria. Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 Indici di Cheating nelle diverse Regioni: MATEMATICA 20 Diapo Se si applica lo stesso tipo di analisi a questa figura sui dati relativi alla matematica, i risultati sono ancora più evidenti e, quindi, maggiormente preoccupanti. Nel caso della matematica l’indicazione di comportamenti opportunistici è molto più forte che per l’italiano e riguarda principalmente la Campania, Puglia, Basilicata, Calabria, Sicilia e, in misura minore, anche il Molise ed il Lazio. In conclusione, si nota una forte connotazione territoriale nelle indicazioni di cheating, ovvero di comportamenti opportunistici nello svolgimento della Prova Nazionale. In particolare, si nota che il valore mediano della Campania e della Calabria è superiore alla maggior parte dei dati estremi delle regioni dell’Italia centro-settentrionale e della Sardegna. In altri termini, questo significa che le indicazioni di cheating in Campania, Calabria, Sicilia e Puglia per oltre la metà delle scuole sono superiori ai valori più alti che si riscontrano nelle altre regioni. La metodologia proposta permette di correggere i dati sulla base dei coefficienti di cheating, attenuando così l’effetto distorsivo di tali comportamenti. Pertanto, le analisi proposte nel testo sono state effettuate dopo aver applicato i suddetti coefficienti di correzione ai dati grezzi. Ufficio Scolastico Regionale - Abruzzo

Codici Identificativi Regione Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 Codici Identificativi Regione CODICE REGIONE 1 Valle d’Aosta 7 Friuli Venezia Giulia 14 Molise 2 Piemonte 8 Emilia Romagna 15 Campania 3 Liguria 9 Toscana 16 Puglia 4 Lombardia 10 Umbria 17 Basilicata 51 Bolzano (It) 11 Marche 18 Calabria 54 Trento 12 Lazio 19 Sicilia 6 Veneto 13 Abruzzo 20 Sardegna Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 SNV Classe Seconda Scuola Primaria Anno Scolastico 2008 - 2009 Indici di Cheating nelle diverse Regioni: ITALIANO 22 Diapo Per l’analisi della qualità dei dati del campione, si è proceduto al controllo preventivo sull’accuratezza, adottando la stessa metodologia statistica di individuazione dei dati anomali (analisi del cheating) utilizzata per la Prova Nazionale 2008-2009 (PN). Diversamente da quanto avvenuto per la PN, nella quale si è rivelato fondamentale procedere alla correzione dei dati anomali al fine di ottenere stime accurate, per il SNV 2008-2009 tale correzione non è stata necessaria. Infatti, l’analisi, condotta su tutte le scuole campione per entrambi i livelli indagati dal SNV (II e V primaria) sia per il fascicolo di Italiano che per il fascicolo di Matematica non ha evidenziato una presenza significativa di dati anomali che rendessero indispensabile una correzione. L’evidenza di ciò è riportata nei grafici qui mostrati che rappresentano la distribuzione dei coefficienti di cheating per la prova d’italiano e di matematica nella classe seconda e nella classe quinta. Nei grafici sono riportati, per ogni regione, i box plot che visualizzano graficamente alcune caratteristiche fondamentali di una distribuzione statistica: la misura di tendenza centrale (mediana), indicata con un segmento orizzontale all’interno del rettangolo, il primo ed il terzo quartile, i valori non anomali più piccoli del primo quartile e più grandi del terzo (individuati dai segmenti verticali, detti baffi), i valori anomali (indicati con un cerchietto). In altri termini l’altezza di ciascun rettangolo consente di capire quanto sono distanti i quartili (primo Q1 - e terzo Q3) tra di loro. Tanto più i rettangoli sono alti, tanto maggiore è alta la variabilità dei dati rappresentati. In tutte le prove, anche se in misura diversa, l’indicazione dei comportamenti opportunistici è poco evidente e riguarda solo alcuni regioni. Tuttavia, si nota che anche in questi casi il valore mediano delle regioni interessate non è al di sopra degli estremi superiori delle altre regioni, come si è, invece, verificato per la PN. Ciò ha permesso di arrivare alla conclusione che i dati ottenuti per il campione non necessitassero di correzioni, dato che non presentano evidenze significative di comportamenti opportunistici. Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 SNV Classe Seconda Scuola Primaria Anno Scolastico 2008 - 2009 Indici di Cheating nelle diverse Regioni: MATEMATICA 23 Diapo Come la 22 Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 SNV Classe Quinta Scuola Primaria Anno Scolastico 2008 - 2009 Indici di Cheating nelle diverse Regioni: ITALIANO 24 Diapo Come la 22 e la 23 Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 SNV Classe Quinta Scuola Primaria Anno Scolastico 2008 - 2009 Indici di Cheating nelle diverse Regioni: MATEMATICA 25 Diapo Come la 22, 23 e 24 Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 CHEATING: Nota Tecnica “Invalsi” Indicatore di Propensione al Cheating Valore compreso tra 0 e 1 che determina il grado di similarità della Classe considerata al profilo tipico che caratterizza un comportamento ritenuto opportunistico, cioè un comportamento che potrebbe aver alterato il corretto svolgimento della prova. 26 Diapo Effetto del mancato controllo da parte dei Docenti sul rispetto del Protocollo di Somministrazione e/o l’insieme delle azioni, che questi ultimi possono mettere in atto, per facilitare il compito degli Alunni. Ufficio Scolastico Regionale - Abruzzo

Prova Nazionale - Esame Conclusivo 1° Ciclo 2008-2009 Prova Nazionale Esame Conclusivo Primo Ciclo Anno Scolastico 2008 - 2009 CHEATING: Nota Tecnica “Invalsi” Indicatore di Propensione al Cheating Calcolato per Classe, viene riportato a livello di Scuola tenendo conto del numero delle classi al’interno di ciascuna Scuola e della propensione al Cheating per ciascuna disciplina (Italiano e Matematica). Il risultato finale consiste in un grado di Rischio Complessivo di Cheating compreso tra 0 e 5. 0 = Nessun Rischio 1 = Rischio Basso 2 = Rischio Medio - Basso 3 = Rischio Medio 4 = Rischio Medio - Alto 5 = Rischio Alto 27 Diapo Ufficio Scolastico Regionale - Abruzzo