PIANO DI INFORMAZIONE E FORMAZIONE SULLINDAGINE OCSE-PISA E ALTRE RICERCHE NAZIONALI E INTERNAZIONALI PIANO DI INFORMAZIONE E FORMAZIONE SULLINDAGINE.

Presentazione sul tema: "PIANO DI INFORMAZIONE E FORMAZIONE SULLINDAGINE OCSE-PISA E ALTRE RICERCHE NAZIONALI E INTERNAZIONALI PIANO DI INFORMAZIONE E FORMAZIONE SULLINDAGINE."— Transcript della presentazione:

1

2 PIANO DI INFORMAZIONE E FORMAZIONE SULLINDAGINE OCSE-PISA E ALTRE RICERCHE NAZIONALI E INTERNAZIONALI PIANO DI INFORMAZIONE E FORMAZIONE SULLINDAGINE OCSE-PISA E ALTRE RICERCHE NAZIONALI E INTERNAZIONALI Seminario provinciale rivolto ai docenti della scuola secondaria di primo e secondo grado Rilevazioni INVALSI: finalità, prove e risultati

3 Le prove INVALSI Le prove INVALSI hanno lo scopo principale di misurare i livelli di apprendimento raggiunti dagli studenti italiani relativamente a due ambiti fondamentali: la comprensione della lettura e la matematica. In termini ancora più espliciti, mediante le prove del Servizio nazionale di valutazione (SNV) si vuole giungere a una misura dei livelli di apprendimento nei suddetti ambiti, comunemente ritenuti condizione necessaria per un accesso consapevole alla cittadinanza attiva.

4 Le prove INVALSI Complessivamente sono state coinvolte circa 14.400 scuole, 112.500 classi e 2.250.000 studenti; è stato individuato un campione di scuole, statisticamente rappresentativo, i cui risultati costituiscono la base del Rapporto sugli esiti del Servizio nazionale di valutazione 2011 e della Prova nazionale 2011. Il campionamento è stato effettuato su base regionale, coinvolgendo complessivamente 3.851 scuole, 7.810 classi e 166.199 studenti. Nella prova nazionale sono state coinvolte 5.969 scuole, 27.646 classi e 586.790 studenti. Il campionamento, effettuato su base regionale, ha riguardato 1.312 scuole, 1312 classi e 28.361 studenti..

5 La finalità della rilevazione LINVALSI ritiene che la finalità ultima della misurazione degli apprendimenti risieda nel fornire alle singole scuole uno strumento di diagnosi per migliorare il proprio lavoro. LINVALSI si pone dunque come Istituto al servizio della singola scuola. Da ciò derivano alcune indicazioni molto precise circa la natura e la finalità del processo di rilevazione.

6 Costruzione di una prova La costruzione di una prova standardizzata richiede grandi sforzi e tempi piuttosto lunghi, mai inferiori ai 15-18 mesi, e il rispetto di una procedura molto articolata e complessa. Per realizzare il compito di reperire un grosso numero di domande di elevata qualità, lINVALSI si avvale della fondamentale collaborazione di oltre 200 docenti ed esperti provenienti dal mondo della scuola e delluniversità. Essi, sulla base di indicazioni fornite dallistituto e in relazione al QdR, producono proposte di quesiti o di intere prove da sottoporre al vaglio di una commissione di esperti nazionali e internazionali che opera presso lINVALSI.

7 Quadro di riferimento Le prove standardizzate, somministrate su larga scala, si basano su un quadro di riferimento pubblico( http://www.invalsi.it/snv1011/) che rende espliciti i contenuti delle prove, le tipologie di domande, i processi cognitivi indagati e i compiti richiesti agli allievi.http://www.invalsi.it/snv1011/ Nel documento si spiegano i criteri di scelta dei quesiti, dei testi delle prove di comprensione della lettura e le modalità di selezione delle singole domande. La conoscenza dei quadri di riferimento delle diverse discipline è fondamentale, inoltre, per comprendere il reale valore informativo delle prove, ma anche i limiti delle prove stesse. Tutte le prove del Servizio nazionale di valutazione, prima di arrivare alla loro stesura definitiva, sono preliminarmente testate.

8 La comparabilità dei risultati Affinché le scuole possano utilizzarli a fini diagnostici, lINVALSI provvederà a restituire i risultati della misurazione degli apprendimenti sia in forma grezza, sia depurati dai dati di contesto e da tutti quegli elementi estranei allattività della scuola, che possono influenzare il profitto degli alunni. LINVALSI sta provvedendo a raccogliere gran parte delle informazioni su questi fattori esterni dalle fonti amministrative esistenti, nel tentativo di ridurre il lavoro a carico delle scuole. Solo in assenza di fonti alternative verrà richiesta la collaborazione delle scuole stesse. Tale supporto sarà fondamentale per i dati riguardanti le condizioni socio-economiche e culturali delle famiglie di origine degli studenti e i processi attivati nella scuola.

9 Le Prove II primaria : prova preliminare di lettura, prova di Italiano, prova di Matematica (livello 2), V primaria : prova di Italiano, prova di Matematica, questionario studente (livello 5), I sec. I gr. : prova di Italiano, prova di Matematica, questionario studente (livello 6), III sec. I gr. (Prova nazionale) : prova di Italiano, prova di Matematica (livello 8), II sec. II gr. : prova di Italiano, prova di Matematica, questionario studente (livello 10).

10 I contenuti delle prove: secondaria I grado (2010) Italiano : Testo narrativo: 20 domande Testo espositivo-argomentativo: 13 domande Grammatica: 9 domande Matematica : Numero quesiti: 30 domande Ambiti: NUMERI, SPAZIO E FIGURE, RELAZIONI E FUNZIONI, DATI E PREVISIONI Questionario studente : 23 domande

11 I contenuti delle prove: Prova Nazionale (2010) III secondaria di primo grado Italiano : Testo narrativo: 19 domande Testo espositivo-argomentativo: 19 domande Grammatica: 11 domande Matematica : Numero quesiti: 26 domande Ambiti: NUMERI, SPAZIO E FIGURE, RELAZIONI E FUNZIONI, DATI E PREVISIONI

12 I contenuti delle prove: secondaria di II grado (2010 ) Italiano : Testi narrativi: 19 domande Testi espositivo-argomentativi misti: 19 domande Grammatica: 12 domande Matematica : Numero quesiti: 30 domande Ambiti: NUMERI, SPAZIO E FIGURE, RELAZIONI E FUNZIONI, DATI E PREVISIONI Questionario studente : 21 domande

13 I Nuclei tematici La divisione dei contenuti in grossi blocchi è ormai condivisa a livello internazionale

14 I formati delle prove Prove ordinarie : fascicoli in formato cartaceo Formati speciali: formato elettronico (prove su file), formato ingrandito (24pt, 48pt), formato Braille, formato audio (.mp3)

15 Disegno della rilevazione Censuaria : tutte le classi dei livelli interessati delle scuole, statali e paritarie. Classi-campione: rappresentatività regionale e per macro-indirizzo (solo sec. II gr.) una o due classi per scuola campionata, osservatore esterno per ogni classe campionata, trasmissione elettronica dei risultati.

16 Caratteristiche misuratorie di una prova standardizzata Gli strumenti tecnico-statistici principali con i quali comunemente vengono valutate le caratteristiche misuratorie di una prova standardizzata sono: 1.valutazione generale di affidabilità della prova mediante lindice α di Cronbach; 2. la Rasch Analysis per la stima della difficoltà delle domande; 3. placement relativo delle domande rispetto al punteggio di Rasch assegnato a ciascun allievo; 4. lindice di discriminazione statistica.

17 Indice α di Cronbach Lα di Cronbach, permette di esprimere una valutazione sintetica e generale sulla coerenza complessiva della prova e quindi sullattendibilità delle informazioni che da essa si possono desumere. Più precisamente, lα di Cronbach consente di comprendere se loggetto della valutazione di una prova ha caratteristiche prevalenti di unitarietà o meno ovvero, in termini più espliciti, se le domande che compongono la prova sono tra loro coerenti e volte alla misurazione dello stesso oggetto. Lα di Cronbach è un indice che ha come estremi 0 e 1 e tanto più si avvicina ad 1, tanto maggiore è la coerenza complessiva della prova oggetto dinteresse. La letteratura psicometrica fornisce valori di riferimento che definiscono degli standard generalmente accettati per esprimere un primo giudizio orientativo sulla coerenza generale di una prova

18 La qualità delle prove Livello FascicoloValori di α II primaria Italiano0,88 Matematica0,81 V primaria Italiano0,87 Matematica0,88 I sec. di primo grado Italiano0,93 Matematica0,88 III sec. di primo grado Italiano0,86 Matematica0,83 II sec. di secondo grado Italiano0,91 Matematica0,89

19 La Rasch Analysis (RA) La principale caratteristica della RA è quella di ottenere sulla stessa scala la stima della difficoltà di ciascuna domanda e la misura del livello di prestazione del rispondente. La RA consente inoltre di focalizzare lattenzione non solo sullintera prova, ma anche sulle singole domande, poiché per ogni quesito viene stimato il livello di difficoltà sulla stessa scala sulla quale è misurato il livello di performance di ogni allievo.

20

21 Il placement relativo delle domande rispetto al punteggio di Rasch Il placement ideale è dato da una distribuzione della difficoltà delle domande in grado di coprire tutto lintervallo della scala su cui insistono i livelli di apprendimento degli allievi.

22 Lindice di discriminazione statistica La correlazione punto-biseriale rappresenta la correlazione tra la probabilità di scegliere una data opzione e labilità complessiva dellallievo. Tale legame deve essere negativo, ovvero inverso, per le opzioni di risposta non corrette e positivo solo per quella esatta. Più precisamente, una domanda a risposta multipla è ben formulata se, in media, coloro che rispondono correttamente a quella domanda lo fanno anche in buona parte delle altre.

23

24 CLASSEITALIANOMATEMATICA II primaria 69,2 (0,31) 60,3 (0,31) V primaria 73,1 (0,20) 68,4 (0,15) I sec. di I gr. 62,4 (0,20) 46,6 (0,31) III sec. di I gr. 66,4 (0,46) 56,1 (0,31) II sec. di II gr. 69,8 (0,26) 47,9 (0,32) Percentuali di risposte corrette nelle prove SNV e PN I primi risultati (a.s. 2010-2011)

25

26 Terza secondaria di I grado: MATEMATICA

27 Terza secondaria di I grado: ITALIANO

28 La classe terza della scuola secondaria di primo grado: la Prova nazionale

29 La classe seconda della scuola secondaria di secondo grado Per la prima volta le prove del Servizio nazionale di valutazione hanno coinvolto su base censuaria anche la scuola secondaria di secondo grado. Come previsto dalla direttiva 67/2010, tutte le classi seconde della scuola secondaria di secondo grado hanno sostenuto una prova di comprensione della lettura e di grammatica e di Matematica. Le prove somministrate agli allievi non sono state differenziate rispetto agli indirizzi di studio, puntando principalmente sulla misurazione delle abilità e delle competenze essenziali al termine dellobbligo scolastico, sono costruite per misurare e verificare aspetti comuni a tutti i corsi di studio della scuola secondaria di II grado

30 Seconda secondaria di II grado: ITALIANO

31 Seconda secondaria di II grado: MATEMATICA

32 La classe seconda della scuola secondaria di secondo grado

33 Seconda secondaria di II grado

34 Alcuni spunti di riflessione Le differenze territoriali Levoluzione dei risultati nei livelli I tempi di somministrazione Risultati positivi : ottimi tassi di risposta (crescenti), maggiore «adesione» alle domande aperte, specie quelle argomentative di matematica Aspetti da migliorare : la comprensione dei testi argomentativo- espositivi, luso della punteggiatura e dei tempi verbali, la geometria, …

35 I RISULTATI DELLE PROVE Nelle prove di italiano i ragazzi mostrano maggiore facilità nel rispondere alle domande dei testi narrativi rispetto a quelle dei testi espositivi e argomentativi. Emergono sia elementi positivi, come la corretta interpretazione da parte degli studenti di una voce del dizionario, sia aspetti negativi come lerrato utilizzo della punteggiatura e dei tempi verbali. In matematica gli studenti incontrano difficoltà maggiori nei quesiti che fanno riferimento a geometria Nella scuola del primo ciclo si riscontra, come dato positivo, una sensibile riduzione delle omissioni alle risposte. Nella scuola secondaria di secondo grado, invece, si nota ancora una tendenza a saltare le domande a risposta aperta.

36 Sfide per il futuro Ampliamento della «scala» di misura, soprattutto per le prove di Italiano Ancoraggio delle prove Prospettiva diacronica Ancoraggio con i dati di contesto (valore aggiunto) Ampliamento del quadro di riferimento e rafforzamento del legame con le Indicazioni

37 ITALIANO: risultati medi Roberto Ricci – 25 ottobre 2011

38 MATEMATICA: risultati medi Roberto Ricci – 25 ottobre 2011

39 II sec. di II grado:differenze negli indirizzi - Italiano II sec. di II grado: differenze negli indirizzi - Italiano

40 II sec. di II grado:differenze negli indirizzi -Matematica II sec. di II grado: differenze negli indirizzi - Matematica

41 Alcune considerazioni Consolidamento del rapporto con le scuole «Tempistica» adeguata Introduzione di più tecnologia Rafforzamento della valenza per (e non su ) la scuola della misurazione Formazione /informazione

42 I risultati a livello di scuola: leggere i dati (1) Istituto scolastico: XXIC803XXX Denominazione: GIUSEPPE MAZZINI Download dei grafici relativi a XXIC803XXX Download guida alla lettura dei grafici ownload dei grafici relativi a XXIC803XXX ownload guida alla lettura dei grafici Restituzione dati livello II primaria: Restituzione dati livello V primaria: Restituzione dati livello I secondaria: Livello V primaria - scegli codice classe: 412044720501412044720501 Livello V primaria - scegli codice classe: 412044720502412044720502 Livello V primaria - scegli codice classe: 412044720503412044720503

43 Globale per Nazionalità per Regolarità (del percorso) per Sesso per Dettaglio Risposte I risultati a livello di scuola: leggere i dati (2)

44 I risultati a livello di scuola: leggere i dati (3) Tabella dei dati - Visualizzazione GLOBALE Ambiti e argomenti Dom. Media% Classe Media% Scuola Media% Nazionale L1L2L3L4L5L6 ITALIANO Testo narrativo A172,779,683,1- L2 ----

45 1° decile 10° pc 1° quartile 25° pc L 1 L 2 L 3L 4 L 5 L 6 Mediana 50° pc 10% 15% 25% 15% 10% 3° quartile 75° pc 9° decile 90° pc I risultati a livello di scuola: leggere i dati (4)

46 Tabella dei dati - Visualizzazione per DETTAGLIO RISPOSTE - tabella 1 Ambiti e argomentiDom.ABCD MANCATA RISPOSTA ITALIANO Testo narrativoA19,0972,713,64,540 I risultati a livello di scuola: leggere i dati (5)

47 La varianza tra classi e tra alunni (1)

48 La varianza tra classi e tra alunni (2)

49 Il valore aggiunto 1)con la differenza tra il punteggio medio grezzo di tale scuola e quello medio generale di un certo territorio, 2)mediante la misurazione dei progressi medi che gli allievi realizzano in un determinato arco di tempo (guadagni cognitivi), 3)per mezzo della differenza media tra i punteggi osservati ed i punteggi attesi in relazione alle caratteristiche degli allievi (condizione socio-economico-culturale, attitudini, ecc.), 4)mediante il guadagno cognitivo medio netto rispetto a tutti i fattori di contesto che non sono controllati dalla scuola.