Il contributo delle rilevazioni internazionali e nazionali al miglioramento educativo Stefania Pozio – SNV INVALSI 1 1.

Presentazione sul tema: "Il contributo delle rilevazioni internazionali e nazionali al miglioramento educativo Stefania Pozio – SNV INVALSI 1 1."— Transcript della presentazione:

1 Il contributo delle rilevazioni internazionali e nazionali al miglioramento educativo
Stefania Pozio – SNV INVALSI 1 1

2 W. Edward Deming ( )

3 " Without data, you’re just another person with an opinion".
(A. Schleicher) Division Head and coordinator of the OECD Programme for International Student Assessment (PISA)

4 Indagini internazionali e nazionali: diversi obiettivi
Indagini internazionali: di sistema offrono dati sulle prestazioni degli studenti comparabili a livello internazionale permettono di individuare punti di forza e di debolezza del proprio sistema scolastico ricercano fattori antecedenti e correlati del profitto scolastico (e in che misura operano nello stesso modo in diversi contesti) … Indagini nazionali: dal sistema alle singole scuole accertano i livelli di apprendimento degli studenti italiani in italiano e in matematica offrono dati comparabili a livello nazionale, regionale e a livello di singola scuola e classe 4

5 Le novità del 2015 nella restituzione dei risultati INVALSI alle scuole

6 PLANNING Tempi restituzione dati INVALSI alle scuole
Le principali novità Trend Microdati per alunno Questionario studente Le dimensioni di Matematica 3. IL QdR di Matematica e le Indicazioni nazionali 2012 4. Strumenti INVALSI 6 6

7 1. Tempi di restituzione Risultati alle scuole
PRIMARIA settembre 2015 SECONDARIA DI I GRADO settembre 2015 SECONDARIA DI II GRADO 15 ottobre 2015 STRUMENTI RAPPORTI luglio 2015 GUIDE 2015 senza i risultati 15 luglio 2015 GUIDE 2015 con Dimensioni 7 ottobre 2015 Risultati per TIPOLOGIA di scuola dicembre 2015 7 7

8 Tutte le tavole dei risultati in formato EXCEL
2. NOVITÁ 2015: generali Tutte le tavole dei risultati in formato EXCEL 8 8

9 2. NOVITÁ 2015: generali In un unico file excel sono presenti tutte le tavole dei dati restituiti 9 9

10 2. NOVITÁ 2015: generali 10 10

11 2. NOVITÁ 2015: generali Punteggi generali Dettagli prova ITA
Dettagli prova MAT Livelli Correlazioni Dettagli item ITA Dettagli item MAT 11 11

12 Il cheating

13 2. NOVITÁ 2015 DETTAGLI QUESTIONARIO MICRODATI TREND 13 13

14 2. NOVITÁ 2015 2.1 TREND 14 14

15 2. NOVITÁ 2015 2.1 TREND Nel 2013 il dato osservato non è stato rilasciato. E’ stato rilasciato solo quello corretto dal cheating 15 15

16 2.1 TREND 16 16

17 2.2 MICRODATI Microdati_5_cnt contesto Microdati_5_ita risposte
Microdat_5_mat risposte Microdati_5_pnt punteggi Microdati_5_qst questionario Microdati_5_tracciato legenda 17 17

18 Punteggio normalizzato (200)
2.2 MICRODATI Punteggio normalizzato (200) Punteggio % Punteggio grezzo Codice studente 18 18

19 A che cosa mi possono servire i microdati?
Seguire nel tempo i risultati di ogni studente (Liv ) Matematica: individuare gli studenti in difficoltà e correlare con alcuni item «pivot» (item sulla linea dei numeri) Contesto: individuare per alcune categorie di allievi le parti di Matematica dove ci sono difficoltà o eccellenze Questionario studente: collegarlo al Contesto ……….. 19 19

20 2.3 QUESTIONARIO studente (liv.05-10)
Si potrebbero selezionare una serie di domande utili per la scuola o per la classe da analizzare (si scarica naturalmente il formato ecxel) 20 20

21 2.5 DETTAGLI MATEMATICA 21 21

22 2.5 DETTAGLI MATEMATICA: DIMENSIONI
Classi SCUOLA SCUOLA SCUOLA 22 22

23 2.5 DETTAGLI MATEMATICA: DIMENSIONI
Come nascono? QDR: contenuti e processi Guide: scopo della domanda (question intent) e traguardi per lo sviluppo delle competenze MACRO-PROCESSI 1. Processi accorpati (Conoscenze e procedure, Modellizzare, Argomentare, Rappresentazioni) 2. PISA 2012 (Formulare, Utilizzare, Interpretare) 3. Traguardi per lo sviluppo delle competenze (Indicazioni 2012) (Conoscere, Risolvere problemi, Argomentare) Fino al 2012 Dal 2015 23 23

24 2.5 DETTAGLI MATEMATICA: DIMENSIONI
2. (2014) Formulare, Interpretare, Utilizzare (PISA 2012) 3. (2015) Conoscere, Risolvere problemi, Argomentare 1 (2012). Concetti e procedure, Rappresentazioni, Modellizzare, Argomentare 24 24

25 Tabella scuola primaria
25 25

26 Tabella scuola secondaria di I grado
26 26

27 Tabella scuola secondaria di II grado
27 27

28 gestinv: uno strumento per la didattica
28 28

29 Tutte le domande che fanno riferimento alla dimensione 3 ARG per il livello 08
% corrette % errate % mancanti 29 29

30 Per ogni domanda: testo, risultati e curve caratteristiche
30 30

31 Come accedere alla piattaforma?
Mail a 31 31

32 Uso dei dati INVALSI istituto e singola classe
Percorso di autovalutazione Potenziamento e miglioramento dell’azione didattica istituto e singola classe DATI INVALSI 25/04/2017 32

33 Utilizzare i risultati delle prove per migliorare la didattica
25/04/2017

34 Analisi delle risposte degli studenti alle domande a scelta multipla - matematica

35 % risposte corrette %scelta distrattori

36 %scelta distrattori % risposte corrette

37 % scelta distrattori % risposte corrette

38 % risposte corrette % scelta distrattori

39 % risposte corrette % scelta distrattori

40 % risposte corrette % scelta distrattori

41 Difficoltà: 1,46

42

43 Punti critici della didattica

44 Analisi delle risposte aperte degli studenti

45 Potenzialità prove Invalsi
E’ dall’errore che buona parte dell'apprendimento ha origine, in particolar modo per quel che riguarda la matematica. E’ importante riconoscere sempre nell'errore un'occasione di apprendimento per tutti (chi l'ha compiuto, chi non l'ha compiuto e l'insegnante) per cercare il misconcetto o la lacuna che l'ha generato e quindi realizzare un recupero autentico.

46 Tanti esercizi sui polinomi e poi alle prove INVALSI ……..

47 Procedimenti inizialmente corretti
Tutto corretto fino a qua Pi greco sparisce

48 Analisi delle risposte aperte degli studenti
80% risposte errate 14%risposte corrette

49 Alcune risposte degli studenti
Giulio ha ragione perché già si capisce dalla parola, ma anche perché l’unità di misura è di 1 cm Giulio ha ragione perché se un lato dell’ottagono è di 1 cm, l’ottagono ha 8 lati, quindi è di 8 cm Giulio ha ragione perché i lati sono 8 e sono tutti uguali Giulio ha ragione perché il lato di ogni quadrato è di 1 cm e dato che le diagonali misurano come il lato il perimetro di 8 cm Giulio ha ragione perché ha 8 lati e ogni lato misura 1 cm (anche i lati che tagliano il quadratino come una diagonale, perché essendo un quadrato misura uguale) Giulio ha ragione perché visto che il quadrato è uguale di diagonale basta vedere i suoi bordi quanti quadretti sono Giulio ha ragione perché anche i pezzetti tagliati a metà sono 1 cm

50 La cosa interessante di questo item è come gli studenti interpretano la regolarità. Cioè pochi si accorgono che da un giorno all’altro il numero di batteri aumenta del 10%.

51 1452 1573 1694 Lo studente aumenta la 2° cifra di 1, la 3° cifra di 2 e la 4° di 1 Più di uno studente aumenta sempre di 1 le due cifre centrali e l’ultima cifra (partendo da 1331) 1442 1553 1664

52 = 261 261/100 = 2,61% 2,61% Licei Tecnici Profess

53 792% (2001) % (2003) 792% - 531% = 261% 261%

54 Correlazione punto biseriale 0,56
D18 Risposte errate: - 63 giorni - 81 giorni - 168 giorni (il doppio) - 42 giorni (la metà) Indice di difficoltà 1,04 Correlazione punto biseriale 0,56 Licei Tecnici Profess

55 Il calcolo del m.c.m.: sempre per tentativi, nessuno studente che abbia usato la scomposizione in fattori primi

56 Lo scopo della domanda e la % di risposte corrette
48% risposte errate 43%risposte corrette 14,8% 16,7% 44,1% 19,6%

57 La risposta è corretta: siamo soddisfatti?

58 La risposta è corretta: siamo soddisfatti?

59 Computer-based Assessment
Kim & Huynh (2007) hanno svolto un’indagine comparativa raffinata, tenendo conto di diversi strumenti statistici quali: curve caratteristiche, funzioni di informazione dei test, stime di Rasch, … concludendo che non esistono differenze significative da un punto di vista statistico tra un test somministrato su carta e uno informatizzato.

60 Computer-based Assessment
abbassare i costi di somministrazione restituire immediatamente la misura dei punteggi e l’analisi dei dati: feedback istantanei efficienza della misurazione limitare possibili errori in fase di codifica e raccolta dati arricchire tale raccolta personalizzazione del test per ogni singolo utente (CAT)

61

62

63

64 Problemi Ampia finestra di somministrazione Elevato numero di item
Prove differenti Equivalenze tra le diverse prove Influenza della familiarità con il mezzo informatico

65 Il ruolo del questionario studente

66 IL COSTRUTTO DELLA COMPETENZA
Prestazioni osservabili del soggetto L’iceberg della competenza* MOTIVAZIONE CONSAPEVOLEZZA SENSIBILITA' AL CONTESTO RUOLO SOCIALE STRATEGIE METAGOGNITIVE IMPEGNO ABILITA' CONOSCENZE Componente latente che richiede un’esplorazione di dimensioni interiori connesse ai processi motivazionali, volitivi, socioemotivi *Castoldi,2009

67 Componente latente: i questionari
Raramente le difficoltà di uno studente sono dovute solo a carenze di conoscenze. Possono dipendere: Atteggiamenti negativi quali mancanza di interesse, di determinazione, di motivazione. Insicurezza, fatalismo (con conseguente delega all’insegnante della responsabilità dell’apprendimento). Emozioni negative quali noia, ansia, paura.

68 II secondaria II grado

69 Indice dello status socioeconomico e culturale (ESCS)
ISCED (International Standard Classification of Education) HOMEPOSS (Home Possession) HISEI (Highest Parental Occupation Status) ESCS Qual è il lavoro principale di tua madre/padre? Qual è il titolo di studio più alto conseguito da tua madre/padre? Stefania Pozio _ Centro Nazionale PISA

70 HOME POSSESSION (1)

71 HOME POSSESSION (2) 71

72 PISA 2012- L’autoefficacia e il rendimento in matematica
Definizione di autoefficacia: “Convinzione nelle proprie capacità di organizzare e realizzare il corso di azioni necessario a gestire adeguatamente le situazioni che si incontreranno in modo da raggiungere i risultati prefissati” (Bandura,1986). L’autoefficacia gioca un ruolo importante nel determinare il comportamento, cioè il sentirsi sicuri rispetto a uno specifico problema è cruciale per la capacità dell’individuo di risolvere quel problema. Per l’Italia il senso di autoefficacia determina una differenza fino a circa 50 punti. Stefania Pozio _ Centro Nazionale PISA

73 PISA 2012 29% Molto capace 26% Molto capace 55% Molto capace

74 PISA 2003 – Autoefficacia e risultati in matematica degli studenti italiani
525 407 Stefania Pozio _ Centro Nazionale PISA 74

75 Cosa è PISA

76 PRESENTAZIONE DELL’INDAGINE Cosa è PISA?
OCSE - Organizzazione per la Cooperazione e lo Sviluppo Economico PISA - Programme for International Student Assessment Indagine internazionale promossa per rilevare le competenze dei quindicenni scolarizzati. Si svolge con periodicità triennale (prima indagine 2000). PISA ha l’obiettivo generale di verificare se, e in che misura, i giovani che escono dalla scuola dell’obbligo abbiano acquisito alcune competenze giudicate essenziali per svolgere un ruolo consapevole e attivo nella società e per continuare ad apprendere per tutta la vita.

77 Che cosa rileva PISA Obiettivi principali di PISA:
mettere a punto indicatori relativi al rendimento scolastico degli studenti quindicenni, in funzione della comparazione dei sistemi scolastici dei paesi membri dell’organizzazione; individuare le caratteristiche dei sistemi scolastici dei paesi che hanno ottenuto i risultati migliori, in termini di livello medio delle prestazioni e di dispersione dei punteggi, in modo da trarre indicazioni relative all'efficacia delle politiche scolastiche nazionali; fornire con regolarità dati sui risultati dei sistemi di istruzione, in modo da consentire il loro monitoraggio e la costruzione di serie storiche di dati utilizzabili per orientare le politiche educative e scolastiche.

78 Quadro di riferimento del PISA: dal 2003 al 2012
Calcolatrice (PP) oppure per CBT software statistici, applicazioni per la visualizzazione e costruzione geometrica e strumenti di misurazione virtuali “La Mathematical Literacy la capacità di un individuo di individuare e comprendere il ruolo che la matematica gioca nel mondo reale, di operare valutazioni fondate e di utilizzare la matematica e confrontarsi con essa in modi che rispondono alle esigenze della vita di quell’individuo in quanto cittadino impegnato, che riflette e che esercita un ruolo costruttivo .” La literacy matematica è « la capacità di una persona di formulare, utilizzare e interpretare la matematica in svariati contesti. Tale competenza comprende la capacità di ragionare in modo matematico e di utilizzare concetti, procedure, dati e strumenti di carattere matematico per descrivere, spiegare e prevedere fenomeni. Aiuta gli individui a riconoscere il ruolo che la matematica gioca nel mondo, a operare valutazioni e a prendere decisioni fondate che consentano loro di essere cittadini impegnati, riflessivi e con un ruolo costruttivo.» .

79 Le novità del PISA 2012 Cambia il quadro di riferimento
La rilevazione computerizzata della matematica è un elemento di assoluta novità in PISA 2012 ed è proposta come opzione ai paesi partecipanti Introduzione della Financial Literacy Ritorna il Problem Solving

80 Il ciclo della matematizzazione
Processi matematici (ciò che fanno gli studenti per collegare il contesto del problema alla matematica e quindi risolvere il problema) QdR PISA 2012 Matematica Dieci anni di esperienza nello sviluppo degli item PISA e nell'analizzare come gli studenti rispondono a tali item hanno dimostrato che esiste un insieme di capacità matematiche fondamentali che stanno alla base di ciascuno dei processi riferiti e dell’applicazione pratica della literacy matematica. Una maggiore attivazione delle capacità matematiche fondamentali va di pari passo con l’aumento della difficoltà degli item.

81 Un consiglio comunale vuole posizionare un palo della luce in un parco pubblico di forma triangolare in modo che il parco sia illuminato in modo omogeneo. In quale punto è meglio che posizioni il palo della luce?

82

83

84 Dare una rappresentazione di una situazione utilizzando la Matematica (formulate)
Capacità di un individuo di riconoscere e identificare opportunità per utilizzare la matematica e così fornire una struttura matematica a un problema presentato in un contesto reale. CONTESTO: Personale CONTESTO: Sociale

85 CONTESTO: Occupazionale
Impiegare concetti, fatti, procedure e ragionamenti matematici (employ) Capacità di un individuo di applicare concetti, fatti,procedure e ragionamenti per risolvere problemi matematici al fine di ottenere conclusioni matematiche. CONTESTO: Occupazionale

86 86

87 Interpretare, applicare e valutare risultati matematici (interpret)
Capacità di un individuo di riflettere su soluzioni, risultati e conclusioni matematiche e interpretarle alla luce del contesto dei problemi di vita reale. Questo comprende anche il saper tradurre le soluzioni o i ragionamenti ritornando al contesto del problema e determinare se i risultati hanno senso in quel determinato contesto. RIFIUTI CONTESTO: Scientifico Nell’ambito di una ricerca sull’ambiente, gli studenti hanno raccolto informazioni sui tempi di decomposizione di diversi tipi di rifiuti che la gente butta via: Tipo di rifiuto Tempo di decomposizione Buccia di banana 1–3 anni Buccia d’arancia Scatole di cartone 0,5 anni Gomma da masticare 20–25 anni Giornali Pochi giorni Bicchieri di plastica Oltre 100 anni Uno studente prevede di presentare i risultati con un diagramma a colonne. Scrivi un motivo per cui un diagramma a colonne non è adatto per rappresentare questi dati.

88 SUFFICIENTE

89

90 Livello 4 Livello 3 Livello 1

91 La domanda più difficile di PISA 2012
Livello 6 Livello 3

92

93 Prove su supporto cartaceo
Financial Literacy Un insieme di conoscenze e capacità di comprensione di concetti di carattere finanziario, unito alle abilità, alla motivazione e alla fiducia nei propri mezzi che consentono di utilizzare quelle stesse conoscenze e capacità per prendere decisioni efficaci di carattere finanziario in molteplici e diversi contesti, per migliorare il benessere degli individui e della società e per consentire una partecipazione consapevole alla vita economica. Prove su supporto cartaceo 93 93

94 situazioni nelle quali sono
applicate conoscenze, abilità e cognizioni relative all’ambito considerato strategie cognitive o approcci richiesti per affrontare i materiali proposti porzione di conoscenze e cognizioni indispensabili nell’ambito della literacy

95 Scolastico e lavorativo
Contenuti Processi Denaro e transazioni Pianificazione e gestione delle finanze Rischio e rendimento Ambiente finanziario Identificare informazioni finanziarie Analizzare informazioni in un contesto finanziario Valutare questioni finanziarie Applicare conoscenze e cognizioni in ambito finanziario Contesti Scolastico e lavorativo Domestico e familiare Individuale e Sociale

96 Identificare informazioni finanziarie
Processi Identificare informazioni finanziarie BUSTA PAGA Domanda 1 Analizzare informazioni in un contesto finanziario NUOVA OFFERTA D 1 – punteggio parziale NUOVA OFFERTA D 1 – punteggio pieno Valutare questioni finanziarie NUOVA OFFERTA Domanda 2 Applicare conoscenze e cognizioni in ambito finanziario Categoria di contenuto Denaro e transazioni BUSTA PAGA Domanda 1 Pianificazione e gestione delle finanze NUOVA OFFERTA D 1 – punteggio parziale NUOVA OFFERTA Domanda 2 NUOVA OFFERTA D 1 – punteggio pieno

97 Livello 4

98 Ha del denaro in più da spendere
Il tasso di interesse è più basso Livello 3 - 5 13% di è superiore al 15% di Aumenterà il suo debito. Livello 4

99 Pianificazione e gestione delle finanze
Livello 2

100 I risultati di PISA 2012 I sistemi scolastici migliori sono quelli che
1) hanno riportato un punteggio sulla scala delle competenze matematiche superiore al punteggio medio dell’OCSE (494) 2) l’impatto dello ESCS degli studenti sulle performance in matematica è minore della media OCSE

101 % della variazione dei punteggi in matematica spiegata dall’ESCS
Media OCSE 494 % della variazione dei punteggi in matematica spiegata dall’ESCS 14,6% media OCSE

102 Risultati in Lettura PISA 2009 e benessere nazionale
102

103 Risultati in Matematica PISA 2012 e spesa per studente
La spesa per l’istruzione spiega meno del 20 per cento delle diversità di rendimento tra studenti nei paesi industrializzati: la differenza sta nel come le risorse vengono investite Risultati in Matematica PISA 2012 e spesa per studente Italia e Singapore più o meno la stessa spesa (85000 $) ma punteggi molto differenti (485 versus 573 In migliaia di dollari USA convertiti usando la parità di potere d’acquisto 103

104 Risultati in Matematica PISA 2012 e spesa per studente
In migliaia di dollari USA convertiti usando la parità di potere d’acquisto 104

105 Risultati in Matematica PISA 2012 e stipendio dei docenti
Correlazione significativa per i paesi ad alto reddito (0.40 se si esclude il Qatar), non significativa per i paesi a basso reddito perché evidentemente non basta aumentare gli stipendi degli insegnanti, serve anche migliorare le strutture 105

106

107

108 Relazione tra voti scolastici in Matematica e risultati in matematica PISA 2003
Fonte: Elaborazione sul dataset PISA 2003 dell’Italia 108

109 Voti scolastici e risultati nel test PISA 2009 di comprensione della lettura per macro-area
109

110

111

112

113

114

115 Competenza scientifica Prove solo computerizzate
PISA 2015 Competenza scientifica Prove solo computerizzate Max 42 studenti per scuola Ci sarà ancora la Financial literacy 115

116 IL TIMSS Trends in International Mathematics and Science Study.
Fornisce informazioni che permettono di migliorare l’insegnamento e l’apprendimento della matematica e delle scienze. Riguarda studenti di IV elementare e III media. Viene effettuato ogni 4 anni. Il primo ciclo è stato nel 1995 (41 paesi) e l’ultimo nel 2011 (circa 60 paesi). 116

117 Cosa intende misurare il TIMSS
Punto di partenza è l’analisi dei curricoli delle nazioni partecipanti Su questa base, vengono definite le conoscenze e le competenze che verranno valutate Attraverso l’analisi dei risultati vengono definiti 4 livelli di competenza: avanzato, alto, intermedio, basso. Il test è rivolto agli studenti della stessa classe, e il questionario insegnante permette di interpretare i risultati degli studenti anche in relazione agli stili di insegnamento. 117

118 Livello basso Livello intermedio

119 Livello alto

120 Livello avanzato

121