L’esame di Seconda Lingua al termine della scuola secondaria di II grado Lorenzo Rocca Bolzano, 19 ottobre 2016

Agenda L’autonomia comunicativa secondo il Quadro e il Vantage level: caratteristiche del livello B2 L’autonomia comunicativa secondo il Quadro e il Vantage level: caratteristiche del livello B2 Analisi dei descrittori: Analisi dei descrittori:  comprensione orale e scritta  produzione e interazione scritta Impianto d’esame e prove modello: analisi ragionata Impianto d’esame e prove modello: analisi ragionata Linee guida per l’elaborazione degli item secondo le tecniche di verifica contemplate Linee guida per l’elaborazione degli item secondo le tecniche di verifica contemplate

Ma l’agenda è già nel titolo! L’esame di Seconda Lingua L’esame di Seconda Lingua al termine della scuola secondaria di II grado Oggetto di indagine NON è propriamente una certificazione NON è pubblico indistinto: profilo utenza da rispettare

Coerentemente … “Ricercare il giusto equilibrio tra la prova standardizzata di livello B2 e la possibilità, per le singole commissioni, di predisporre una prova coerente con i percorsi didattici svolti e definiti dai curricoli disciplinari delle singole scuole” “Ricercare il giusto equilibrio tra la prova standardizzata di livello B2 e la possibilità, per le singole commissioni, di predisporre una prova coerente con i percorsi didattici svolti e definiti dai curricoli disciplinari delle singole scuole” “Tenere conto della specificità dell‘insegnamento della Seconda Lingua e del lavoro svolto in classe dai docenti” “Tenere conto della specificità dell‘insegnamento della Seconda Lingua e del lavoro svolto in classe dai docenti” Riflessioni del gruppo di lavoro

CE FR = Cornice, non Quadro

Il Quadro vuole essere coerente (nella sequenzialità e gradualità) Il Quadro vuole essere coerente (nella sequenzialità e gradualità) Ma deve anche essere “riempito”: l’invito è proprio quello di contestualizzare i descrittori riferiti alla metalingua Ma deve anche essere “riempito”: l’invito è proprio quello di contestualizzare i descrittori riferiti alla metalingua Tali descrittori vanno plasmati, adattati (e, laddove necessario, completati) a seconda delle caratteristiche del singolo codice lingua e dei bisogni dell’utenza di riferimento Tali descrittori vanno plasmati, adattati (e, laddove necessario, completati) a seconda delle caratteristiche del singolo codice lingua e dei bisogni dell’utenza di riferimento “gli utenti […] dovrebbero considerare e, se opportuno, specificare …” se opportuno, specificare …”

Che cosa è il QCER? (Quadro Comune Europeo di Riferimento per le lingue ) Un r rr riferimento comune aspecifico e generico atto a: 1.Descrivere s ss saper fare attraverso la lingua 2.Definire e promuovere una m mm meta lingua 3.Definire e condividere l ll livelli di competenza 4.Promuovere un approccio orientato all’azione

Che cosa NON è il QCER? (Quadro Comune Europeo di Riferimento per le lingue ) NON è un insieme di STANDARD OLISTICI (Little: 2014)

Il QCER è stato pensato per adulti. È per caso “V.M.”? Lingua della comunicazione e lingua dello studio Tematiche ed età dei candidati Conoscenza del mondo supposta ed esperienza di vita dei candidati Speculazioni concettuali previste e forma mentis dei soggetti da valutare

Obiettivi del QCER cornicemeta-lingua Offrire una ‘cornice’ comune, una meta-lingua cooperazione Promuovere e facilitare la cooperazione fra istituzioni in Paesi diversi facilitare confronti favorire la trasparenza Descrivere i livelli per facilitare confronti fra sistemi diversi e per favorire la trasparenza ￬ ￬ e quindi Fornire anche una base affidabile per il riconoscimento reciproco, anche di titoli linguistici

Comun denominatori: qual è il vero standard? Struttura e componenti Durata della prova Lunghezza testi Tecniche di verifica Generi e tipologie testuali Funzioni elicitate

3 A per altrettanti livelli di analisi del test

Il test strumento di misurazione È uno strumento di misurazione avente come obiettivo: elicitare un campione di performance, un comportamento fornire cioè una misura che funga da indicatore della competenza

“Gli esami […] si propongono di elicitare, attraverso prove di verifica adeguate, campioni di performance che consentano di effettuare operazioni di inferenza sulla competenza linguistica, con l’obiettivo ultimo di prevedere la potenziale capacità d’uso della lingua in situazioni reali”. “Gli esami […] si propongono di elicitare, attraverso prove di verifica adeguate, campioni di performance che consentano di effettuare operazioni di inferenza sulla competenza linguistica, con l’obiettivo ultimo di prevedere la potenziale capacità d’uso della lingua in situazioni reali”. Specificazioni CELI

Tre concetti fondamentali Validità Validità Affidabilità Affidabilità Praticabilità Praticabilità ValidityReliability(consistency)Praticality

Validità La validità di una prova indica la capacità di valutare ciò che ci si era proposti di valutare e non altro. Il rispetto dell’oggetto di indagineIl rispetto dell’oggetto di indagine L’approccio valutativo adottatoL’approccio valutativo adottato Per esempio: errori ortografia per prova ascolto? Ascolto come prova di comprensione Ascolto come prova di comprensione Ascolto come prova di discriminazione Ascolto come prova di discriminazione

Content (context) validity Theory based validity Scoringvalidity Consequentialvalidity Criterion related validity (Weir) I 5 volti della validità

costrutto Il costrutto cognitivo dichiarato è stato rispettato? Le scelte compiute in sede di elaborazione delle prove sono giustificabili sul piano degli approcci metodologici assunti? La prova va ad indagare ciò che ci era prefissati di voler indagare? Theory based validity “Un test è valido quando “centra” l’oggetto di misurazione” (Torresan, dispensa, p. 2)

Il costrutto “classico” Modello pluridimensionale di Bachman: competenza linguistico-comunicativa (anni ‘90) competenza organizzativa grammaticaletestuale pragmatica illocutoriasociolinguistica Noto con l’acronimo CLA : C ommunicative L anguage A bility

È stata condotta in maniera adeguata l’analisi dei bisogni dell’esaminando? I contenuti ed i contesti sono vicini all’agire quotidiano dei candidati? C’è legame fra la lingua dell’esame e la lingua della vita? In altre parole, c’è la supposta corrispondenza fra language test performance and language use? Content (context) validity

Diverse utenze e diverse priorità

Per preservare l’Adeguatezza

File audio B2: quali compromessi per preservare l’adeguatezza? Ritmo autentico? Ritmo autentico? Rumori sottofondo? Rumori sottofondo? Input chiaro? Input chiaro? “ Testo autentico, eventualmente riadattato” Definizione dei criteri e del modello, p. 3

Adeguatezza audio-B2 Carlo Lucarelli Walter Veltroni Lia Levi

Affidabilità L’affidabilità è un concetto tecnico relativo alla costanza e stabilità dei risultati, sia all’interno della medesima prova sia attraverso somministrazioni successive L’affidabilità è un concetto tecnico relativo alla costanza e stabilità dei risultati, sia all’interno della medesima prova sia attraverso somministrazioni successive Una prova è tanto più affidabile quanto più garantisce assenza di errori di misurazione e, conseguentemente, risultati ripetibili e attendibili Una prova è tanto più affidabile quanto più garantisce assenza di errori di misurazione e, conseguentemente, risultati ripetibili e attendibili affidabilità → oggettività → equità

Mancanza di affidabilità Istruzioni poco chiare/ assenza di esempi Item ambigui Formazione inadeguata di somministratori e esaminatori Criteri di valutazione poco chiari e difficilmente applicabili Errore umano nell’attribuzione del punteggio Praticabilità latente Mancanza di equità (presenza bias) ed eticità

Praticabilità Praticabilità E’ relativa ad aspetti pratici e organizzativi ( fattibilità logistica): Alcuni esempi: l’acustica per la prova di ascolto l’acustica per la prova di ascolto la sistemazione spaziale dei candidati la sistemazione spaziale dei candidati Legata a concetti-chiave quali: sostenibilità, trasparenza, accessibilità N.B. Sono aspetti che competono alla scuola sede d’esame

LIVELLI Quadro Comune Europeo di Riferimento A Livello elementare A1Contatto A2Sopravvivenza B Livello intermedio B1Soglia B2ProgressoC Livello avanzato C1Efficacia C2Padronanza

concreto astratto personale nonpersonale

“Il candidato / la candidata è in grado di capire discorsi di una certa lunghezza e […] seguire argomentazioni anche complesse, purché riferite a temi relativamente familiari” “Il candidato / la candidata è in grado di capire discorsi di una certa lunghezza e […] seguire argomentazioni anche complesse, purché riferite a temi relativamente familiari” “È in grado di scrivere testi chiari e articolati su un’ampia gamma di argomenti che gli / le interessano” “È in grado di scrivere testi chiari e articolati su un’ampia gamma di argomenti che gli / le interessano” Definizione dei criteri e del modello, p. 2

Riordino: progressione difficoltà Può descrivermi la foto? Come sono vestiti i ragazzi? Secondo Lei perché i ragazzi sono così allegri? Dove potrebbero esser stati o cosa potrebbero aver deciso di voler fare? Dove si trovano i ragazzi? Quanti sono e quanti anni hanno? Può raccontarmi una cosa che Lei ha fatto insieme ai Suoi compagni di classe quando aveva la loro stessa età? Purtroppo in Italia negli ultimi anni stiamo assistendo ad un fenomeno non certo bello: il bullismo, soprattutto fra i più giovani. Esiste questo problema anche nel Suo Paese? Che cosa si potrebbe fare per combatterlo? Quali altri problemi a Suo avviso caratterizzano il sistema scolastico attuale? I ragazzi di oggi spesso fanno cose diverse rispetto ai loro coetanei delle generazioni passate: secondo Lei come è cambiata l’adolescenza negli ultimi anni? Può farmi degli esempi concreti, pensando al Suo Paese ed alla Sua esperienza personale? Che cosa vede? Mi può parlare di un Suo amico? Come si chiama? Quanti anni ha? Adeguatezza (Adeguatezza)

Due ottimi esempi

L’impianto d’esame

9 punti di forza 1 OK 2 abilità scrittura (previste dal Quadro e da indagare al B2) 2 OK tempi ascolto e scrittura 3 OK forchetta parole (laddove prevista) in scrittura 4 OK doppio bilanciamento equilibrato: -Input offerto/ parti oggettive (2 prove /pesano 7 punti) - Output richiesto/ parti soggettive (2 prove/ pesano 8 punti) 5 OK (per evitare sovrappeso parti soggettive e per alzare livello validità) mancanza tecnica “rispondere per iscritto a domande aperte”, pure utile per il livello B2 6 OK bilanciamento fra output semi-guidato e libero (perché è importante la scaletta: 4 ragioni che vedremo a breve) 7 OK assenza penalizzazione in caso risposta sbagliata 8 OK scala analitica (segmentata) per attribuzione punteggio parte di scrittura 9 OK criteri e pesi della scala di cui sopra … a proposito …

Valutazione delle prove soggettive: condivisione 2 linee guida fondamentali 1. Nel caso un errore, di qualsivoglia tipologia, sia ripetuto in maniera identica più volte, gli esaminatori (sia della prova scritta che della prova orale) dovranno considerarlo e farlo pesare come uno e non moltiplicarlo per n volte, quanti sono i medesimi errori commessi dal candidato 2. Nel caso in cui gli errori, ancora di qualsivoglia tipologia, riguardino forme e strutture non contemplate dal profilo QCER interessato, gli stessi non dovranno essere considerati (Sillabi CLIQ)

Le 4 ragioni della “scaletta” Elemento facilitatore per candidato Elemento facilitatore per candidato In fase di correzione: In fase di correzione: - Maggior confrontabilità fra elaborati - Valutazione “coerenza esterna” Elicitare funzioni di livello Elicitare funzioni di livello

Un ottimo esempio

Tecniche di verifica

Tecniche di verifica e familiarità

… a prescindere dalle competenze …

Verare e falsare

11 riflessioni sugli item Ben formulati, non ambigui Calibrati, vale a dire adeguati al livello Il distrattore (contiene parte di verità) non deve essere regola Le opzioni sbagliate devono essere plausibili (non assurde, non fuori tema) Le opzioni non troppo lunghe Non “spezzoni” testo nell’opzione corretta Evitare interdipendenza fra item (ad esempio opzioni sbagliate che si escludono a vicenda) In fase di assemblaggio evitare schemi ciclici Non far giocare l’item su parole straniere Evitare frasi negative Prediligere (stante il livello) quesiti referenziali a quesiti inferenziali Ripresa Torresan, dispense, p. 20

Ancora 2 riflessioni sugli item Utilizzare tutte le informazioni del testo Utilizzare tutte le informazioni del testo Rispettare successione delle tematiche affrontate dal brano di riferimento → verifichiamo abilità linguistiche, non logiche Rispettare successione delle tematiche affrontate dal brano di riferimento → verifichiamo abilità linguistiche, non logiche Primo capoverso Secondo capoverso Terzo capoverso Quarto capoverso Senso globale testo ………….. 2 ………….. 3……………. 4…………… Definizione dei criteri e del modello, p. 4

Consigli per le scelte multiple Partire dall’opzione corretta: un buon modo è parafrasare/ costruire passaggi sinonimici/utilizzare sinonimi Partire dall’opzione corretta: un buon modo è parafrasare/ costruire passaggi sinonimici/utilizzare sinonimi OK le inferenze (ma non troppe e non troppo nascoste al B2), KO le deduzioni logiche (rischio item ambiguo) OK le inferenze (ma non troppe e non troppo nascoste al B2), KO le deduzioni logiche (rischio item ambiguo) Se l’incipit delle opzioni è lo stesso, spostarlo alla fine dell’input Se l’incipit delle opzioni è lo stesso, spostarlo alla fine dell’input Mario disse: A.che era molto stanco B.che aveva tanto sonno C.che voleva mangiare Mario disse che: A.era molto stanco B.aveva tanto sonno C.voleva mangiare

Un ultimo consiglio Un ultimo consiglio Elaborare opzioni omogenee (stessa lunghezza) Elaborare opzioni omogenee (stessa lunghezza) 1)Mario rispose: a.di non avercela fatta b.che avrebbe accettato c.di no Opzione c. subito scartata per chi ha familiarità con il metodo !!

Parafrasi/ costruzioni sinonimiche 1 La a) disomogenea: allungarla un po’ OK

Parafrasi/ costruzioni sinonimiche 2 La a) disomogenea: accorciarla un po’ OK

Parafrasi/ costruzioni sinonimiche 3 Investimenti = costi di gestione?

Poco discriminante?

Per mettere in pratica … Formazione gruppi di lavoro Formazione gruppi di lavoro Creazione di un item di scelta multipla a 3 opzioni Creazione di un item di scelta multipla a 3 opzioni