Indicatori di difficoltà nei test di certificazione linguistica: la macrobilità della comprensione scritta Antonio Venturis Professore di II fascia Dipartimento.

Presentazione sul tema: "Indicatori di difficoltà nei test di certificazione linguistica: la macrobilità della comprensione scritta Antonio Venturis Professore di II fascia Dipartimento."— Transcript della presentazione:

1 Indicatori di difficoltà nei test di certificazione linguistica: la macrobilità della comprensione scritta Antonio Venturis Professore di II fascia Dipartimento di Italianistica Università Aristotele di Salonicco Convegno Internazionale 2015 Siena

2 Perché controllare la difficoltà di un test di certificazione linguistica Determina l’equità dell’esame: affidabilità, – Validità e affidabilità, – Giustizia: equità sociale e corretezza legale, (Kunnan, 2000:3-5) – Determina il futuro di individuali ed enti. (Shohamy, 2000:1, McNamara & Roever 2006:137)

3 Fattori che condizionano la difficoltà di un test di comprensione scritta ProvaTesto Fattori endogeni Fattori esogeni Domande Fattori endogeni Fattori esogeni

4 Difficoltà dei testi: fattori endogeni Metodi tradizionali Metodi basati sulla scienza cognitiva Metodi basati sull’uso di strumenti di analisi statistica delle lingue Caratteristiche del testo come:  la lunghezza della frase,  la percentuale di parole familiari o comuni,  la lunghezza delle parole.  i mecanismi di coesione e di coerenza.  La probabilità di appartenenza delle strutture del testo a quelle usate da utenti di un certo livello. Benjamin, 2011:63-88

5 New Dale–Chall Readability Formula (Chall and Dale 1995), Lexile framework (Smith et al. 1989), Advantage-TASA Open Standard for Readability (ATOS) formula (School Renaissance Inst., Inc. 2000), Read-X tool (Miltsakaki and Troutt 2007, 2008), Lexile, Flesch–Kincaid (Flesch-Vacca), Flesch–Kincaid (Flesch-Vacca), GulpEase, GulpEase, READ–IT (Dell’Orletta et al. 2011). READ–IT (Dell’Orletta et al. 2011). Programmi che applicano I metodi tradizionali 2/3 Usa anche metodi ispirati dalle scienze cognitive

6 Read-it 3/3 inferiore a 80 sono difficili da leggere per chi ha la licenza elementare. inferiore a 60 sono difficili da leggere per chi ha la licenza media. inferiore a 40 sono difficili da leggere per chi ha un diploma superiore.

7 Metodi basati sulla scienza cognitiva Coh-Metrix DeLite software http://www.readabilityformulas.com/freetests/six-readability-formulas.php

8 Metodi statistici Fry Short Passage Readability Formula Collins-Thompson and Callan Formula

9 Difficoltà dei testi: fattori esogeni Caratteristiche del candidato:  socio-culturali,  cognitive,  nozionali. (Fulcher, 1997, Campbell et al, 1997)  Fattori organizzativi: tempo,  Fattori psicologici: ansia. (Cheng, 2008)

10 Difficoltà delle domande (item): fattori endogeni la lunghezza della frase, la percentuale di parole familiari o comuni, la lunghezza delle parole, la coesione, Il tipo della domanda, Il numero di risposte possibili, la qualità dei distrattori.

11 Difficoltà delle domande (item): fattori esogeni familiarità dei candidati con il tipo della domanda,  fattori organizzativi: tempo,  fattori psicologici: ansia.

12 Ricerca: indicatori di difficoltà nei test di comprensione scritta Obbiettivo: Rivelare gli indicatori che possano permettere la misurazione preliminare della difficoltà di un test di comprensione scritta.

13 Ipotesi di ricerca La difficoltà del testo prevale sulla formazione della difficoltà globale di un Test di Comprensione Scritta (TCS). Il numero dei distrattori è analogo al livello di difficoltà della domanda. La lunghezza delle domande è analoga al livello di difficoltà della domanda. Il livello del lessico condiziona il livello di difficoltà della domada.

14 Metodologia della ricerca I/ΙΙΙ Analisi di un TCS usato negli esami di certificazione del KPG (456 condidati) Modifica delle prove 1, 3, 5, 7: Testi: aumento della lunghezza (numero delle parole) dei periodi contenuti nei testi diminuzione del livello di frequenza delle parole contenute nei testi Prove: aumento della lunghezza delle domande Aumento dei distrattori Aumento del livello di difficoltà Ipotesi di aumento del livello di difficoltà

15 Metodologia della ricerca II/ΙΙΙ Controllo di correlazione tra il test iniziale e quello modificato Controllo di correlazione tra le prove modificate e quelle iniziali Analisi delle corrispondenze

16 Metodologia della ricerca III/ΙΙΙ Variabili: – Gulpease – Dylan – Mean task easiness – Question easiness – Number of distractors – Question typology

17 Risultati I/IV

18 Risultati II/IV

19 Risultati III/IV

20 Risultati IV/IV

21 Conclusioni I/II La difficoltà del testo non sembra di prevalere sulla formazione della difficoltà globale di un TCS. Il numero dei distrattori è analogo al livello di difficoltà della domanda. La lunghezza delle domande è analoga al livello di difficoltà della domanda. Il livello del lessico condiziona il livello di difficoltà della domada.

22 Conclusioni II/II Possibili indicatori di difficoltà in un TCS possono essere: – La lunghezza del testo e la frequenza dei vocaboli – Il numero dei distrattori delle domade – La lunghezza delle domande – La frequenza delle parole usate nelle domade

23 Limitazioni La prestazione del candidato viene influenzata da vari parametri che non possono essere controllati facilmente (ansia, esperienze, fattori casuali). La multimodalità dei testi facilita la comprensione del loro contenuto ma è difficilmente misurabile.

24 Vi ringrazio per la vostra partecipazione Ευχαριστώ!!! Thank you!!! Obrigado!!! ¡Gracias! Merci!!!