1 Problemi e tecniche del testing online (parte III) Gianfranco Porcelli Pavia, 10 febbraio 2010

2 Quali sono i criteri per uninterfaccia efficace e intuitiva dei test online? Analogia con i test carta-matita; adozione di procedure del tutto consuete per chi usa il computer; evidenza e chiarezza delle istruzioni (di norma, in L1). [risponde anche alla domanda su Quali problemi rispetto al cartaceo?]

3 Un progetto di testing online deve essere gestito per singola lingua oppure ci sono tanti aspetti comuni che possono essere condivisi? Dobbiamo partire da un modello dellapprendente, degli stili di apprendimento e dei suoi bisogni comunicativi. Da ciò deriva unottica comune rispetto a: –dosaggio delle diverse abilità, competenze e aspetti della lingua (dal fonologico al pragmatico); –varietà dei tipi di quesiti impiegati; –ecc. (cfr. ALTE)

4 Che cosa pensa dei criteri di valutazione can do di ALTE? Sono un interessante sforzo di definire meglio, in termini operativi, i descrittori del QCER

5 Si possono rendere oggettivi i quesiti con risposte aperte? Non è impossibile ma ci sono notevoli difficoltà: Per un computer, due risposte che noi accetteremmo come entrambe corrette,mi amigo e Mi amigo., sono diverse in tre punti – maiuscola, spazi e punteggiatura. –è difficile prevedere e programmare tutto –è complicato e distraente costringere lesaminato a badare anche a quegli aspetti.

6 10/10 non è una scala [di valutazione] valida. E 100/100? e 30/30? Distinguiamo i voti scolastici dai punteggi dei test. I voti derivano da consuetudini varie e spesso mischiano profitto e condotta (ora anche esperienze extrascolatiche). I 10 in pagella sono più rari dei 30 e, a volte, dei 110 (e lode). I punteggi dei test possono essere in qualsiasi scala – a volte li si riporta a 100 ma solo per comodità di lettura e/o comparazione.

7 Confronto tra le varie certificazioni (TOEFL, Cambridge, ecc.) Preferisco rinviare ai libri scritti in materia (il tema riguarda il solo inglese). Un solo punto importante: la scadenza del TOEFL In genere, si riscontra una tendenza allomologazione (tutti tendono a includere i tipi di prove che la ricerca ha mostrato essere più efficaci).

8 Come calibrare correttamente la formulazione e i contenuti dei quesiti? Problemi di –conoscenza del mondo –modelli culturali (p.es. nella lettura delle immagini) –rapporti tra intelligenza, enciclopedia e lingua Quali sono gli utenti dei Centri Linguistici? Le intelligenze multiple

9 Quante intelligenze?

10 Quanto tempo ci vuole per creare una banca di test online? Anzitutto occorrono: - un gruppo di coordinamento con esperti di lingue e di informatica; - un numero adeguato di redattori di quesiti per ognuna delle lingue interessate I tempi minimi sono dellordine dei mesi; una banca con test di diverso tipo (ingresso, attestazione di livello, ecc.) e argomento (p. es. lingue speciali per diverse Facoltà) può richiedere qualche anno, a meno di disporre di operatori a tempo pieno. [item analysis]

11 Per quali tipi di test è più utile il testing online? Molti CLI / CLU / CLA se ne servono per un efficace smistamento iniziale nelle varie fasce di livello, senza altre prove. Per le attestazioni con rilascio di crediti, spesso sono preliminari a un colloquio orale. Possono essere di padronanza (attainment) o di livello (achievement); di lingua comune o di linguaggi specialistici…

12 Tipi di prove oggettive Scelta multipla (singola o plurima) Completamento Abbinamento o incastro (orizzontale o verticale) Riordino di frasi nel testo o di battute di un dialogo Raggruppamento o Wordpool Concordanze KWIC (?)

13 Tipi di prove oggettive / 2 Per tutti i tipi: non solo grammatica ma anche - lessico - usi pragmatici

14 Contatti