Problemi e tecniche del testing online (parte I) Gianfranco Porcelli Pavia, 4 febbraio 2010

Archimede e il Testing (ciò che si guadagna in forza si perde in movimento)

Oggettività e realismo Ciò che si guadagna in oggettività si perde in realismo Le capacità di interagire nelle reali situazioni di comunicazione si possono osservare solo nelle reali situazioni di comunicazione

Ansia da test

La bella notizia

Clever…

Verare e falsare

Bleah!

Non solo Linus / 1

Non solo Linus / 2

La verifica del profitto come comunicazione Tre termini cruciali: –Verifica –Profitto –Comunicazione

La verifica del profitto come comunicazione Verifica e valutazione La misurazione

Verifica Valutazione

La verifica… (1: di che cosa?) Oggetto della verifica è la performance, ciò che lo studente esterna, come indice e campione della competence: a) indice, perché può condurre a intuire processi mentali e abilità complesse; b) campione, perché ogni prova di controllo non può che selezionare alcune abilità, competenze, aree lessicali...

Input, Intake, Output

Grammatica e lessico Se si parte da unottica comunicativa si scopre allora che per capire un testo la grammatica serve a poco … … il lessico molto di più! –Il Lexical Approach (1993) Chi viaggia allestero si porta una grammatica o un dizionario? E allora, perché tendiamo a ragionare come se imparare una lingua fosse impararne la grammatica?

Grammatica dellaspettativa e testing pragmatico Le prove pragmatiche mettono in gioco le competenze testuali –- in particolare la capacità di capire un testo facendo anticipazioni corrette Oller (1979) cita anzitutto il dettato per lorale e il cloze test per lo scritto, ma anche la traduzione e altre forme di parafrasi sono incluse tra le prove pragmatiche

La verifica… (2: quali parametri?) La accuracy, in termini di correttezza a livello fonetico, grammaticale e lessicale La fluency, intesa come capacità di comunicare non necessariamente in modo totalmente accurato La comprensione interculturale, grande obiettivo di fondo da non dimenticare –però nei test tende a sparire –il backwash o washback

Coerenza delle verifiche con il metodo adottato: un testing di matrice strutturalista non è compatibile con approcci comunicativi e/o umanistico- affettivi; con gli obiettivi della verifica. VALIDITASenza tale coerenza il test è privo di VALIDITA.

Validità dei test Definizione: capacità di un test di verificare ciò che intende verificare e nientaltro. –Test di intelligenza o di lingua ? Parametri della validità: –Pertinenza; –Accettabilità; –Comparabilità; –Economia.

...del profitto... CALIBAN: You taught me language, and my profit ont Is, I know how to curse; the red plague rid you, For learning me your language! W. Shakespeare, The Tempest, I, ii, 363 [Italiano lingua seconda per i colf, 1611]

…come comunicazione. a) coerente con un approccio comunicativo; b) come comunicazione operativa di obiettivi.

Misurare: si può? Unità di misura Lo zero Gauss e distanze relative –la statura –il reddito Misurare, in senso stretto, non si può.

Il voto come comunicazione I numeri (e le medie) Gli aggettivi Le lettere –ma oggi......e ancor più, sperabilmente. domani: il PORTFOLIO (e dintorni: passaporto, ecc.) come documentazione di ciò che si sa fare I have no Italian – essere padroni di una lingua (sapere non è possedere)

Statica o dinamica? quattro giorni fa: 40° tre giorni fa: 39° laltro ieri: 37° Ieri: 36° oggi… ?

La distribuzione normale delle frequenze Ovvero, anche il caso ha le sue regole

Poligono frequenze 1 dado

Poligono frequenze 2 dadi

Poligono frequenze 3 dadi

Poligono frequenze 4 dadi

Poligono frequenze 5 dadi

Poligono frequenze 6 dadi

Corollario 1 Di sicuro il voto in decimi non è ununità di misura: la distanza tra il voto 2 e il voto 3 è pressoché inesistente (in molti casi, sono entrambi sinonimi di insufficienza gravissima non dovuta solo a difficoltà di apprendimento); la distanza tra 5 e 6 è enorme, come attesta labbondanza di valori intermedi come 5+, 5½, 5/6, 6=, 6- eccetera.

Corollario 2 Lanalisi di questi voti, così come sono comunemente usati, ci indica che ne bastano cinque (dal quattro allotto) per coprire la gamma di giudizi da prestazione pessima a prestazione ottima, mentre agli altri viene aggiunta una connotazione aggiuntiva non limitata al profitto: da una parte una punizione o una sanzione morale per negligenza, scarso interesse o altro; dallaltra un elogio o un premio. In questo i voti si differenziano nettamente dai punteggi dei test, che fanno riferimento esclusivamente allesecuzione della prova e al risultato conseguito in termini di risposte esatte.

Corollario 3 Sempre più diffuso ma altamente deprecabile è luso delle percentuali con un numero esiguo di soggetti: avviene di leggere, ad esempio, che gli studenti che hanno raggiunto un dato livello sono aumentati dal 57,14% al 64,28% e poi si scopre che il miglioramento riguarda uno studente in un gruppo di 14 soggetti. Lapparente scientificità è un mascheramento del vero.

Norma e Criterio Norma: riferimenti interni. –Il richiamo alla norma è un raffronto con i livelli medi di profitto riscontrabili in una classe (è un raffronto possibile, in qualche misura, per lo scolaro). Criterio: riferimenti esterni –Il richiamo al criterio è un raffronto con parametri esterni ad esempio, quelli offerti dal Quadro Comune Europeo di Riferimento (è un raffronto di norma impossibile per lo scolaro).

La sufficienza Sufficienza assoluta o criteriale (p. es. con riferimento alle esigenze di unazienda); –dieci euro sono sufficienti? –criterio: il bene o servizio da acquistare Sufficienza relativa o normale, ossia scolastica –mio figlio è sufficiente? –criterio: le attese dellinsegnante.

Conoscenza delle lingue... Ottima... Sufficiente... Scolastica...

Scale di valutazione La scala di valutazione generale secondo B.J. CARROLL, Testing Communicative Performance, Oxford, Pergamon, Il two-tier system e le certificazioni.

9. Utente esperto. Comunica con autorevolezza, accuratezza e stile. Completamente a proprio agio nell'inglese idiomatico e specialistico.

8. Utente ottimo. La presentazione dell'argomento è chiara e logica con buono stile e una chiara percezione degli indicatori di atteggiamento. Si avvicina spesso alla competenza bilingue.

7. Utente buono. Sa affrontare la maggior parte delle situazioni in un ambiente anglofono. Lapsus occasionali e limitazioni nel linguaggio non impediscono la comunicazione.

6. Utente competente. Malgrado sappia far fronte alla maggior parte delle situazioni che probabilmente dovrà affrontare, è un po' carente nella scorrevolezza (fluency) e nell'accuratezza e occasionalmente incorrerà in fraintendimenti o errori significativi.

5. Utente modesto. Sebbene in genere riesca a comunicare, spesso usa un linguaggio non accurato o improprio.

4. Utente marginale. Manca di stile, scorrevolezza e accuratezza; non è facile comunicare con lui, l'accento straniero e la scarsa padronanza del codice provocano fraintendimenti. In genere se la cava senza gravi intoppi.

3. Utente estremamente limitato. Non possiede una conoscenza operativa della lingua dell'uso quotidiano, ma è migliore di un principiante assoluto. Né le abilità produttive né quelle ricettive permettono una comunicazione continuativa.

2. Utente intermittente. Esecuzione ben al di sotto del livello di conoscenza operativa della lingua dell'uso quotidiano. La comunicazione si instaura solo sporadicamente.

1/0. Non utente. Può non riconoscere con sicurezza quale lingua si stia usando.

Descrittori Produzione Scritta A A1 - So scrivere una breve e semplice cartolina, per es. per mandare i saluti dalle vacanze. So riempire moduli con dati personali ad es. il mio nome, la nazionalità e l'indirizzo sulla scheda di registrazione di un albergo. A2 - So scrivere semplici appunti e brevi messaggi su argomenti riguardanti bisogni immediati. Riesco a scrivere una lettera personale molto semplice, per es. per ringraziare qualcuno.

Descrittori Produzione Scritta B B1 - So scrivere semplici testi coerenti su argomenti noti o di mio interesse. So scrivere lettere personali esponendo esperienze e impressioni. B2 - Sono in grado di scrivere testi chiari e articolati su un'ampia gamma di argomenti che mi interessano. Sono capace di scrivere saggi e relazioni, fornendo informazioni e ragioni a favore o contro una determinata opinione. So scrivere lettere mettendo in evidenza il significato che attribuisco personalmente agli avvenimenti e alle esperienze.

Descrittori Produzione Scritta C Sono in grado di esprimermi sviluppando analiticamente il mio punto di vista in testi chiari e ben strutturati. Scrivo lettere, saggi e relazioni esponendo argomenti complessi, evidenziando i punti che ritengo salienti. Sono in grado di scegliere lo stile adatto ai lettori ai quali intendo rivolgermi. Sono in grado di scrivere testi chiari, scorrevoli e stilisticamente adeguati. Scrivo lettere, relazioni e articoli complessi e supporto il contenuto con una struttura logica efficace che aiuti il destinatario a identificare i punti salienti da rammentare. Sono capace di scriver riassunti e recensioni di opere letterarie e saggi professionali.

Errore e Sbaglio I termini NON sono sinonimi nemmeno nella lingua italiana corrente: si può fare qualcosa per errore o per sbaglio, tuttavia si può solo indurre in errore ma non *indurre in sbaglio. Le co-occorrenze e la prosodia semantica –compiere vs commettere / in caso di vs nel caso di In Glottodidattica...

Lerrore a) Si riferisce alla competence e quindi è sistematico; b) Ha bisogno di interventi esterni e espliciti per essere corretto; c) Linsieme degli errori rivela il livello di interlanguage raggiunto e, potenzialmente, il grado di fossilizzazione.

Lo sbaglio a) Si riferisce alla performance e quindi è occasionale; b) Per definizione, può essere corretto da chi lha commesso, purché se ne accorga; c) La frequenza degli sbagli può essere indice di uno stato ansioso in chi parla o scrive.

Corollario fondamentale Qualora un dato elemento venisse esaminato una sola volta in un test: se la risposta è errata, non sapremo mai se si tratta di un errore o di uno sbaglio; ma anche una risposta corretta potrebbe nascondere problemi di competence, con una performance giusta per sbaglio; –[errore palese e errore nascosto]

È accaduto in una Scuola Media Alcuni studenti hanno meritato un giudizio nettamente positivo sulla base delle risposte date a un questionario ma hanno rivelato gravi lacune nella comprensione del testo quando è stato chiesta la retroversione del brano su cui era basato il questionario. –(segue)

Cè poca scelta … Se si segue lordine del brano la sequenza facilita il ritrovamento delle risposte giuste, a intuito Se non si segue lordine del brano si procede in modo innaturale e si inseriscono difficoltà artificiose

La legge del non-reciproco (variante della legge di Murphy) Se un test o una prova strutturata palesano errori, ci sono problemi di apprendimento. Se invece non palesano errori, i problemi potrebbero esserci ugualmente.

Genesi degli errori / 1 a) transfer interlinguistico errori di interferenza: *the goods boys *le chaleur, le méthode *die Fräulein

Genesi degli errori / 2 b) transfer di apprendimento errori di ipergeneralizzazione: *who did arrive? *speak you English? Chi risponde dà una risposta Chi propone fa una proposta …ma chi dispone non dà una *disposta …e soprattutto chi suppone non… osta

Genesi degli errori / 3 c) strategie didattiche, strategie di apprendimento della L2, strategie di comunicazione uso eccessivo o scorretto di: –forme rare –un solo genere –forme elementari Esito generale: FOSSILIZZAZIONE

Esempi (inglese LS) What (happen) ________ there after I had left? My friend Tom can ski vey well; hes a small champion A friend of mine / Un amico dei miei What was Pepys doing when they woke him up? Youve written a romance