Qualità del Software e ISO9126 Valutazione e Qualità del Prodotto Software Mario Capurso http://info.bazarinfo.info

Valutare o non valutare, questo è il problema… E’ piacevole valutare ? Dissonanza cognitiva e valutazione Valutare che cosa ? Valutare quando ? Valutare come ? E dei risultati che farne ?

Valutare quando e perchè Valutazione intermedia o formativa per modificare il processo produttivo o evidenziare le lacune del prodotto Valutazione finale o sommativa prima di vendere il prodotto

Valutare perché - 2 Valutazione sincronica: valuta qui ed ora Valutazione diacronica: valuta lo stesso prodotto in un arco temporale Valutazione proattiva: evidenzia le lacune e stimola al superamento Valutazione retroattiva: riflette sul prodotto ultimato (post mortem) Valutazione di impatto: valuta l’impatto del prodotto sull’utente

Valutare – Chi e come Autovalutazione Eterovalutazione Valutazione tra pari Valutazione di gruppo Valutazione per confronto Valutazione in presenza di criteri

Valutare come - modello Come valutereste l’acquisto dell’auto nuova ? 1-10 Valore Costo di Acquisto 50% Economicità 25% Sicurezza 25% Danni al Crash Test Euro Km/Litro 0- 8000 10 8001-10000 8 10001-12000 7 …

Indicatori e metriche Serve un indicatore finale di qualità (1-10 ?) Una struttura ad albero con le caratteristiche in cui si suddivide la qualità ed i pesi relativi Delle metriche per le caratteristiche Degli indicatori associati ai valori delle metriche Delle prove oggettive

Valutare come – indicatori e prove oggettive Risposte vero/falso Risposte a scelta multipla Risposte aperte

Cosa fare Definire: Il tipo di prova (iniziale, intermedia, finale) I destinatari Lo schema (struttura, pesi, metriche, indicatori, domande) Come inserire le domande nella prova oggettiva

Valutazione come analisi campionaria Il test deve essere un campione del software Deve essere rappresentativo Ciascun ambito, area o disciplina può richiedere tipologie diverse di domande Più domande per argomenti “più importanti” Raggruppare insieme per tipologia di domanda e (all’interno) per argomento Dai quesiti più semplici ai più complessi

Da non dimenticare Correttezza linguistica dei quesiti Formulazione chiara Istruzioni per la prova chiare Ogni quesito abbia un identificativo Impaginazione grafica leggibile Fotocopiatura di qualità Con immagini funzionali al testo ed inserite opportunamente

Buone Pratiche

Sistemi Automatici per la valutazione On line oppure Off line Funzionalità stabilire prioritariamente il punteggio; scegliere tra tipi di domande: vero/falso, scelta multipla, ecc. fornire aiuti al valutatore in difficoltà; elaborare e analizzare i risultati. I software più diffusi: Question Mark (www.campustore.it) Quiz Faber (www.lucagalli.net) Web Quiz 2002 (www.smartlite.it) Winask 2000 (www.smartlite.it) JsVal (www.far.unito.it/JsVal) Si può fare da sé (con VBA e Powerpoint)

I Pregi dei sistemi automatici Costruzione di un archivio di domande da arricchire e condividere Differenziare le prove Distribuire casualmente le domande Interagire con il valutatore a distanza Sottoporre a test più valutatori in parallelo

Esempio: Valutazione della qualità del Software Didattico Valutazione del prodotto (non del processo) Non inventate ma adottate e adattate Il SD è software Il SD è software, ma non solo OK/NON OK vs. Valutazione dettagliata

Obiettivo della valutazione Per un autore: la decisione di migliorare il prodotto Per un utente: la decisione di comprare il prodotto Per un editore La decisione di migliorare il prodotto (come produttore) La decisione di distribuire il prodotto (come distributore)

Criteri di Valutazione Tecnici (ISO 9126 - Qualità del Software) Appropriatezza come: Educativi Di Contenuto Operabilità come: Commerciali

Gli Aspetti tecnici Lo Standard ISO 9126 sulla Qualità del Software Funzionalità Affidabilità Manutenibilità Portabilità Efficienza Usabilità

Qualità del Software e Software Educativo Multimediale Usabilità Comprensibilità Facilità nell’essere appreso Facilità d’uso Funzionalità Appropriatezza per lo scopo specifico …

Appropriatezza: Aspetti Educativi Prequisiti Obiettivi di apprendimento Chiarezza Informativa Flessibilità Valutazione del processo di apprendimento Valutazione dei risultati ...

Appropriatezza: Aspetti di Contenuto Presenza di un indice Struttura Modulare Capacità di creare interesse Aspetti Estetici Aspetti Grafici ...

Appropriatezza: Caratteristiche Educative e Utenti di riferimento Sono chiaramente specificati l’età ed il livello scolastico degli utenti di riferimento ? Sono chiaramente specificati i prerequisiti in termini di conoscenze ed abilità ?

Appropriatezza: Caratteristiche Educative e Aspetti formativi Sono chiaramente specificati gli argomenti coperti e gli obiettivi di apprendimento ? Gli obiettivi di apprendimento sono compatibili con l’età e la competenza degli utenti di riferimento ? Gli obiettivi di apprendimento ed i contenuti sono consistenti con i requisiti del curriculum ufficiale ?

Appropriatezza: Caratteristiche Educative e Materiali di supporto formativo Sono previsti ? Sono chiari ed appropriati ? Includono: una introduzione al progetto formativo del SD? strategie d’uso con differenti tipi di utenti ? idee per l’uso congiunto con altri materiali ? strategie di gestione per situazioni differenti ? indirizzi Web/e-mail con altre risorse ?

Appropriatezza: Caratteristiche Educative e Capacità di adattamento alle necessità individuali Il SD fornisce feedback differenziato e non stereotipato ? Permette differenti cammini di apprendimento ? Presenta una sequenza di attività graduate secondo le abilità personali ?

Appropriatezza: Caratteristiche Educative e Strategie per stimolare motivazione, attenzione e memoria Gli obiettivi e le fasi del processo di apprendimento sono progettati per aumentare la motivazione dell’utente ? La presentazione è accattivante ? Il SD è efficace nel mantenere l’attenzione ? Le attività richieste sono varie ? Le difficoltà sono ben distribuite ? L’ informazione è ripetuta in differenti forme per aiutare il ricordo ?

Caratteristiche Educative Uso Il SD può essere usato: Per l’apprendimento a casa Per l’apprendimento in classe Come compito a casa Come verifiche in classe Come risorsa per l’autoistruzione Per attività di gruppo Su diversi computers in rete

Caratteristiche Educative Incoraggiamento al pensiero critico L’utente è incoraggiato a generalizzare ? L’utente è incoraggiato a dedurre conclusioni o inferenze ? L’utente è incoraggiato a analizzare problemi e a generare soluzioni multiple ? L’utente è incoraggiato a fare esperimenti e ad acquisire conoscenza osservando i risultati ?

Caratteristiche Educative Valutazione dei risultati del discente Sono previsti test di valutazione ? I test sono rilevanti rispetto agli obiettivi di apprendimento ? Includono : test di ingresso ? quiz/test di unità ? completamento di una procedura simulata? esame finale ? Sono suggerite ulteriori attività di revisione dopo dei cattivi risultati in un test ?

Caratteristiche Tecniche Funzionalità I requisiti HW e SW sono compatibili con le attrezzature disponibili? L’installazione è facile ? Ci sono errori di funzionamento ? Il software è protetto da modifiche ?

Caratteristiche Tecniche Funzionalità presenti Sono presenti le seguenti caratteristiche: salva su disco ? copia su disco ? stampa ? collegati ad Internet per aggiornamenti ? registra il percorso dell’utente? registra i dati dell’utente ? produce rapporti sul progresso nell’apprendimento del discente ?

Caratteristiche Tecniche Qualità dei media I testi sono facili da leggere ? La grafica è di buona qualità ? Il colore è usato in maniera coerente e attrattiva ? L’audio ed il video sono di buona qualità ? L’utente ha controllo sugli elementi audio e video ?

Caratteristiche Tecniche Livello di Interattività L’informazione è interrotta frequentemente da interazione con l’utente ? L’utente può correggere una risposta errata ? L’utente può provare più di una volta a rispondere ad una domanda ? Le attività e le domande sono generate a caso o ordinate in ordine differente?

Caratteristiche Tecniche Analisi dei Responsi Il feedback è supportivo ? Il feedback è informativo ? Il feedback è vario ?

Usabilità Facilità di uso Il software è facile da usare ? Richiede conoscenze informatiche avanzate ? C’è una funzione di aiuto in linea ? Le indicazioni sono chiare, accurate e disponibili in ogni momento ? Gli strumenti di valutazione sono semplici da usare ?

Usabilità Interfaccia Utente I menu, bottoni e le icone sono chiari e semplici da comprendere ? Sono usati in maniera coerente ? Navigazione La navigazione nel software è semplice ? Sono permessi cammini differenti attraverso il software?

Usabilità Controllo da parte dell’utente E’ possibile per l’utente andare indietro ed avanti facilmente ? Si può accedere liberamente a differenti parti del software, o c’è un percorso obbligatorio da seguire ? E’ possibile per l’utente “annullare” ogni decisione ? E’ possibile uscire in ogni istante ? Si può riprendere dal punto da cui si è usciti ?

Contenuto Qualità del contenuto Il contenuto è: accurato? chiaro? completo? aggiornato? Le parti testuali, pittoriche, audio e video sono ben bilanciate nel presentare il contenuto? Le immagini, i grafici ed video clips sono rilevanti ?

Contenuto Appropriatezza Il livello di lettura è appropriato? Ci sono differenti livelli di difficoltà ? Struttura La struttura interna segue un ordine logico ? Il software ha una struttura modulare ? Gli obiettivi di apprendimento di ciascun modulo sono specificati ?

Contenuto Strumenti di Aiuto Ci sono i seguenti strumenti di aiuto: indice? menu di contenuto? segnalibri? glossario? funzione di ricerca? Gli strumenti di aiuto sono facili da usare?