MENU
Introduzione
Scelta Utenti
Metodologia
Compiti da eseguire
Intervista finale
Conclusioni
Home Page -> Umbria -> User Testing
Lo User Testing è un test sperimentale, informale, ossia non prevede un'analisi statistica nè di conseguenza fornisce risultati statisticamente significativi. La ragioni per cui questo metodo viene utilizzato sono quelle di determinare ed individuare possibili errori di presentazione, architettura e navigazione all'interno del sito che possano rendere difficoltoso, se non impossibile lo svolgimento di determinati compiti da parte degli utenti utilizzatori del sistema.
Il reclutamento degli utenti deve consentire di rappresentare un campione della popolazione adeguato agli obiettivi del sito.
Nel dettaglio questo metodo consiste nel far svolgere determinati compiti, singolarmente, a al gruppo di utenti reclutati; il numero ottimale di utenti per l'user testing è di 5 persone, numero che assicura il miglior rapporto testing/costo (il numero ottimale sarebbe di 15 unità, ma bisogna considerare che già con 5 unità emergono i problemi di maggior rilevanza).
Per quanto riguarda i compiti da assegnare agli utenti, questi dovrebbero essere chiari, ben formulati, dovrebbero sollecitare le “zone” più deboli e più importanti del sito, certi di facile risoluzione mentre, altri , di un livello superiore. La durata complessiva per lo svolgimento di questi compiti non dovrebbe superare 1 ora, questo per evitare un eccessiva stanchezza e demotivazione nell’utente nel completamento di tutti i task.
Di notevole rilevanza è il cosidetto "test pilota", un'esecuzione di tipo "usa e getta" che ha come scopo quello di validare la procedura sperimentale. Va sottolineato il fatto che durante tutta la sessione di risoluzione dei compiti devono essere presenti 2 sperimentatori: uno dovrà dialogare con l'utente mentre l'altro si dovrà preoccupare di raccogliere / annotare tutte le informazioni recepite sul notes.
Considerando la tipologia di sito, si può supporre che i principali utenti saranno quindi i cittadini della regione, i turisti in visita, le aziende e i lavoratori, di conseguenza abbiamo scelto utenti con età, sesso, conoscenze informatiche, livelli d’istruzione e occupazioni il più differenti possibili nel tentativo di ricoprire nel miglior modo possibile la tipologia di utenza effettiva.
Il questionario preliminare
Prima di procedere al test, è stato fatto compilare ad ogni singolo utente un questionario anonimo al fine di creare il profilo di ogni singolo utente. Le informazioni richieste sono:
Di seguito sono riportate le informazioni acquisite mediante tale questionario:
Metodologia adottata
Il test si è svolto nello studio di uno dei membri del gruppo. I test sono stati eseguiti su un Personal Computer che aveva mouse e tastiera come periferiche di input, schermo (17'') e casse come periferiche di output. Il sistema operativo installato era Windows XP, la risoluzione dello schermo 1280x1024, il browser IE 6.0 e la connessione ISDN 64 Kbps.
Nella fase di briefing, ad ogni utente è stato spiegato che avrebbe dovuto reperire delle informazioni all’interno del sito della regione Umbria.
Successivamente è stato chiesto a ciascun utente di dire ad alta voce cosa pensa mentre ricerca le informazioni richieste (utilizzando il protocollo chiamato "Think aloud", facendo si che l’utente esternalizzi il più possibile i propri pensieri durante l'attività operativa). Ai partecipanti è stato inoltre spiegato che si sarebbero dovuti comportare come se fossero stati da soli nella stanza. Il tempo massimo per i vari compiti non è stato comunicato, sebbene fosse stato pianificato in anticipo, per evitare di creare pressioni o stress. Gli esaminatori sono intervenuti il meno possibile durante lo svolgimento del test, sia in maniera tale da non aiutare direttamente l'utente, per evitare che adotti un atteggiamento passivo, sia per non rischiare di alienarsi l'utente.
Una volta prescelti i compiti, abbiamo eseguito un test pilota il cui scopo è quello di validare la procedura sperimentale. In particolare abbiamo verificato i tempi minimi necessari al completamento dei task proposti e la complessità di alcune nostre domande semplificandone il linguaggio per favorire l’utente.
Concludendo abbiamo scelto le metriche da usare, ovvero il metodo di generazione, raccolta, catalogazione dei dati. Abbiamo selezionato solamente informazioni qualitative le quali si basano su questi fattori:
I cinque compiti prescelti sono stati scritti su cinque fogli separati, che illustravano a loro volta uno scenario relativo al compito proposto, e consegnati uno alla volta a ciascun utente, solo dopo che questi avessero superato l’obiettivo precedente o avessero superato il tempo massimo. Per ogni task, un esaminatore si è occupato di prendere nota di tutti i comportamenti, delle parole e delle azioni dell'utente.
Alla fine del processo viene fatto il debriefing, ossia viene sottoposta all’attenzione dell’utente una breve intervista per indagare su alcuni eventi successi durante la sessione. L'esaminatore chiederà all’utente quali siano gli aspetti positivi che ha notato, quali siano quelli negativi, quali le parti in cui ha trovato maggiore difficoltà, quali invece fossero più semplici ed intuitive, infine quali cambiamenti apporterebbe al sito se fosse il progettista.
L’esito del compito è positivo se l’utente riesce a completare il compito proposto, negativo in caso contrario o in caso di superamento del tempo limite. Il punto di partenza è sempre la homepage del sito.
Livelli di difficoltà
Ad ogni compito è stato assegnato un valore su una scala di 3 corrispondente alla complessità del task: il livello di difficoltà 1 corrisponde ad un compito in linea teorica banale, il livello di difficoltà 2 corrisponde ad un compito di media difficoltà mentre il livello di difficoltà 3 corrisponde a un compito non banale. Inoltre è stato assegnato un tempo massimo limite per tutti i task, scaduto i quali il compito verrà considerato fallito.
Elenco task
Sei una persona presbite che sta navigando sul sito, ma non riescie a leggere le scritte più piccole. Vuoi cambiare la grandezza dei caratteri, devi trovare quindi il pulsante che abilita tale funzione. Difficoltà: 2 Tempo massimo: 5 minuti
Sei un funzionario della regione Toscana, devi inviare un documento importante a Maria Prodi, membro della giunta regionale, devi cercare il suo numero di fax. Difficoltà: 2 Tempo massimo: 5 minuti
Sei un imprenditore agricolo, sei venuto a conoscenza che è stata approvata una legge che ti permette di accedere a dei contributi dall’Unione Europea. Vuoi leggere il bollettino ufficiale per informarti devi quindi scaricare il modello per la richiesta di abbonamento al bollettino ufficiale della regione Umbria. Difficoltà: 3 Tempo massimo: 7 minuti
Stai disegnando la cartina stradale della regione Umbria, devi rappresentare graficamente i comuni, ti manca il dato della popolazione relativa al comune di Bevagna, acquisisci quindi l’informazione di quel comune. Difficoltà: 2 Tempo massimo: 5 minuti
Sei un imprenditore, hai fatto una domanda di insediamento di un capannone industriale ma c’è stato un problema nell’iter burocratico e devi quindi acquisire numero di telefono della direzione generale delle attività produttive per contattarla (difficoltà 1/3) Difficoltà: 1 Tempo massimo: 3 minuti
Seguno le domande proposte all'utenza al temrine del test
Utente analizzato: UTENTE A
PRIMO COMPITO
L’utente non completa il suo obbiettivo poiché non trova la funzionalità richiesta anche se cerca informazioni utilizzando collegamenti della home. Fallimento
Log del test:
Utente: “Cerco tasto” Osservatore: Non viene trovato facilmente Utente: “Entro guida accessibilità” Osservatore: Non trova informazioni Osservatore: Torna alla home Utente: “Provo tasto a caso” Osservatore: Pulsante errato Risultato: Fallimento
SECONDO COMPITO
L’utente non ha difficoltà e risolve il problema in pochi secondi. Successo
Utente: “Entro sezione Giunta, e cerco Maria Prodi” Osservatore: L’utente non trova difficoltà nella ricerca Risultato: Successo
TERZO COMPITO
L’utente risolve il compito dopo qualche istante di esitazione individuando il collegamento corretto. Successo
Utente: “Individuo sezione B. U. R.” Osservatore: Sezione trovata Utente: “Cerco collegamento per scaricare” Osservatore: Sezione trovata Risultato: Successo
QUARTO COMPITO
L’utente entra in una sezione poi si ferma e utilizza il motore di ricerca raggiungendo l’obbiettivo. Successo
Utente: “Seleziono collegamento cittadini” Osservatore: Si ferma a pesare Utente: "Provo a usare il motore di ricerca" Osservatore Tramite motore di ricerca raggiunge obbiettivo Risultato: Successo
QUINTO COMPITO
L’utente con agilità individua la sezione e ottiene il contenuto richiesto. Successo
Utente: "Seleziono collegamento uffici regionali" Osservatore: L'utente non trova difficoltà nella ricerca Risultato: Successo
QUESTIONARIO
Utente analizzato: UTENTE B
L’utente cerca una pulsantiera che possa soddisfare le funzioni richieste ma vaga nella home per due minuti posizionando il mouse su tutti gli oggetti per leggere le descrizioni, alla fine prova a fare un click ma il pulsante non è quello cercato. Fallimento
Utente: “Ricerco il tasto nella home page” Utente: "Sto leggendo ciò che appare tenendo il mouse fermo sulle icone” Osservatore: Non viene trovato facilmente il tasto Osservatore: L’utente sta vagando nella home page senza criterio Utente: “Provo a fare un click sul pulsante che credo essere corretto” Risultato: Fallimento
L’utente trova subito la sezione corrispondente e con facilità accede alla pagina cercata. Successo
Utente: “Cerco la sezione Giunta” Osservatore: L’utente non trova difficoltà nella ricerca Utente: “Entro nella sezione e seleziono l’informazione ricercata” Osservatore: L’utente ha subito trovato la soluzione Risultato: Successo
L’utente procede a tentativi e non riesce a trovare ciò che cerca neppure utilizzando il motore di ricerca nei limiti di tempo concessi. Fallimento
Utente: “Entro nella sezione “Entra nella regione” perché a occhio potrei trovare quello che cerco” Osservatore: Non trova ciò che cerca Utente: “Non trovando quello che volevo mi accorgo che c’è la presenza di un motore di ricerca” Osservatore: Il motore di ricerca non è preciso e l’utente tenta click su alcuni collegamenti per trovare la soluzione Risultato: Fallimento
Utente: “Entro nella sezione Entra nella regione perché il comune è nella regione e in quella sezione potrei trovare dati sui comuni” Utente: “Non vi sono collegamenti diretti ai dati sui comuni” Osservatore: Utente si ferma e analizza la situazione Utente: “Utilizzo motore di ricerca” Osservatore: Sezione trovata Risultato: Successo
L’utente entra nella sezione sbagliata e non trova informazioni poi trova nella home il collegamento che lo porterà a raggiungere l’obbiettivo. Successo
Utente: “Entro nella sezione Entra nella regione“ Utente: “Non trovo informazioni” Osservatore: L’utente è entrato nella sezione sbagliata Osservatore: Effettua back da browser Utente: “Cerco nella home page collegamento più pertinente” Osservatore: Sezione trovata Risultato: Successo
Utente analizzato: UTENTE C
L’utente cerca il tasto basandosi sulle informazioni visive delle icone trovando rapidamente la soluzione. Successo
Utente: “Cerco tasto per abilitare basandomi sulle informazioni delle icone” Osservatore: Trova subito la soluzione Risultato Successo
L’utente cerca la sezione e in pochi secondi si trova nella pagina che conteneva l’informazione cercata. Successo
Utente: “Cerco sezione” Utente: “Seleziono informazione” Osservatore: Trova subito la soluzione Risultato: Successo
L’utente entra nella sezione lentamente cercando prima collegamenti pertinenti e poi muovendosi tra le pagine cerca e trova il contenuto richiesto. Successo
Utente: “Entro sezione B. U. R.” Osservatore: Trova la sezione anche se non immediatamente ci ragiona sopra Utente: “Cerco collegamenti che parlino di abbonamento” Risultato: Successo
L’utente non raggiunge l’obbiettivo al primo tentativo ma in tempo utile muovendosi agilmente tra i vari collegamenti della home e usando il motore di ricerca. Successo
Utente: “Cerco nella home page collegamento utile” Utente: “Individuo collegamento: cittadini” Osservatore: Effettua back da browser Osservatore: Si ferma sulla home a pensare Utente: “Cerco collegamento migliore” Osservatore: Seleziona “entra in regione” Utente: “Uso motore di ricerca” Risultato: Successo
L’utente accede al primo tentativo alla sezione richiesta senza particolari difficoltà. Successo
Utente: “Entro sezione uffici regionali” Utente: “Cerco informazione” Osservatore: Trova subito la soluzione Risultato: Successo
Utente analizzato: UTENTE D
L’utente cerca il pulsante leggendo la descrizione fornita fermandosi col mouse sull’icona e raggiunge l’obbiettivo. Successo
Utente: “Cerco pulsante” Utente: “Leggo le informazioni fermandomi col puntatore” Osservatore: Leggendo le informazioni trova soluzione Risultato: Successo
L’utente trova facilmente la sezione ricercata. Successo
Utente: “Entro su Giunta” Utente: “Entro nella sezione relativa Maria Prodi” Osservatore: Trova subito la soluzione Risultato: Successo
L’utente non trova la soluzione, entra in una sezione sbagliata torna alla home poi non trova soluzioni alternative superando il tempo massimo. Fallimento
Utente: “Entro uffici regionali” Osservatore: Utente entrato nella sezione sbagliata Utente: “Torno alla home” Utente: “Entro su guida al sito” Osservatore: Non trova soluzione tempo scaduto Risultato: Fallimento
L’utente entra in una sezione ma non trova subito il contenuto richiesto, tramite l’utilizzo del motore di ricerca raggiunge il suo scopo. Successo
Utente: “Entro su cittadini” Osservatore: Utente si ferma Utente: “Uso il motore di ricerca e faccio un click su cerca” Osservatore: Trova sezione Risultato: Successo
L’utente raggiunge l’informazione cercata muovendosi velocemente tra i collegamenti del sito. Successo
Utente: "Seleziono uffici regionali" Utente: Seleziono ufficio ricercato Osservatore: Trova subito la soluzione Risultato: Successo
Utente analizzato: UTENTE E
L’utente cerca una pulsantiera ove sia presente la funzione per ingrandire il testo, la trova subito e con agilità. Successo
Utente: “Cerco pulsante” Osservatore: Trova rapidamente la soluzione Risultato: Successo
L’utente individua l'informazione ricercata con un paio di click, senza difficoltà. Successo
Utente: “Seleziono collegamento Giunta” Utente: “Accedo alla pagina di Maria Prodi” Osservatore: Trova soluzione Risultato: Successo
L'utente individua in B.U.R. la sezione più vicina a ciò che cerca, vi accede e trova il collegamento relativo alla risoluzione del compito assegnato.Successo
Utente: “Leggo collegamento etichettato con: B. U. R. e vi accedo” Osservatore: La sezione selezionata è quella corretta Utente: “Cerco collegamento relativo all'abbonamento” Risultato: Successo
Utente: “Cerco motore di ricerca perchè nella Homepage non vedo collegamenti interessanti” Osservatore: Utente si ferma Utente: “Provo ad accedere a: Entra in regione” Utente: "Ecco il motore di ricerca!" Osservatore: Tramite motore di ricerca individua l'informazione Risultato: Successo
L’utente raggiunge l’informazione cercata rapidamente. Successo
Utente: "Entro in uffici regionali" Utente: Seleziono ufficio ricercato Osservatore: Trova rapidmente la soluzione Risultato: Successo
La tabella mostra i riassunto dei test:
A
B
C
D
E
Compito 1 (2/3)
NO
SI
Compito 2 (1/3)
Compito 3 (3/3)
Compito 4 (2/3)
Compito 5 (1/3)
In generale tutti i task di livello uno sono stati risolti, mentre gli altri, a seconda del profilo degli utenti, hanno avuto maggiori problemi ad essere completati. E’ stata apprezzata la presenza delle descrizioni alternative (alt) in ogni sezione del sito e la possibilità di scalare i caratteri; mentre l’assenza del motore di ricerca nella homepage ha creato gravi problemi agli utenti soprattutto a quelli con scarse esperienze informatiche. L'impaginazione è stata apprezzata per la semplicità ma la presenza di un numero elevato di collegamenti ha aumentato la possibilità di confusione e disorientamento nelle pagine del sito. Il task con più fallimenti si è rivelato quello relativo al download del modello per l'abbonamento al bollettino ufficiale e al ridimensionamento dei caratteri, confermando il grado di difficoltà supposto nel test pilota. Il test è risultato più semplice per gli utenti che già, nel loro passato, avevano avuto esperienze relative all'ambito delle pubbliche amministrazioni.
Versione 1.0 aggiornata al 22/09/05
