Logo del sito Regioni Umbria
User Testing sito Regione Umbria

Home Page -> Umbria -> User Testing

Introduzione

Lo User Testing è un test sperimentale, informale, ossia non prevede un'analisi statistica nè di conseguenza fornisce risultati statisticamente significativi. La ragioni per cui questo metodo viene utilizzato sono quelle di determinare ed individuare possibili errori di presentazione, architettura e navigazione all'interno del sito che possano rendere difficoltoso, se non impossibile lo svolgimento di determinati compiti da parte degli utenti utilizzatori del sistema.

Il reclutamento degli utenti deve consentire di rappresentare un campione della popolazione adeguato agli obiettivi del sito.

Nel dettaglio questo metodo consiste nel far svolgere determinati compiti, singolarmente, a al gruppo di utenti reclutati;  il numero ottimale di utenti per l'user testing è di 5 persone, numero che assicura il miglior rapporto testing/costo (il numero ottimale sarebbe di 15 unità, ma bisogna considerare che già con 5 unità emergono i problemi di maggior rilevanza).

Per quanto riguarda i compiti da assegnare agli utenti, questi dovrebbero essere chiari, ben formulati, dovrebbero sollecitare le “zone” più deboli e più importanti del sito, certi di facile risoluzione mentre, altri , di un livello superiore. La durata complessiva per lo svolgimento di questi compiti non dovrebbe superare 1 ora, questo per evitare un eccessiva stanchezza e demotivazione nell’utente nel completamento di tutti i task.

Di notevole rilevanza è il cosidetto "test pilota", un'esecuzione di tipo "usa e getta" che ha come scopo quello di validare la procedura sperimentale. Va sottolineato il fatto che durante tutta la sessione di risoluzione dei compiti devono essere presenti 2 sperimentatori: uno dovrà dialogare con l'utente mentre l'altro si dovrà preoccupare di raccogliere / annotare tutte le informazioni recepite sul notes.

Scelta degli utenti

Considerando la tipologia di sito, si può supporre che i principali utenti saranno quindi i cittadini della regione, i turisti in visita, le aziende e i lavoratori, di conseguenza abbiamo scelto utenti con età, sesso, conoscenze informatiche, livelli d’istruzione e occupazioni il più differenti possibili nel tentativo di ricoprire nel miglior modo possibile la tipologia di utenza effettiva.

Il questionario preliminare

Prima di procedere al test, è stato fatto compilare ad ogni singolo utente un questionario anonimo al fine di creare il profilo di ogni singolo utente. Le informazioni richieste sono:

Di seguito sono riportate le informazioni acquisite mediante tale questionario:

UTENTE ETA’/SESSO CONOSCENZE INFORMATICHE UTILIZZO PC E INTERNET LAVORO
A 57/M MEDIE BASSO DITIGENTE
B 55/F BASSE ALTO INSEGNANTE
C 20/M ALTE ALTO STUDENTE
D 18/F MEDIE BASSO STUDENTE
E 22/M ALTE ALTO COMMESSO
Metodologia

Metodologia adottata

Il test si è svolto nello studio di uno dei membri del gruppo. I test sono stati eseguiti su un Personal Computer che aveva mouse e tastiera come periferiche di input, schermo (17'') e casse come periferiche di output. Il sistema operativo installato era Windows XP, la risoluzione dello schermo 1280x1024, il browser IE 6.0 e la connessione ISDN 64 Kbps.

Nella fase di briefing, ad ogni utente è stato spiegato che avrebbe dovuto reperire delle informazioni all’interno del sito della regione Umbria.

Successivamente è stato chiesto a ciascun utente di dire ad alta voce cosa pensa mentre ricerca le informazioni richieste (utilizzando il protocollo chiamato "Think aloud", facendo si che l’utente esternalizzi il più possibile i propri pensieri durante l'attività operativa). Ai partecipanti è stato inoltre spiegato che si sarebbero dovuti comportare come se fossero stati da soli nella stanza. Il tempo massimo per i vari compiti non è stato comunicato, sebbene fosse stato pianificato in anticipo, per evitare di creare pressioni o stress. Gli esaminatori sono intervenuti il meno possibile durante lo svolgimento del test, sia in maniera tale da non aiutare direttamente l'utente, per evitare che adotti un atteggiamento passivo, sia per non rischiare di alienarsi l'utente.

Una volta prescelti i compiti, abbiamo eseguito un test pilota il cui scopo è quello di validare la procedura sperimentale. In particolare abbiamo verificato i tempi minimi necessari al completamento dei task proposti e la complessità di alcune nostre domande semplificandone il linguaggio per favorire l’utente.

Concludendo abbiamo scelto le metriche da usare, ovvero il metodo di generazione, raccolta, catalogazione dei dati. Abbiamo selezionato solamente informazioni qualitative le quali si basano su questi fattori:

I cinque compiti prescelti sono stati scritti su cinque fogli separati, che illustravano a loro volta uno scenario relativo al compito proposto, e consegnati uno alla volta a ciascun utente, solo dopo che questi avessero superato l’obiettivo precedente o avessero superato il tempo massimo. Per ogni task, un esaminatore si è occupato di prendere nota di tutti i comportamenti, delle parole e delle azioni dell'utente.

Alla fine del processo viene fatto il debriefing, ossia viene sottoposta all’attenzione dell’utente una breve intervista per indagare su alcuni eventi successi durante la sessione. L'esaminatore chiederà all’utente quali siano gli aspetti positivi che ha notato, quali siano quelli negativi, quali le parti in cui ha trovato maggiore difficoltà, quali invece fossero più semplici ed intuitive, infine quali cambiamenti apporterebbe al sito se fosse il progettista.

I compiti da eseguire

L’esito del compito è positivo se l’utente riesce a completare il compito proposto, negativo in caso contrario o in caso di superamento del tempo limite. Il punto di partenza è sempre la homepage del sito.

Livelli di difficoltà

Ad ogni compito è stato assegnato un valore su una scala di 3 corrispondente alla complessità del task: il livello di difficoltà 1 corrisponde ad un compito in linea teorica banale, il livello di difficoltà 2 corrisponde ad un compito di media difficoltà mentre il livello di difficoltà 3 corrisponde a un compito non banale. Inoltre è stato assegnato un tempo massimo limite per tutti i task, scaduto i quali il compito verrà considerato fallito.

Elenco task

Intervista finale

Seguno le domande proposte all'utenza al temrine del test

I test eseguiti

Utente analizzato: UTENTE A

PRIMO COMPITO

L’utente non completa il suo obbiettivo poiché non trova la funzionalità richiesta anche se cerca informazioni utilizzando collegamenti della home. Fallimento

Log del test:

Utente: “Cerco tasto”
Osservatore: Non viene trovato facilmente
Utente:             “Entro guida accessibilità”
Osservatore:      Non trova informazioni
Osservatore:      Torna alla home
Utente:             “Provo tasto a caso”
Osservatore:      Pulsante errato
Risultato:          Fallimento

SECONDO COMPITO

L’utente non ha difficoltà e risolve il problema in pochi secondi. Successo

Log del test:

Utente: “Entro sezione Giunta, e cerco Maria Prodi”
Osservatore: L’utente non trova difficoltà nella ricerca
Risultato:          Successo

TERZO COMPITO

L’utente risolve il compito dopo qualche istante di esitazione individuando il collegamento corretto. Successo

Log del test:

Utente: “Individuo sezione B. U. R.”
Osservatore: Sezione trovata
Utente:             “Cerco collegamento per scaricare”
Osservatore:      Sezione trovata
Risultato:          Successo

QUARTO COMPITO

L’utente entra in una sezione poi si ferma e utilizza il motore di ricerca raggiungendo l’obbiettivo. Successo

Log del test:

Utente: “Seleziono collegamento cittadini”
Osservatore: Si ferma a pesare
Utente:             "Provo a usare il motore di ricerca"
Osservatore       Tramite motore di ricerca raggiunge obbiettivo
Risultato:          Successo

QUINTO COMPITO

L’utente con agilità individua la sezione e ottiene il contenuto richiesto. Successo

Log del test:

Utente:             "Seleziono collegamento uffici regionali"
Osservatore:      L'utente non trova difficoltà nella ricerca
Risultato:          Successo

QUESTIONARIO

  • Hai avuto difficoltà a svolgere i compiti assegnati? Sì, alcuni non era per niente banali.
  • Qual è stato il compito più difficile? Ridimensionare la dimensione del testo.
  • Pensi che il sito abbia delle lacune, se sì quali? Non saprei, non me ne intendo granchè.
  • Cosa modificheresti nel sito per renderlo di più facile utilizzo? Non saprei, forse metterei meno collegamenti.
  • Ti piace il sito? No.

Utente analizzato: UTENTE B

PRIMO COMPITO

L’utente cerca una pulsantiera che possa soddisfare le funzioni richieste ma vaga nella home per due minuti posizionando il mouse su tutti gli oggetti per leggere le descrizioni, alla fine prova a fare un click ma il pulsante non è quello cercato. Fallimento

Log del test:

Utente: “Ricerco il tasto nella home page”
Utente: "Sto leggendo ciò che appare tenendo il mouse fermo sulle icone”
Osservatore: Non viene trovato facilmente il tasto
Osservatore: L’utente sta vagando nella home page senza criterio
Utente: “Provo a fare un click sul pulsante che credo essere corretto”
Risultato:          Fallimento

SECONDO COMPITO

L’utente trova subito la sezione corrispondente e con facilità accede alla pagina cercata. Successo

Log del test:

Utente: “Cerco la sezione Giunta”
Osservatore: L’utente non trova difficoltà nella ricerca
Utente: “Entro nella sezione e seleziono l’informazione ricercata”
Osservatore: L’utente ha subito trovato la soluzione
Risultato:          Successo

TERZO COMPITO

L’utente procede a tentativi e non riesce a trovare ciò che cerca neppure utilizzando il motore di ricerca nei limiti di tempo concessi. Fallimento

Log del test:

Utente: “Entro nella sezione “Entra nella regione” perché a occhio potrei trovare quello che cerco”
Osservatore: Non trova ciò che cerca
Utente: “Non trovando quello che volevo mi accorgo che c’è la presenza di un motore di ricerca”
Osservatore: Il motore di ricerca non è preciso e l’utente tenta click su alcuni collegamenti per trovare la soluzione
Risultato: Fallimento

QUARTO COMPITO

L’utente entra in una sezione poi si ferma e utilizza il motore di ricerca raggiungendo l’obbiettivo. Successo

Log del test:

Utente: “Entro nella sezione Entra nella regione perché il comune è nella regione e in quella sezione potrei trovare dati sui comuni”
Utente: “Non vi sono collegamenti diretti ai dati sui comuni”
Osservatore: Utente si ferma e analizza la situazione
Utente: “Utilizzo motore di ricerca”
Osservatore: Sezione trovata
Risultato: Successo

QUINTO COMPITO

L’utente entra nella sezione sbagliata e non trova informazioni poi trova nella home il collegamento che lo porterà a raggiungere l’obbiettivo. Successo

Log del test:

Utente: “Entro nella sezione Entra nella regione“
Utente: “Non trovo informazioni”
Osservatore: L’utente è entrato nella sezione sbagliata
Osservatore: Effettua back da browser
Utente: “Cerco nella home page collegamento più pertinente”
Osservatore: Sezione trovata
Risultato: Successo

QUESTIONARIO

  • Hai avuto difficoltà a svolgere i compiti assegnati? ? Sì, alcuni non erano immediati
  • Qual è stato il compito più difficile? Forse quello relativo allo scaricare il modello
  • Pensi che il sito abbia delle lacune, se sì quali? Sì, non tutti i dati sono facilmente raggiungibili
  • Cosa modificheresti nel sito per renderlo di più facile utilizzo? Diminuire il numero di collegamenti
  • Ti piace il sito? Come grafica mi piace, non come funzionalità

Utente analizzato: UTENTE C

PRIMO COMPITO

L’utente cerca il tasto basandosi sulle informazioni visive delle icone trovando rapidamente la soluzione. Successo

Log del test:

Utente: “Cerco tasto per abilitare basandomi sulle informazioni delle icone”
Osservatore: Trova subito la soluzione
Risultato Successo

SECONDO COMPITO

L’utente cerca la sezione e in pochi secondi si trova nella pagina che conteneva l’informazione cercata. Successo

Log del test:

Utente: “Cerco sezione”
Utente: “Seleziono informazione”
Osservatore: Trova subito la soluzione
Risultato: Successo

TERZO COMPITO

L’utente entra nella sezione lentamente cercando prima collegamenti pertinenti e poi muovendosi tra le pagine cerca e trova il contenuto richiesto. Successo

Log del test:

Utente: “Entro sezione B. U. R.”
Osservatore: Trova la sezione anche se non immediatamente ci ragiona sopra
Utente: “Cerco collegamenti che parlino di abbonamento”
Risultato: Successo

QUARTO COMPITO

L’utente non raggiunge l’obbiettivo al primo tentativo ma in tempo utile muovendosi agilmente tra i vari collegamenti della home e usando il motore di ricerca. Successo

Log del test:

Utente: “Cerco nella home page collegamento utile”
Utente: “Individuo collegamento: cittadini”
Osservatore: Effettua back da browser
Osservatore: Si ferma sulla home a pensare
Utente: “Cerco collegamento migliore”
Osservatore: Seleziona “entra in regione”
Utente: “Uso motore di ricerca”
Risultato: Successo

QUINTO COMPITO

L’utente accede al primo tentativo alla sezione richiesta senza particolari difficoltà. Successo

Log del test:

Utente: “Entro sezione uffici regionali”
Utente: “Cerco informazione”
Osservatore: Trova subito la soluzione
Risultato: Successo

QUESTIONARIO

  • Hai avuto difficoltà a svolgere i compiti assegnati? No, tutti fattibili.
  • Qual è stato il compito più difficile? Quello relativo alla popolazione.
  • Pensi che il sito abbia delle lacune, se sì quali? Non c’è il motore di ricerca nella home page ed è poco leggibile.
  • Cosa modificheresti nel sito per renderlo di più facile utilizzo? Inserirei il motore di ricerca nella home page.
  • Ti piace il sito? Sì.

Utente analizzato: UTENTE D

PRIMO COMPITO

L’utente cerca il pulsante leggendo la descrizione fornita fermandosi col mouse sull’icona e raggiunge l’obbiettivo. Successo

Log del test:

Utente: “Cerco pulsante”
Utente: “Leggo le informazioni fermandomi col puntatore”
Osservatore: Leggendo le informazioni trova soluzione
Risultato: Successo

SECONDO COMPITO

L’utente trova facilmente la sezione ricercata. Successo

Log del test:

Utente: “Entro su Giunta”
Utente: “Entro nella sezione relativa Maria Prodi”
Osservatore: Trova subito la soluzione
Risultato: Successo

TERZO COMPITO

L’utente non trova la soluzione, entra in una sezione sbagliata torna alla home poi non trova soluzioni alternative superando il tempo massimo. Fallimento

Log del test:

Utente: “Entro uffici regionali”
Osservatore: Utente entrato nella sezione sbagliata
Utente: “Torno alla home”
Utente: “Entro su guida al sito”
Osservatore: Non trova soluzione tempo scaduto
Risultato: Fallimento

QUARTO COMPITO

L’utente entra in una sezione ma non trova subito il contenuto richiesto, tramite l’utilizzo del motore di ricerca raggiunge il suo scopo. Successo

Log del test:

Utente: “Entro su cittadini”
Osservatore: Utente si ferma
Utente: “Uso il motore di ricerca e faccio un click su cerca”
Osservatore: Trova sezione
Risultato: Successo

QUINTO COMPITO

L’utente raggiunge l’informazione cercata muovendosi velocemente tra i collegamenti del sito. Successo

Log del test:

Utente: "Seleziono uffici regionali"
Utente: Seleziono ufficio ricercato
Osservatore: Trova subito la soluzione
Risultato: Successo

QUESTIONARIO

  • Hai avuto difficoltà a svolgere i compiti assegnati? No.
  • Qual è stato il compito più difficile? Scaricare il modulo.
  • Pensi che il sito abbia delle lacune, se sì quali? Non mi pare.
  • Cosa modificheresti nel sito per renderlo di più facile utilizzo? Impaginazione diversa forse.
  • Ti piace il sito? No.

Utente analizzato: UTENTE E

PRIMO COMPITO

L’utente cerca una pulsantiera ove sia presente la funzione per ingrandire il testo, la trova subito e con agilità. Successo

Log del test:

Utente: “Cerco pulsante”
Osservatore: Trova rapidamente la soluzione
Risultato: Successo

SECONDO COMPITO

L’utente individua l'informazione ricercata con un paio di click, senza difficoltà. Successo

Log del test:

Utente: “Seleziono collegamento Giunta”
Utente: “Accedo alla pagina di Maria Prodi”
Osservatore: Trova soluzione
Risultato: Successo

TERZO COMPITO

L'utente individua in B.U.R. la sezione più vicina a ciò che cerca, vi accede e trova il collegamento relativo alla risoluzione del compito assegnato.Successo

Log del test:

Utente: “Leggo collegamento etichettato con: B. U. R. e vi accedo”
Osservatore: La sezione selezionata è quella corretta
Utente: “Cerco collegamento relativo all'abbonamento”
Risultato: Successo

QUARTO COMPITO

L’utente entra in una sezione ma non trova subito il contenuto richiesto, tramite l’utilizzo del motore di ricerca raggiunge il suo scopo. Successo

Log del test:

Utente: “Cerco motore di ricerca perchè nella Homepage non vedo collegamenti interessanti”
Osservatore: Utente si ferma
Utente: “Provo ad accedere a: Entra in regione”
Utente: "Ecco il motore di ricerca!"
Osservatore: Tramite motore di ricerca individua l'informazione
Risultato: Successo

QUINTO COMPITO

L’utente raggiunge l’informazione cercata rapidamente. Successo

Log del test:

Utente: "Entro in uffici regionali"
Utente: Seleziono ufficio ricercato
Osservatore: Trova rapidmente la soluzione
Risultato: Successo

QUESTIONARIO

  • Hai avuto difficoltà a svolgere i compiti assegnati? No, erano tutti fattibili.
  • Qual è stato il compito più difficile? Quello relativo alla ricerca della popolazione.
  • Pensi che il sito abbia delle lacune, se sì quali? Forse sono presenti troppi collegamenti.
  • Cosa modificheresti nel sito per renderlo di più facile utilizzo? Ridurrei numero di collegamenti.
  • Ti piace il sito? Sì, abbastanza.
Conclusioni

La tabella mostra i riassunto dei test:

A

B

C

D

E

Compito 1 (2/3)

NO

NO

SI

SI

SI

Compito  2 (1/3)

SI

SI

SI

SI

SI

Compito 3 (3/3)

SI

NO

SI

NO

SI

Compito 4 (2/3)

SI

SI

SI

SI

SI

Compito 5 (1/3)

SI

SI

SI

SI

SI

In generale tutti i task di livello uno sono stati risolti, mentre gli altri, a seconda del profilo degli utenti, hanno avuto maggiori problemi ad essere completati. E’ stata apprezzata la presenza delle descrizioni alternative (alt) in ogni sezione del sito e la possibilità di scalare i caratteri; mentre l’assenza del motore di ricerca nella homepage ha creato gravi problemi agli utenti soprattutto a quelli con scarse esperienze informatiche. L'impaginazione è stata apprezzata per la semplicità ma la presenza di un numero elevato di collegamenti ha aumentato la possibilità di confusione e disorientamento nelle pagine del sito.
Il task con più fallimenti si è rivelato quello relativo al download del modello per l'abbonamento al bollettino ufficiale e al ridimensionamento dei caratteri, confermando il grado di difficoltà supposto nel test pilota.
Il test è risultato più semplice per gli utenti che già, nel loro passato, avevano avuto esperienze relative all'ambito delle pubbliche amministrazioni.

Valid CSS! Valid XHTML 1.1! Level Double-A conformance icon, W3C-WAI Web Content Accessibility Guidelines 1.0


Scritto da Marco De Fanti, Nicola Petris e Francesco Savanelli.

Versione 1.0 aggiornata al 22/09/05