Università degli Studi di Udine
Facoltà di Scienze Matematiche, Fisiche e Naturali
Corso di laurea in Tecnologie Web e Multimediali
Progettazione di Siti e Portali Web - Prof. Giorgio Brajnik
Analisi di Giulio De Paoli e Fabio Soncin
Valutazione di usabilità mediante test su utenti
Sito web di Radio Rai3
Svolgimento dei test: 07 gennaio 2011 - 09 gennaio 2011
Indice della pagina:
Introduzione
Lo user testing è un'insieme di metodi concepiti per verificare il grado di usabilità dell'oggetto in analisi, utilizzando l'esperienza di persone reali che interagiscono con l'interfaccia, guidate da un'obiettivo da raggiungere. Lo user testing è un metodo sperimentale informale che permette di ottenere buoni risultati con relativamente poco sforzo.
Lo user testing si basa su diverse fasi: una fase iniziale di pianificazione dell'esperimento che prevede la scelta dei compiti che si daranno ai partecipanti, la descrizione di alcuni scenari che creano il contesto, un protocollo che stabilirà dettagliatamente che cosa uno sperimentatore potrà dire e cosa no, ed un elenco di domande che saranno formulate nell'intervista conclusiva. Per ottenere dati affidabili è consigliato sottoporre il test ad almeno 15 utenti; tuttavia risultati significativi si possono ottenere già con un campione di 5 utenti della stessa categoria.
Metodologia utilizzata
Ai partecipanti selezionati sono state fornite tutte le informazioni necessarie per lo svolgimento del test (scopo, cosa è lecito che egli faccia oppure no, cosa è lecito che lo sperimentatore dica oppure no, come saranno usati i dati raccolti durante il test e il questionario).
A questa prima fase, definita di briefing, segue la fase di svolgimento dei singoli compiti utilizzando il protocollo think aloud: all'utente veniva chiesto di spiegare ogni singolo passo della sua interazione, fornendo così indicazioni sulle proprie aspettative e sulle motivazioni che lo hanno spinto verso una soluzione piuttosto che un'altra. Questa metodologia ci ha permesso di individuare problemi a cui non avevamo pensato in fase di analisi.
Nell'ultima parte del test è stata fatta una breve intervista in cui abbiamo raccolto alcune considerazioni espresse da ogni singolo partecipante riguardo la propria esperienza di navigazione.
Dopo una accurata esplorazione delle varie sezioni del sito abbiamo individuato alcuni possibili problemi di usabilità basandoci su criteri quali l'efficacia delle funzionalità principali e la frequenza con cui tali problemi si sarebbero potuti verificare durante i test.
In base ai problemi individuati durante questa fase, abbiamo formulato dei compiti il cui scopo era quello di confermarci le nostre ipotesi.
Tra gli aspetti più critici dell'usabilità del sito sono emersi sia i problemi ipotizzati in fase di analisi, sia ulteriori difficoltà inizialmente non considerate.
Profilo degli utenti
Secondo la ricerca condotta da Landauer e Nielsen, un test effettuato con 5 utenti riesce ad individuare circa l'85% dei problemi di usabilità di un sito web. Lo stesso studio afferma inoltre che soltanto con 15 utenti è possibile individuare la totalità dei problemi. Per il nostro test abbiamo selezionato un campione di 5 utenti, scelti all'interno di un elevato range di età e di esperienza generali riguardo ad Internet e alla navigazione sul web.
I nostri partecipanti sono stati sottoposti ad un questionario di screening pre-test, il cui obiettivo era quello di stilare un profilo di massima di ciascun utente. Nella tabella sottostante presentiamo un riassunto dei profili.
Scala utiilizzata per la frequenza di utilizzo di internet: Bassa, Media, Alta.
Scala utilizzata per il livello di esperienza con internet: Principiante, Intermedio, Avanzato, Esperto.
| Utente | Sesso | Età | Titolo di studio | Professione | Frequenza di utilizzo di Internet | Livello di esperienza con Internet | Conoscenza del sito Radio Rai3 |
|---|---|---|---|---|---|---|---|
| U1 | Maschio | 54 | Diploma | Impiegato | Bassa | Intermedio | No |
| U2 | Femmina | 50 | Diploma | Casalinga | Bassa | Intermedio | No |
| U3 | Maschio | 57 | Diploma | Impiegato | Media | Intermedio | No |
| U4 | Femmina | 59 | Diploma | Casalinga | Bassa | Principiante | No |
| U5 | Maschio | 24 | Diploma | Impiegato | Alta | Avanzato | No |
Svolgimento dell'esperimento
Ciascun utente si è trovato nella medesima situazione operativa: sia l'ambiente, sia il computer sono stati gli stessi per ognuna delle persone coinvolte.
Il computer utilizzato per i test presenta le seguenti caratteristiche:
- sistema operativo Windows 7 Professional;
- processore Intel core duo da 1.66 GHz;
- memoria RAM da 2 GB;
- risoluzione dello schermo 1280x800 pixel;
- connessione veloce wi-fi;
- mouse ottico, tastiera QWERTY classica.
- browser: Firefox 3.6.13
Compiti assegnati
I compiti scelti sono stati presentati agli utenti considerando il loro livello di difficoltà, iniziando da quelli più semplici e procedendo via via con quelli più complessi.
-
Compito 1
Scenario
Vivete in un paese di montagna, dove il segnale radio non vi raggiunge. Potete pertanto ascoltare la radio solo mediate il ricevitore digitale satellitare. Vi mancano le frequenze in GHz di Rai Radio3 e le volete cercare sul sito internet, per poi poterle memorizzare. .
Tempo
5 minuti
Possibile percorso
- Home
- Come ascoltare Radio3
- Con una tv con ricevitore digitale satellitare
- Vai all'elenco dei programmi
- Radio3
Criterio di successo
Trovare i dati in GHz della stazione radiofonica Radio3.
-
Compito 2
Scenario
Volete intervenire in diretta alla trasmissione radiofonica "Prima Pagina" in onda tutti i giorni su Rai Radio3, ma non vi siete scritti il numero di telefono per partecipare alla diretta. Andate sul sito per cercarla.
Tempo
3 minuti
Possibile percorso
- Home
- Programmi
- Prima Pagina
- Contatti
- Numero Verde
Criterio di successo
Identificare il numero verde che permette di intervenire in diretta radiofonica al programma.
Risultati dettagliati del compito 2
-
Compito 3
Scenario
Siete degli appassionati di scienza e volete essere sempre aggiornati sulle ultime novità. Per questo motivo siete dei fedeli ascoltatori del programma "Radio3 Scienza" e non vi perdete alcuna puntata. Il 3 gennaio , però vi siete persi la puntata radiofonica in diretta a causa di un impegno di lavoro. Dato il vostro interesse volete riascoltare la puntata.
Tempo
5 minuti
Possibile percorso
- Home
- Programmi
- Radio3 Scienza
- Puntate
- Chiedi alla polvere
- Ascolta la puntata
Criterio di successo
Riuscire ad ascoltare la puntata del 3 Gennaio 2011 del tuo programma preferito
Risultati dettagliati del compito 3
-
Compito 4
Scenario
Durante la puntata del 07/01/2011 del programma radiofonico "Tutta la città ne parla" di Rai Radio3, è stata letta in diretta una e-mail che una vostra carissima amica (Sabrina da Mestre), ha spedito al programma. Voi non vi ricordate tutto ciò che ha scritto e volete rileggerla.
Tempo
6 minuti
Possibile percorso
- Home
- Programmi
- Tutta la città ne parla
- Speciale tre colore da Napoli
- Le vostre mail
- Sabrina da Mestre
Criterio di successo
Riuscire a leggere online il testo della mail che la vostra amica vi ha mandato.
Risultati
Sommario risultati
L'analisi dei risultati prodotti dal test ha evidenziato alcuni problemi gravi che si sono presentati spesso durante la navigazione. I principali sono:
- 1.Le etichette utilizzate nel sito sono spesso poco informative o ingannevoli: ci sono infatti parecchi esempi di etichette che non esprimono adeguatamente il contenuto della sezione a cui permettono di accedere. Altre etichette invece sono cliccabili pur non permettendo all'utente di raggiungere alcuna destinazione. La conseguenza di presentare etichette poco informative causa all'utente una notevole perdita di tempo durante la navigazione, in quanto le sezioni utili all'utente stesso non sono facilmente individuabili. Inoltre capita spesso che gli utenti tentano di cliccare più volte su link non attivi, perdendo ulteriore tempo nell'attesa che la pagina fornisca un certo feedback.
- 2. Alcuni elementi di notevole rilevanza e utilità sono posizionati in parti della pagina poco visibili e poco intuitive. Ciò causa ulteriori perdite di tempo e di motivazione negli utenti che cercano di accedere a determinate sezioni o a ben precise funzionalità. Il sito dunque non presenta i suoi contenuti in modo coerente rispetto al diffuso modello mentale degli utenti.
- 3. Spesso, l'utente si trova a dover scrollare frequentemente le pagine in senso verticale; ciò è dovuto essenzialmente dalla vastità del contenuto presente nella pagina: L'assenza di link interni che permattano il ritorno all'inizio della pagina, recano perdita di tempo all'utente.
- 4. Il sito dispone di un motore di ricerca interno. L'utilizzo del motore di ricerca presenta però delle sorprese sgradite, in quanto i risultati di una ricerca il più delle volte non rispecchiano ciò che l'utente effettivamente voleva trovare. Inoltre a ciascun risultato della ricerca non è associato alcun link che possa indirizzare l'utente verso un eventuale approfondimento. Questi fattori, nel loro complesso, rendono il motore di ricerca poco piacevole da utilizzare agli occhi dell'utente, in quanto trattasi di una funzionalità che di fatto non apporta alcun beneficio alla ricerca di informazioni nel sito.
Risultati in dettaglio
I risultati in dettaglio sono stati innanzitutto raggruppati per compito, utilizzando una tabella dati che contiene, per ciascun partecipante, l'esito del compito, il tempo impiegato e i passi eseguiti.
Un compito si riete fallito quando:
- il partecipante non è porta a termine il compito entro il tempo assegnatogli;
- il compito è stato portato a termine ricorrendo a soluzioni alternative che non soddisfano pienamente il compito assegnato;
- il partecipante ha portato a termine il compito ricorrendo a ripetuti tentativi;
- se rinuncia.
Per ciascun passo effettuato da un utente, abbiamo utilizzato una immagine che permette di evidenziare a colpo d'occhio se il passo eseguito era corretto o se portava l'utente lontano dal corretto completamento del compito.
Compito 1
Riportiamo di seguito i risultati del primo compito. Vengono descritti i singoli passaggi che gli utenti hanno eseguito durante il test; vengono anche inseriti i loro pensieri per meglio comprendere quali sono le difficoltà che stanno affrontanto.
Trovare i valori delle frequenze
Tempo massimo: 5 minuti.
| Partecipante | Esito | Tempo | Passi dell'esecuzione |
|---|---|---|---|
| U1 | completato | 3.5 minuti |
|
| U2 | completato | 4 minuti |
|
| U3 | completato | 4 minuti |
|
| U4 | completato | 4.5 minuti |
|
| U5 | completato | 3 minuti |
|
dal form cerca, l'utente inserisce la parola chiave "frequenze"
si accorge che nella parte destra del sito c'è una voce frequenze e cerca di selezionarla; si accorge che non è un link pertanto si appresta a cercarne uno.I riusultati che abbiamo ottenuto, ci hanno portato alla conclusione descritta precedentemente ai punti uno e due (leggi)
Torna alla descrizione del compito 1
Compito 2
Riportiamo di seguito i risultati del primo compito. Vengono descritti i singoli passaggi che gli utenti hanno eseguito durante il test; vengono anche inseriti i loro pensieri per meglio comprendere quali sono le difficoltà che stanno affrontanto.
Cercare il numero per la diretta
Tempo massimo: 3 minuti.
| Partecipante | Esito | Tempo | Passi dell'esecuzione |
|---|---|---|---|
| U1 | completato | 2 minuti |
|
| U2 | completato | 2 minuti |
|
| U3 | completato | 2.5 minuti |
|
| U4 | rinuncia | > 3 minuti |
|
| U5 | completato | 3 minuti |
|
Il compito era semplice, ed infatti quasi tutti gli utenti sono riusciti a completare l'operazione richiesta. Solamente un utente non è riuscito a portare a termine lo scopo: nella parte di debriefing abbiamo chiesto all'utente il perchè e il problema si può ricondurre al fatto che l'informazione non era ben visibile. Questa osservazione è stata sottolineata anche dagli altri utenti, nonostante abbiano superato il test. Pensiamo che questi lo abbiano superato in base alla loro esperienza con internet.
Torna alla descrizione del compito 2
Compito 3
Riportiamo di seguito i risultati del primo compito. Vengono descritti i singoli passaggi che gli utenti hanno eseguito durante il test; vengono anche inseriti i loro pensieri per meglio comprendere quali sono le difficoltà che stanno affrontanto.
Riascoltare la puntata
Tempo massimo: 5 minuti.
| Partecipante | Esito | Tempo | Passi dell'esecuzione |
|---|---|---|---|
| U1 | completato | 4.5 minuti |
|
| U2 | completato | 3.5 minuti |
|
| U3 | completato | 4.5 minuti |
|
| U4 | fallito | 5 |
|
| U5 | completato | 2.5 minuti |
|
I riusultati che abbiamo ottenuto, ci hanno portato alla conclusione descritta precedentemente sopratutto con i punti uno e quattro (leggi).
Torna alla descrizione del compito 3
Compito 4
Riportiamo di seguito i risultati del primo compito. Vengono descritti i singoli passaggi che gli utenti hanno eseguito durante il test; vengono anche inseriti i loro pensieri per meglio comprendere quali sono le difficoltà che stanno affrontanto.
Leggere la mail
Tempo massimo: 6 minuti.
| Partecipante | Esito | Tempo | Passi dell'esecuzione |
|---|---|---|---|
| U1 | fallito | 5 minuti |
|
| U2 | rinuncia | 5.5 minuti |
|
| U3 | fallito | 4 minuti |
|
| U4 | fallito | > 6 minuti |
|
| U5 | completato | 3.5 minuti |
|
Questo compito ha mostrato che gli utenti hanno riscontrato parecchie difficoltà nella risoluzione del compito. Possiamo dire che tutti i risultati elencati precedentemente rispecchino completamente quello che ne è risultato analizzando questo caso. Per rileggere i risultati si selezioni il link seguente: rileggi
Torna alla descrizione del compito 4
Considerazioni post-test
Una fase di debriefing finale, effettuata mediante un breve dialogo con i partecipanti, ha permesso di dedurre alcune interessanti informazioni postume alla navigazione sul sito.
Gran parte dei partecipanti ha affermato di gradire l'efficienza delle interazioni proposte dal sito, in termini di produttività e velocità; la maggioranza dei partecipanti ritiene inoltre che il sito sia sufficientemente facile da usare e semplice da navigare. Pareri molto discordanti sono stati invece espressi sia per quanto riguarda l'effettiva capacità del sito di indirizzare l'utente verso le sezioni via via ricercate, sia per quanto concerne la completezza dei contenuti.
Diversi infine sono stati i possibili miglioramenti che i partecipanti hanno indicato: le varie segnalazioni ricadono comunque negli ambiti individuati dai principali problemi di usabilità, ossia il reperimento di informazioni ben precise e la visibilità delle etichette.