Test di Usabilita' del Sito del CLARR

Introduzione

Il test effettuato e' una parte di un insieme di quesiti "orientati" verso il concetto di usabilita'. L'insieme di domande utilizzato per la versione 1.0 non e' stato sottoposto a selezione, ma scelto dal Webmaster del sito.

Per quanto concerne il concetto di usabilita' che si voleva indagare questa e' la definizione di partenza:

"Un Sito web e' usabile quando un utente puo' accedere in modo efficace alle informazioni contenute nel sito stesso e alle risorse ad esso associate"

La definizione contempla anche l'insieme di relazioni con le risorse esterne al sito, per evidenziare che un sito non e' mai "un'isola felice", ma sempre una parte di un insieme di informazioni.

Il termine "efficace" della definizione riveste molta importanza. L'accesso alle informazioni puo' essere definito efficace quando un utente normale puo' estrarre le informazioni ricercate in tempi, modi e con impegno normale, senza dover ricorrere a operazioni diverse dalle semplici utilizzate per personalizzare l'uso del proprio software di navigazione.

Le domande del test non erano direttamente riferibili agli aspetti di usabilita' indagati, ma erano presentati come "domande su un aspetto" del sito. Le considerazioni sull'usabilita' della struttura sono state estrapolate dalle risposte date ai singoli compiti.

Gli aspetti dell'usabilita' che ci interessava valutare erano:

• Navigabilita': esistenza di un sistema di navigazione che aiuti a orientarsi e a cercare informazioni
• Utilita' attesa: disponibilita' sul sito di servizi e informazioni corrispondenti alle aspettative degli utenti finali
• Efficacia comunicativa: contenuti e informazioni sono pertinenti rispetto al profilo del sito e rispetto alle strategie di comunicazione stabilite
• Attrattivita' grafica: piacevolezza e attrattivita' grafica del sito e pertinenza fra scopi del sito e confort nell'usarlo

I fattori "Completezza dei contenuti" e "Comprensibilita' delle informazioni" non sono stati indagati, perche' avrebbero richiesto una elevata concentrazione da parte dei tester su alcuni aspetti dei contenuti del sito. Tale scelta non e' stata fatta per due ordini di motivi: in primo luogo perche' i tester erano "volontari" e non retribuiti o ricompensati in alcun modo; in secondo luogo perche' gli utenti reali spesso non utilizzano grosse risorse attentive per tempi lunghi e su singoli elementi. Si e' quindi preferito ricercare la simulazione di comportamento "normale".

| Torna su |

Il Test

Il test e' stato posto via email a 14 soggetti; 9 hanno risposto.

Punto 1
Analizza liberamente la home page
http://users.iol.it/buste/clarr/
Riporta brevemente quale e' lo scopo principale
del sito (mission critical)

Scopo del quesito uno era verificare se lo scopo del sito era chiaro fin da subito, o lasciava dei dubbi. Dalle risposte e' risultato che nessuno dei soggetti ha espresso dubbi circa lo scopo del sito. Tutti hanno confermato tale ipotesi anche dopo aver visitato il sito.

Punto 2
Portati sulla home page http://users.iol.it/buste/clarr/
Immagina di essere il webmaster di un sito fra quelli
analizzati: se volessi sapere se e' stata fatta la seconda
valutazione dove cercheresti?

Scopo di questo quesito era verificare dove, in concreto, gli utenti cercherebbero le novita' sulla valutazione del sito. Stranamente nessuno dei partecipanti ha risposto in "NEWS" che era la pagina preposta a fornire le informazioni circa gli aggiornamenti delle valutazioni. Forse l'accostamento "seconda valutazione" e' troppo forte; inoltre in effetti i partecipanti non conoscevano il contenuto del sito e non potevano quindi avere un comportamento tipico di chi consulta ripetutamente un sito.

Punto 3
Partendo dalla home page http://users.iol.it/buste/clarr/
Attiva un link a piacere e analizza la pagina

Questo quesito aveva lo scopo di verificare le preferenze di scelta dei partecipanti alla prova.
Ecco i risultati:

• Aiutaci
• Aiutaci
• Aiutaci
• Link Utili
• Link Utili
• News
• Statistiche
• Clarr's History
• Errore interpretativo

Punto 4
Portati sulla home page http://users.iol.it/buste/clarr/
Se ti sentissi disorientato rispetto al sito cosa faresti
per ottenere maggiori informazioni su questo?

Lo scopo del quesito era quello di verificare dove avrebbero cercato aiuto i partecipanti. Dalle risposte e' risultato che nessuno si sarebbe rivolto alla pagina "infocopy" in cui vi erano le informazioni ritenute importante per la comprensione della progettazione del sito. La maggior parte dei partecipanti ha attivato il link alla mappa del sito. Il termine "disorientato" e' stato interpretato sia in termini di navigazione sito, che di contenuti conoscitivi della storia del CLARR. Tutti si sono detti soddisfatti delle informazioni che hanno trovato.
Ecco i risultati:

• Site map
• Site map
• Site map
• Site map
• Site map + nota su Infosite
• Site map + nota su Infosite
• Clarr's History
• Clarr's History
• Errore interpretativo

Punto 5
Partendo dalla Home Page, http://users.iol.it/buste/clarr/
Immagina di essere il web master del sito della Facolta'
di Ingegneria di Tor Vergata, verifca l'esito della valutazione

Questo quesito aveva lo scopo di verificare se il gruppo di aprtecipanti era in grado di spostarsi in cerca di informazioni all'interno del sito. Tutti hanno trovato l'informazione richiesta. Per quanto concerne la valutazione cio' che e' rimasto piu' impresso e' il "valore negativo" del voto attribuito, 3 ricordavano il giudizio di Bobby, 4 hanno fatto riferimento anche al contenuto dei "Commenti alla valutazione".

Punto 6
Partendo dalla Home Page, http://users.iol.it/buste/clarr/
immagina di voler comunicare con chi gestisce il sito cosa
faresti?

Scopo del quesito era verificare come i partecipanti avrebbero comunicato con chi gestisce il sito. Nessuno e' ricorso al link nell'head delle pagine, 4 soggetti sono andati direttamente all'email del webmaster, 5 hanno fatto riferimento al Form.

Punto 7
Partendo dalla pagina dei commenti alla valutazione
de "La Sapienza" http://users.iol.it/buste/clarr/com_sap.htm
vai alla pagina delle statistiche di Roma Tre
Quanti, e, se ti ricordi, quali link hai attivato prima di
arrivare alla meta?

Anche questo quesito aveva lo scopo di verificare se il gruppo di partecipanti era in grado di spostarsi in cerca di informazioni all'interno del sito. Questa volta pero' il Punto di partenza era una pagina interna al sito. Sono state adottate sia strategie di ritorno ai livelli gerarchici, sia di ritorno alla home page. Rilevato un errore di labelling "La Terza Vs Roma Tre". In tre hanno fallito il compito perche' hanno "capito male" la meta della ricerca. Tutti hanno eseguito correttamenete il "loro compito".

Punto 8
Parterendo dalla Home Page, http://users.iol.it/buste/clarr/
se ti dicessi che il tuo sito ha ottenuto un punteggio -4
nel fattore "Gl" dove andresti a verificare cosa significa?

Scopo del quesito era verificare la struttura informativa delle pagine, e i livelli di approfondimento. Sette partecipanti al test hanno trovato l'informazione e hanno seguito il link alla pagina su "l'attribuzione del punteggio", due si sono fermati alle valutazioni e uno ha cercato gli approfondimenti in "Statistiche", ove non vi erano pero' altre informazioni oltre alla semplice Label estesa per GL.

Punto 9
Se vuoi puoi navigare liberamente nel sito
http://users.iol.it/buste/clarr/
Elenca tre cose di cui senti la mancanza nel sito

Questo quesito era volto a verificare se i partecipanti notavano la mancaza di qualche sezione. Le due uniche richieste sono state "un motore di ricerca interno", ritenuto pero' non necessario, maggiorni informazioni sulle tre universita' e un hotspot alle news.

Punto 10
Se vuoi puoi navigare liberamente nel sito.
http://users.iol.it/buste/clarr/
Confermeresti la mission critical (scopo principale)
del sito che hai formulato? Si', no, perche'?

Questo quesito voleva verificare se la percezione dello scopo del sito era mutata dopo la lettura e visione delle pagine del sito. Tutti i partecipanti hanno confermato la formulazione iniziale. Un tester ha aggiunto anche la "ricerca di collaborazione" con chi gestisce i siti e con chi si interessa di accessibilita'.

Punto 11
Se non ti ricordassi piu' l'indirizzo e volessi trovarlo
con un motore di ricerca quali KeyWords useresti? (max 5):

Questo quesito aveva lo scopo di verificare a livello di associazione logica quali termini avevano legami piu' forti.
I risulatai sono stati:

• clarr, accessibilita', degradazione, "facolta' romane", "libero accesso"
• clarr, accessibilita', universita', roma, la sapienza
• clarr, accessibilita', facolta', roma
• CLARR, accessibilita', buste
• accessibilita', clarr, universita', Arclele
• accessibilita', web, universita', roma, clarr
• accessibilita
• atene*, universit*, roma, accessibil*, usabil*, clarr
• arclele, valutazione, accessibilita, universita, roma

Punto 12
Se vuoi puoi navigare liberamente nel sito
http://users.iol.it/buste/clarr/
Attribuendo valore 0 (zero) alla home page quanti livelli
di sottopagine pensi che ci siano nel sito?

Questo quesito aveva lo scopo di verificare la comprensione della struttura del sito. Le risposte sono state corrette in 5 casi, in due hanno sottostimato (2 livelli) e sovrastimato (4 livelli) la struttura.

Punto 13
Elenca due o tre link che ti ricordi della home page:

Il quesito aveva lo scopo di verificare quali link erano maggiormente ricordati, e potenzialmente piu' facilmente riutilizzati.
Ecco i risultati:

• Statistiche, Valutazione, Link utili
• Aiutaci, Clarr's History
• News, valutazione, Aiutaci, Link utili
• News, Contattaci, Valutazione
• News, Statistiche, Valutazioni
• Link, Aiutaci, Contattaci, Valutazione
• Valutazione, Statistiche, Links, Contattaci, News, Aiutaci, History, Site map
• Valutazione, Link, Aiutaci
• Valutazione, Contattaci

Punto 14
Secondo te le immagini del sito sono decorative o hanno un contenuto riferito alla pagina?

Questo quesito aveva lo scopo di verificare che rapporto fosse percepito dai partecipanti fra immagini e testo. I partecipanti al test hanno attribuito attinenza fra testo e icone in 5, solo decorazioni in 3, per 1 entrambe le funzioni. Stranamente nessuno ha differenziato le "icone di pagina" dalle immagini dei grafici. Anche della presenza del "longdesc" non e' stato fatto riferimento, neanche dal tester che ha notato il commento ALT="" delle Icone di pagina.

Punto 15
Trovi "sintonia" fra tipo di immagini e contenuto del sito?

Questo quesito aveva lo scopo di verificare se fra "contenuto" del testo e "contenuto" delle immagini vi era affinita' e sintonia. Per un partecipante erano "cretine", ossia poco serie rispetto al contenuto del sito, per uno erano "piu' o meno" in sintonia, uno non ha potuto valutarle (non vedente). Anche in questo caso nessuno ha differenziato il giudizio fra icone di pagina e grafici.

Punto 16
di che colore erano i link visitati (vlink)?

Lo scopo di questo quesito era quello di verificare se era chiaramente percepita la distinzione fra link gia' visti e link ancora da vedere. Di tutti i partecipanti che hanno potuto rispondere uno solo ha confuso il ricordo dei vlink, e uno non ha percepito correttamente i colori, ma ha riconosciuto come piu' scuro il vlink (rosso/nero).

Punto 17
In breve che tipo di valutazione e' stata fatta dal CLARR:

Questo quesito aveva lo scopo di verificare il grado di chiarezza nell'esposizione fatta. Non essendo i tester interessati direttamente al contenuto del sito e' stata richiesta una esposizione minimale dei contenuti della valutazione. Solo due soggetti non hanno risposto in modo corretto. Uno dichiarando di non "aver letto bene i contenuti", l'altro riferendosi a "funzionamento del sito e sulla chiarezza dei contenuti".

Punto 18
Ripensando ai grafici ti ricordi quale fattore ha ottenuto la percentuale piu' alta?

Questo quesito aveva lo scopo di verificare se le informazioni riportate nei grafici erano lette e ricordate. Cinque dei soggetti non avevano prestato attenzione ai grafici riportati, due hanno riportato il dato (64%) relativo ai problemi di gestione dei link, uno ha riportato il BnA, e uno ha risposto erroneamente alla domanda, riportando (in modo corretto) l'Ateneo che aveva avuto una valutazione peggiore. Probabilmente l'assenza di una reale motivazione ha portato i tester a uno skanning della informazioni della pagina suddivisa per blocchi informativi, i grafici sono stati cosi' interpretati come blocco informativo a se'.

| Torna su |

Commento al Test

Questo quesito era posto per avere un parere sul test stesso, al fine di poter verificare quali domande erano poste in modo poco corretto, quali non si sono mostrate "rilevanti" al fine della valutazione effettuata.

• Mi pare che tutte le domande concernano l'usabilita'.; non tutte sono riferibili ai ciechi e questo e' un buon segno: significa che il concetto di usabilita' - come quello piu' generale di Accessibilita' - e' stato inteso come separato dalla o dalle categorie di individui che fruiranno del sito.
  1. Al punto 4 chiedevi cosa avrei fatto se mi fossi sentito disorientato rispetto al sito: all'impronta ho interpretato il disorientamento in termini contenutistici e sono andato a leggere la storia del Clarr per farmi un'idea piu' definita; mi sono poi reso conto, pero', che il test poteva rifersi al disorientamento formale (del tipo: come devo muovermi nel sito?) e, in tal caso, sarebbe stato piu' sensato rivolgersi alla Site map o comunicare con il webmaster.
  2. Al punto 9 non ho saputo soddisfare la tua richiesta: nella forma del sito non penso manchi qualcosa; nella sostanza bisogna chiederlo ai responsabili dei siti valutati, nei quali non mi e' sembrato giusto immedesimarmi.
  3. Al punto 14 ho risposto che non mi pareva ci fossero immagini decorative: in effetti, se le immagini sono commentate e contestualizzate, con Lynx non e' neanche facile accorgersi che ci sono; ecco perche', avendo appreso dal test che ci sono, ho dedotto che non siano decorative bensi' funzionali.
  4. Ai punti 15 e 16 non ho saputo rispondere per oggettiva impossibilita' di percezione prima e di giudizio poi.
• si, infatti si puo' non far caso ai contenuti (non guardare i grafici) ma avere lo stesso ben presente qual e' lo scopo del sito e capire se ci si puo' muovere agilmente al suo interno pur non conoscendolo a fondo
• si... direi decisamente. Solo le domande sui contenuti a volte mi sembrano fuori luogo. Nel senso che mentre faccio il test mica mi metto a leggere tutto di preciso... poi quando mi si chiede una valutazione (tipo 2 domande fa') non so' che rispondere a meno di andarmi a rivedere tutto... ma forse c'ho solo qualche problema io al cervello ... ;-)))
• Mi sembra di si. Se non ho capito male il tuo intento, cerchi di avere anche risposte su come le informazioni vengono memorizzate dall'utente, il che e' importante. Anche se il mio e' stato un test un po' troppo frettoloso per questo tipo di risposta. Per il resto mi sembrano decisamente centrate. Bisognerebbe fare la prova su di un sito che non hai progettato te.
• devo essere sincero sono molto piu' appassionato al concetto di accessibilita' che a quello di usabilita' comunque e' stato interessante fare questo test che credo sia ben centrato sul concetto usabilita' anche se mettendosi a tavolino si poteva trovare tante altre domande e ugualmente importanti-centrate sull'argomento forse si poteva semplificare anche con domande piu' semplici, forse sono troppe e scoraggiano la partecipazione...
• ma si ma si, ma chettefrega delle immagini ? ma chettefrega dei vlink?
• si'
• Sono centrate sul concetto di accessibilita' soprattutto. L'usabilita' riguarda anche altre dimensioni, che mancano nella valutazione, tipo: Navigabilita' Utilita' attesa Completezza dei documenti Comprensibilita' delle Informazioni Efficacia Comunicativa Attrattivita' Grafica
• abbastanza

| Torna su |

Considerazioni sui risultati

Complessivamente i risultati del test sembrano confermare una buona usabilita' del sito. Il test aveva degli ovvi limiti, fra cui: la mancanza di motivazione effettiva da parte dei tester, i quali non avevano esigenze informative riguardo all'argomento; la impossibilita' di osservare effettivamente il comportamento dei tester; la differente modalita' di accesso al sito di utenti "nuovi", e utenti che consultano ripetutamente il sito; il contrasto fra impegno richiesto ai tester e possibilita' di ampliare l'indagine ad altri aspetti.
Per quanto concerne la bonta' del test sarebbe necessario poterlo provare su altri siti, non progettati gia' in partenza per l'ottimizzazione dell'accessibilita' e dell'usabilita'.

| Torna su |

Modifiche apportate in base alla valutazione

1. Aggiunto "evidenziatore" alle news.
   La sezione delle news aveva lo scopo di presentare qualsiasi modifica ai contenuti iniziali, sia con aggiunte di nuove pagine, sia con aggiornamenti delle ricerche. Dal test effettuato e' risultato che, pur essendo il primo link, ed essendo un link che, per il Webmaster del sito del clarr, ha il significato di "storico" del sito, tale link non pareva abbastanza evidenziato. Non si riteneva pero' necessario un cambiamento profondo, dal momento che il sito non era ancora stato visto e quindi poca rilevanza ha lo "storico" di un sito, rispetto ai contenuti.
   Per adeguare quindi la pagina si e' deciso di inserire due label testuali "!!!" e "del 'data'" in modo da richiamare l'attenzione sull'effettiva presenza di novita'. Si valutera' in seguito quale e' piu' rispondente alle esigenze.
2. Suddiviso ed evidenziato l'help del sito.
   La sezione "infocopy" e' stata suddivisa in due sezioni separate, una sul copyright del sito e una sull'Help del sito. Nell'ordine si e' posto prima l'Help e poi il Copyright. Si valutera' in seguito se evidenziare con una icona o il tag <BIG> il link all'Help.
3. Ricontrollate tutte le label testuali.
   Tutte le label testuali sono state ricontrollate alla ricerca di errori nell'identificazione degli Atenei, Facolta' e Istituti.
4. Riordinata la struttura della mappa del sito
   Riordninata la struttura "dell'albero generale" dei link, per evidenziare meglio il livello delle sottopagine.
5. Riprogettata la localizzazione per le valutazioni successivie.
   Si e' cambiata la struttura delle "Valutazioni" aggiungendo un'introduzione con link alle "versioni precendenti". In "valutazioni" vi rimarra' quindi sempre l'ultima valutazione effettuata, con i relativi commenti.