COMMENTO, E CONSIDERAZIONI SUL TEST DI USABILITA' EFFETTUATO
============================================================
Il test svolto e' una parte di un insieme di quesiti "orientati"
verso il concetto di usabilita'. L'insieme di domande utilizzato
per la versione 1.0 non e' stato sottoposto a selezione, ma scelto
dal Webmaster del sito.
Per quanto concerne il concetto di usabilita' che si voleva indagare
questa e' la definizione di partenza:
"Un Sito web e' usabile quando un utente puo' accedere in modo
efficace alle informazioni contenute nel sito stesso e alle
risorse ad esso associate"
La definizione contempla anche l'insieme di relazioni con le risorse
esterne al sito, per evidenziare che un sito non e' mai "un'isola
felice", ma sempre una parte di un insieme di informazioni.
Il termine "efficace" della definizione riveste molta importanza. Per
tale motivo lo commenteremo. L'accesso alle informazioni puo' essere
definito efficace quando un utente normale puo' estrarre le informazioni
ricercate in tempi, modi e con impegno normale, senza dover ricorrere
a operazioni diverse dalle semplici utilizzate per personalizzare l'uso
del proprio software.
I compiti del test non erano direttamente riferibili agli aspetti di
usabilita' indagati, ma erano presentati come "domande su un aspetto"
del sito. Le considerazioni sull'usabilita' della struttura sono state
estrapolate dalle risposte date ai singoli compiti.
Gli aspetti dell'usabilita' che ci interessava valutare erano:
-- Navigabilita': esistenza di un sistema di navigazione che aiuti a
orientarsi e a cercare informazioni.
-- Utilita' attesa: disponibilita' sul sito di servizi e informazioni
corrispondenti alle aspettative degli utenti finali.
-- Efficacia comunicativa: contenuti e informazioni sono pertinenti
rispetto al profilo del sito e rispetto alle strategie di comunicazione
stabilite.
-- Attrattivita' grafica: piacevolezza e attrattivita' grafica del sito e
pertinenza fra scopi del sito e confort nell'usarlo.
I fattori "Completezza dei contenuti" e "Comprensibilita' delle
informazioni" non sono stati indagati, perche' avrebbero richiesto
una elevata concentrazione da parte dei tester su alcuni aspetti
dei contenuti del sito. Tale scelta non e' stata fatta per due ordini
di motivi: in primo luogo perche' i tester erano "volontari" e non
retribuiti o ricompensati in alcun modo; in secondo luogo perche'
gli utenti reali spesso non utilizzano grosse risorse attentive per
tempi lunghi e su singoli elementi. Si e' quindi preferito ricercare
la simulazione di comportamento "normale".
Il test e' stato posto via email a 14 soggetti; 9 hanno risposto.
------- test on
Punto 1
Analizza liberamente la home page
http://users.iol.it/buste/clarr/
Riporta brevemente quale e' lo scopo principale
del sito (mission critical)
Scopo del quesito uno era verificare se lo scopo del sito era chiaro
fin da subito, o lasciava dei dubbi. Dalle risposte e' risultato che
nessuno dei soggetti ha espresso dubbi circa lo scopo del sito. Tutti
hanno confermato tale ipotesi anche dopo aver visitato il sito.
Punto 2
Portati sulla home page http://users.iol.it/buste/clarr/
Immagina di essere il webmaster di un sito fra quelli
analizzati: se volessi sapere se e' stata fatta la seconda
valutazione dove cercheresti?
Scopo di questo quesito era verificare dove in concreto gli
utenti cercherebbero le novita' sulla valutazione del sito.
Stranamente nessuno dei partecipanti ha risposto in "NEWS"
che era la pagina preposta a fornire le informazioni circa gli
aggiornamenti delle valutazioni. Forse l'accostamento "seconda
valutazione" e' troppo forte; inoltre in effetti i partecipanti
non conoscevano il contenuto del sito.
Punto 3
Partendo dalla home page http://users.iol.it/buste/clarr/
Attiva un link a piacere e analizza la pagina
Questo quesito aveva lo scopo di verificare le preferenze
di scelta dei partecipanti alla prova.
Ecco i risultati:
-- Aiutaci
-- Aiutaci
-- Aiutaci
-- Link Utili
-- Link Utili
-- News
-- Statistiche
-- Clarr's History
-- Errore interpretativo
Punto 4
Portati sulla home page http://users.iol.it/buste/clarr/
Se ti sentissi disorientato rispetto al sito cosa faresti
per ottenere maggiori informazioni su questo?
Lo scopo del quesito era quello di verificare dove avrebbero
cercato aiuto i partecipandi. Dalle risposte e' risultato che
nessuno si sarebbe rivolto alla pagina in cui vi erano le informazioni
ritenute importante per la comprensione della progettazione del
sito. La maggior parte dei partecipanti ha attivato il link alla
mappa del sito, ma tutti si sono detti soddisfatti delle informazioni
che hanno trovato. Il termine disorientato e' quindi stato interpretato
sia in termini di navigazione sito, che di contenuti conositivi della
storia del CLARR.
Ecco i risultati:
-- Site map
-- Site map
-- Site map
-- Site map
-- Site map + nota su Infosite
-- Site map + nota su Infosite
-- Clarr's History
-- Clarr's History
-- Errore interpretativo
Punto 5
Partendo dalla Home Page, http://users.iol.it/buste/clarr/
Immagina di essere il web master del sito della Facolta'
di Ingegneria di Tor Vergata, verifca l'esito della valutazione
Questo quesito aveva lo scopo di verificare se il gruppo di
aprtecipanti era in grado di spostarsi in cerca di informazioni
all'interno del sito. Tutti hanno trovato l'informazione
richiesta. Per quanto concerne la valutazione cio' che e' rimasto
piu' impresso e' il "valore negativo" del voto attribuito, 3
ricordavano il giudizio di Bobby, 4 hanno fatto riferimento anche
al contenuto dei "Commenti".
Punto 6
Partendo dalla Home Page, http://users.iol.it/buste/clarr/
immagina di voler comunicare con chi gestisce il sito cosa
faresti?
Scopo del quesito era verificare come i partecipanti avrebbero
comunicato con chi gestisce il sito. Nessuno e' ricorso al link
in intestazione delle pagine, 4 soggetti sono andati direttamente
all'email del webmaster, 5 hanno fatto riferimento al Form.
Punto 7
Partendo dalla pagina dei commenti alla valutazione
de "La Sapienza" http://users.iol.it/buste/clarr/com_sap.htm
vai alla pagina delle statistiche di Roma Tre
Quanti, e, se ti ricordi, quali link hai attivato prima di
arrivare alla meta?
Anche questo quesito aveva lo scopo di verificare se il gruppo di
partecipanti era in grado di spostarsi in cerca di informazioni
all'interno del sito. Questa volta pero' il punto di partenza
era una pagina interna al sito. Sono state adottate sia strategie
di ritorno ai livelli gerarchici, sia di ritorno alla home page.
Rilevato un errore di labelling "La Terza Vs Roma Tre".
In tre hanno fallito il compito perche' hanno "capito male" la meta
della ricerca. Tutti hanno eseguito correttamenete il "loro compito".
Punto 8
Parterendo dalla Home Page, http://users.iol.it/buste/clarr/
se ti dicessi che il tuo sito ha ottenuto un punteggio -4
nel fattore "Gl" dove andresti a verificare cosa significa?
Scopo del quesito era verificare la struttura informativa delle
pagine, e i livelli di approfondimento. Sette partecipanti al test
hanno trovato l'informazione e hanno seguito il link all'attribuzione
del punteggio, due si sono fermati alle valutazioni e uno ha approfondito
in "Statistiche", ove non vi erano pero' altre informazioni oltre alla
semplice Label estesa per GL.
Punto 9
Se vuoi puoi navigare liberamente nel sito
http://users.iol.it/buste/clarr/
Questo quesito era volto a verificare se i partecipanti notavano
la mancaza di qualche sezione. Le due uniche richieste sono state
"un motore di ricerca interno", ritenuto pero' non necessario,
maggiorni informazioni sulle tre universita' e un hotspot alle news.
Punto 10
Se vuoi puoi navigare liberamente nel sito.
http://users.iol.it/buste/clarr/
Confermeresti la mission critical (scopo principale)
del sito che hai formulato? Si', no, perche'?
Questo quesito aveva lo scopo di verificare se lo scopo del sito
era mutato dopo la lettura e visione delle pagine del sito.
Rispetto alla formulazione iniziale si e' aggiunta la "ricerca di
collaborazione", tutti hanno confermato la mission critical del sito.
Punto 11
Se non ti ricordassi piu' l'indirizzo e volessi trovarlo
con un motore di ricerca quali KeyWords useresti? (max 5):
Questo quesito aveva lo scopo di verificare a livello di associazione
logica quali termini avevano legami piu' forti.
I risulatai sono stati:
clarr, accessibilita', degradazione, "facolta' romane", "libero accesso"
clarr, accessibilita', universita', roma, la sapienza
clarr, accessibilita', facolta', roma
CLARR, accessibilita', buste
accessibilita', clarr, universita', Arclele
accessibilita', web, universita', roma, clarr
accessibilita
atene*, universit*, roma, accessibil*, usabil*, clarr
arclele, valutazione, accessibilita, universita, roma
Punto 12
Se vuoi puoi navigare liberamente nel sito
http://users.iol.it/buste/clarr/
Attribuendo valore 0 (zero) alla home page quanti livelli
di sottopagine pensi che ci siano nel sito?
Questo quesito aveva lo scopo di verificare la comprensione della
struttura del sito. Le risposte sono state corrette in 5 casi, in due
hanno sottostimato (2 livelli) e sovrastimato (4 livelli) la struttura.
Punto 13
Elenca due o tre link che ti ricordi della home page:
Il quesito aveva lo scopo di verificare quali link erano
maggiormente ricordati, e potenzialmente piu' facilmente
riutilizzati. Ecco i risultati:
Statistiche, Valutazione, Link utili
Aiutaci, Clarr's History
News, valutazione, Aiutaci, Link utili
News, Contattaci, Valutazione
News, Statistiche, Valutazioni
Link, Aiutaci, Contattaci, Valutazione
valutazione, Statistiche, Links, Contattaci, News, Aiutaci, History, Site map
valutazione, link, aiutaci
Valutazione, Contattaci
Punto 14
Secondo te le immagini del sito sono decorative o
hanno un contenuto riferito alla pagina?
Questo quesito aveva lo scopo di verificare che rapporto
fosse percepito dai partecipanti fra immagini e testo. I
partecipanti al test hanno attribuito attinenza fra testo
e icone in 5, solo decorazioni in 3, per 1 entrambe le funzioni.
Punto 15
Trovi "sintonia" fra tipo di immagini e contenuto del sito?
Questo quesito aveva lo scopo di verificare se fra "contenuto"
del testo e "contenuto" delle immagini vi era affinita' e sintonia.
Per un partecipante erano "cretine", ossia poco serie rispetto al
contenuto del sito, per uno erano "piu' o meno" in sintonia, uno
non ha potuto valutarle (non vedente).
Punto 16
di che colore erano i (vlink) link visitati?
Lo scopo di questo quesito era quello di verificare se era
chiaramente percepita la distinzione fra link gia' visti e link
ancora da vedere. Di tutti i partecipanti che hanno potuto
rispondere uno solo ha confuso il ricordo dei vlink, e uno non
ha percepito correttamente i colori, ma ha riconosciuto come piu'
scuro il vlink (rosso/nero).
Punto 17
In breve che tipo di valutazione e' stata fatta dal CLARR:
Questo quesito aveva lo scopo di verificare il grado di chiarezza
nell'esposizione fatta. Non essendo i tester interessati direttamente
al contenuto del sito e' stata richiesta una esposizione minimale dei
contenuti della valutazione. Solo due soggetti non hanno risposto
in modo corretto. Uno dichiarando di non "aver letto bene i contenuti",
l'altro riferendosi a "funzionamento del sito e sulla chiarezza dei
contenuti".
Punto 18
Ripensando ai grafici ti ricordi quale fattore ha ottenuto
la percentuale piu' alta?
Questo quesito aveva lo scopo di verificare se le informazioni
riportate nei grafici erano lette e ricordate. Cinque dei soggetti
non avevano prestato attenzione ai grafici riportati, due hanno
riportato il dato (64%) relativo ai problemi di gestione dei link,
uno ha riportato il BnA, e uno ha risposto erroneamente alla domanda,
riportando (in modo corretto) l'Ateneo che aveva avuto una valutazione
peggiore.
COMMENTO ALLE DOMANDE DEL TEST.
Questo quesito era posto per avere un parere sul test stesso,
al fine di poter verificare quali domande erano poste in modo
poco corretto, quali non si sono mostrate "rilevanti" al fine
della valutazione effettuata.
-- Mi pare che tutte le domande concernano l'usabilita'.; non tutte
sono riferibili ai ciechi e questo e' un buon segno: significa
che il concetto di usabilita' - come quello piu' generale di
Accessibilita' - e' stato inteso come separato dalla o dalle
categorie di individui che fruiranno del sito.
1) Al punto 4 chiedevi cosa avrei fatto se mi fossi sentito
disorientato rispetto al sito: all'impronta ho interpretato il
disorientamento in termini contenutistici e sono andato a leggere
la storia del Clarr per farmi un'idea piu' definita; mi sono poi
reso conto, pero', che il test poteva rifersi al disorientamento
formale (del tipo: come devo muovermi nel sito?) e, in tal caso,
sarebbe stato piu' sensato rivolgersi alla Site map o comunicare
con il webmaster.
2) Al punto 9 non ho saputo soddisfare la tua richiesta: nella
forma del sito non penso manchi qualcosa; nella sostanza bisogna
chiederlo ai responsabili dei siti valutati, nei quali non mi e'
sembrato giusto immedesimarmi.
3) Al punto 14 ho risposto che non mi pareva ci fossero immagini
decorative: in effetti, se le immagini sono commentate e
contestualizzate, con Lynx non e' neanche facile accorgersi che
ci sono; ecco perche', avendo appreso dal test che ci sono, ho
dedotto che non siano decorative bensi' funzionali.
4) Ai punti 15 e 16 non ho saputo rispondere per oggettiva
impossibilita' di percezione prima e di giudizio poi.
-- si, infatti si puo' non far caso ai contenuti (non guardare i grafici)
ma avere lo stesso ben presente qual e' lo scopo del sito e capire se ci
si puo' muovere agilmente al suo interno pur non conoscendolo a fondo
-- si... direi decisamente. Solo le domande sui contenuti a volte
mi sembrano fuori luogo. Nel senso che mentre faccio il test mica
mi metto a leggere tutto di preciso... poi quando mi si chiede una
valutazione (tipo 2 domande fa') non so' che rispondere a meno
di andarmi a rivedere tutto... ma forse c'ho solo qualche problema io
al cervello ... ;-)))
-- Mi sembra di si.
Se non ho capito male il tuo intento, cerchi di avere anche risposte su
come le informazioni vengono memorizzate dall'utente, il che e' importante.
Anche se il mio e' stato un test un po' troppo frettoloso per questo tipo
di risposta.
Per il resto mi sembrano decisamente centrate.
Bisognerebbe fare la prova su di un sito che non hai progettato te.
-- devo essere sincero sono molto piu' appassionato al concetto di
accessibilita' che a quello di usabilita' comunque e' stato interessante
fare questo test che credo sia ben centrato sul concetto usabilita' anche
se mettendosi a tavolino si poteva trovare tante altre domande e ugualmente
importanti-centrate sull'argomento
forse si poteva semplificare anche con domande piu' semplici, forse sono
troppe e scoraggiano la partecipazione...
-- ma si ma si, ma chettefrega delle immagini ? ma chettefrega dei vlink
-- si'
-- Sono centrate sul concetto di accessibilita' soprattutto. L'usabilita'
riguarda anche altre dimensioni, che mancano nella valutazione, tipo:
Navigabilita' Utilita' attesa Completezza dei documenti Comprensibilita'
delle Informazioni Efficacia Comunicativa Attrattivita' Grafica
-- abbastanza
------- test off
Modifiche apportate in base alla valutazione
a) Aggiunto "evidenziatore" alle news.
La sezione delle news aveva lo scopo di presentare qualsiasi modifica ai
contenuti iniziali, sia con aggiunte di nuove pagine, sia con aggiornamenti
delle ricerche. Dal test effettuato e' risultato che, pur essendo il primo
link, ed essendo un link che, per il Webmaster del sito del clarr, ha il
significato di "storico" del sito, tale link non pareva abbastanza evidenziato.
Non si riteneva pero' necessario un cambiamento profondo, dal momento che
il sito non era ancora stato visto e quindi poca rilevanza ha lo "storico" di
un sito, rispetto ai contenuti.
Per adeguare quindi la pagina si e' deciso di inserire due label testuali "!!!"
e "del 'data'" in modo da richiamare l'attenzione sull'effettiva presenza di
novita'. Si valutera' in seguito quale e' piu' rispondente alle esigenze.
b) Suddiviso ed evidenziato l'help del sito
La sezione "infocopy" e' stata suddivisa in due sezioni separate, una sul
copyright del sito e una sull'Help del sito. Nell'ordine si e' posto prima
l'Help e poi il Copyright. Si valutera' in seguito se evidenziare con una
icona o il tag il link all'Help.
c) Ricontrollate tutte le label testuali
Tutte le label testuali sono state ricontrollate alla ricerca di errori
nell'identificazione degli Atenei, Facolta' e Istituti.
d) Riprogettata la localizzazione per le valutazioni successivie
Si e' cambiato la struttura delle "Valutazioni" aggiungendo un'introduzione
con link alle "versioni precendenti". In "valutazioni" vi rimarra' quindi
sempre l'ultima valutazione effettuata, con i relativi commenti.