|
|
| (9 versioni intermedie di 2 utenti non mostrate) |
| Riga 1: |
Riga 1: |
| === Studi più recenti nell’ambito della valutazione del servizio di Reference digitale ===
| |
|
| |
| <p>Secondo Gabriella Tufano [1] il '''Reference Digitale''' è uno dei servizi innovativi che meglio esprime l’'''efficienza''' di una biblioteca. Nell’opera ''Statistics, Measures and quality standards for assessing digital reference library services'' [2] gli autori sottolineano però la scarsa attenzione dedicata alla '''valutazione''' di questo servizio on-line, rispetto a quella dedicata al suo sviluppo e alla sua diffusione.</p>
| |
| <p>L’ambito della valutazione dei servizi si è affermato soltanto negli ultimi 20 anni, in concomitanza con la nascita e lo sviluppo del concetto di '''qualità''', e ancora oggi si è piuttosto lontani da una definizione precisa di un insieme di '''misure''' e '''indicatori''' standard da rilevare in una biblioteca che da tradizionale si è trasformata in elettronica, ibrida, virtuale, multimediale, digitale. Esistono però articoli, studi e progetti come VIRTUAL REFERENCE DESK, EQUINOX, ecc. [3] che danno preziose indicazioni sugli standards di qualità per il servizio di reference digitale.</p>
| |
| <p>Internet si è affermato come un nuovo strumento da adottare per la conduzione delle transazioni con l’utente, e ha anche determinato un aumento delle risorse informative disponibili in rete. Sono quindi aumentate le richieste degli utenti di accedere a tali risorse (accesso vs possesso), tramite e-mail, chat e altre forme di comunicazione on-line.</p>
| |
| <p>Con questa tipologia di utenti, però, non si ha modo di colloquiare in modalità sincrona, a meno che non si disponga di webcam o chatline. Il più diffuso e-mail reference prevede che l’utente rivolga la sua domanda tramite un '''modulo on-line'''.</p>
| |
| <p>'''Principi di base''' del servizio di reference sono: aiutare l’utente nel reperimento e nella selezione delle risorse, istruirlo all’utilizzo della biblioteca e dei suoi strumenti, fornirgli risposte adeguate ai suoi bisogni informativi. Ecco che allora vengono valorizzati la qualità dei servizi e gli strumenti della loro misurazione.</p>
| |
| <p>Secondo la definizione di '''Michael Quinn Patton''' [4] “La '''valutazione''' è la raccolta sistematica di informazioni sulle attività, caratteristiche e risultati per formulare giudizi sul programma, migliorarne l’efficacia, e/o indirizzare decisioni sulla futura programmazione”. Secondo '''Nicoletta Stame''' [5] “Valutare significa analizzare se un’azione intrapresa per uno scopo corrispondente a un interesse collettivo abbia ottenuto gli effetti desiderati o altri, ed esprime un giudizio sullo scostamento che normalmente si verifica, per proporre eventuali modifiche che tengono conto delle potenzialità manifestatesi”. '''Anna Galluzzi''' [6] sottolinea la distinzione tra due termini che vengono a volte erroneamente considerati equivalenti: misurazione e valutazione. “La misurazione è una descrizione quantitativa di ciò che necessita di un contesto intenzionale così come di un quadro di riferimento ricavato dalle prestazioni passate o da situazioni simili”, mentre invece “La valutazione è un processo sistematico che consente di verificare l’efficienza e l’efficacia di certe attività e di dare un giudizio sul loro valore sulla base di alcuni criteri, come gli scopi e gli obiettivi”. E inoltre “In definitiva, alla valutazione si arriva attraverso […omissis] la scelta, la raccolta, la validazione e l’elaborazione dei dati e la costruzione di rapporti significativi – gli indicatori – utilizzati poi come strumenti interpretativi”.</p>
| |
| <p>La valutazione può essere attuata attraverso '''metodi quantitativi o qualitativi''', ma al momento è molto più semplice misurare l’ambito quantitativo, che si basa su numeri verificabili. </p>
| |
| <p>Nella '''valutazione quantitativa''' solitamente è importante rilevare: numero di domande ricevute, quelle che hanno avuto risposta, i tempi della transazione, ecc. Il numero delle transazioni può essere ottenuto elettronicamente, utilizzando i software per l’analisi dei '''log files''', che riescono a monitorare gli '''accessi''' al web e gli '''usi''' delle risorse informative.</p>
| |
| <p>La '''valutazione qualitativa''' considera in genere: l’accuratezza, l’aggiornamento e la pertinenza della risposta, ma lo standard di qualità è la user satisfaction, cioè il grado di soddisfazione che l’utente si aspetta di ottenere dal servizio, rispetto a quello che l’organizzazione ha stabilito di poter offrire.</p>
| |
| <p>La valutazione qualitativa considera in genere: l’accuratezza, l’aggiornamento e la pertinenza della risposta, ma lo standard di qualità è la user satisfaction, cioè il grado di soddisfazione che l’utente si aspetta di ottenere dal servizio, rispetto a quello che l’organizzazione ha stabilito di poter offrire.</p>
| |
| <p>E’ importante, a questo proposito, il concetto di '''feedback''' dell’utente, ottenibile tramite '''indagini, interviste, questionari, casi studio'''; ma per valutare la qualità del servizio offerto, i bibliotecari possono anche ricorrere all’'''autovalutazione''' (giudizio che il bibliotecario stesso fornisce sull’esito della transazione), oppure al cosiddetto “'''unobtrusive test'''” (osservazione discreta), eseguita da valutatori esterni che sottopongono a bibliotecari inconsapevoli una serie di domande alle quali si presume siano in grado di rispondere. Scopo: ottenere anche un '''feedback del bibliotecario'''.</p>
| |
| <p>Attualmente, comunque, esiste una certa difficoltà a sganciarsi da una dimensione quantitativa, per arrivare a una valutazione qualitativa sul grado di aspettativa e soddisfazione dell’utente.</p>
| |
| I motivi dipendono dal fatto che i dati dovrebbero scaturire da un contatto, anche a distanza, diretto e personale con l’utente. Ma se in una biblioteca tradizionale ciò può essere fatto facilmente (per esempio con un sondaggio sui frequentatori, con questionari ecc.), in una biblioteca digitale risulta difficile individuare sia il pubblico reale che quello potenziale, quindi sarebbe arduo assicurarsi un elevato ritorno di questionari, e comunque non esiste la certezza che i dati anagrafici o relativi alla tipologia di utente siano rispondenti al vero. Nell’ambiente della rete, infatti, il concetto di “utenza istituzionale” (importante in una biblioteca tradizionale) quasi perde di significato, perché chiunque, da qualunque parte del mondo, può accedere e ottenere servizi. Gli utenti diventano sempre più remoti e anonimi dal momento che hanno sempre meno bisogno di recarsi in biblioteca.</p>
| |
| <p>Secondo '''Roberto Ventura''' [7] “I dati sulla performance, se disancorati dalla customer satisfaction effettivamente conseguita, non dovrebbero essere assunti come emblemi dell’efficacia, a meno di valutazioni fondate su una superficiale chiave economicistica…”.
| |
| <p>E inoltre, “L’obiettivo della qualità è chiaro: conquistare la fedeltà del cliente, consolidare la propensione del cliente all’uso di un servizio, trasformare la propensione all’uso in certezza dell’uso, affinchè l’organizzazione possa contare su un numero sicuro, prevedibile e consolidato di transazioni”.</p>
| |
| <p>Prima di attuare una valutazione di un servizio, è necessario realizzare un Progetto preciso, che chiarisca: gli scopi della valutazione, le persone coinvolte (stakeholders), le fasi del processo, il tipo di utilizzo dei risultati, le modalità di coinvolgimento eventuale degli utenti, la scelta dei metodi e delle tecniche più appropriate per gli scopi che si vogliono perseguire.</p>
| |
| <p>Un Progetto di valutazione del servizio, potrebbe per esempio prevedere la seguente sequenza di attività:
| |
| * Analisi della situazione
| |
| * Obiettivi
| |
| * Risorse umane coinvolte (stakeholders): SBA, CIB, coordinatori Aree, coordinatore Poli, gestore, tecnici bibliotecari, utenti (istituzionali e/o potenziali)
| |
| * Stabilire se effettuare un’analisi quantitativa e/o qualitativa
| |
| * Fasi del processo (quali dati analizzare, tipo di utilizzo dei dati, metodi e tecniche per ottenere gli obiettivi, indicatori, eventuale coinvolgimento degli utenti, ecc.)
| |
| * Scopi della valutazione
| |
| * Tempistica (con quale frequenza effettuare il monitoraggio dei dati da valutare)
| |
| * Costi
| |
| * Eventuali monitoraggi intermedi
| |
| * Valutazione
| |
| * Eventuali miglioramenti al Progetto</p>
| |
|
| |
| <p>Secondo '''Anna Galluzzi''' [8] “Gli '''ambiti di valutazione''' in una '''biblioteca digitale''' sono: struttura, patrimonio informativo, servizi”. Ma quali sono i '''piani''' su cui si può attuare una valutazione? Estensione (quantità di servizio fornito), efficienza, efficacia, qualità del servizio, impatto (quanto un servizio si differenzia rispetto ad altre attività), utilità, adozione (dei servizi elettronici da parte di utenti o istituzioni). Per ciascuno di questi piani si devono individuare gli '''elementi chiave e i dati utili da raccogliere'''. </p>
| |
| <p>Gli indicatori da elaborare, in generale, nell’ambito della biblioteca digitale sono stati considerati da 2 Progetti: '''MIEL2''' (biblioteche universitarie) e Progetto americano di B'''ertot e McClure''' (biblioteche pubbliche). Indicatori principali di '''MIEL2''': strutture e attrezzature; gestione delle risorse; ricerca delle risorse informative; fornitura di risorse informative; utilizzo delle risorse informative. Indicatori principali di '''Bertot e McClure''': postazioni al pubblico in biblioteca; transazioni elettroniche di reference (condotte per mezzo di e-mail o sito web della biblioteca); visite al web per mese; visite al database per mese, ecc.</p>
| |
| <p>Il limite è che entrambi i Progetti considerano un’ipotetica utenza istituzionale (studenti, ecc.), mentre non analizzano un’utenza potenziale, difficilmente individuabile.</p>
| |
| <p>Molte valutazioni si limitano a fornire soltanto dati e misure dirette (relative a singole strutture), che però non sono veri e propri indicatori in quanto non sono frutto di elaborazione, e pertanto non possono essere utilizzati sul piano della comparazione fra più biblioteche.</p>
| |
| <p>Per una corretta valutazione dei servizi è consigliabile lavorare su un set di una decina di indicatori, perché un numero di indicatori limitato, ma di buona qualità, è il punto di partenza migliore.</p>
| |
| <p>Sempre '''Anna Galluzzi''' [cfr nota 6] sostiene che “…la '''misura''' è il dato semplice, ossia non elaborato, proveniente in maniera diretta e immediata dalla rilevazione”. E inoltre: “L’utilizzo degli '''indicatori''' come momento di sintesi dele operazioni di raccolta e di elaborazione dei dati per poi procedere all’interpretazione dei fenomeni è ormai internazionalmente condiviso…”. Ancora: “L’esperienza dimostra che un numero relativamente limitato di indicatori è sufficiente a produrre una visione d’insieme veritiera e a individuare i fenomeni meritevoli di maggiore approfondimento. L’operazione più complessa è dunque proprio quella di individuare gli indicatori più significativi all’interno delle fonti disponibili”.</p>
| |
|
| |
|
| |
| === Valutazione del servizio “Chiedi al bibliotecario” === | | === Valutazione del servizio “Chiedi al bibliotecario” === |
|
| |
|
|
| |
|
| | <p>Nelle Linee Guida del servizio “Chiedi al bibliotecario” sono stati definiti gli indicatori utili a monitorare e valutare il servizio. </p> |
| | <p>Come supporto alla scelta degli indicatori adatti alla valutazione del servizio, il gruppo di lavoro sulle Linee Guida si è riferito principalmente all’opera ''Statistics, Measures and quality standards for assessing digital reference library service'' [C. R. McClure (et al.), Statistics, measures and quality standards for assessing digital reference library services : guidelines and procedures, Devlin, Syracuse (NY), Syracuse University, 2002]. Nella guida curata dalla Syracuse University è raccomandata la raccolta dei seguenti dati quantitativi:</p> |
| | <br> |
| | <p>'''MISURE DESCRITTIVE'''</p> |
|
| |
|
|
| |
|
| |
|
| |
|
| |
|
| |
| <p>Secondo la definizione di '''Michael Quinn Patton''': ''“La valutazione è la raccolta sistematica di informazioni sulle attività, caratteristiche e risultati per formulare giudizi sul programma, migliorarne l’efficacia, e/o indirizzare decisioni sulla futura programmazione”''. Secondo '''Nicoletta Stame''': ''“Valutare significa analizzare se un’azione intrapresa per uno scopo corrispondente a un interesse collettivo abbia ottenuto gli effetti desiderati o altri, ed esprime un giudizio sullo scostamento che normalmente si verifica, per proporre eventuali modifiche che tengono conto delle potenzialità manifestatesi”''.</p>
| |
| <p> La valutazione può essere attuata attraverso metodi quantitativi o qualitativi, ma al momento (visto che il servizio è nelle sue fasi iniziali) si ritiene più utile misurare soltanto l’ambito quantitativo, che si basa su numeri verificabili. In un secondo momento, quando sarà possibile avere una visione più chiara del flusso delle richieste (numero, tipologia, ecc.) e dell’impatto che il servizio ha avuto sull’utenza, si potrà procedere ad un’indagine qualitativa (tramite questionari, indagini, case studies, ecc. per valutare la user satisfaction) basandosi su un Progetto specifico.</p>
| |
|
| |
|
| |
| === "CHIEDI AL BIBLIOTECARIO": DATI DA MISURARE===
| |
|
| |
|
| |
| * Numero totale delle richieste ricevute, suddivise per stato della richiesta
| |
| * Numero totale delle richieste ricevute, divise per incaricato (struttura)
| |
| * Tipologia di utente + ente di appartenenza (solo UNIBO)
| |
| * Motivo della richiesta + ente di appartenenza (solo UNIBO)
| |
| * Numero GUEST e numero REGISTRATI
| |
| * Log files
| |
| (Le statistiche saranno rilevate su base mensile)
| |
|
| |
|
| |
|
| |
| === Indicatori per il Reference Digitale trattati in: “Statistic, Measures and Quality Standards for Assessing Digital Reference Library Services”: ===
| |
|
| |
|
| |
|
| |
| '''DESCRIZIONE delle MISURAZIONI:'''
| |
| * Numero delle domande ricevute | | * Numero delle domande ricevute |
| * Numero delle risposte date (anche solo: “ci dispiace ma non possiamo rispondere…”) | | * Numero delle risposte date (anche solo: “ci dispiace ma non possiamo rispondere…”) |
| * Numero delle risposte complete ai quesiti | | * Numero delle richieste risolte |
| * Risposte corrette (fill rate) | | * Risposte corrette (fill rate) |
| * <span style="color:red">Tempo impiegato per la risposta </span> | | * Tempo impiegato per la risposta |
| * Numero delle domande a cui non si è risposto | | * Numero delle domande a cui non si è risposto |
| * Tipologia di domande | | * Tipologia di domande |
| * <span style="color:red">Numero di referral </span> | | * Numero di referral |
| * <span style="color:red">Fonti utilizzate per le risposte </span>[[#nota|***]] | | * Fonti utilizzate per le risposte |
| | | <br> |
| '''LOG ANALYSIS:''' | | <p>'''ANALISI DEI “LOG FILE”'''</p> |
| * Numero di sessioni | | * Numero di sessioni |
| * Uso del Reference Digitale per giorni della settimana | | * Uso del Reference Digitale per giorni della settimana |
| * Uso del Reference Digitale per orario nella giornata | | * Uso del Reference Digitale per orario nella giornata |
| * Browser dell’utente | | * Browser utilizzato dall’utente |
| * Piattaforma dell’utente | | * Piattaforma utilizzata dall’utente |
| | |
| | <p>Il gruppo di lavoro ha tuttavia ritenuto di operare una selezione delle misure ritenute più utili al monitoraggio del servizio e ha individuato una serie di indicatori specifici tenendo conto delle raccomandazioni contenute nelle numerose linee guida del servizio.</p> |
| | <p>Attualmente viene effettuata un’estrazione mensile dei dati statistici che vengono elaborati nei seguenti indicatori:</p> |
| | |
| | # Numero totale delle richieste ricevute, suddivise per stato della richiesta |
| | # Numero totale delle richieste ricevute, divise per incaricato (struttura) |
| | # Tipologia di utente + ente di appartenenza |
| | # Motivo della richiesta + ente di appartenenza |
| | # Numero utenti GUEST e numero utenti REGISTRATI |
| | |
| | <p>Il gruppo di lavoro ha previsto anche un’analisi dei log files per monitorare il comportamento degli utenti alle prese con il servizio su web.</p> |
| | |
| | <p>Tenendo però sempre presente che la soddisfazione dell’utenza, in quanto obiettivo principale di ogni biblioteca votata al miglioramento e quindi alla qualità, dovrebbe sempre costituire la principale misura della sua efficacia, bisogna anche considerare questi ulteriori indicatori, ancora tratti dall’opera Statistics, Measures…:</p> |
|
| |
|
| <br><br>
| | * Percezione del servizio |
| <p style="font-size:9pt"> <span style="color:red">Voci in rosso</span>: dati che potrebbero essere aggiunti all’elenco di quelli da misurare.</p>
| | * Accessibilità del servizio |
| | * Aspettative nei confronti del servizio |
| | * Motivazioni per l’uso |
| | * Motivazioni per il non uso |
| | * Miglioramenti richiesti/servizi aggiuntivi di cui si richiede la fornitura |
| | * Soddisfazione nei confronti dello staff |
| | * Soddisfazione sul modo di fornitura del servizio |
| | * Impatto del servizio sull’utente |
| | * Dati demografici dell’utente |
|
| |
|
| <p style="font-size:9pt"><span id="nota">***</span> Fonti utilizzate per le risposte: si potrebbe ipotizzare che, in previsione dell’analisi statistica (1 volta al mese), ogni tecnico bibliotecario prepari per il gestore un elenco (magari in ordine alfabetico) delle fonti consultate per fornire le risposte.</p> | | <p>Ma come ottenere i dati relativi alla user satisfaction nella nostra realtà? Il Gruppo di lavoro Linee Guida per il servizio “Chiedi al bibliotecario” ha pensato ad alcune ipotetiche soluzioni per ottenere un feed back dall’utente: questionario online (“Questionario di soddisfazione dell’utente”) oppure prevedere nel campo risposta uno spazio per eventuali osservazioni dell’utente. La compilazione sarebbe facoltativa, ed è ovvio che ciò costituirebbe un limite, ma i tempi sono maturi per iniziare a sperimentare.</p> |
| | <p>C’è ancora molto da lavorare in questo senso, anche perché l’attivazione di “Chiedi al bibliotecario” è piuttosto recente, ma siamo anche convinti che un approccio “qualitativo” che porti ad una vera e propria “valutazione” del servizio finalizzata al miglioramento, alla qualità e alla soddisfazione dell’utente, sia una sfida improcrastinabile. </p> |
| | <br> |
| | <p> Per ulteriori approfondimenti: [[ Documenti utili#valuta|leggi ]]</p> |
Valutazione del servizio “Chiedi al bibliotecario”
Nelle Linee Guida del servizio “Chiedi al bibliotecario” sono stati definiti gli indicatori utili a monitorare e valutare il servizio.
Come supporto alla scelta degli indicatori adatti alla valutazione del servizio, il gruppo di lavoro sulle Linee Guida si è riferito principalmente all’opera Statistics, Measures and quality standards for assessing digital reference library service [C. R. McClure (et al.), Statistics, measures and quality standards for assessing digital reference library services : guidelines and procedures, Devlin, Syracuse (NY), Syracuse University, 2002]. Nella guida curata dalla Syracuse University è raccomandata la raccolta dei seguenti dati quantitativi:
MISURE DESCRITTIVE
- Numero delle domande ricevute
- Numero delle risposte date (anche solo: “ci dispiace ma non possiamo rispondere…”)
- Numero delle richieste risolte
- Risposte corrette (fill rate)
- Tempo impiegato per la risposta
- Numero delle domande a cui non si è risposto
- Tipologia di domande
- Numero di referral
- Fonti utilizzate per le risposte
ANALISI DEI “LOG FILE”
- Numero di sessioni
- Uso del Reference Digitale per giorni della settimana
- Uso del Reference Digitale per orario nella giornata
- Browser utilizzato dall’utente
- Piattaforma utilizzata dall’utente
Il gruppo di lavoro ha tuttavia ritenuto di operare una selezione delle misure ritenute più utili al monitoraggio del servizio e ha individuato una serie di indicatori specifici tenendo conto delle raccomandazioni contenute nelle numerose linee guida del servizio.
Attualmente viene effettuata un’estrazione mensile dei dati statistici che vengono elaborati nei seguenti indicatori:
- Numero totale delle richieste ricevute, suddivise per stato della richiesta
- Numero totale delle richieste ricevute, divise per incaricato (struttura)
- Tipologia di utente + ente di appartenenza
- Motivo della richiesta + ente di appartenenza
- Numero utenti GUEST e numero utenti REGISTRATI
Il gruppo di lavoro ha previsto anche un’analisi dei log files per monitorare il comportamento degli utenti alle prese con il servizio su web.
Tenendo però sempre presente che la soddisfazione dell’utenza, in quanto obiettivo principale di ogni biblioteca votata al miglioramento e quindi alla qualità, dovrebbe sempre costituire la principale misura della sua efficacia, bisogna anche considerare questi ulteriori indicatori, ancora tratti dall’opera Statistics, Measures…:
- Percezione del servizio
- Accessibilità del servizio
- Aspettative nei confronti del servizio
- Motivazioni per l’uso
- Motivazioni per il non uso
- Miglioramenti richiesti/servizi aggiuntivi di cui si richiede la fornitura
- Soddisfazione nei confronti dello staff
- Soddisfazione sul modo di fornitura del servizio
- Impatto del servizio sull’utente
- Dati demografici dell’utente
Ma come ottenere i dati relativi alla user satisfaction nella nostra realtà? Il Gruppo di lavoro Linee Guida per il servizio “Chiedi al bibliotecario” ha pensato ad alcune ipotetiche soluzioni per ottenere un feed back dall’utente: questionario online (“Questionario di soddisfazione dell’utente”) oppure prevedere nel campo risposta uno spazio per eventuali osservazioni dell’utente. La compilazione sarebbe facoltativa, ed è ovvio che ciò costituirebbe un limite, ma i tempi sono maturi per iniziare a sperimentare.
C’è ancora molto da lavorare in questo senso, anche perché l’attivazione di “Chiedi al bibliotecario” è piuttosto recente, ma siamo anche convinti che un approccio “qualitativo” che porti ad una vera e propria “valutazione” del servizio finalizzata al miglioramento, alla qualità e alla soddisfazione dell’utente, sia una sfida improcrastinabile.
Per ulteriori approfondimenti: leggi
