Valutazione

Studi più recenti nell’ambito della valutazione del servizio di Reference digitale

Secondo Gabriella Tufano [1] il Reference Digitale è uno dei servizi innovativi che meglio esprime l’efficienza di una biblioteca. Nell’opera Statistics, Measures and quality standards for assessing digital reference library services [2] gli autori sottolineano però la scarsa attenzione dedicata alla valutazione di questo servizio on-line, rispetto a quella dedicata al suo sviluppo e alla sua diffusione.

L’ambito della valutazione dei servizi si è affermato soltanto negli ultimi 20 anni, in concomitanza con la nascita e lo sviluppo del concetto di qualità, e ancora oggi si è piuttosto lontani da una definizione precisa di un insieme di misure e indicatori standard da rilevare in una biblioteca che da tradizionale si è trasformata in elettronica, ibrida, virtuale, multimediale, digitale. Esistono però articoli, studi e progetti come VIRTUAL REFERENCE DESK, EQUINOX, ecc. [3] che danno preziose indicazioni sugli standards di qualità per il servizio di reference digitale.

Internet si è affermato come un nuovo strumento da adottare per la conduzione delle transazioni con l’utente, e ha anche determinato un aumento delle risorse informative disponibili in rete. Sono quindi aumentate le richieste degli utenti di accedere a tali risorse (accesso vs possesso), tramite e-mail, chat e altre forme di comunicazione on-line.

Con questa tipologia di utenti, però, non si ha modo di colloquiare in modalità sincrona, a meno che non si disponga di webcam o chatline. Il più diffuso e-mail reference prevede che l’utente rivolga la sua domanda tramite un modulo on-line.

Principi di base del servizio di reference sono: aiutare l’utente nel reperimento e nella selezione delle risorse, istruirlo all’utilizzo della biblioteca e dei suoi strumenti, fornirgli risposte adeguate ai suoi bisogni informativi. Ecco che allora vengono valorizzati la qualità dei servizi e gli strumenti della loro misurazione.

Secondo la definizione di Michael Quinn Patton [4] “La valutazione è la raccolta sistematica di informazioni sulle attività, caratteristiche e risultati per formulare giudizi sul programma, migliorarne l’efficacia, e/o indirizzare decisioni sulla futura programmazione”. Secondo Nicoletta Stame [5] “Valutare significa analizzare se un’azione intrapresa per uno scopo corrispondente a un interesse collettivo abbia ottenuto gli effetti desiderati o altri, ed esprime un giudizio sullo scostamento che normalmente si verifica, per proporre eventuali modifiche che tengono conto delle potenzialità manifestatesi”. Anna Galluzzi [6] sottolinea la distinzione tra due termini che vengono a volte erroneamente considerati equivalenti: misurazione e valutazione. “La misurazione è una descrizione quantitativa di ciò che necessita di un contesto intenzionale così come di un quadro di riferimento ricavato dalle prestazioni passate o da situazioni simili”, mentre invece “La valutazione è un processo sistematico che consente di verificare l’efficienza e l’efficacia di certe attività e di dare un giudizio sul loro valore sulla base di alcuni criteri, come gli scopi e gli obiettivi”. E inoltre “In definitiva, alla valutazione si arriva attraverso […omissis] la scelta, la raccolta, la validazione e l’elaborazione dei dati e la costruzione di rapporti significativi – gli indicatori – utilizzati poi come strumenti interpretativi”.

La valutazione può essere attuata attraverso metodi quantitativi o qualitativi, ma al momento è molto più semplice misurare l’ambito quantitativo, che si basa su numeri verificabili.

Nella valutazione quantitativa solitamente è importante rilevare: numero di domande ricevute, quelle che hanno avuto risposta, i tempi della transazione, ecc. Il numero delle transazioni può essere ottenuto elettronicamente, utilizzando i software per l’analisi dei log files, che riescono a monitorare gli accessi al web e gli usi delle risorse informative.

La valutazione qualitativa considera in genere: l’accuratezza, l’aggiornamento e la pertinenza della risposta, ma lo standard di qualità è la user satisfaction, cioè il grado di soddisfazione che l’utente si aspetta di ottenere dal servizio, rispetto a quello che l’organizzazione ha stabilito di poter offrire.

La valutazione qualitativa considera in genere: l’accuratezza, l’aggiornamento e la pertinenza della risposta, ma lo standard di qualità è la user satisfaction, cioè il grado di soddisfazione che l’utente si aspetta di ottenere dal servizio, rispetto a quello che l’organizzazione ha stabilito di poter offrire.

E’ importante, a questo proposito, il concetto di feedback dell’utente, ottenibile tramite indagini, interviste, questionari, casi studio; ma per valutare la qualità del servizio offerto, i bibliotecari possono anche ricorrere all’autovalutazione (giudizio che il bibliotecario stesso fornisce sull’esito della transazione), oppure al cosiddetto “unobtrusive test” (osservazione discreta), eseguita da valutatori esterni che sottopongono a bibliotecari inconsapevoli una serie di domande alle quali si presume siano in grado di rispondere. Scopo: ottenere anche un feedback del bibliotecario.

Attualmente, comunque, esiste una certa difficoltà a sganciarsi da una dimensione quantitativa, per arrivare a una valutazione qualitativa sul grado di aspettativa e soddisfazione dell’utente.

I motivi dipendono dal fatto che i dati dovrebbero scaturire da un contatto, anche a distanza, diretto e personale con l’utente. Ma se in una biblioteca tradizionale ciò può essere fatto facilmente (per esempio con un sondaggio sui frequentatori, con questionari ecc.), in una biblioteca digitale risulta difficile individuare sia il pubblico reale che quello potenziale, quindi sarebbe arduo assicurarsi un elevato ritorno di questionari, e comunque non esiste la certezza che i dati anagrafici o relativi alla tipologia di utente siano rispondenti al vero. Nell’ambiente della rete, infatti, il concetto di “utenza istituzionale” (importante in una biblioteca tradizionale) quasi perde di significato, perché chiunque, da qualunque parte del mondo, può accedere e ottenere servizi. Gli utenti diventano sempre più remoti e anonimi dal momento che hanno sempre meno bisogno di recarsi in biblioteca.

Secondo Roberto Ventura [7] “I dati sulla performance, se disancorati dalla customer satisfaction effettivamente conseguita, non dovrebbero essere assunti come emblemi dell’efficacia, a meno di valutazioni fondate su una superficiale chiave economicistica…”.

E inoltre, “L’obiettivo della qualità è chiaro: conquistare la fedeltà del cliente, consolidare la propensione del cliente all’uso di un servizio, trasformare la propensione all’uso in certezza dell’uso, affinchè l’organizzazione possa contare su un numero sicuro, prevedibile e consolidato di transazioni”.

Prima di attuare una valutazione di un servizio, è necessario realizzare un Progetto preciso, che chiarisca: gli scopi della valutazione, le persone coinvolte (stakeholders), le fasi del processo, il tipo di utilizzo dei risultati, le modalità di coinvolgimento eventuale degli utenti, la scelta dei metodi e delle tecniche più appropriate per gli scopi che si vogliono perseguire.

Un Progetto di valutazione del servizio, potrebbe per esempio prevedere la seguente sequenza di attività:

• Analisi della situazione
• Obiettivi
• Risorse umane coinvolte (stakeholders): SBA, CIB, coordinatori Aree, coordinatore Poli, gestore, tecnici bibliotecari, utenti (istituzionali e/o potenziali)
• Stabilire se effettuare un’analisi quantitativa e/o qualitativa
• Fasi del processo (quali dati analizzare, tipo di utilizzo dei dati, metodi e tecniche per ottenere gli obiettivi, indicatori, eventuale coinvolgimento degli utenti, ecc.)
• Scopi della valutazione
• Tempistica (con quale frequenza effettuare il monitoraggio dei dati da valutare)
• Costi
• Eventuali monitoraggi intermedi
• Valutazione
• Eventuali miglioramenti al Progetto

Secondo Anna Galluzzi [8] “Gli ambiti di valutazione in una biblioteca digitale sono: struttura, patrimonio informativo, servizi”. Ma quali sono i piani su cui si può attuare una valutazione? Estensione (quantità di servizio fornito), efficienza, efficacia, qualità del servizio, impatto (quanto un servizio si differenzia rispetto ad altre attività), utilità, adozione (dei servizi elettronici da parte di utenti o istituzioni). Per ciascuno di questi piani si devono individuare gli elementi chiave e i dati utili da raccogliere.

Gli indicatori da elaborare, in generale, nell’ambito della biblioteca digitale sono stati considerati da 2 Progetti: MIEL2 (biblioteche universitarie) e Progetto americano di Bertot e McClure (biblioteche pubbliche). Indicatori principali di MIEL2: strutture e attrezzature; gestione delle risorse; ricerca delle risorse informative; fornitura di risorse informative; utilizzo delle risorse informative. Indicatori principali di Bertot e McClure: postazioni al pubblico in biblioteca; transazioni elettroniche di reference (condotte per mezzo di e-mail o sito web della biblioteca); visite al web per mese; visite al database per mese, ecc.

Il limite è che entrambi i Progetti considerano un’ipotetica utenza istituzionale (studenti, ecc.), mentre non analizzano un’utenza potenziale, difficilmente individuabile.

Molte valutazioni si limitano a fornire soltanto dati e misure dirette (relative a singole strutture), che però non sono veri e propri indicatori in quanto non sono frutto di elaborazione, e pertanto non possono essere utilizzati sul piano della comparazione fra più biblioteche.

Per una corretta valutazione dei servizi è consigliabile lavorare su un set di una decina di indicatori, perché un numero di indicatori limitato, ma di buona qualità, è il punto di partenza migliore.

Sempre Anna Galluzzi [cfr nota 6] sostiene che “…la misura è il dato semplice, ossia non elaborato, proveniente in maniera diretta e immediata dalla rilevazione”. E inoltre: “L’utilizzo degli indicatori come momento di sintesi dele operazioni di raccolta e di elaborazione dei dati per poi procedere all’interpretazione dei fenomeni è ormai internazionalmente condiviso…”. Ancora: “L’esperienza dimostra che un numero relativamente limitato di indicatori è sufficiente a produrre una visione d’insieme veritiera e a individuare i fenomeni meritevoli di maggiore approfondimento. L’operazione più complessa è dunque proprio quella di individuare gli indicatori più significativi all’interno delle fonti disponibili”.

Valutazione del servizio “Chiedi al bibliotecario”

Secondo la definizione di Michael Quinn Patton: “La valutazione è la raccolta sistematica di informazioni sulle attività, caratteristiche e risultati per formulare giudizi sul programma, migliorarne l’efficacia, e/o indirizzare decisioni sulla futura programmazione”. Secondo Nicoletta Stame: “Valutare significa analizzare se un’azione intrapresa per uno scopo corrispondente a un interesse collettivo abbia ottenuto gli effetti desiderati o altri, ed esprime un giudizio sullo scostamento che normalmente si verifica, per proporre eventuali modifiche che tengono conto delle potenzialità manifestatesi”.

La valutazione può essere attuata attraverso metodi quantitativi o qualitativi, ma al momento (visto che il servizio è nelle sue fasi iniziali) si ritiene più utile misurare soltanto l’ambito quantitativo, che si basa su numeri verificabili. In un secondo momento, quando sarà possibile avere una visione più chiara del flusso delle richieste (numero, tipologia, ecc.) e dell’impatto che il servizio ha avuto sull’utenza, si potrà procedere ad un’indagine qualitativa (tramite questionari, indagini, case studies, ecc. per valutare la user satisfaction) basandosi su un Progetto specifico.

"CHIEDI AL BIBLIOTECARIO": DATI DA MISURARE

• Numero totale delle richieste ricevute, suddivise per stato della richiesta
• Numero totale delle richieste ricevute, divise per incaricato (struttura)
• Tipologia di utente + ente di appartenenza (solo UNIBO)
• Motivo della richiesta + ente di appartenenza (solo UNIBO)
• Numero GUEST e numero REGISTRATI
• Log files

(Le statistiche saranno rilevate su base mensile)

Indicatori per il Reference Digitale trattati in: “Statistic, Measures and Quality Standards for Assessing Digital Reference Library Services”:

DESCRIZIONE delle MISURAZIONI:

• Numero delle domande ricevute
• Numero delle risposte date (anche solo: “ci dispiace ma non possiamo rispondere…”)
• Numero delle risposte complete ai quesiti
• Risposte corrette (fill rate)
• Tempo impiegato per la risposta
• Numero delle domande a cui non si è risposto
• Tipologia di domande
• Numero di referral
• Fonti utilizzate per le risposte ***

LOG ANALYSIS:

• Numero di sessioni
• Uso del Reference Digitale per giorni della settimana
• Uso del Reference Digitale per orario nella giornata
• Browser dell’utente
• Piattaforma dell’utente

Voci in rosso: dati che potrebbero essere aggiunti all’elenco di quelli da misurare.

*** Fonti utilizzate per le risposte: si potrebbe ipotizzare che, in previsione dell’analisi statistica (1 volta al mese), ogni tecnico bibliotecario prepari per il gestore un elenco (magari in ordine alfabetico) delle fonti consultate per fornire le risposte.