Valutazione: differenze tra le versioni

Da Digital Reference Wiki.
Vai alla navigazioneVai alla ricerca
Nessun oggetto della modifica
 
Nessun oggetto della modifica
 
(15 versioni intermedie di 2 utenti non mostrate)
Riga 1: Riga 1:
=== MONITORAGGIO E VALUTAZIONE del servizio ===
=== Valutazione del servizio “Chiedi al bibliotecario” ===
<p>Il Reference Digitale è uno dei servizi innovativi che meglio esprime l’efficienza di una biblioteca. Il più diffuso e-mail reference prevede che l’utente rivolga la sua domanda tramite un modulo on-line.</p>
<p>Principi di base del servizio di reference: aiutare l’utente nel reperimento e nella selezione delle risorse, istruirlo all’utilizzo della biblioteca e dei suoi strumenti, fornirgli risposte adeguate ai suoi bisogni informativi. Ecco che allora vengono valorizzati la qualità dei servizi e gli strumenti della loro misurazione.</p>
<p>Secondo la definizione di '''Michael Quinn Patton''': ''“La valutazione è la raccolta sistematica di informazioni sulle attività, caratteristiche e risultati per formulare giudizi sul programma, migliorarne l’efficacia, e/o indirizzare decisioni sulla futura programmazione”''. Secondo '''Nicoletta Stame''': ''“Valutare significa analizzare se un’azione intrapresa per uno scopo corrispondente a un interesse collettivo abbia ottenuto gli effetti desiderati o altri, ed esprime un giudizio sullo scostamento che normalmente si verifica, per proporre eventuali modifiche che tengono conto delle potenzialità manifestatesi”''.</p>
<p> La valutazione può essere attuata attraverso metodi quantitativi o qualitativi, ma al momento (visto che il servizio è nelle sue fasi iniziali) si ritiene più utile misurare soltanto l’ambito quantitativo, che si basa su numeri verificabili. In un secondo momento, quando sarà possibile avere una visione più chiara del flusso delle richieste (numero, tipologia, ecc.) e dell’impatto che il servizio ha avuto sull’utenza, si potrà procedere ad un’indagine qualitativa (tramite questionari, indagini, case studies, ecc. per valutare la user satisfaction) basandosi su un Progetto specifico.</p>




=== "CHIEDI AL BIBLIOTECARIO": DATI DA MISURARE===
<p>Nelle Linee Guida del servizio “Chiedi al bibliotecario” sono stati definiti gli indicatori utili a monitorare e valutare il servizio. </p>
<p>Come supporto alla scelta degli indicatori adatti alla valutazione del servizio, il gruppo di lavoro sulle Linee Guida si è riferito principalmente all’opera ''Statistics, Measures and quality standards for assessing digital reference library service'' [C. R. McClure (et al.), Statistics, measures and quality standards for assessing digital reference library services : guidelines and procedures, Devlin, Syracuse (NY), Syracuse University, 2002]. Nella guida curata dalla Syracuse University è raccomandata la raccolta dei seguenti dati quantitativi:</p>
<br>
<p>'''MISURE DESCRITTIVE'''</p>


* Numero totale delle richieste ricevute, suddivise per stato della richiesta
* Numero totale delle richieste ricevute, divise per incaricato (struttura)
* Tipologia di utente + ente di appartenenza (solo UNIBO)
* Motivo della richiesta + ente di appartenenza (solo UNIBO)
* Numero GUEST e numero REGISTRATI
* Log files
(Le statistiche saranno rilevate su base mensile)
=== Indicatori per il Reference Digitale trattati in: “Statistic, Measures and Quality Standards for Assessing Digital Reference Library Services”: ===
'''DESCRIZIONE delle MISURAZIONI:'''
* Numero delle domande ricevute
* Numero delle domande ricevute
* Numero delle risposte date (anche solo: “ci dispiace ma non possiamo rispondere…”)
* Numero delle risposte date (anche solo: “ci dispiace ma non possiamo rispondere…”)
* Numero delle risposte complete ai quesiti
* Numero delle richieste risolte
* Risposte corrette (fill rate)
* Risposte corrette (fill rate)
* <font color="red">Tempo impiegato per la risposta </font> 
* Tempo impiegato per la risposta
* Numero delle domande a cui non si è risposto
* Numero delle domande a cui non si è risposto
* Tipologia di domande
* Tipologia di domande
* <font color="red">Numero di referral </font>
* Numero di referral
* <font color="red">Fonti utilizzate per le risposte </font>***
* Fonti utilizzate per le risposte
 
<br>
'''LOG ANALYSIS:'''
<p>'''ANALISI DEI “LOG FILE”'''</p>
* Numero di sessioni
* Numero di sessioni
* Uso del Reference Digitale per giorni della settimana
* Uso del Reference Digitale per giorni della settimana
* Uso del Reference Digitale per orario nella giornata
* Uso del Reference Digitale per orario nella giornata
* Browser dell’utente
* Browser utilizzato dall’utente
* Piattaforma dell’utente
* Piattaforma utilizzata dall’utente
 
<p>Il gruppo di lavoro ha tuttavia ritenuto di operare una selezione delle misure ritenute più utili al monitoraggio del servizio e ha individuato una serie di indicatori specifici tenendo conto delle raccomandazioni contenute nelle numerose linee guida del servizio.</p>
<p>Attualmente viene effettuata un’estrazione mensile dei dati statistici che vengono elaborati nei seguenti indicatori:</p>
 
# Numero totale delle richieste ricevute, suddivise per stato della richiesta
# Numero totale delle richieste ricevute, divise per incaricato (struttura)
# Tipologia di utente + ente di appartenenza
# Motivo della richiesta + ente di appartenenza
# Numero utenti GUEST e numero utenti REGISTRATI
 
<p>Il gruppo di lavoro ha previsto anche un’analisi dei log files per monitorare il comportamento degli utenti alle prese con il servizio su web.</p>
 
<p>Tenendo però sempre presente che la soddisfazione dell’utenza, in quanto obiettivo principale di ogni biblioteca votata al miglioramento e quindi alla qualità, dovrebbe sempre costituire la principale misura della sua efficacia, bisogna anche considerare questi ulteriori indicatori, ancora tratti dall’opera Statistics, Measures…:</p>


<p style="font-size:11px">'''Voci in rosso''': dati che potrebbero essere aggiunti all’elenco di quelli da misurare.</p>
* Percezione del servizio
* Accessibilità del servizio
* Aspettative nei confronti del servizio
* Motivazioni per l’uso
* Motivazioni per il non uso
* Miglioramenti richiesti/servizi aggiuntivi di cui si richiede la fornitura
* Soddisfazione nei confronti dello staff
* Soddisfazione sul modo di fornitura del servizio
* Impatto del servizio sull’utente
* Dati demografici dell’utente


*** Fonti utilizzate per le risposte: si potrebbe ipotizzare che, in previsione dell’analisi statistica (1 volta al mese), ogni tecnico bibliotecario prepari per il gestore un elenco (magari in ordine alfabetico) delle fonti consultate per fornire le risposte.
<p>Ma come ottenere i dati relativi alla user satisfaction nella nostra realtà? Il Gruppo di lavoro Linee Guida per il servizio “Chiedi al bibliotecario” ha pensato ad alcune ipotetiche soluzioni per ottenere un feed back dall’utente: questionario online (“Questionario di soddisfazione dell’utente”) oppure prevedere nel campo risposta uno spazio per eventuali osservazioni dell’utente. La compilazione sarebbe facoltativa, ed è ovvio che ciò costituirebbe un limite, ma i tempi sono maturi per  iniziare a sperimentare.</p>
<p>C’è ancora molto da lavorare in questo senso, anche perché l’attivazione di “Chiedi al bibliotecario” è piuttosto recente, ma siamo anche convinti che un approccio “qualitativo” che porti ad una vera e propria “valutazione” del servizio finalizzata al miglioramento, alla qualità e alla soddisfazione dell’utente, sia una sfida improcrastinabile. </p>
<br>
<p> Per ulteriori approfondimenti: [[ Documenti utili#valuta|leggi ]]</p>

Versione attuale delle 15:49, 14 nov 2007

Valutazione del servizio “Chiedi al bibliotecario”

Nelle Linee Guida del servizio “Chiedi al bibliotecario” sono stati definiti gli indicatori utili a monitorare e valutare il servizio.

Come supporto alla scelta degli indicatori adatti alla valutazione del servizio, il gruppo di lavoro sulle Linee Guida si è riferito principalmente all’opera Statistics, Measures and quality standards for assessing digital reference library service [C. R. McClure (et al.), Statistics, measures and quality standards for assessing digital reference library services : guidelines and procedures, Devlin, Syracuse (NY), Syracuse University, 2002]. Nella guida curata dalla Syracuse University è raccomandata la raccolta dei seguenti dati quantitativi:


MISURE DESCRITTIVE

  • Numero delle domande ricevute
  • Numero delle risposte date (anche solo: “ci dispiace ma non possiamo rispondere…”)
  • Numero delle richieste risolte
  • Risposte corrette (fill rate)
  • Tempo impiegato per la risposta
  • Numero delle domande a cui non si è risposto
  • Tipologia di domande
  • Numero di referral
  • Fonti utilizzate per le risposte


ANALISI DEI “LOG FILE”

  • Numero di sessioni
  • Uso del Reference Digitale per giorni della settimana
  • Uso del Reference Digitale per orario nella giornata
  • Browser utilizzato dall’utente
  • Piattaforma utilizzata dall’utente

Il gruppo di lavoro ha tuttavia ritenuto di operare una selezione delle misure ritenute più utili al monitoraggio del servizio e ha individuato una serie di indicatori specifici tenendo conto delle raccomandazioni contenute nelle numerose linee guida del servizio.

Attualmente viene effettuata un’estrazione mensile dei dati statistici che vengono elaborati nei seguenti indicatori:

  1. Numero totale delle richieste ricevute, suddivise per stato della richiesta
  2. Numero totale delle richieste ricevute, divise per incaricato (struttura)
  3. Tipologia di utente + ente di appartenenza
  4. Motivo della richiesta + ente di appartenenza
  5. Numero utenti GUEST e numero utenti REGISTRATI

Il gruppo di lavoro ha previsto anche un’analisi dei log files per monitorare il comportamento degli utenti alle prese con il servizio su web.

Tenendo però sempre presente che la soddisfazione dell’utenza, in quanto obiettivo principale di ogni biblioteca votata al miglioramento e quindi alla qualità, dovrebbe sempre costituire la principale misura della sua efficacia, bisogna anche considerare questi ulteriori indicatori, ancora tratti dall’opera Statistics, Measures…:

  • Percezione del servizio
  • Accessibilità del servizio
  • Aspettative nei confronti del servizio
  • Motivazioni per l’uso
  • Motivazioni per il non uso
  • Miglioramenti richiesti/servizi aggiuntivi di cui si richiede la fornitura
  • Soddisfazione nei confronti dello staff
  • Soddisfazione sul modo di fornitura del servizio
  • Impatto del servizio sull’utente
  • Dati demografici dell’utente

Ma come ottenere i dati relativi alla user satisfaction nella nostra realtà? Il Gruppo di lavoro Linee Guida per il servizio “Chiedi al bibliotecario” ha pensato ad alcune ipotetiche soluzioni per ottenere un feed back dall’utente: questionario online (“Questionario di soddisfazione dell’utente”) oppure prevedere nel campo risposta uno spazio per eventuali osservazioni dell’utente. La compilazione sarebbe facoltativa, ed è ovvio che ciò costituirebbe un limite, ma i tempi sono maturi per iniziare a sperimentare.

C’è ancora molto da lavorare in questo senso, anche perché l’attivazione di “Chiedi al bibliotecario” è piuttosto recente, ma siamo anche convinti che un approccio “qualitativo” che porti ad una vera e propria “valutazione” del servizio finalizzata al miglioramento, alla qualità e alla soddisfazione dell’utente, sia una sfida improcrastinabile.


Per ulteriori approfondimenti: leggi