AGGIORNAMENTO 2019: ora abbiamo una serie di video esplicativi che esplorano questo argomento in modo più approfondito. Li potete trovare qui.

Ho fatto alcune indagini su questa domanda. Quello che segue è un riassunto molto poco accademico e incompleto di informazioni da alcuni articoli e siti web.

Utilizzando una ricerca di Google Scholar per “survey response rates” articoli pubblicati da 2010-2014, ho trovato un articolo di revisione del 2010 nella rivista Computers in Human Behavior:

Fan, W.,& Yan, Z. (2010). Fattori che influenzano i tassi di risposta del sondaggio web: una revisione sistematica. Computers in Human Behavior, 26(2), 132-139.

Ecco un fatto interessante che ho raccolto da quell’articolo: “Sulla base di una recente meta-analisi (Manfreda, Bosnjak, Berzelak, Haas, & Vehovar, 2008) di 45 studi hanno esaminato le differenze nel tasso di risposta tra sondaggi web e altre modalità di indagine, si stima che il tasso di risposta nel web survey sui media è di circa l ‘ 11% inferiore rispetto a quella di altre modalità di indagine.”

L’altro articolo di grande interesse, e particolare rilevanza per le indagini basate sul web delle popolazioni del college, è un articolo del 2011 in Public Opinion Quarterly:

Millar , M. M.,& Dillman, D. A. (2011) Migliorare la risposta alle indagini Web e in modalità mista. Opin pubblico Q, 75 (2): 249-269.

Abstract: Abbiamo condotto due esperimenti progettati per valutare diverse strategie per migliorare la risposta alle indagini in modalità mista Web e Web / mail. Il nostro obiettivo era determinare i modi migliori per massimizzare i tassi di risposta Web in una popolazione altamente alfabetizzata a Internet con accesso completo a Internet. Troviamo che fornire una scelta simultanea di modalità di risposta non migliora i tassi di risposta (rispetto a fornire solo un’opzione di risposta alla posta). Tuttavia, offrendo le diverse modalità di risposta in sequenza, in cui Web è offerto prima e un’opzione di follow-up della posta viene utilizzato nel contatto finale, migliora i tassi di risposta Web ed è complessivamente equivalente a utilizzare solo la posta. Mostriamo anche che l’utilizzo di una combinazione di contatti postali ed e-mail e la consegna di un incentivo in contanti token in anticipo sono entrambi metodi utili per migliorare i tassi di risposta Web. Questi esperimenti dimostrano che, sebbene diverse strategie di implementazione siano praticabili, la strategia più efficace è l’uso combinato di tecniche che inducono la risposta multipla.

Questo è da un 2009 web paper di Kathy Biersdorff che è un consulente aziendale nella zona di Calgary.

Quando ho detto che non esiste una risposta semplice alla domanda su quanti sono sufficienti, questo non significa che le persone non siano state disposte a registrare con una risposta numerica. Ecco alcune opinioni di esperti su ciò che è considerato buono o adeguato come un tasso di risposta al sondaggio di posta:

25% – Dr. Norman Hertz quando richiesto dalla Corte Suprema dell’Arizona

30% – R. Allen Reese, direttore del Graduate Research Institute di Hull U. nel Regno Unito

36 – – H. W. Vanderleest (1996), il tasso di risposta ottenuto dopo un promemoria

38% in Slovenia, dove le indagini sono rari

50% – Babbie (1990, 1998)

60% – Kiess & Bloomquist (1985) per evitare bias da più felice/infelice intervistati solo

60% – AAPOR studio minimo standard per publishability in chiave riviste

70% – Don A. Dillman (1974, 2000)

75% – Bailey (1987) citato in Hager et al. (2003 in No-Profit and Voluntary Sector Quarterly, pp. 252-267)

Inoltre, vari studi hanno descritto il loro tasso di risposta come “accettabile” al 10%, 54% e 65%, mentre altri sul sito Web dell’American Psychological Association hanno riportato avvertimenti riguardanti le differenze di non-responder per studi con tassi di risposta del 38,9%, 40% e 42%.

sono andato alla fonte di tutta la conoscenza, Wikipedia, e trovato un po ‘ bel riassunto di alcuni articoli di indagare l’effetto del tasso di risposta:

Uno dei primi esempi di ricerca è stato segnalato da Visser, Krosnick, Marquette e Curtin (1996) che hanno mostrato che i sondaggi con tassi di risposta più bassi (intorno al 20%) ha prodotto misurazioni più accurate rispetto ai sondaggi, con tassi di risposta più elevati (più del 60 o 70%). In un altro studio, Keeter et al. (2006) ha confrontato i risultati di un’indagine di 5 giorni utilizzando la metodologia usuale del Pew Research Center (con un tasso di risposta del 25%) con i risultati di un’indagine più rigorosa condotta su un periodo di campo molto più lungo e raggiungendo un tasso di risposta più elevato del 50%. In 77 confronti su 84, le due indagini hanno dato risultati statisticamente indistinguibili. Tra gli elementi che hanno manifestato differenze significative tra le due indagini, le differenze nelle proporzioni delle persone che hanno dato una risposta particolare variavano da 4 punti percentuali a 8 punti percentuali.

Uno studio di Curtin et al. (2000) ha testato l’effetto di tassi di risposta più bassi sulle stime dell’indice del clima di fiducia dei consumatori (ICS). Hanno valutato l’impatto di esclusione di intervistati che inizialmente ha rifiutato di cooperare (che riduce il tasso di risposta 5-10 punti percentuali), gli intervistati che hanno richiesto più di cinque chiamate a completare l’intervista (riducendo il tasso di risposta di circa 25 punti percentuali) e coloro che hanno richiesto più di due chiamate (una riduzione di circa 50 punti percentuali). Non hanno trovato alcun effetto di escludere questi gruppi di rispondenti sulle stime degli IC utilizzando campioni mensili di centinaia di intervistati. Per le stime annuali, basate su migliaia di intervistati, l’esclusione di persone che hanno richiesto più chiamate (anche se non di refuser iniziali) era molto piccola.

Holbrook et al. (2005) ha valutato se i tassi di risposta più bassi sono associati a una rappresentatività demografica meno ponderata di un campione. Esaminando i risultati di 81 indagini nazionali con tassi di risposta che variano dal 5 per cento al 54 per cento, hanno scoperto che le indagini con tassi di risposta molto più bassi diminuivano la rappresentatività demografica all’interno dell’intervallo esaminato, ma non di molto.

Infine, e per complicare ulteriormente le cose, permettetemi di ricordarvi alcuni fattori non statistici o quasi statistici che influenzeranno le decisioni su quale sia una dimensione del campione adeguata e il tasso di risposta:

1. Credibilità percepita: Sappiamo tutti quanto siano influenti le percezioni. Il tuo pubblico crederà che i tuoi dati di indagine li rappresentino veramente?
2. Bisogno di guardare sottogruppi: Sappiamo che ci sono costantemente tre gruppi ad alto rischio nei campus universitari: matricole in arrivo, membri della fraternità e gli atleti varsity. E “difficile in un sondaggio così grande e costoso come l” ACHA-NCHA per ottenere una rappresentazione adeguata degli atleti membro fraternità e varsity, quindi potrebbe essere necessario pianificare indagini su scala più piccola specificamente per quei gruppi, se si desidera tenere traccia dei cambiamenti nella percezione, uso, e risultati negativi per quei gruppi ad alto rischio.
3. Bias: più basso è il tasso di risposta, maggiore è la possibilità che il gruppo di rispondenti sia prevenuto in qualche modo. Può rendere le differenze longitudinali particolarmente difficili da interpretare: se c’è un cambiamento rispetto agli anni precedenti dell’indagine, è che un cambiamento reale o dovuto a qualche pregiudizio nel gruppo di risposta (in particolare se gli intervistati non sono rappresentativi in termini di esposizione all’intervento o al rischio).
4. Rappresentatività demografica: Questa è in realtà una sottocategoria di pregiudizi, ma merita una menzione speciale poiché sappiamo che i fattori demografici (sesso, età, razza/etnia) influenzano i tassi e i modelli di consumo. Anche con un tasso di risposta relativamente alto, dovresti sempre controllare se il tuo campione è demograficamente simile alla tua popolazione.