2019 uppdatering: Vi har nu en serie förklaringsvideor som utforskar detta ämne mer noggrant. Du hittar dem här.

Jag har gjort en del undersökningar av denna fråga. Det som följer är en mycket un-akademisk och ofullständig sammanfattning av information från några artiklar och webbplatser.

med hjälp av en Google Scholar-sökning efter ”survey response rates” – artiklar publicerade från 2010-2014 hittade jag en 2010-granskningsartikel i tidskriften Computers in Human Behavior:

Fan, W., & Yan, Z. (2010). Faktorer som påverkar svarsfrekvensen för webbundersökningen: en systematisk granskning. Datorer i mänskligt beteende, 26 (2), 132-139.

här är ett intressant faktum som jag hämtade från den artikeln: ”Baserat på en ny metaanalys (Manfreda, Bosnjak, Berzelak, Haas, & Vehovar, 2008) av 45 studier som undersöker skillnader i svarsfrekvensen mellan webbundersökningar och andra undersökningsmetoder, uppskattas att svarsfrekvensen i webbundersökningen i genomsnitt är cirka 11% lägre än för andra undersökningsmetoder.”

den andra artikeln av stort intresse och särskild relevans för webbaserade undersökningar av högskolepopulationer är en artikel från 2011 i den allmänna opinionen kvartalsvis:

Millar , M. M., & Dillman, D. A. (2011) förbättra svaret på webb-och blandade undersökningar. Offentlig Opin Q, 75 (2): 249-269.

sammanfattning: vi genomförde två experiment utformade för att utvärdera flera strategier för att förbättra svaret på webb-och webb/mail-undersökningar med blandat läge. Vårt mål var att bestämma de bästa sätten att maximera Webbresponsfrekvensen i en mycket Internet-literate befolkning med full tillgång till Internet. Vi finner att tillhandahållande av ett samtidigt val av svarslägen inte förbättrar svarsfrekvensen (jämfört med att endast tillhandahålla ett svarsalternativ för e-post). Genom att erbjuda de olika svarslägena sekventiellt, där Web erbjuds först och ett e-postuppföljningsalternativ används i den slutliga kontakten, förbättras webbens svarsfrekvens och motsvarar totalt sett endast e-post. Vi visar också att använda en kombination av både post-och e-postkontakter och leverera en token kontant incitament i förväg är båda användbara metoder för att förbättra webb svarsfrekvensen. Dessa experiment illustrerar att även om olika implementeringsstrategier är genomförbara, är den mest effektiva strategin den kombinerade användningen av flera svarsinducerande tekniker.

detta är från ett webbpapper från 2009 av Kathy Biersdorff som är affärskonsult i Calgary-området.

när jag sa att det inte finns något enkelt svar på frågan om hur många som räcker betyder det inte att människor har varit ovilliga att gå på rekord med ett numeriskt svar. Här är några expertutlåtanden om vad som anses vara bra eller adekvat som svarsfrekvens för e-postundersökning:

25% – Dr. Norman Hertz på frågan av Högsta domstolen i Arizona

30% – R. Allen Reese, chef för Graduate Research Institute of Hull U. i Storbritannien

36% – H. W. Vanderleest (1996) svarsfrekvens uppnådd efter en påminnelse

38% – i Slovenien där undersökningar är ovanliga

50% – Babbie (1990, 1998)

60% – Kiess & Bloomquist (1985) för att undvika bias av de mest glada/olyckliga respondenterna bara

60% – aapor – studie som tittar på miniminormer för publicerbarhet i nyckeltidskrifter

70% – Don A. Dillman (1974, 2000)

75% – Bailey (1987) citerad i Hager et al. (2003 i ideell och frivillig sektor kvartalsvis, s. 252-267)

dessutom beskrev olika studier deras svarsfrekvens som ”acceptabel” vid 10%, 54% och 65%, medan andra på American Psychological Association-webbplatsen rapporterade varningar om icke-responderskillnader för studier med 38,9%, 40% och 42% svarsfrekvens.

Jag gick till fount of all knowledge, Wikipedia, och hittade en ganska fin sammanfattning av några artiklar som undersökte effekten av svarsfrekvens:

ett tidigt exempel på ett resultat rapporterades av Visser, Krosnick, Marquette och Curtin (1996) som visade att undersökningar med lägre svarsfrekvens (Nära 20%) gav mer exakta mätningar än undersökningar med högre svarsfrekvens (nära 60 eller 70%). I en annan studie, Keeter et al. (2006) jämförde resultaten av en 5-dagars undersökning med Pew Research Centers vanliga metodik (med en 25% svarsfrekvens) med resultat från en mer rigorös undersökning som genomfördes under en mycket längre fältperiod och uppnådde en högre svarsfrekvens på 50%. I 77 av 84 jämförelser gav de två undersökningarna resultat som var statistiskt oskiljbara. Bland de punkter som visade betydande skillnader mellan de två undersökningarna varierade skillnaderna i proportioner av personer som gav ett visst svar från 4 procentenheter till 8 procentenheter.

en studie av Curtin et al. (2000) testade effekten av lägre svarsfrekvens på uppskattningar av Index of Consumer Sentiment (ICS). De bedömde effekterna av att utesluta respondenter som ursprungligen vägrade att samarbeta (vilket minskar svarsfrekvensen 5-10 procentenheter), respondenter som krävde mer än fem samtal för att slutföra intervjun (minskade svarsfrekvensen cirka 25 procentenheter) och de som krävde mer än två samtal (en minskning med cirka 50 procentenheter). De fann ingen effekt av att utesluta dessa respondentgrupper på uppskattningar av ICS med månatliga prover av hundratals respondenter. För årliga uppskattningar, baserade på tusentals respondenter, hade uteslutningen av personer som krävde fler samtal (men inte av initiala avslag) en mycket liten.

Holbrook et al. (2005) bedömde om lägre svarsfrekvenser är förknippade med mindre ovägd demografisk representativitet hos ett urval. Genom att undersöka resultaten från 81 nationella undersökningar med svarsfrekvenser varierande från 5 procent till 54 procent fann de att undersökningar med mycket lägre svarsfrekvens minskade demografisk representativitet inom det undersökta intervallet, men inte så mycket.slutligen och för att ytterligare komplicera saker, låt mig påminna dig om några icke-statistiska eller kvasistatistiska faktorer som kommer att påverka beslut om vad som är en tillräcklig provstorlek och svarsfrekvens:

1. uppfattad trovärdighet: vi vet alla hur inflytelserika uppfattningar är. Kommer din publik att tro att dina undersökningsdata verkligen representerar dem?
2. behöver titta på undergrupper: vi vet att det finns konsekvent tre högriskgrupper på högskolor: inkommande freshmen, broderskapsmedlemmar och varsity idrottare. Det är svårt i en undersökning så stor och kostsam som ACHA-NCHA att uppnå en adekvat representation av broderskapsmedlem och varsity idrottare, så du kan behöva planera på mindre skala undersökningar specifikt för dessa grupper, om du vill spåra förändringar i uppfattning, användning, och negativa resultat för de högriskgrupper.
3. Bias: ju lägre svarsfrekvens, desto större chans att respondentgruppen är partisk på något sätt. Det kan göra longitudinella skillnader särskilt svåra att tolka: om det sker en förändring från föregående undersökningsår, är det en verklig förändring eller på grund av viss bias i svargruppen (särskilt om respondenterna inte är representativa när det gäller exponering för interventionen eller risken).
4. demografisk representativitet: Detta är faktiskt en underkategori av bias, men förtjänar särskilt omnämnande eftersom vi vet att demografiska faktorer (kön, ålder, ras/etnicitet) påverkar drickshastigheter och mönster. Även med en relativt hög svarsfrekvens bör du alltid kontrollera om ditt prov är demografiskt lik din befolkning.