2019 opdatering: vi har nu en række forklaringsvideoer, der udforsker dette emne mere grundigt. Du kan finde dem her.

jeg har lavet nogle undersøgelser af dette spørgsmål. Det følgende er en meget un-akademisk og ufuldstændig sammenfatning af oplysninger fra et par artikler og hjemmesider.

Ved hjælp af en Google Scholar-søgning efter “survey response rates” – artikler udgivet fra 2010-2014 fandt jeg en 2010-gennemgangsartikel i tidsskriftet Computers in Human Behavior:

Fan, H.,& Yan, å. (2010). Faktorer, der påvirker svarprocenten for internetundersøgelsen: en systematisk gennemgang. Computere i menneskelig adfærd, 26 (2), 132-139.

her er en interessant kendsgerning, jeg hentede fra den artikel: “Baseret på en nylig metaanalyse (Manfreda, Bosnjak, Haas, & Vehovar, 2008) af 45 undersøgelser, der undersøger forskelle i svarprocenten mellem internetundersøgelser og andre undersøgelsestilstande, anslås det, at svarprocenten i internetundersøgelsen i gennemsnit er ca.11% lavere end for andre undersøgelsestilstande.”

den anden artikel af stor interesse og særlig relevans for internetbaserede undersøgelser af universitetspopulationer er en 2011-artikel i den offentlige mening kvartalsvis:

Millar , M. M.,& Dillman, D. A. (2011) forbedring af respons på undersøgelser på internettet og blandet tilstand. Offentlig Mening, 75(2): 249-269.

abstrakt: vi gennemførte to eksperimenter designet til at evaluere flere strategier til forbedring af respons på undersøgelser af blandet tilstand. Vores mål var at bestemme de bedste måder at maksimere svarprocenten på internettet i en meget Internet-literate befolkning med fuld internetadgang. Vi finder ud af, at det at give et samtidigt valg af svartilstande ikke forbedrer svarprocenten (sammenlignet med kun at give en mailsvarsmulighed). At tilbyde de forskellige responstilstande sekventielt, hvor internettet først tilbydes, og en postopfølgningsmulighed bruges i den endelige kontakt, forbedrer Internetresponsprocenten og svarer generelt til kun at bruge mail. Vi viser også, at brug af en kombination af både post-og e-mail-kontakter og levering af et symbolsk kontant incitament på forhånd er begge nyttige metoder til forbedring af svarprocenten på internettet. Disse eksperimenter illustrerer, at selv om forskellige implementeringsstrategier er levedygtige, er den mest effektive strategi den kombinerede anvendelse af flere responsinducerende teknikker.

Dette er fra et papir fra 2009 af Kathy Biersdorff, der er forretningskonsulent i Calgary-området.

da jeg sagde, at der ikke er noget simpelt svar på spørgsmålet om, hvor mange der er nok, betyder det ikke, at folk ikke har været uvillige til at gå på rekord med et numerisk svar. Her er nogle ekspertudtalelser om, hvad der betragtes som godt eller tilstrækkeligt som en svarprocent for mailundersøgelse:

25% – Dr. Norman Herts når du bliver spurgt af Højesteret

30% – R. Allen Reese, leder af Graduate Research Institute of Hull U. i Det Forenede Kongerige

36% – H. V. Vanderleest (1996) svarprocent opnået efter en påmindelse

38% – i Slovenien, hvor undersøgelser er ualmindelige

50% – Babbie (1990, 1998)

60% – Kiess & bloomcist (1985) for kun at undgå bias af de mest glade/ulykkelige respondenter

60% – aapor – undersøgelse, der ser på minimumsstandarder for publicerbarhed i nøgletidsskrifter

70% – Don A. Dillman (1974, 2000)

75% – Bailey (1987) citeret i Hager et al. (2003 i nonprofit og frivillig sektor kvartalsvis, s. 252-267)

derudover beskrev forskellige undersøgelser deres responsrate som “acceptabel” ved 10%, 54% og 65%, mens andre på American Psychological Association hjemmeside rapporterede advarsler vedrørende ikke-responder forskelle for undersøgelser med 38,9%, 40% og 42% responsrater.et tidligt eksempel på en konstatering blev rapporteret af Visser, Krosnick, Markette og Curtin (1996), der viste, at undersøgelser med lavere responsrater (nær 20%) gav mere nøjagtige målinger end undersøgelser med højere responsrater (nær 60 eller 70%), der viste, at undersøgelser med lavere responsrater (nær 20%) gav mere nøjagtige målinger end undersøgelser med højere responsrater (nær 60 eller 70%)). I en anden undersøgelse, Keeter et al. (2006) sammenlignede resultaterne af en 5-dages undersøgelse, der anvender Kirkestolsforskningscentrets sædvanlige metode (med en svarprocent på 25%) med resultater fra en mere streng undersøgelse foretaget over en meget længere feltperiode og opnåede en højere svarprocent på 50%. I 77 ud af 84 sammenligninger gav de to undersøgelser resultater, der statistisk ikke kunne skelnes. Blandt de elementer, der manifesterede betydelige forskelle på tværs af de to undersøgelser, varierede forskellene i proportioner af mennesker, der gav et bestemt svar, fra 4 procentpoint til 8 procentpoint.

en undersøgelse af Curtin et al. (2000) testede effekten af lavere responsrater på estimater af indekset for Forbrugerstemning (ICS). De vurderede virkningen af at udelukke respondenter, der oprindeligt nægtede at samarbejde (hvilket reducerer svarprocenten 5-10 procentpoint), respondenter, der krævede mere end fem opkald for at afslutte samtalen (reducere svarprocenten omkring 25 procentpoint), og dem, der krævede mere end to opkald (en reduktion på omkring 50 procentpoint). De fandt ingen effekt af at udelukke disse respondentgrupper på estimater af ICS ved hjælp af månedlige prøver fra hundreder af respondenter. For årlige skøn, baseret på tusinder af respondenter, havde udelukkelsen af personer, der krævede flere opkald (dog ikke af indledende afslag) en meget lille.

Holbrook et al. (2005) vurderede, om lavere responsrater er forbundet med mindre uvægtet demografisk repræsentativitet af en stikprøve. Ved at undersøge resultaterne af 81 nationale undersøgelser med responsrater varierende fra 5 procent til 54 procent fandt de, at undersøgelser med meget lavere responsrater nedsatte demografisk repræsentativitet inden for det undersøgte interval, men ikke meget.

endelig og for yderligere at komplicere tingene, lad mig minde dig om et par ikke-statistiske eller kvasi-statistiske faktorer, der vil påvirke beslutninger om, hvad der er en passende stikprøvestørrelse og svarprocent:

1. opfattet troværdighed: Vi ved alle, hvor indflydelsesrige opfattelser er. Vil dit publikum tro, at dine undersøgelsesdata virkelig repræsenterer dem?
2. har brug for at se på undergrupper: vi ved, at der konsekvent er tre højrisikogrupper på universitetscampusser: indkommende førsteårsstuderende, broderskabsmedlemmer og varsity-atleter. Det er vanskeligt i en undersøgelse så stor og dyr som ACHA-NCHA at opnå en passende repræsentation af broderskabsmedlem og varsity-atleter, så du bliver muligvis nødt til at planlægge undersøgelser i mindre skala specifikt for disse grupper, hvis du vil spore ændringer i opfattelsen, brug, og negative resultater for disse højrisikogrupper.
3. Bias: jo lavere svarprocent, jo større chance for, at respondentgruppen er partisk på en eller anden måde. Det kan gøre langsgående forskelle særligt vanskelige at fortolke: hvis der er en ændring fra de foregående undersøgelsesår, er det en reel ændring eller på grund af en vis bias i svargruppen (især hvis respondenterne ikke er repræsentative med hensyn til eksponering for interventionen eller risikoen).
4. demografisk repræsentativitet: Dette er faktisk en underkategori af bias, men fortjener særlig omtale, da vi ved, at demografiske faktorer (køn, alder, race/etnicitet) påvirker drikkehastigheder og mønstre. Selv med en relativt høj svarprocent, bør du altid kontrollere, om din prøve er demografisk ligner din befolkning.