2019 UPDATE: we hebben nu een reeks video ‘ s met uitleg die dit onderwerp grondiger onderzoeken. U kunt ze hier vinden.

Ik heb wat onderzoek gedaan naar deze vraag. Wat volgt is een zeer on-academische en onvolledige samenvatting van informatie van een paar artikelen en websites.

met behulp van een Google Scholar search for “survey response rates” artikelen gepubliceerd vanaf 2010-2014, vond ik een 2010 review artikel in het tijdschrift Computers in Human Behavior:

Fan, W., & Yan, Z. (2010). Factoren die de responspercentages van de Web survey beïnvloeden: een systematische beoordeling. (2), 132-139.

hier is een interessant feit dat ik uit dat artikel heb afgeleid: “Gebaseerd op een recente meta-analyse (Manfreda, Bosnjak, Berzelak, Haas, & Vehovar, 2008) van 45 studies die verschillen in het responspercentage tussen web surveys en andere surveys onderzoeken, wordt geschat dat het responspercentage in de web surveys gemiddeld ongeveer 11% lager is dan dat van andere surveys.”

The other article of great interest, and particular relevantie to web-based surveys of college populations, is a 2011 article in Public Opinion Quarterly:

Millar, M. M., & Dillman, D. A. (2011) verbetering van de respons op web-en Mixed-Mode-enquêtes. Public Opin Q, 75 (2): 249-269.

Abstract: we hebben twee experimenten uitgevoerd om verschillende strategieën te evalueren voor het verbeteren van de respons op web en web / mail Mixed-mode enquêtes. Ons doel was om de beste manieren te bepalen om webresponspercentages te maximaliseren in een zeer internetgeletterde bevolking met volledige internettoegang. We vinden dat het bieden van een gelijktijdige keuze van responsmodi de responspercentages niet verbetert (in vergelijking met alleen het verstrekken van een mailresponsoptie). Echter, het aanbieden van de verschillende responsmodi sequentieel, waarin Web wordt aangeboden als eerste en een mail follow-up optie wordt gebruikt in het laatste contact, verbetert Web response rates en is over het algemeen gelijk aan het gebruik van alleen mail. We laten ook zien dat het gebruik van een combinatie van zowel post-en e-mailcontacten en het leveren van een token cash incentive op voorhand zijn beide nuttige methoden voor het verbeteren van Web response rates. Deze experimenten illustreren dat hoewel verschillende implementatiestrategieën levensvatbaar zijn, de meest effectieve strategie het gecombineerde gebruik van meervoudige respons-inducerende technieken is.

Dit komt uit een web paper uit 2009 van Kathy Biersdorff, die een business consultant is in de regio Calgary.

toen ik zei dat er geen eenvoudig antwoord is op de vraag hoeveel is genoeg, betekent dit niet dat mensen niet bereid zijn geweest om een numeriek antwoord te geven. Hier zijn enkele meningen van deskundigen over wat goed of adequaat wordt geacht als responspercentage voor een mail survey:

25% – Dr. Norman Hertz op verzoek van het Hooggerechtshof van Arizona

30% – R. Allen Reese, manager van het Graduate Research Institute of Hull U. in het Verenigd Koninkrijk

36% – H. W. Vanderleest (1996) responspercentage bereikt na een herinnering

38% – in Slovenië waar enquêtes niet vaak voorkomen

50% – Babbie (1990, 1998)

60% – Kiess &

60% – aapor – studie naar minimumnormen voor publiceerbaarheid in belangrijke tijdschriften

70% – don A. Dillman (1974, 2000)

75% – Bailey (1987) aangehaald in Hager et al. (2003 in non-profit and Voluntary Sector Quarterly, PP. 252-267)

daarnaast beschreven verschillende studies hun responspercentage als “aanvaardbaar” bij 10%, 54% en 65%, terwijl andere op de website van de American Psychological Association voorbehouden meldden met betrekking tot non-responder verschillen voor studies met 38,9%, 40% en 42% responspercentages.

Ik ging naar de bron van alle kennis, Wikipedia, en vond een vrij mooie samenvatting van enkele artikelen die het effect van responspercentage onderzoeken:

een vroeg voorbeeld van een bevinding werd gerapporteerd door Visser, Krosnick, Marquette en Curtin (1996) die aantoonden dat enquêtes met lagere responspercentages (bijna 20%) nauwkeurigere metingen opleverden dan enquêtes met hogere responspercentages (bijna 60 of 70%). In een andere studie, Keeter et al. (2006) vergeleek de resultaten van een 5-daagse enquête waarbij gebruik werd gemaakt van de gebruikelijke methodologie van het Pew Research Center (met een responspercentage van 25%) met de resultaten van een meer rigoureuze enquête die over een veel langere veldperiode werd uitgevoerd en een hoger responspercentage van 50% bereikte. In 77 van de 84 vergelijkingen leverden de twee enquêtes resultaten op die statistisch niet te onderscheiden waren. Onder de posten die aanzienlijke verschillen tussen de twee enquêtes vertoonden, varieerden de verschillen in het percentage mensen dat een bepaald antwoord gaf van 4 procentpunten tot 8 procentpunten.

Een studie van Curtin et al. (2000) testte het effect van lagere responspercentages op schattingen van de Index van consumentensentiment (ICS). Zij beoordeelden het effect van uitsluiting van respondenten die aanvankelijk weigerden mee te werken (waardoor het responspercentage 5-10 procentpunten daalt), respondenten die meer dan vijf oproepen nodig hadden om het interview af te ronden (waardoor het responspercentage met ongeveer 25 procentpunten daalt), en degenen die meer dan twee oproepen nodig hadden (een vermindering met ongeveer 50 procentpunten). Zij vonden geen effect van het uitsluiten van deze respondentengroepen op schattingen van de ICS met behulp van maandelijkse steekproeven van honderden respondenten. Voor jaarlijkse schattingen, gebaseerd op duizenden respondenten, was de uitsluiting van mensen die meer oproepen nodig hadden (maar niet van initiële weigeraars) een zeer kleine.

Holbrook et al. (2005) beoordeeld of lagere responspercentages geassocieerd zijn met minder ongewogen demografische representativiteit van een steekproef. Door het onderzoeken van de resultaten van 81 nationale enquêtes met responspercentages variërend van 5 procent tot 54 procent, vonden ze dat enquêtes met veel lagere responspercentages verminderde demografische representativiteit binnen de onderzochte marge, maar niet met veel.tot slot en om de zaken nog ingewikkelder te maken, wil ik u herinneren aan een paar niet-statistische of quasi-statistische factoren die van invloed zullen zijn op beslissingen over wat een adequate steekproefgrootte en responspercentage is:

1. gepercipieerde geloofwaardigheid: We weten allemaal hoe invloedrijk percepties zijn. Gelooft uw publiek dat uw enquêtegegevens hen werkelijk vertegenwoordigen?
2. moet naar subgroepen kijken: we weten dat er consequent drie groepen met een hoog risico zijn op universiteitscampussen: inkomende eerstejaars, leden van de broederschap en Varsity atleten. Het is moeilijk in een enquãate zo groot en duur als de ACHA-NCHA om een adequate vertegenwoordiging van broederschap lid en varsity atleten te bereiken, dus je kan moeten plannen op kleinere schaal enquãates specifiek voor die groepen, als je wilt bijhouden van veranderingen in perceptie, gebruik, en negatieve resultaten voor die hoog risico groepen.
3. Bias: hoe lager het responspercentage, hoe groter de kans dat de respondentgroep op de een of andere manier bevooroordeeld is. Het kan longitudinale verschillen bijzonder moeilijk te interpreteren: als er een verandering ten opzichte van de voorgaande enquêtejaren, is dat een echte verandering of als gevolg van een bepaalde bias in de responsgroep (met name als de respondenten zijn niet representatief in termen van blootstelling aan de interventie of risico).
4. demografische representativiteit: Dit is eigenlijk een subcategorie van vooringenomenheid, maar verdient speciale vermelding omdat we weten dat demografische factoren (geslacht, leeftijd, ras/etniciteit) invloed hebben op drinkpercentages en patronen. Zelfs met een relatief hoge response rate, moet u altijd controleren of uw steekproef is demografisch vergelijkbaar met uw populatie.