UPDATE 2019: Wir haben jetzt eine Reihe von Erklärvideos, die sich eingehender mit diesem Thema befassen. Sie finden sie hier.

Ich habe einige Nachforschungen zu dieser Frage angestellt. Was folgt, ist eine sehr unwissenschaftliche und unvollständige Zusammenfassung von Informationen aus einigen Artikeln und Websites.

Mit einer Google Scholar-Suche nach „Survey response rates“ -Artikeln, die von 2010-2014 veröffentlicht wurden, fand ich einen Übersichtsartikel aus dem Jahr 2010 in der Zeitschrift Computers in Human Behavior:

Fan, W., & Yan, Z. (2010). Faktoren, die die Rücklaufquoten der Webumfrage beeinflussen: Eine systematische Überprüfung. Computer im menschlichen Verhalten, 26 (2), 132-139.

Hier ist eine interessante Tatsache, die ich aus diesem Artikel gelernt habe: „Basierend auf einer kürzlich durchgeführten Metaanalyse (Manfreda, Bosnjak, Berzelak, Haas, & Vehovar, 2008) von 45 Studien, in denen Unterschiede in der Antwortrate zwischen Webumfragen und anderen Umfragemodi untersucht wurden, wird geschätzt, dass die Antwortrate in der Webumfrage im Durchschnitt etwa 11% niedriger ist als in anderen Umfragemodi.“

Der andere Artikel von großem Interesse und besonderer Relevanz für webbasierte Umfragen der College-Bevölkerung ist ein Artikel von 2011 in Public Opinion Quarterly:

Millar , M.M., & Dillman, D.A. (2011) Verbesserung der Reaktion auf Web- und Mixed-Mode-Umfragen. Öffentliches Opin Q, 75 (2): 249-269.

Zusammenfassung: Wir haben zwei Experimente durchgeführt, um verschiedene Strategien zur Verbesserung der Reaktion auf Web- und Web / Mail-Mixed-Mode-Umfragen zu bewerten. Unser Ziel war es, die besten Möglichkeiten zur Maximierung der Web-Response-Raten in einer hochgradig internetfähigen Bevölkerung mit vollem Internetzugang zu ermitteln. Wir stellen fest, dass die gleichzeitige Auswahl von Antwortmodi die Antwortraten nicht verbessert (im Vergleich zur Bereitstellung einer E-Mail-Antwortoption). Das sequentielle Anbieten der verschiedenen Antwortmodi, bei denen Web zuerst angeboten wird und eine Mail-Follow-up-Option im endgültigen Kontakt verwendet wird, verbessert jedoch die Web-Antwortraten und entspricht insgesamt der Verwendung von nur Mail. Wir zeigen auch, dass die Verwendung einer Kombination aus Post- und E-Mail-Kontakten und die Bereitstellung eines Token-Cash-Incentives im Voraus nützliche Methoden zur Verbesserung der Web-Response-Raten sind. Diese Experimente zeigen, dass, obwohl verschiedene Implementierungsstrategien realisierbar sind, die effektivste Strategie die kombinierte Verwendung mehrerer reaktionsinduzierender Techniken ist.

Dies ist aus einem Web-Papier von Kathy Biersdorff aus dem Jahr 2009, einer Unternehmensberaterin in der Region Calgary.

Als ich sagte, dass es keine einfache Antwort auf die Frage gibt, wie viele genug sind, bedeutet dies nicht, dass die Leute nicht bereit waren, mit einer numerischen Antwort zu Protokoll zu gehen. Hier sind einige Expertenmeinungen darüber, was als Antwortquote für eine E–Mail–Umfrage als gut oder angemessen angesehen wird:

25% – Dr. Norman Hertz auf Anfrage des Obersten Gerichtshofs von Arizona

30% – R. Allen Reese, Manager des Graduate Research Institute von Hull U. im Vereinigten Königreich

36% – H. W. Vanderleest (1996) Rücklaufquote nach einer Erinnerung erreicht

38% – in Slowenien, wo Umfragen ungewöhnlich sind

50% – Babbie (1990, 1998)

60% – Kiess & Bloomquist (1985), um Verzerrungen nur durch die glücklichsten / unglücklichsten Befragten zu vermeiden

60% – AAPOR–Studie zur Untersuchung von Mindeststandards für die Veröffentlichbarkeit in Schlüsselzeitschriften

70% – Don A. Dillman (1974, 2000)

75% – Bailey (1987) zitiert in Hager et al. (2003 in Nonprofit and Voluntary Sector Quarterly, S. 252-267)

Darüber hinaus beschrieben verschiedene Studien ihre Antwortrate mit 10%, 54% und 65% als „akzeptabel“, während andere auf der Website der American Psychological Association Vorbehalte bezüglich Non-Responder-Unterschieden für Studien mit 38,9%, 40% und 42% Antwortquoten berichteten.

Ich ging zur Quelle allen Wissens, Wikipedia, und fand eine ziemlich schöne Zusammenfassung einiger Artikel, die den Effekt der Rücklaufquote untersuchten:

Ein frühes Beispiel für einen Befund wurde von Visser, Krosnick, Marquette und Curtin (1996) berichtet, die zeigten, dass Umfragen mit niedrigeren Rücklaufquoten (nahe 20%) genauere Messungen ergaben als Umfragen mit höheren Rücklaufquoten (nahe 60 oder 70%). In einer anderen Studie, Keeter et al. (2006) verglichen die Ergebnisse einer 5-tägigen Umfrage nach der üblichen Methodik des Pew Research Center (mit einer Rücklaufquote von 25%) mit den Ergebnissen einer strengeren Umfrage, die über einen viel längeren Feldzeitraum durchgeführt wurde und eine höhere Rücklaufquote von 50% erzielte. In 77 von 84 Vergleichen ergaben die beiden Erhebungen Ergebnisse, die statistisch nicht zu unterscheiden waren. Unter den Punkten, die signifikante Unterschiede zwischen den beiden Umfragen zeigten, Die Unterschiede in den Anteilen der Personen, die eine bestimmte Antwort gaben, reichten von 4 Prozentpunkte zu 8 Prozentpunkte.

Eine Studie von Curtin et al. (2000) untersuchten die Auswirkungen niedrigerer Rücklaufquoten auf Schätzungen des Index der Verbraucherstimmung (IKS). Sie bewerteten die Auswirkungen des Ausschlusses von Befragten, die sich anfänglich weigerten zu kooperieren (was die Rücklaufquote um 5-10 Prozentpunkte senkt), Befragten, die mehr als fünf Anrufe benötigten, um das Interview abzuschließen (Verringerung der Rücklaufquote um etwa 25 Prozentpunkte) und diejenigen, die mehr als zwei Anrufe benötigten (eine Verringerung um etwa 50 Prozentpunkte). Sie fanden keine Auswirkung des Ausschlusses dieser befragten Gruppen auf Schätzungen des ICS unter Verwendung monatlicher Stichproben von Hunderten von Befragten. Für jährliche Schätzungen, basierend auf Tausenden von Befragten, war der Ausschluss von Personen, die mehr Anrufe benötigten (wenn auch nicht von anfänglichen Verweigerern), sehr gering.

Holbrook et al. (2005) untersuchten, ob niedrigere Rücklaufquoten mit einer geringeren ungewichteten demografischen Repräsentativität einer Stichprobe verbunden sind. Bei der Untersuchung der Ergebnisse von 81 nationalen Umfragen mit Rücklaufquoten zwischen 5 und 54 Prozent stellten sie fest, dass Umfragen mit viel niedrigeren Rücklaufquoten die demografische Repräsentativität innerhalb des untersuchten Bereichs verringerten, jedoch nicht wesentlich.

Schließlich und um die Sache noch komplizierter zu machen, möchte ich Sie an einige nicht-statistische oder quasi-statistische Faktoren erinnern, die sich auf Entscheidungen über eine angemessene Stichprobengröße und Rücklaufquote auswirken:

1. Wahrgenommene Glaubwürdigkeit: Wir alle wissen, wie einflussreich Wahrnehmungen sind. Wird Ihre Zielgruppe glauben, dass Ihre Umfragedaten sie wirklich repräsentieren?Wir müssen uns Untergruppen ansehen: Wir wissen, dass es auf dem College-Campus durchweg drei Risikogruppen gibt: Studienanfänger, Bruderschaftsmitglieder und Uni-Athleten. In einer so großen und kostspieligen Umfrage wie der ACHA-NCHA ist es schwierig, eine angemessene Vertretung von Bruderschaftsmitgliedern und Uni-Athleten zu erreichen, Daher müssen Sie möglicherweise Umfragen in kleinerem Maßstab speziell für diese Gruppen planen, wenn Sie Änderungen in der Wahrnehmung verfolgen möchten, verwenden und negative Ergebnisse für diese Risikogruppen.
2. Voreingenommenheit: je niedriger die Rücklaufquote ist, desto größer ist die Wahrscheinlichkeit, dass die befragte Gruppe in irgendeiner Weise voreingenommen ist. Es kann longitudinale Unterschiede besonders schwer zu interpretieren machen: Wenn es eine Veränderung gegenüber den vorangegangenen Umfragejahren gibt, handelt es sich um eine echte Veränderung oder um eine Verzerrung in der Antwortgruppe (insbesondere wenn die Befragten nicht repräsentativ sind in Bezug auf die Exposition gegenüber der Intervention oder dem Risiko).
3. Demografische Repräsentativität: Dies ist eigentlich eine Unterkategorie der Voreingenommenheit, verdient jedoch besondere Erwähnung, da wir wissen, dass demografische Faktoren (Geschlecht, Alter, Rasse / ethnische Zugehörigkeit) die Trinkraten und -muster beeinflussen. Selbst bei einer relativ hohen Rücklaufquote sollten Sie immer prüfen, ob Ihre Stichprobe Ihrer Population demografisch ähnlich ist.