ACTUALIZACIÓN DE 2019: Ahora tenemos una serie de videos explicativos que exploran este tema más a fondo. Puedes encontrarlos aquí.

He estado investigando un poco esta pregunta. Lo que sigue es un resumen muy poco académico e incompleto de la información de algunos artículos y sitios web.

Usando una búsqueda de Google Scholar para artículos de» tasas de respuesta de encuestas»publicados entre 2010 y 2014, encontré un artículo de revisión de 2010 en la revista Computers in Human Behavior:

Fan, W., & Yan, Z. (2010). Factors affecting response rates of the web survey: A systematic review (en inglés). Computers in Human Behavior, 26 (2), 132-139.

Aquí hay un dato interesante que obtuve de ese artículo: «Basado en un metaanálisis reciente (Manfreda, Bosnjak, Berzelak, Haas, & Vehovar, 2008) de 45 estudios que examinan las diferencias en la tasa de respuesta entre las encuestas web y otros modos de encuesta, se estima que la tasa de respuesta en la encuesta web en promedio es aproximadamente un 11% más baja que la de otros modos de encuesta.»

El otro artículo de gran interés, y particular relevancia para las encuestas basadas en la web de poblaciones universitarias, es un artículo de 2011 en Public Opinion Quarterly:

Millar , M. M., & Dillman, D. A. (2011) Improving Response to Web and Mixed-Mode Surveys. Public Opin Q, 75( 2): 249-269.

Resumen: Realizamos dos experimentos diseñados para evaluar varias estrategias para mejorar la respuesta a encuestas de modo mixto Web y Web/correo. Nuestro objetivo era determinar las mejores formas de maximizar las tasas de respuesta web en una población altamente alfabetizada en Internet con acceso completo a Internet. Encontramos que proporcionar una elección simultánea de modos de respuesta no mejora las tasas de respuesta (en comparación con proporcionar solo una opción de respuesta por correo). Sin embargo, ofrecer los diferentes modos de respuesta de forma secuencial, en los que la Web se ofrece primero y se utiliza una opción de seguimiento de correo en el contacto final, mejora las tasas de respuesta de la Web y es en general equivalente a usar solo correo. También mostramos que la utilización de una combinación de contactos postales y de correo electrónico y la entrega de un incentivo en efectivo por adelantado son métodos útiles para mejorar las tasas de respuesta web. Estos experimentos ilustran que, aunque las diferentes estrategias de implementación son viables, la estrategia más efectiva es el uso combinado de múltiples técnicas de inducción de respuestas.

Esto es de un artículo web de 2009 de Kathy Biersdorff, consultora de negocios en el área de Calgary.

Cuando dije que no hay una respuesta simple a la pregunta de cuántas es suficiente, esto no significa que la gente no haya estado dispuesta a dejar constancia de una respuesta numérica. Aquí hay algunas opiniones de expertos sobre lo que se considera bueno o adecuado como tasa de respuesta a una encuesta por correo:

25% – Dr. Norman Hertz cuando la Corte Suprema de Arizona le preguntó

30% – R. Allen Reese, gerente del Instituto de Investigación de Posgrado de Hull U. en el Reino Unido

36 – – H. W. Vanderleest (1996) tasa de respuesta alcanzada después de un recordatorio

38% – en Eslovenia, donde las encuestas son poco frecuentes

50% – Babbie (1990, 1998)

60% – Kiess & Bloomquist (1985) para evitar sesgos solo por parte de los encuestados más felices/infelices

60% – estudio de AAPOR que busca estándares mínimos de publicabilidad en revistas clave

70% – Don A. Dillman (1974, 2000)

75% – Bailey (1987) citado en Hager et al. (2003 en Nonprofit and Voluntary Sector Quarterly, pp.252-267)

Además, varios estudios describieron su tasa de respuesta como «aceptable» en 10%, 54% y 65%, mientras que otros en el sitio web de la American Psychological Association informaron advertencias con respecto a las diferencias de no respondedores para estudios con tasas de respuesta de 38,9%, 40% y 42%.

Fui a la fuente de todo conocimiento, Wikipedia, y encontré un resumen bastante agradable de algunos artículos que investigaban el efecto de la tasa de respuesta:

Visser, Krosnick, Marquette y Curtin (1996) informaron un ejemplo temprano de un hallazgo que mostró que las encuestas con tasas de respuesta más bajas (cerca del 20%) arrojaron mediciones más precisas que las encuestas con tasas de respuesta más altas (cerca del 60 o 70%). En otro estudio, Keeter et al. (2006) compararon los resultados de una encuesta de 5 días utilizando la metodología habitual del Pew Research Center (con una tasa de respuesta del 25%) con los resultados de una encuesta más rigurosa realizada durante un período de campo mucho más largo y logrando una tasa de respuesta más alta del 50%. En 77 de 84 comparaciones, las dos encuestas arrojaron resultados estadísticamente indistinguibles. Entre los ítems que mostraron diferencias significativas entre las dos encuestas, las diferencias en la proporción de personas que dieron una respuesta en particular oscilaron entre 4 y 8 puntos porcentuales.

Un estudio de Curtin et al. (2000) probaron el efecto de las tasas de respuesta más bajas en las estimaciones del Índice de Sentimiento del Consumidor (ICS). Evaluaron el impacto de excluir a los encuestados que inicialmente se negaron a cooperar (lo que reduce la tasa de respuesta de 5 a 10 puntos porcentuales), a los encuestados que necesitaron más de cinco llamadas para completar la entrevista (reduciendo la tasa de respuesta de aproximadamente 25 puntos porcentuales) y a los que necesitaron más de dos llamadas (una reducción de aproximadamente 50 puntos porcentuales). No encontraron ningún efecto de excluir a estos grupos de encuestados en las estimaciones de los CI utilizando muestras mensuales de cientos de encuestados. Para las estimaciones anuales, basadas en miles de encuestados, la exclusión de las personas que requerían más llamadas (aunque no de los rechazadores iniciales) fue muy pequeña.

Holbrook et al. (2005) evaluaron si las tasas de respuesta más bajas están asociadas con una menor representatividad demográfica no ponderada de una muestra. Al examinar los resultados de 81 encuestas nacionales con tasas de respuesta que varían del 5 al 54 por ciento, encontraron que las encuestas con tasas de respuesta mucho más bajas disminuyeron la representatividad demográfica dentro del rango examinado, pero no en gran medida.

Finalmente, y para complicar aún más las cosas, permítanme recordarles algunos factores no estadísticos o cuasiestadísticos que impactarán en las decisiones sobre qué es un tamaño de muestra adecuado y la tasa de respuesta:

1. Credibilidad percibida: Todos sabemos cuán influyentes son las percepciones. ¿Tu audiencia creerá que los datos de tu encuesta realmente los representan?
2. Necesitamos mirar subgrupos: Sabemos que hay consistentemente tres grupos de alto riesgo en los campus universitarios: estudiantes de primer año, miembros de fraternidad y atletas universitarios. Es difícil en una encuesta tan grande y costosa como la ACHA-NCHA lograr una representación adecuada de los miembros de la fraternidad y los atletas del equipo universitario, por lo que es posible que tenga que planificar encuestas a menor escala específicamente para esos grupos, si desea rastrear los cambios en la percepción, el uso y los resultados negativos para esos grupos de alto riesgo.
3. Sesgo: cuanto menor sea la tasa de respuesta, mayor será la probabilidad de que el grupo encuestado esté sesgado de alguna manera. Puede hacer que las diferencias longitudinales sean particularmente difíciles de interpretar: Si hay un cambio con respecto a los años de la encuesta anterior, es un cambio real o debido a algún sesgo en el grupo de respuesta (especialmente si los encuestados no son representativos en términos de exposición a la intervención o riesgo).
4. Representatividad demográfica: Esta es en realidad una subcategoría de sesgo, pero merece una mención especial, ya que sabemos que los factores demográficos (género, edad, raza/etnia) afectan las tasas y los patrones de consumo de alcohol. Incluso con una tasa de respuesta relativamente alta, siempre debe verificar si su muestra es demográficamente similar a su población.