MISE À JOUR 2019: Nous avons maintenant une série de vidéos explicatives qui explorent ce sujet de manière plus approfondie. Vous pouvez les trouver ici.

J’ai fait quelques recherches sur cette question. Ce qui suit est un résumé très peu académique et incomplet des informations de quelques articles et sites Web.

En utilisant une recherche Google Scholar pour les articles « taux de réponse à l’enquête” publiés entre 2010 et 2014, j’ai trouvé un article de revue de 2010 dans la revue Computers in Human Behavior:

Fan, W., &Yan, Z. (2010). Factors affecting response rates of the web survey: A systematic review. Computers in Human Behavior, 26 (2), 132-139.

Voici un fait intéressant que j’ai glané de cet article: « Sur la base d’une méta-analyse récente (Manfreda, Bosnjak, Berzelak, Haas, & Vehovar, 2008) de 45 études examinant les différences de taux de réponse entre les enquêtes Web et les autres modes d’enquête, on estime que le taux de réponse dans l’enquête Web est en moyenne d’environ 11% inférieur à celui des autres modes d’enquête.”

L’autre article d’un grand intérêt, et particulièrement pertinent pour les enquêtes sur le Web auprès des populations collégiales, est un article publié en 2011 dans Public Opinion Quarterly:

Millar, M.M., &Dillman, D.A. (2011) Amélioration de la réponse aux enquêtes sur le Web et en mode mixte. Opinion publique Q, 75(2): 249-269.

Résumé: Nous avons mené deux expériences visant à évaluer plusieurs stratégies pour améliorer la réponse aux enquêtes en mode mixte Web et Web/mail. Notre objectif était de déterminer les meilleures façons de maximiser les taux de réponse Web dans une population très alphabétisée sur Internet avec un accès complet à Internet. Nous constatons que fournir un choix simultané de modes de réponse n’améliore pas les taux de réponse (par rapport à ne fournir qu’une option de réponse par courrier). Cependant, l’offre séquentielle des différents modes de réponse, dans lesquels le Web est offert en premier et une option de suivi du courrier est utilisée dans le dernier contact, améliore les taux de réponse du Web et équivaut globalement à n’utiliser que le courrier. Nous montrons également que l’utilisation d’une combinaison de contacts postaux et électroniques et la fourniture d’un incitatif en espèces à l’avance sont deux méthodes utiles pour améliorer les taux de réponse Web. Ces expériences montrent que bien que différentes stratégies de mise en œuvre soient viables, la stratégie la plus efficace est l’utilisation combinée de multiples techniques induisant des réponses.

Ceci est tiré d’un article Web publié en 2009 par Kathy Biersdorff, consultante en affaires dans la région de Calgary.

Quand j’ai dit qu’il n’y avait pas de réponse simple à la question de savoir combien suffisait, cela ne signifie pas que les gens n’ont pas voulu enregistrer une réponse numérique. Voici quelques opinions d’experts sur ce qui est considéré comme bon ou adéquat comme un taux de réponse au sondage par courrier:

25% – Dr Norman Hertz interrogé par la Cour suprême de l’Arizona

30% – R. Allen Reese, directeur du Graduate Research Institute de Hull U. au Royaume-Uni

36% – H. W. Vanderleest (1996) taux de réponse atteint après un rappel

38% – en Slovénie où les enquêtes sont rares

50% – Babbie (1990, 1998)

60 %– Kiess &Bloomquist (1985) pour éviter les biais des répondants les plus heureux / mécontentsuniquement

60% – Étude de l’AAPOR portant sur les normes minimales de publication dans les revues clés

70% – Don A. Dillman (1974, 2000)

75% – Bailey (1987) cité dans Hager et al. (2003 in Nonprofit and Voluntary Sector Quarterly, pp. 252-267)

De plus, diverses études ont décrit leur taux de réponse comme « acceptable” à 10%, 54% et 65%, tandis que d’autres sur le site Web de l’American Psychological Association ont signalé des mises en garde concernant les différences entre les non-répondants pour les études avec des taux de réponse de 38,9%, 40% et 42%.

Je suis allé à la source de toutes les connaissances, Wikipedia, et j’ai trouvé un résumé plutôt agréable de certains articles examinant l’effet du taux de réponse:

Un premier exemple de découverte a été rapporté par Visser, Krosnick, Marquette et Curtin (1996) qui a montré que les enquêtes avec des taux de réponse plus faibles (près de 20%) donnaient des mesures plus précises que les enquêtes avec des taux de réponse plus élevés (près de 60 ou 70%). Dans une autre étude, Keeter et al. (2006) ont comparé les résultats d’une enquête de 5 jours utilisant la méthodologie habituelle du Pew Research Center (avec un taux de réponse de 25%) avec les résultats d’une enquête plus rigoureuse menée sur une période de terrain beaucoup plus longue et atteignant un taux de réponse plus élevé de 50%. Dans 77 des 84 comparaisons, les deux enquêtes ont donné des résultats statistiquement impossibles à distinguer. Parmi les éléments qui ont montré des différences significatives entre les deux enquêtes, les différences dans les proportions de personnes ayant donné une réponse particulière allaient de 4 à 8 points de pourcentage.

Une étude de Curtin et al. (2000) ont testé l’effet des taux de réponse plus faibles sur les estimations de l’Indice du sentiment des consommateurs (ICS). Ils ont évalué l’impact de l’exclusion des répondants qui ont initialement refusé de coopérer (ce qui réduit le taux de réponse de 5 à 10 points de pourcentage), des répondants qui ont eu besoin de plus de cinq appels pour terminer l’entrevue (ce qui a réduit le taux de réponse d’environ 25 points de pourcentage) et de ceux qui ont eu besoin de plus de deux appels (une réduction d’environ 50 points de pourcentage). Ils n’ont constaté aucun effet de l’exclusion de ces groupes de répondants sur les estimations de l’ICS en utilisant des échantillons mensuels de centaines de répondants. Pour les estimations annuelles, basées sur des milliers de répondants, l’exclusion des personnes qui avaient besoin d’un plus grand nombre d’appels (mais pas des refus initiaux) était très faible.

Holbrook et al. (2005) ont évalué si des taux de réponse plus faibles sont associés à une représentativité démographique moins pondérée d’un échantillon. En examinant les résultats de 81 enquêtes nationales avec des taux de réponse variant de 5 % à 54 %, ils ont constaté que les enquêtes avec des taux de réponse beaucoup plus faibles diminuaient la représentativité démographique dans la fourchette examinée, mais pas de beaucoup.

Enfin, pour compliquer davantage les choses, permettez-moi de vous rappeler quelques facteurs non statistiques ou quasi statistiques qui auront une incidence sur les décisions concernant la taille de l’échantillon et le taux de réponse adéquats:

1. Crédibilité perçue: Nous savons tous à quel point les perceptions sont influentes. Votre public croira-t-il que les données de votre sondage les représentent vraiment ?
2. Il faut examiner les sous-groupes: Nous savons qu’il y a toujours trois groupes à haut risque sur les campus universitaires: les étudiants de première année, les membres de la fraternité et les athlètes universitaires. Il est difficile dans une enquête aussi importante et coûteuse que l’ACHA-NCHA d’obtenir une représentation adéquate des membres de la fraternité et des athlètes universitaires, vous devrez donc peut-être planifier des enquêtes à plus petite échelle spécifiquement pour ces groupes, si vous souhaitez suivre les changements de perception, d’utilisation et de résultats négatifs pour ces groupes à haut risque.
3. Biais: plus le taux de réponse est bas, plus il y a de chances que le groupe de répondants soit biaisé d’une manière ou d’une autre. Cela peut rendre les différences longitudinales particulièrement difficiles à interpréter: S’il y a un changement par rapport aux années d’enquête précédentes, c’est qu’il s’agit d’un changement réel ou dû à un certain biais dans le groupe de réponse (en particulier si les répondants ne sont pas représentatifs en termes d’exposition à l’intervention ou au risque).
4. Représentativité démographique: Il s’agit en fait d’une sous-catégorie de biais, mais mérite une mention spéciale car nous savons que des facteurs démographiques (sexe, âge, race / ethnicité) influent sur les taux et les habitudes de consommation d’alcool. Même avec un taux de réponse relativement élevé, vous devriez toujours vérifier si votre échantillon est démographiquement similaire à votre population.