aktualizacja 2019: mamy teraz serię filmów wyjaśniających, które dokładniej omawiają ten temat. Można je znaleźć tutaj.

badałem to pytanie. Poniżej znajduje się bardzo nieakademickie i niekompletne zestawienie informacji z kilku artykułów i stron internetowych.

korzystając z wyszukiwarki Google Scholar dla artykułów „ankietowych” opublikowanych w latach 2010-2014, znalazłem artykuł przeglądowy z 2010 roku w czasopiśmie Computers in Human Behavior:

Fan, W.,& Yan, Z. (2010). Czynniki wpływające na wskaźniki odpowiedzi ankiety internetowej: przegląd systematyczny. Computers in Human Behavior, 26 (2), 132-139.

oto ciekawostka, którą wyciągnąłem z tego artykułu: „Na podstawie niedawnej metaanalizy (Manfreda, Bosnjak, Berzelak, Haas, & Vehovar, 2008) 45 badań analizujących różnice w wskaźniku odpowiedzi między ankietami internetowymi a innymi trybami badania szacuje się, że wskaźnik odpowiedzi w badaniu internetowym jest średnio o około 11% niższy niż w innych trybach badania.”

drugi artykuł o dużym zainteresowaniu i szczególnym znaczeniu dla internetowych badań populacji uczelni, to artykuł z 2011 roku w Kwartalniku opinii publicznej:

Millar , M. M., & Dillman, D. A. (2011) poprawa reakcji na badania internetowe i mieszane. Public Opin Q, 75(2): 249-269.

Streszczenie: przeprowadziliśmy dwa eksperymenty mające na celu ocenę kilku strategii poprawy odpowiedzi na ankiety mieszane w trybie internetowym i internetowym/pocztowym. Naszym celem było określenie najlepszych sposobów na maksymalizację współczynnika odpowiedzi w populacji o dużej znajomości Internetu z pełnym dostępem do Internetu. Stwierdzamy, że jednoczesne wybieranie trybów odpowiedzi nie poprawia szybkości odpowiedzi (w porównaniu do dostarczania tylko opcji odpowiedzi poczty). Jednak oferowanie sekwencyjnie różnych trybów odpowiedzi, w których sieć jest oferowana jako pierwsza, a opcja śledzenia poczty jest używana w kontakcie końcowym, poprawia szybkość reakcji sieci i jest ogólnie równoważna używaniu tylko poczty. Pokazujemy również, że wykorzystanie kombinacji kontaktów pocztowych i e-mailowych oraz wcześniejsze dostarczenie tokenu gotówkowego są użytecznymi metodami poprawy wskaźnika odpowiedzi w sieci. Eksperymenty te ilustrują, że chociaż różne strategie wdrażania są wykonalne, najbardziej skuteczną strategią jest połączone wykorzystanie wielu technik indukujących reakcję.

To jest z gazety internetowej z 2009 roku autorstwa Kathy Biersdorff, która jest konsultantem biznesowym w okolicy Calgary.

kiedy powiedziałem, że nie ma prostej odpowiedzi na pytanie, ile wystarczy, nie oznacza to, że ludzie nie chcą mówić o odpowiedzi numerycznej. Oto kilka opinii ekspertów na temat tego, co jest uważane za dobre lub odpowiednie jako wskaźnik odpowiedzi na ankietę pocztową:

25% – dr Norman Hertz na pytanie Sądu Najwyższego Arizony

30% – R. Allen Reese, kierownik Instytutu Badawczego Graduate w Hull U. w Wielkiej Brytanii

36% – H. W. Vanderleest (1996) wskaźnik odpowiedzi uzyskany po przypomnieniu

38% – w Słowenii, gdzie badania są rzadkie

50% – Babbie (1990, 1998)

60% – kiess & Bloomquist (1985) aby uniknąć stronniczości tylko przez najbardziej szczęśliwych/nieszczęśliwych respondentów

60% – badanie aapor dotyczące minimalnych standardów publikowania w kluczowych czasopismach

70% – don A. Dillman (1974, 2000)

75% – Bailey (1987) cytowany w Hager et al. (2003 in non-profit and Voluntary Sector Quarterly, PP.252-267)

ponadto różne badania opisały ich wskaźnik odpowiedzi jako „dopuszczalny” na poziomie 10%, 54% i 65%, podczas gdy inne na stronie American Psychological Association zgłosiły zastrzeżenia dotyczące różnic braku odpowiedzi w badaniach z 38,9%, 40% i 42% wskaźnikami odpowiedzi.

poszedłem do źródła całej wiedzy, Wikipedii i znalazłem dość ładne podsumowanie niektórych artykułów badających wpływ wskaźnika odpowiedzi:

jeden wczesny przykład odkrycia został zgłoszony przez Visser, Krosnick, Marquette and Curtin (1996), który wykazał, że ankiety o niższym wskaźniku odpowiedzi (blisko 20%) dały dokładniejsze pomiary niż ankiety o wyższym wskaźniku odpowiedzi (blisko 60 lub 70%). W innym badaniu, Keeter et al. (2006) porównano wyniki 5-dniowego badania wykorzystującego zwykłą metodologię Pew Research Center (z 25% wskaźnikiem odpowiedzi) z wynikami bardziej rygorystycznego badania przeprowadzonego w znacznie dłuższym okresie terenowym i osiągając wyższy wskaźnik odpowiedzi na poziomie 50%. W 77 z 84 porównań, dwa badania przyniosły wyniki, które były statystycznie nie do odróżnienia. Wśród elementów, które wykazały istotne różnice w obu badaniach, różnice w proporcjach osób udzielających konkretnej odpowiedzi wahały się od 4 punktów procentowych do 8 punktów procentowych.

a study by Curtin et al. (2000) badał wpływ niższych wskaźników odpowiedzi na szacunki wskaźnika nastrojów konsumentów (ICS). Oceniono wpływ wykluczenia respondentów, którzy początkowo odmówili współpracy (co zmniejsza wskaźnik odpowiedzi o 5-10 punktów procentowych), respondentów, którzy wymagali więcej niż pięciu połączeń, aby zakończyć rozmowę (zmniejszając wskaźnik odpowiedzi o około 25 punktów procentowych) oraz tych, którzy wymagali więcej niż dwóch połączeń (redukcja o około 50 punktów procentowych). Nie stwierdzono wpływu wykluczenia tych grup respondentów na szacunki ICS przy użyciu miesięcznych próbek setek respondentów. W przypadku rocznych szacunków, opartych na tysiącach respondentów, wykluczenie osób, które wymagały większej liczby połączeń (choć nie początkowych odmownych), miało bardzo mały charakter.

(2005) oceniła, czy niższy odsetek odpowiedzi wiąże się z mniej ważoną reprezentatywnością Demograficzną próby. Analizując wyniki 81 krajowych badań z odsetkami odpowiedzi wahającymi się od 5 procent do 54 procent, odkryli, że badania o znacznie niższym wskaźniku odpowiedzi zmniejszyły reprezentatywność demograficzną w badanym zakresie, ale nie o wiele.

wreszcie, aby jeszcze bardziej skomplikować sprawy, pozwolę sobie przypomnieć o kilku pozastatystycznych lub quasi-statystycznych czynników, które będą miały wpływ na decyzje dotyczące odpowiedniej wielkości próby i wskaźnika odpowiedzi:

1. postrzegana wiarygodność: wszyscy wiemy, jak wpływowe są postrzeganie. Czy Twoi odbiorcy uwierzą, że Twoje dane ankietowe naprawdę je reprezentują?
2. trzeba przyjrzeć się podgrupom: wiemy, że na uczelniach stale istnieją trzy grupy wysokiego ryzyka:nowi studenci, członkowie bractwa i sportowcy. Trudno jest w badaniu tak dużym i kosztownym jak ACHA-NCHA osiągnąć odpowiednią reprezentację członków bractwa i sportowców uniwersyteckich, więc być może będziesz musiał zaplanować badania na mniejszą skalę specjalnie dla tych grup, jeśli chcesz śledzić zmiany w percepcji, użyciu i negatywnych wynikach dla tych grup wysokiego ryzyka.
3. stronniczość: im niższy wskaźnik odpowiedzi, tym większa szansa, że grupa respondenta jest w jakiś sposób stronnicza. Może to sprawić, że różnice podłużne będą szczególnie trudne do zinterpretowania: jeśli nastąpi zmiana w stosunku do poprzednich lat badania, jest to rzeczywista zmiana lub ze względu na pewne odchylenia w grupie odpowiedzi (szczególnie jeśli respondenci nie są reprezentatywni pod względem narażenia na interwencję lub ryzyko).
4. reprezentatywność Demograficzna: W rzeczywistości jest to Podkategoria stronniczości, ale zasługuje na szczególną uwagę, ponieważ wiemy, że czynniki demograficzne (płeć, wiek, rasa/pochodzenie etniczne) wpływają na wskaźniki i wzorce picia alkoholu. Nawet przy stosunkowo wysokim wskaźniku odpowiedzi, zawsze należy sprawdzić, czy Twoja próbka jest demograficznie podobna do twojej populacji.