2019 Frissítés: most már van egy sor magyarázó videó, amely alaposabban vizsgálja meg ezt a témát. Itt megtalálja őket.

ezt a kérdést vizsgálom. Az alábbiakban néhány cikkből és webhelyről származó információk nagyon nem tudományos és hiányos összefoglalása olvasható.

a 2010-2014 között megjelent “felmérési válaszarányok” cikkek Google Scholar keresésével találtam egy 2010-es áttekintő cikket a Computers in Human Behavior folyóiratban:

Fan, W., & Yan, Z. (2010). A webes felmérés válaszarányát befolyásoló tényezők: szisztematikus áttekintés. Számítógépek az emberi viselkedésben, 26(2), 132-139.

itt van egy érdekes tény, amelyet ebből a cikkből gyűjtöttem: “Egy közelmúltbeli meta-elemzés (Manfreda, Bosnjak, Berzelak, Haas, & Vehovar, 2008) alapján 45 tanulmány, amelyek a webes felmérések és más felmérési módok közötti válaszadási arány különbségeit vizsgálják, becslések szerint a webes felmérés válaszadási aránya átlagosan körülbelül 11% – kal alacsonyabb, mint a többi felmérési módé.”

a másik, nagy érdeklődésre számot tartó cikk, amely különös jelentőséggel bír a főiskolai népesség webes felmérései szempontjából, egy 2011-es cikk a közvéleményben negyedévente:

Millar, M. M., & Dillman, D. A. (2011) a webes és vegyes módú felmérésekre adott válaszok javítása. Nyilvános Opin Q, 75 (2): 249-269.

absztrakt: két kísérletet végeztünk, amelyek célja számos stratégia értékelése a webes és Web/mail vegyes módú felmérésekre adott válasz javítására. Célunk az volt, hogy meghatározzák a legjobb módja, hogy maximalizálja a Web válasz aránya egy nagyon internet-írástudó lakosság teljes Internet-hozzáférés. Megállapítottuk, hogy a válaszmódok egyidejű választásának biztosítása nem javítja a válaszadási arányokat (összehasonlítva azzal, hogy csak e-mail válasz opciót biztosítunk). Azonban a különböző válaszmódok egymás után történő felkínálása, amelyben először a Web-et kínálják, a végső kapcsolattartásban pedig egy e-mail nyomon követési lehetőséget használnak, javítja a webes válaszadási arányokat, és összességében egyenértékű a csak mail használatával. Azt is megmutatjuk, hogy mind a postai, mind az e-mail kapcsolatok kombinációjának felhasználása, valamint a token Készpénz-ösztönzés előzetes átadása egyaránt hasznos módszerek a webes válaszadási arányok javítására. Ezek a kísérletek azt mutatják, hogy bár a különböző végrehajtási stratégiák életképesek, a leghatékonyabb stratégia a többszörös válaszindukáló technikák együttes alkalmazása.

Ez Kathy Biersdorff 2009 – es weblapjából származik, aki üzleti tanácsadó a Calgary területén.

amikor azt mondtam, hogy nincs egyszerű válasz arra a kérdésre, hogy hány elég, ez nem jelenti azt, hogy az emberek nem voltak hajlandóak numerikus választ adni. Íme néhány szakértői vélemények, hogy mi tekinthető jó vagy megfelelő, mint egy mail felmérés válaszadási arány:

25% – Dr. Norman Hertz, amikor kérte a Legfelsőbb Bíróság Arizona

30% – R. Allen Reese, az Egyesült Királyság Hull U. végzős Kutatóintézetének igazgatója

36% – HW. Vanderleest (1996) válaszadási arány érhető el, miután egy emlékeztető

38% – Szlovéniában, ahol a felmérések uncommon

50% – Lovacska (1990, 1998)

60% – Kiess & Meghalt (1985) hogy elkerüljék az elfogultság, amelyet a legtöbb boldog/boldogtalan válaszadók csak

60% – AAPOR tanulmány nézi vonatkozó minimumszabályok publishability a legfontosabb folyóiratok

70% – Don A. Dillman (1974, 2000)

75% – Bailey (1987) idézett Hager et al. (2003 Nonprofit Önkéntes Szektor Negyedéves, pp. 252-267)

amellett, különböző tanulmányok leírt, a válaszadási arány, mint az “elfogadható” 10% – os, 54%, 65%, míg mások az Amerikai Pszichológiai társaság honlapján számolt be kikötéssel kapcsolatos non-responder különbségek tanulmányok 38.9%, 40% 42% válasz árak.

elmentem a fount of all knowledge, Wikipedia, és találtam egy meglehetősen szép összefoglaló néhány cikket hatását vizsgáló válasz arány:

egy korai példa a megállapítás jelentette Visser, Krosnick, Marquette and Curtin (1996), aki azt mutatta, hogy a felmérések alacsonyabb válaszadási arány (közel 20%) eredményezett pontosabb méréseket, mint a felmérések magasabb válaszadási arány (közel 60 vagy 70%). Egy másik tanulmányban Keeter et al. (2006) a Pew Kutatóközpont szokásos módszertanát alkalmazó 5 napos felmérés eredményeit (25%-os válaszaránnyal) hasonlította össze egy sokkal hosszabb területen végzett szigorúbb felmérés eredményeivel, és magasabb, 50% – os válaszarányt ért el. A 84 összehasonlításból 77-ben a két felmérés statisztikailag megkülönböztethetetlen eredményeket hozott. A két felmérés között jelentős különbségeket mutató tételek között az adott választ adó emberek arányában mutatkozó különbségek 4 százalékponttól 8 százalékpontig terjedtek.

Curtin et al. (2000) tesztelte az alacsonyabb válaszarányok hatását a fogyasztói hangulatindex (ICS) becsléseire. Ők értékelte a hatása, kivéve a válaszadók, akik kezdetben nem volt hajlandó együttműködni (ami csökkenti a válaszadási arány 5-10 százalékponttal), a válaszadók, akik a szükséges több mint öt hívások teljes interjú (csökkenti a válaszadási arány 25 százalékponttal), valamint azok, akik a szükséges több mint két hívás (csökkenés körülbelül 50 százalékponttal). Nem találtak hatást arra, hogy ezeket a válaszadó csoportokat kizárják az ICS becsléseire, több száz válaszadó havi mintáinak felhasználásával. Éves becslések szerint, több ezer válaszadó alapján, nagyon kicsi volt azoknak a kizárása, akik több hívást igényeltek (bár nem kezdeti elutasítók).

Holbrook et al. (2005) megvizsgálta, hogy az alacsonyabb válaszarányok összefüggenek-e a minta kevésbé súlytalan demográfiai reprezentativitásával. A 81 országos felmérés eredményeit vizsgálva, amelyek válaszaránya 5 százalékról 54 százalékra változott, azt találták, hogy a sokkal alacsonyabb válaszaránnyal rendelkező felmérések a vizsgált tartományon belül csökkentették a demográfiai reprezentativitást, de nem sokat.

végül, hogy tovább bonyolítsuk a dolgokat, hadd emlékeztessem Önöket néhány nem statisztikai vagy kvázi-statisztikai tényezőre, amelyek befolyásolják a megfelelő mintaméret és válaszarány döntéseit:

1. vélt hihetőség: mindannyian tudjuk, milyen befolyásos észlelések vannak. Vajon a közönség úgy gondolja, hogy a felmérési adatok valóban képviseli őket?
2. meg kell nézni az alcsoportokat: tudjuk, hogy az egyetemi campusokon következetesen három magas kockázatú csoport van: bejövő gólyák, Testvériség tagjai és egyetemi sportolók. Nehéz egy felmérés olyan nagy és költséges, mint az ACHA-NCHA, hogy elérjék a megfelelő képviselete testvériség tagja és egyetemi sportolók, így lehet, hogy tervezni kisebb léptékű felmérések kifejezetten az említett csoportok, Ha azt szeretné, hogy nyomon változások észlelés, használat, és negatív eredményeket az említett magas kockázatú csoportok.
3. : minél alacsonyabb a válaszadási arány, annál nagyobb az esély arra, hogy a válaszadó csoport valamilyen módon elfogult. A hosszanti különbségeket különösen nehéz értelmezni: ha változás következik be az előző felmérési évekhez képest, az valódi változás vagy a válaszcsoport bizonyos elfogultsága miatt (különösen, ha a válaszadók nem reprezentatívak a beavatkozásnak vagy a kockázatnak való kitettség szempontjából).
4. demográfiai reprezentativitás: Ez valójában az elfogultság alkategóriája, de külön említést érdemel, mivel tudjuk, hogy a demográfiai tényezők (nem, életkor, faj/etnikai hovatartozás) befolyásolják az ivási arányokat és a mintákat. Még viszonylag magas válaszadási arány mellett is mindig ellenőrizze, hogy a minta demográfiai szempontból hasonló-e a lakossághoz.