2019 päivitys: meillä on nyt sarja selittävämpiä videoita, joissa pureudutaan aiheeseen perusteellisemmin. Löydät ne täältä.

olen tutkinut tätä kysymystä. Seuraavassa on hyvin epäoppinen ja epätäydellinen Yhteenveto muutamien artikkelien ja verkkosivujen tiedoista.

Google Scholar-hakua käyttäen vuosina 2010-2014 julkaistuista ”survey response rates” – artikkeleista löysin vuoden 2010 arvosteluartikkelin Computers in Human Behavior:

Fan, W., & Yan, Z. (2010). Web-kyselyn vastausprosentteihin vaikuttavat tekijät: systemaattinen katsaus. Computers in Human Behavior, 26(2), 132-139.

tässä mielenkiintoinen fakta, jonka sain tuosta artikkelista: ”Perustuen tuoreeseen meta-analyysiin (Manfreda, Bosnjak, Berzelak, Haas, & Vehovar, 2008) 45 tutkimuksesta, jossa tutkittiin vastausasteiden eroja web-kyselyjen ja muiden kyselytapojen välillä, on arvioitu, että vastausaste web-kyselyssä on keskimäärin noin 11% pienempi kuin muissa kyselytiloissa.”

toinen erittäin kiinnostava ja erityisesti yliopistoväestöä koskevien web-pohjaisten tutkimusten kannalta merkityksellinen artikkeli on vuonna 2011 Public Opinion Quarterlyssä julkaistu artikkeli:

Millar, M. M., & Dillman , D. A. (2011) verkko-ja Sekatapakyselyihin vastaamisen parantaminen. Julkinen Opinn Q, 75(2): 249-269.

Abstract: teimme kaksi koetta, joiden tarkoituksena oli arvioida useita strategioita Web-ja Web / mail-sekatutkimusten vasteen parantamiseksi. Tavoitteenamme oli selvittää parhaita tapoja maksimoida Web vastausprosentit erittäin Internet-lukutaitoinen väestö, jolla on täysi Internet-yhteys. Havaitsemme, että samanaikaisen vastaustapojen valinnan tarjoaminen ei paranna vastausasteita (verrattuna vain postin vastausvaihtoehdon tarjoamiseen). Kuitenkin tarjoamalla eri vastaustavat peräkkäin, jossa Web tarjotaan ensin ja sähköpostin seurantavaihtoehto käytetään lopullisessa yhteydenotossa, parantaa Web-vastausasteita ja on kaiken kaikkiaan sama kuin käyttäisi vain postia. Osoitamme myös, että sekä posti-että sähköpostiyhteyksien yhdistelmän hyödyntäminen ja token cash-kannustimen toimittaminen etukäteen ovat molemmat hyödyllisiä menetelmiä Web-vastausprosenttien parantamiseksi. Nämä kokeet osoittavat, että vaikka eri täytäntöönpanostrategiat ovat toteuttamiskelpoisia, tehokkain strategia on useiden vastetta indusoivien tekniikoiden yhdistetty käyttö.

Tämä on vuodelta 2009, jonka on kirjoittanut Calgaryn alueella liike-elämän konsulttina toimiva Kathy Biersdorff.

kun sanoin, että kysymykseen siitä, kuinka monta on tarpeeksi, ei ole yksinkertaista vastausta, se ei tarkoita sitä, että ihmiset olisivat olleet haluttomia numerovastaukseen. Seuraavassa on joitakin asiantuntijoiden lausuntoja siitä, mitä pidetään hyvänä tai riittävänä postikyselyn vastausprosenttina:

25% – Dr. Norman Hertz, kun Arizonan korkeimmalta oikeudelta kysyttiin

30% – R. Allen Reese, Graduate Research Institute of Hull U: n johtaja Yhdistyneessä kuningaskunnassa

36% – H. W. Vanderleest (1996) vaste saavutettiin muistutuksen jälkeen

38% – Sloveniassa, jossa tutkimukset ovat melko harvinaisia

50% – Babbie (1990, 1998)

60% – kiess & Bloomquist (1985) välttääkseen puolueellisuuden kaikkein iloisimmilla/tyytymättömimmillä vastaajilla vain

60% – aapor – tutkimus, jossa tarkasteltiin avainlehdissä julkaistavuuden vähimmäisvaatimuksia

70% – Don A. Dillman (1974, 2000)

75% – Bailey (1987) mainittu teoksessa Hager et al. (2003 in Nonprofit and Voluntary Sector Quarterly, s.252-267)

lisäksi useat tutkimukset kuvasivat niiden vasteprosentin ”hyväksyttäväksi” (10%, 54% ja 65%), kun taas toiset American Psychological Associationin verkkosivuilla raportoitiin varoituksia, jotka koskivat eroja, jotka eivät saaneet vastetta tutkimuksissa, joissa vasteprosentit olivat 38, 9%, 40% ja 42%.

menin kaiken tiedon lähteeseen, Wikipediaan, ja löysin melko mukavan yhteenvedon joistakin vastausprosentin vaikutusta tutkivista artikkeleista:

yksi varhainen esimerkki havainnosta oli Visser, Krosnick, Marquette and Curtin (1996), joka osoitti, että kyselyt, joissa vastausprosentti oli alhaisempi (lähes 20%), tuottivat tarkempia mittauksia kuin kyselyt, joissa vastausprosentti oli korkeampi (lähes 60 tai 70%). Toisessa tutkimuksessa, Keeter et al. (2006) verrattiin Pew Research Centerin tavanomaisen metodologian (25%: n vastausprosentin) 5-päiväisen tutkimuksen tuloksia tiukemman kyselyn tuloksiin, jotka tehtiin paljon pidemmän kenttäjakson aikana ja saavutettiin suurempi vastausprosentti, 50%. 77: ssä 84 vertailusta nämä kaksi tutkimusta tuottivat tuloksia, joita ei voinut tilastollisesti erottaa toisistaan. Kahdessa kyselyssä merkittäviä eroja ilmenneiden seikkojen joukossa erityisen vastauksen antaneiden osuuksien erot vaihtelivat 4 prosenttiyksiköstä 8 prosenttiyksikköön.

Curtinin ym. (2000) testasi alhaisempien vastausprosenttien vaikutusta kuluttajien Mielialaindeksin (ICS) estimaatteihin. He arvioivat, mitä vaikutuksia oli sillä, että jätettiin pois ne vastaajat, jotka alun perin kieltäytyivät yhteistyöstä (mikä vähentää vastausprosenttia 5-10 prosenttiyksikköä), vastaajat, jotka vaativat enemmän kuin viisi puhelua haastattelun loppuun saattamiseksi (vastausprosentti laski noin 25 prosenttiyksikköä), ja vastaajat, jotka vaativat enemmän kuin kaksi puhelua (vähennys noin 50 prosenttiyksikköä). He eivät havainneet näiden vastaajaryhmien poissulkemisella olevan mitään vaikutusta arvioihin, jotka perustuvat satojen vastaajien kuukausittaisiin otoksiin ICS: stä. Vuosittaisissa arvioissa, jotka perustuvat tuhansiin vastaajiin, enemmän puheluita vaatineiden henkilöiden (joskaan ei ensimmäisten kieltäytyjien) poissulkeminen oli hyvin vähäistä.

Holbrook et al. (2005) arvioitiin, liittyykö alhaisempiin vasteprosentteihin vähemmän painottamaton otoksen demografinen edustavuus. Tarkastelemalla 81 kansallisen tutkimuksen tuloksia, joiden vastausprosentti vaihteli 5 prosentista 54 prosenttiin, he havaitsivat, että tutkimukset, joissa vastausprosentti oli paljon pienempi, vähensivät demografista edustavuutta tutkitulla vaihteluvälillä, mutta eivät paljon.

lopuksi Ja vielä mutkistaakseni asioita muistutan muutamista ei-tilastollisista tai lähes-tilastollisista tekijöistä, jotka vaikuttavat päätöksiin siitä, mikä on riittävä otoskoko ja vastausaste:

1. koettu uskottavuus: me kaikki tiedämme, miten vaikuttavia käsitykset ovat. Uskooko yleisösi, että kyselyaineistosi todella edustaa heitä?
2. tarvitsee tarkastella alaryhmiä: tiedämme, että yliopistokampuksilla on jatkuvasti kolme korkean riskin ryhmää: saapuvat fuksit, veljeskunnan jäsenet ja yliopistourheilijat. On vaikeaa niin suuri ja kallis kuin acha-NCHA saavuttaa riittävä edustus veljeys jäsen ja varsity urheilijoita, joten saatat joutua suunnittelemaan pienemmän mittakaavan tutkimuksia erityisesti näille ryhmille, jos haluat seurata muutoksia käsitys, käyttö, ja negatiivisia tuloksia noille korkean riskin ryhmille.
3. Bias: mitä pienempi vastausprosentti, sitä todennäköisemmin vastaajaryhmä on jollain tavalla puolueellinen. Pituussuuntaisia eroja voi olla erityisen vaikea tulkita: jos muutos edellisiin tutkimusvuosiin verrattuna on todellinen muutos tai se johtuu vastausryhmän vinoumasta (erityisesti jos vastaajat eivät ole edustavia altistuksen tai riskin suhteen).
4. demografinen edustavuus: Tämä on itse asiassa puolueellisuuden alaluokka, mutta se ansaitsee erityismaininnan, koska tiedämme, että demografiset tekijät (sukupuoli, ikä, rotu/etnisyys) vaikuttavat juomamääriin ja-tapoihin. Vaikka vastausprosentti on suhteellisen korkea, kannattaa aina tarkistaa, onko otos demografisesti samanlainen kuin väestö.