2019 UPDATE: Vi har nå en serie forklaringsvideoer som utforsker dette emnet mer grundig. Du finner dem her.

jeg har gjort noen undersøkelser av dette spørsmålet. Det som følger er en svært u-akademisk og ufullstendig oppsummering av informasjon fra noen artikler og nettsteder.

Ved Å Bruke Et Google Scholar-søk etter» survey response rates » – artikler publisert fra 2010-2014, fant jeg en 2010-oversiktsartikkel i tidsskriftet Computers in Human Behavior:

Fan, W., & Yan, Z. (2010). Faktorer som påvirker svarprosenten til webundersøkelsen: en systematisk gjennomgang. Datamaskiner I Menneskelig Atferd, 26 (2), 132-139.

her er et interessant faktum jeg hentet fra den artikkelen: «Basert på en nylig meta-analyse (manfreda, Bosnjak, Berzelak, Haas, & Vehovar, 2008) av 45 studier som undersøker forskjeller i svarprosenten mellom webundersøkelser og andre undersøkelsesmoduser, anslås det at svarprosenten i webundersøkelsen i gjennomsnitt er omtrent 11% lavere enn for andre undersøkelsesmoduser.»

Den andre artikkelen av stor interesse, og særlig relevans for nettbaserte undersøkelser av høyskolepopulasjoner, er en 2011 artikkel I Public Opinion Quarterly:

Millar , Mm, & Dillman, Da (2011) Bedre Respons På Web Og Mixed-Mode Undersøkelser. Offentlig Opin Q, 75 (2): 249-269.

Sammendrag: Vi gjennomførte to eksperimenter designet for å evaluere flere strategier for å forbedre respons På Web og Web/mail blandet modus undersøkelser. Vårt mål var å finne de beste måtene å maksimere Web svarprosent i en svært Internett-rate befolkning med full internettilgang. Vi finner at det å gi et samtidig valg av responsmodi ikke forbedrer responsraten (sammenlignet med bare å gi et postresponsalternativ). Men å tilby de forskjellige svarmodusene sekvensielt, Der Web tilbys først og et postoppfølgingsalternativ brukes i den endelige kontakten, forbedrer Webresponsfrekvenser og er generelt ekvivalent med å bruke bare e-post. Vi viser også at bruk av en kombinasjon av både post-og e-postkontakter og levering av et token cash incitament på forhånd er begge nyttige metoder for å forbedre Webresponsfrekvenser. Disse forsøkene illustrerer at selv om ulike implementeringsstrategier er levedyktige, er den mest effektive strategien kombinert bruk av flere responsinducerende teknikker.

Dette er fra en 2009 web papir Av Kathy Biersdorff som er en konsulent I Calgary-området.

når jeg sa at det ikke er noe enkelt svar på spørsmålet om hvor mange som er nok, betyr det ikke at folk har vært villige til å gå på rekord med et numerisk svar. Her er noen ekspertuttalelser om hva som anses som god eller tilstrekkelig som en mail undersøkelse svarprosent:

25% – Dr. Norman Hertz når spurt Av Høyesterett I Arizona

30% – R. Allen Reese, leder Av Graduate Research Institute Of Hull U. i Storbritannia

36% – Hw Vanderleest (1996) responsrate oppnådd etter en påminnelse

38% – I Slovenia hvor undersøkelser er uvanlige

50% – Babbie (1990, 1998)

60% – kiess & bloomquist (1985) for å unngå bias av de mest glade/ulykkelige respondentene bare

60% – aapor studie som ser på minimumsstandarder for publiserbarhet i viktige tidsskrifter

70% – don a. Dillman (1974, 2000)

75% – Bailey (1987) sitert I Hager et al. (2003 I Nonprofit Og Frivillig Sektor Kvartalsvis, s. 252-267)

i tillegg beskrev ulike studier deres responsrate som «akseptabel» ved 10%, 54% og 65%, mens Andre på American Psychological Association nettsiden rapporterte advarsler om ikke-responder forskjeller for studier med 38,9%, 40% og 42% responsrate.

Jeg gikk til kilden til All kunnskap, Wikipedia, Og fant et ganske fint sammendrag av noen artikler som undersøkte effekten av responsrate:

et tidlig eksempel på et funn ble rapportert Av Visser, Krosnick, Marquette og Curtin (1996) som viste at undersøkelser med lavere responsrate (nær 20%) ga mer nøyaktige målinger enn undersøkelser med høyere responsrate (nær 60 eller 70%). I en annen studie, Keeter et al. (2006) sammenlignet resultatene fra en 5-dagers undersøkelse ved Bruk Av pew Research Centers vanlige metodikk (med en 25% svarprosent) med resultater fra en strengere undersøkelse gjennomført over en mye lengre feltperiode og oppnådd en høyere svarprosent på 50%. I 77 av 84 sammenligninger ga de to undersøkelsene resultater som var statistisk uutslettelige. Blant de elementene som manifesterte betydelige forskjeller på tvers av de to undersøkelsene, varierte forskjellene i proporsjoner av personer som ga et bestemt svar fra 4 prosentpoeng til 8 prosentpoeng.

en studie Av Curtin et al. (2000) testet effekten av lavere responsrater på estimater Av Index Of Consumer Sentiment (ICS). De vurderte effekten av å ekskludere respondenter som i utgangspunktet nektet å samarbeide (som reduserer svarprosenten 5-10 prosentpoeng), respondenter som krevde mer enn fem samtaler for å fullføre intervjuet (redusere svarprosenten om 25 prosentpoeng), og de som krevde mer enn to samtaler (en reduksjon på om lag 50 prosentpoeng). De fant ingen effekt av å ekskludere disse respondentgruppene på estimater av ICS ved hjelp av månedlige prøver av hundrevis av respondenter. For årlige estimater, basert på tusenvis av respondenter, hadde utelukkelsen av personer som krevde flere samtaler (men ikke av innledende refusers) en veldig liten.

Holbrook et al. (2005) vurdert om lavere responsrater er knyttet til mindre uvektet demografisk representativitet av et utvalg. Ved å undersøke resultatene fra 81 nasjonale undersøkelser med responsrater varierende fra 5 prosent til 54 prosent, fant de at undersøkelser med mye lavere responsrater reduserte demografisk representativitet innenfor det undersøkte området, men ikke mye.

Til Slutt, og for å ytterligere komplisere saker, la meg minne deg om noen ikke-statistiske eller kvasi-statistiske faktorer som vil påvirke beslutninger om hva som er en tilstrekkelig utvalgsstørrelse og responsrate:

1. Oppfattet troverdighet: Vi vet alle hvor innflytelsesrike oppfatninger er. Vil publikum tro at spørreundersøkelsesdataene virkelig representerer dem?
2. Trenger å se på undergrupper: Vi vet at det er konsekvent tre høyrisikogrupper på høyskoler: innkommende freshmen, brorskap medlemmer og varsity idrettsutøvere. Det er vanskelig i en undersøkelse så stor OG kostbar SOM ACHA-NCHA å oppnå en tilstrekkelig representasjon av brorskapsmedlem og varsity idrettsutøvere, så du må kanskje planlegge på mindre skala undersøkelser spesielt for disse gruppene, hvis du vil spore endringer i oppfatning, bruk og negative utfall for de høyrisikogruppene.
3. Bias: jo lavere svarprosent, jo større sjanse for at respondentgruppen er partisk på en eller annen måte. Det kan gjøre langsgående forskjeller spesielt vanskelig å tolke: hvis det er en endring fra de foregående undersøkelsesårene, er det en reell endring eller på grunn av noe skjevhet i responsgruppen (spesielt hvis respondentene ikke er representative når det gjelder eksponering for tiltaket eller risikoen).
4. Demografisk representativitet: Dette er faktisk en underkategori av bias, men fortjener spesiell omtale siden vi vet at demografiske faktorer (kjønn, alder, rase/etnisitet) påvirker drikkefrekvenser og mønstre. Selv med en relativt høy svarprosent, bør du alltid sjekke om prøven din er demografisk lik populasjonen din.