Сауалнамаға жауап беру деңгейінің түрлері

Кіріспе

Сауалнамалық зерттеулерде жауап беру көрсеткіші, сонымен қатар аяқталу көрсеткіші немесе қайтару көрсеткіші деп аталады, бұл сауалнамаға жауап берген адамдардың санының үлгідегі адамдардың санына бөлінуімен есептеледі. Ол әдетте проценттік түрде көрсетіледі. Бұл термин тікелей маркетингте ұсынысқа жауап берген адамдардың санын көрсету үшін де қолданылады. Академиялық сауалнамалардағы жалпы консенсус – Америкалық қоғамдық пікірді зерттеу қауымдастығы (AAPOR) жинақтаған алты анықтаманың біреуін таңдау. Бұл анықтамалар Ұлттық зерттеулер кеңесі және Америка медицина қауымдастығының журналы сияқты көптеген танымал мекемелермен бекітілген. Олар:

Жауап беру деңгейі 1 (RR1) – немесе ең төменгі жауап беру деңгейі, толық сұхбаттардың санының сұхбаттардың (толық және ішінара) санына, бас тартулар мен үзілістерге, байланыс орнату мүмкін болмаған жағдайларға және басқа жағдайларға, сондай-ақ белгісіз жарамдылық жағдайларының (тұрғын бірлігі белгісіз, белгісіз және басқа) санына бөлінуімен есептеледі. Жауап беру деңгейі 2 (RR2) – RR1 + ішінара сұхбаттарды респонденттер ретінде есептеу. Жауап беру деңгейі 3 (RR3) – белгісіз жарамдылық жағдайларының қанша пайызының іс жүзінде жарамды екенін бағалау. Жарамсыз деп есептелген респонденттер атаушыдан алынып тасталады. RR3-пен бірге есептеу әдісі міндетті түрде көрсетілуі керек. Жауап беру деңгейі 4 (RR4) – RR3-тегідей, белгісіз жарамдылық жағдайларын бөліп береді, сонымен қатар RR2-дегідей ішінара сұхбаттарды респонденттер ретінде қамтиды. Жауап беру деңгейі 5 (RR5) – белгісіз жарамдылық жағдайларының арасында жарамды жағдайлар жоқ деп есептелетін RR3-тің ерекше жағдайы немесе белгісіз жарамдылық жағдайлары жоқ сирек кездесетін жағдай. RR5 тек қана белгісіз жағдайлардың ешқайсысы да жарамды емес деп болжауға негіз болғанда немесе белгісіз жағдайлар болмағанда ғана қолданылады. Жауап беру деңгейі 6 (RR6) – RR5-пен бірдей болжам жасайды және респонденттер ретінде ішінара сұхбаттарды да қамтиды. RR6 – ең жоғары жауап беру деңгейін көрсетеді. AAPOR-дың алты анықтамасы сауалнамалардың толық немесе ішінара аяқталуына және зерттеушілердің белгісіз жауап бермегендермен қалай жұмыс істейтініне байланысты өзгеше. Мысалы, #1 анықтамасында жартылай аяқталған сауалнамалар есептегішке кірмейді, ал #2 анықтамасында кіреді. 3–6 анықтамалар байланыс орнатуға болмайтын әлеуетті респонденттердің жарамдылығына қатысты мәселелерді қарастырады. Мысалы, сіз сауалнама жүргізген 10 үйдің есіктерінде ешкім жауап бермейді. Мүмкін, сіз бұрыннан білетін 5 үйдің тұрғындары сіздің сауалнамаңызға сәйкес келеді, көршілеріңіздің кімдер тұрғанын айтқан, бірақ қалған 5 үй мүлдем белгісіз. Мүмкін, тұрғындар сіздің мақсатты тобыңызға сәйкес келер, мүмкін, сәйкес келмейді. Бұл сіздің жауап беру көрсеткішіңізге қалай әсер ететіні сіз қолданатын анықтамаға байланысты. Мысалы: егер 1000 сауалнама пошта арқылы жіберілсе, ал 257-сі толыққанды толтырылып қайтарылса, онда жауап беру көрсеткіші 25,7% құрайды.

Response Rate 1 (RR1) – or the minimum response rate, is the number of complete interviews divided by the number of interviews (complete plus partial) plus the number of non interviews (refusal and break off plus non contacts plus others) plus all cases of unknown eligibility (unknown if housing unit, plus unknown, other). Response Rate 2 (RR2) – RR1 + counting partial interviews as respondents. Response Rate 3 (RR3) – estimates what proportion of cases of unknown eligibility is actually eligible. Those respondents estimated to be ineligible are excluded from the denominator. The method of estimation *must* be explicitly stated with RR3. Response Rate 4 (RR4) – allocates cases of unknown eligibility as in RR3, but also includes partial interviews as respondents as in RR2. Response Rate 5 (RR5) – is either a special case of RR3 in that it assumes that there are no eligible cases among the cases of unknown eligibility or the rare case in which there are no cases of unknown eligibility. RR5 is only appropriate when it is valid to assume that none of the unknown cases are eligible ones, or when there are no unknown cases. Response Rate 6 (RR6) – makes that same assumption as RR5 and also includes partial interviews as respondents. RR6 represents the maximum response rate. The six AAPOR definitions vary with respect to whether or not the surveys are partially or entirely completed and how researchers deal with unknown nonrespondents. Definition #1, for example, does NOT include partially completed surveys in the numerator, while definition #2 does. Definitions 3–6 deal with the unknown eligibility of potential respondents who could not be contacted. For example, there is no answer at the doors of 10 houses you attempted to survey. Maybe 5 of those you already know house people who qualify for your survey based on neighbors telling you whom lived there, but the other 5 are completely unknown. Maybe the dwellers fit your target population, maybe they don't. This may or may not be considered in your response rate, depending on which definition you use. Example: if 1,000 surveys were sent by mail, and 257 were successfully completed (entirely) and returned, then the response rate would be 25.7%.

Маңыздылық

Сауалнаманың жауап беру көрсеткіші – сұхбатқа тартылған адамдар санын, үлгідегі қатысуға құқылы және сұхбаттасуы тиіс адамдардың жалпы санына бөлгенде шығатын нәтиже. Жауап беру көрсеткіші төмен болса, егер қатысушылардың арасында әсер ету және/немесе нәтиже бойынша жауап бермеу тең болмаса, іріктеуде қателіктер туындауы мүмкін. Мұндай қателік жауап бермеуге байланысты қателік деп аталады. Көп жылдар бойы сауалнаманың жауап беру көрсеткіші сауалнама сапасының маңызды көрсеткіші ретінде қарастырылып келді. Көптеген сарапшылар жоғары жауап беру көрсеткіші зерттеу нәтижелерінің дәлдігін қамтамасыз етеді деп есептеді (Адей, 1996; Бабби, 1990; Backstrom және Hursh, 1963; Rea және Parker, 1997). Бірақ жауап бермеу мен зерттеу деректерінің дәлдігі арасындағы байланысты өлшеу қиын және қымбат болғандықтан, жауап беру көрсеткішінің төмендеуінің салдарына қатысты нақты эмпирикалық зерттеулер соңғы жылдарға дейін аз болды. Мұндай зерттеулер соңғы жылдары жүргізілді, және олардың бірқатары жауап беру көрсеткішін арттыруға жұмсалатын шығындар зерттеу нәтижелерінің дәлдігіндегі айырмашылықты ескере отырып, ақталмайды деген қорытындыға келді. Бұл тұста Виссер, Кросник, Маркетт және Кертин (1996) жүргізген зерттеудің алғашқы мысалы келтіріледі. Олар төмен жауап беру көрсеткіші бар (шамамен 20%) сауалнамалар жоғары жауап беру көрсеткіші бар (шамамен 60 немесе 70%) сауалнамаларға қарағанда дәл деректер беретінін көрсетті. Тағы бір зерттеуде Китер және тағы басқалар (2006) Pew Research Center-дің әдеттегі әдістемесін қолданып, 5 күндік сауалнаманың нәтижелерін (жауап беру көрсеткіші 25%) ұзақ уақытқа созылған және 50% жауап беру көрсеткішіне қол жеткізген қатаң зерттеу нәтижелерімен салыстырды. 84 салыстырудың 77-сінде екі сауалнаманың нәтижелері статистикалық тұрғыдан айырмашылықсыз болды. Екі сауалнамада елеулі айырмашылықтар байқалған сұрақтарда, белгілі бір жауапты берген адамдардың үлесіндегі айырмашылық 4 пайыздық тармақтан 8 пайыздық тармаққа дейін болды. Curtin және тағы басқалар (2000) жүргізген зерттеуде тұтынушылар сенімі индексіне (ICS) төмен жауап беру көрсеткішінің әсері тексерілді. Олар алғашқыда ынтымақтасудан бас тартқан респонденттерді (жауап беру көрсеткіші 5-10 пайыздық тармаққа дейін төмендейді), сұхбатты аяқтау үшін бес респонденттен көп қоңырау шалуды қажет еткен респонденттерді (жауап беру көрсеткіші шамамен 25 пайыздық тармаққа дейін төмендейді) және екі респонденттен көп қоңырау шалуды қажет еткен респонденттерді (шамамен 50 пайыздық тармаққа дейін төмендейді) алып тастаудың әсерін бағалады. Олар жүздеген респонденттердің ай сайынғы үлгілерін пайдалана отырып, осы респонденттер тобын алып тастаудың ICS бағалауына әсерін таппады. Жылдық бағалаулар бойынша мыңдаған респонденттерден алынған мәліметтерге қарағанда, көбірек қоңырау шалуды қажет еткен адамдарды (алғашқыда бас тартқандарды емес) алып тастаудың әсері өте аз болды. Холбрук және тағы басқалар (2005) төмен жауап беру көрсеткішінің үлгінің салмақталмаған демографиялық өкілдігінің төмендеуімен байланысы бар ма екенін анықтады. Олар 5 пайыздан 54 пайызға дейін жауап берген 81 ұлттық сауалнаманың нәтижелерін зерттей отырып, жауап беру көрсеткіші төмен сауалнамалар қарастырылған диапазонның демографиялық өкілдіктерін төмендететінін, бірақ көп емес екенін анықтады. Чон және тағы басқалар (2013) функционалды асқазан-ішек бұзылыстары туралы пошта арқылы жіберілген сауалнамаға қоғамның жауап беру көрсеткішін қарастырды. Олардың қоғамдық сауалнамасына жауап беру көрсеткіші 52% құрады. Содан кейін олар медициналық деректерді алу үшін 428 жауап берушінің және 295 жауап бермегендердің кездейсоқ үлгісін алды және жауап берушілерді жауап бермегендермен салыстырды. Олар жауап берушілердің дене массасы индексінің жоғары екенін және ЖҚ-ға жатпайтын мәселелерге байланысты медициналық көмекке жүгінуге бейім екенін анықтады. Дегенмен, дивертикулез және тері ауруларын қоспағанда, жауап берушілер мен жауап бермегендердің арасында асқазан-ішек симптомдары немесе нақты медициналық диагноз бойынша ешқандай маңызды айырмашылықтар байқалған жоқ. Dvir және Gafni (2018) тұтынушылардың жауап беру көрсеткішіне ұсынылған ақпараттың көлемі әсер ететінін тексерді. Үлкен ауқымды веб-эксперименттер сериясында (n = 535 және n = 27 900) олар маркетингтік веб-беттердің нұсқаларын (сонымен қатар, қону беті деп аталады) салыстырып, мазмұнның өзгеруі пайдаланушылардың электрондық пошта мекенжайын беруге дайындығына қалай әсер ететіндігіне назар аударды (маркетинг терминдерінде конверсия деңгейі деп аталатын мінез-құлық). Нәтижелер көрсетті, қысқа беттерде жауап беру көрсеткіші жоғары, бұл бұрынғы жұмыстарға қайшы, барлық жауап беру көрсеткіштері онлайн режимінде тиімді емес екенін көрсетеді. Дегенмен, осы соңғы зерттеулерге қарамастан, жоғары жауап беру көрсеткіші қалануы керек, өйткені жоғалған деректер кездейсоқ емес. Кездейсоқ емес жоғалған деректермен күресуге қанағаттанарлық статистикалық шешім жоқ. Жауап берушілердің арасындағы шектен тыс қателіктерді болжау – төмен сауалнама жауап беру көрсеткіштерімен күресудің ұсынылған әдісінің бірі. Кішкентай, кездейсоқ үлгіден алынған жоғары жауап беру көрсеткіші (>80%) үлкен үлгіден алынған төмен жауап беру көрсеткішіне қарағанда артықшылықты.

A survey’s response rate is the result of dividing the number of people who were interviewed by the total number of people in the sample who were eligible to participate and should have been interviewed. A low response rate can give rise to sampling bias if the nonresponse is unequal among the participants regarding exposure and/or outcome. Such bias is known as nonresponse bias. For many years, a survey's response rate was viewed as an important indicator of survey quality. Many observers presumed that higher response rates assure more accurate survey results (Aday 1996; Babbie 1990; Backstrom and Hursh 1963; Rea and Parker 1997). But because measuring the relation between nonresponse and the accuracy of a survey statistic is complex and expensive, few rigorously designed studies provided empirical evidence to document the consequences of lower response rates until recently. Such studies have finally been conducted in recent years, and several conclude that the expense of increasing the response rate frequently is not justified given the difference in survey accuracy. One early example of a finding was reported by Visser, Krosnick, Marquette and Curtin (1996) who showed that surveys with lower response rates (near 20%) yielded more accurate measurements than did surveys with higher response rates (near 60 or 70%). In another study, Keeter et al. (2006) compared results of a 5 day survey employing the Pew Research Center’s usual methodology (with a 25% response rate) with results from a more rigorous survey conducted over a much longer field period and achieving a higher response rate of 50%. In 77 out of 84 comparisons, the two surveys yielded results that were statistically indistinguishable. Among the items that manifested significant differences across the two surveys, the differences in proportions of people giving a particular answer ranged from 4 percentage points to 8 percentage points. A study by Curtin et al. (2000) tested the effect of lower response rates on estimates of the Index of Consumer Sentiment (ICS). They assessed the impact of excluding respondents who initially refused to cooperate (which reduces the response rate 5–10 percentage points), respondents who required more than five calls to complete the interview (reducing the response rate about 25 percentage points), and those who required more than two calls (a reduction of about 50 percentage points). They found no effect of excluding these respondent groups on estimates of the ICS using monthly samples of hundreds of respondents. For yearly estimates, based on thousands of respondents, the exclusion of people who required more calls (though not of initial refusers) had a very small one. Holbrook et al. (2005) assessed whether lower response rates are associated with less unweighted demographic representativeness of a sample. By examining the results of 81 national surveys with response rates varying from 5 percent to 54 percent, they found that surveys with much lower response rates decreased demographic representativeness within the range examined, but not by much. Choung et al. (2013) looked at community response rate to a mailed questionnaire about functional gastrointestinal disorders. The response rate to their community survey was 52%. Then, they took a random sample of 428 responders and 295 nonresponders for medical record abstraction, and compared nonresponders against responders. They found that respondents had a significantly higher body mass index and more health care seeking behavior for non GI problems. However, except for diverticulosis and skin diseases, there was no significant difference between responders and nonresponders in terms of any gastrointestinal symptoms or specific medical diagnosis. Dvir and Gafni (2018) examined if consumer response rate is influenced by the amount of information provided. In a series of large scale web experiments (n= 535 and n= 27,900), they compared variants of marketing web pages (also called Landing page), focusing on how changes to content amount impact users’ willingness to provide their e mail address (a behavior called Conversion rate in marketing terms). The results showed significantly higher response rates on the shorter pages, which indicates that contrary to earlier work, not all response rate theories are effective online. Nevertheless, in spite of these recent research studies, a higher response rate is preferable because the missing data is not random. There is no satisfactory statistical solution to deal with missing data that may not be random. Assuming an extreme bias in the responders is one suggested method of dealing with low survey response rates. A high response rate (>80%) from a small, random sample is preferable to a low response rate from a large sample.