Коэффициент отклика в опросах: определения и расчеты AAPOR

Введение

В исследованиях, проводимых с помощью опросов, коэффициент отклика, также известный как коэффициент завершения или коэффициент возврата, представляет собой число людей, ответивших на опрос, деленное на число людей в выборке. Обычно он выражается в процентах. Этот термин также используется в прямом маркетинге для обозначения числа людей, откликнувшихся на предложение. Общий консенсус в академических опросах заключается в выборе одного из шести определений, обобщенных Американской ассоциацией исследований общественного мнения (AAPOR). Эти определения одобрены Национальным исследовательским советом и Журналом Американской медицинской ассоциации, среди других авторитетных организаций. Они следующие:

Коэффициент отклика 1 (RR1) – или минимальный коэффициент отклика, – это число завершенных интервью, деленное на число интервью (завершенных и частично завершенных) плюс число неинтервью (отказы и прерывания плюс невозможность установить контакт плюс прочие) плюс все случаи с неизвестной пригодностью (неизвестно, является ли объект жилым помещением, плюс неизвестно, прочие). Коэффициент отклика 2 (RR2) – RR1 плюс учет частично завершенных интервью в качестве ответов. Коэффициент отклика 3 (RR3) – оценивает, какая доля случаев с неизвестной пригодностью фактически пригодна. Респонденты, признанные непригодными, исключаются из знаменателя. Метод оценки *должен* быть четко указан при использовании RR3. Коэффициент отклика 4 (RR4) – распределяет случаи с неизвестной пригодностью, как в RR3, но также включает частично завершенные интервью в качестве ответов, как в RR2. Коэффициент отклика 5 (RR5) – является либо частным случаем RR3, предполагающим отсутствие пригодных случаев среди случаев с неизвестной пригодностью, либо редким случаем, когда случаев с неизвестной пригодностью нет. RR5 уместен только тогда, когда допустимо предположить, что ни один из неизвестных случаев не является пригодным, или когда неизвестных случаев нет. Коэффициент отклика 6 (RR6) – делает то же предположение, что и RR5, и также включает частично завершенные интервью в качестве ответов. RR6 представляет собой максимальный коэффициент отклика. Шесть определений AAPOR различаются в зависимости от того, полностью или частично завершены ли опросы, и от того, как исследователи поступают с неизвестными нереспондентами. Например, определение №1 НЕ включает частично завершенные опросы в числитель, в то время как определение №2 включает. Определения 3–6 касаются неизвестной пригодности потенциальных респондентов, с которыми не удалось связаться. Например, по адресам 10 домов, которые вы пытались опросить, никто не открыл дверь. Возможно, о 5 из них вы уже знаете, что там живут люди, соответствующие критериям вашего опроса, исходя из информации, полученной от соседей, но остальные 5 совершенно неизвестны. Возможно, жители этих домов соответствуют вашей целевой аудитории, а возможно, и нет. Это может учитываться или не учитываться в вашем коэффициенте отклика, в зависимости от выбранного вами определения. Пример: если 1000 анкет было отправлено по почте, и 257 из них были успешно заполнены (полностью) и возвращены, то коэффициент отклика составит 25,7%.

Response Rate 1 (RR1) – or the minimum response rate, is the number of complete interviews divided by the number of interviews (complete plus partial) plus the number of non interviews (refusal and break off plus non contacts plus others) plus all cases of unknown eligibility (unknown if housing unit, plus unknown, other). Response Rate 2 (RR2) – RR1 + counting partial interviews as respondents. Response Rate 3 (RR3) – estimates what proportion of cases of unknown eligibility is actually eligible. Those respondents estimated to be ineligible are excluded from the denominator. The method of estimation *must* be explicitly stated with RR3. Response Rate 4 (RR4) – allocates cases of unknown eligibility as in RR3, but also includes partial interviews as respondents as in RR2. Response Rate 5 (RR5) – is either a special case of RR3 in that it assumes that there are no eligible cases among the cases of unknown eligibility or the rare case in which there are no cases of unknown eligibility. RR5 is only appropriate when it is valid to assume that none of the unknown cases are eligible ones, or when there are no unknown cases. Response Rate 6 (RR6) – makes that same assumption as RR5 and also includes partial interviews as respondents. RR6 represents the maximum response rate. The six AAPOR definitions vary with respect to whether or not the surveys are partially or entirely completed and how researchers deal with unknown nonrespondents. Definition #1, for example, does NOT include partially completed surveys in the numerator, while definition #2 does. Definitions 3–6 deal with the unknown eligibility of potential respondents who could not be contacted. For example, there is no answer at the doors of 10 houses you attempted to survey. Maybe 5 of those you already know house people who qualify for your survey based on neighbors telling you whom lived there, but the other 5 are completely unknown. Maybe the dwellers fit your target population, maybe they don't. This may or may not be considered in your response rate, depending on which definition you use. Example: if 1,000 surveys were sent by mail, and 257 were successfully completed (entirely) and returned, then the response rate would be 25.7%.

Важность

Показатель отклика на опрос – это результат деления числа опрошенных на общее число людей из выборки, имевших право участвовать и подлежавших опросу. Низкий показатель отклика может привести к смещению выборки, если неответ будет неравномерным среди участников в отношении воздействия и/или исхода. Такое смещение известно как систематическая ошибка, связанная с неполнотой выборки. На протяжении многих лет показатель отклика на опрос рассматривался как важный индикатор качества опроса. Многие исследователи предполагали, что более высокие показатели отклика обеспечивают более точные результаты (Aday 1996; Babbie 1990; Backstrom and Hursh 1963; Rea and Parker 1997). Однако, поскольку измерение связи между неответностью и точностью статистических данных опроса является сложным и дорогостоящим, до недавнего времени лишь немногие тщательно разработанные исследования предоставили эмпирические доказательства последствий более низких показателей отклика. В последние годы такие исследования были проведены, и некоторые из них пришли к выводу, что затраты на повышение показателя отклика часто не оправданы, учитывая разницу в точности опроса. Одним из ранних примеров является исследование Visser, Krosnick, Marquette и Curtin (1996), которые показали, что опросы с более низкими показателями отклика (около 20%) давали более точные результаты, чем опросы с более высокими показателями отклика (около 60 или 70%). В другом исследовании Keeter и др. (2006) сравнили результаты 5-дневного опроса, проведенного с использованием обычной методологии исследовательского центра Pew (с 25% показателем отклика), с результатами более строгого опроса, проведенного в течение более длительного периода времени и достигшего 50% показателя отклика. В 77 из 84 сравнений результаты двух опросов были статистически неотличимы. Среди вопросов, в которых были обнаружены значительные различия между двумя опросами, различия в долях людей, дающих конкретный ответ, составляли от 4 до 8 процентных пунктов. Исследование Curtin и др. (2000) проверило влияние более низких показателей отклика на оценки Индекса потребительского настроения (ICS). Они оценили влияние исключения респондентов, которые изначально отказались от сотрудничества (что снижает показатель отклика на 5–10 процентных пунктов), респондентов, которым потребовалось более пяти звонков для завершения интервью (снижая показатель отклика примерно на 25 процентных пунктов), и тех, кому потребовалось более двух звонков (снижение примерно на 50 процентных пунктов). Они не обнаружили влияния исключения этих групп респондентов на оценки ICS, используя ежемесячные выборки из сотен респондентов. Для годовых оценок, основанных на тысячах респондентов, исключение людей, которым потребовалось больше звонков (но не первоначальных отказников), было очень незначительным. Holbrook и др. (2005) оценили, связаны ли более низкие показатели отклика с меньшей репрезентативностью выборки по демографическим признакам. Изучив результаты 81 национального опроса с показателями отклика от 5 до 54 процентов, они обнаружили, что опросы с гораздо более низкими показателями отклика снижали демографическую репрезентативность в исследуемом диапазоне, но не в значительной степени. Choung и др. (2013) изучили показатель отклика сообщества на почтовый опросник о функциональных расстройствах желудочно-кишечного тракта. Показатель отклика на опрос сообщества составил 52%. Затем они взяли случайную выборку из 428 ответивших и 295 не ответивших для извлечения данных из медицинских карт и сравнили не ответивших с ответившими. Они обнаружили, что у ответивших значительно выше индекс массы тела и более выраженное стремление к медицинской помощи при проблемах, не связанных с ЖКТ. Однако, за исключением дивертикулеза и кожных заболеваний, не было значительных различий между ответившими и не ответившими в отношении каких-либо желудочно-кишечных симптомов или конкретного медицинского диагноза. Dvir и Gafni (2018) изучили, влияет ли объем предоставленной информации на показатель отклика потребителей. В серии крупномасштабных веб-экспериментов (n= 535 и n= 27 900) они сравнили варианты маркетинговых веб-страниц (также называемых посадочными страницами), сосредоточившись на том, как изменения объема контента влияют на готовность пользователей предоставлять свой адрес электронной почты (поведение, называемое коэффициентом конверсии в маркетинговых терминах). Результаты показали значительно более высокие показатели отклика на более коротких страницах, что указывает на то, что вопреки предыдущим работам, не все теории показателей отклика эффективны в Интернете. Тем не менее, несмотря на эти недавние исследования, более высокий показатель отклика предпочтительнее, поскольку отсутствующие данные не являются случайными. Не существует удовлетворительного статистического решения для работы с отсутствующими данными, которые могут быть не случайными. Предположение об экстремальном смещении среди ответивших является одним из предложенных методов решения проблемы низкого показателя отклика на опрос. Высокий показатель отклика (>80%) из небольшой случайной выборки предпочтительнее низкого показателя отклика из большой выборки.

A survey’s response rate is the result of dividing the number of people who were interviewed by the total number of people in the sample who were eligible to participate and should have been interviewed. A low response rate can give rise to sampling bias if the nonresponse is unequal among the participants regarding exposure and/or outcome. Such bias is known as nonresponse bias. For many years, a survey's response rate was viewed as an important indicator of survey quality. Many observers presumed that higher response rates assure more accurate survey results (Aday 1996; Babbie 1990; Backstrom and Hursh 1963; Rea and Parker 1997). But because measuring the relation between nonresponse and the accuracy of a survey statistic is complex and expensive, few rigorously designed studies provided empirical evidence to document the consequences of lower response rates until recently. Such studies have finally been conducted in recent years, and several conclude that the expense of increasing the response rate frequently is not justified given the difference in survey accuracy. One early example of a finding was reported by Visser, Krosnick, Marquette and Curtin (1996) who showed that surveys with lower response rates (near 20%) yielded more accurate measurements than did surveys with higher response rates (near 60 or 70%). In another study, Keeter et al. (2006) compared results of a 5 day survey employing the Pew Research Center’s usual methodology (with a 25% response rate) with results from a more rigorous survey conducted over a much longer field period and achieving a higher response rate of 50%. In 77 out of 84 comparisons, the two surveys yielded results that were statistically indistinguishable. Among the items that manifested significant differences across the two surveys, the differences in proportions of people giving a particular answer ranged from 4 percentage points to 8 percentage points. A study by Curtin et al. (2000) tested the effect of lower response rates on estimates of the Index of Consumer Sentiment (ICS). They assessed the impact of excluding respondents who initially refused to cooperate (which reduces the response rate 5–10 percentage points), respondents who required more than five calls to complete the interview (reducing the response rate about 25 percentage points), and those who required more than two calls (a reduction of about 50 percentage points). They found no effect of excluding these respondent groups on estimates of the ICS using monthly samples of hundreds of respondents. For yearly estimates, based on thousands of respondents, the exclusion of people who required more calls (though not of initial refusers) had a very small one. Holbrook et al. (2005) assessed whether lower response rates are associated with less unweighted demographic representativeness of a sample. By examining the results of 81 national surveys with response rates varying from 5 percent to 54 percent, they found that surveys with much lower response rates decreased demographic representativeness within the range examined, but not by much. Choung et al. (2013) looked at community response rate to a mailed questionnaire about functional gastrointestinal disorders. The response rate to their community survey was 52%. Then, they took a random sample of 428 responders and 295 nonresponders for medical record abstraction, and compared nonresponders against responders. They found that respondents had a significantly higher body mass index and more health care seeking behavior for non GI problems. However, except for diverticulosis and skin diseases, there was no significant difference between responders and nonresponders in terms of any gastrointestinal symptoms or specific medical diagnosis. Dvir and Gafni (2018) examined if consumer response rate is influenced by the amount of information provided. In a series of large scale web experiments (n= 535 and n= 27,900), they compared variants of marketing web pages (also called Landing page), focusing on how changes to content amount impact users’ willingness to provide their e mail address (a behavior called Conversion rate in marketing terms). The results showed significantly higher response rates on the shorter pages, which indicates that contrary to earlier work, not all response rate theories are effective online. Nevertheless, in spite of these recent research studies, a higher response rate is preferable because the missing data is not random. There is no satisfactory statistical solution to deal with missing data that may not be random. Assuming an extreme bias in the responders is one suggested method of dealing with low survey response rates. A high response rate (>80%) from a small, random sample is preferable to a low response rate from a large sample.