Регрессия к среднему: статистический феномен.

Введение

Статистическое явление

В статистике регрессия к среднему (также называемая возвратом к среднему и возвратом к посредственности) – это явление, при котором, если одна выборка случайной величины является экстремальной, следующая выборка той же случайной величины, скорее всего, будет ближе к её среднему значению. Более того, когда отбирается множество случайных величин и наиболее экстремальные результаты выбираются намеренно, это указывает на то, что во многих случаях повторная выборка этих отобранных величин приведёт к "менее экстремальным" результатам, более близким к исходному среднему значению всех величин. Математически, сила этого эффекта "регрессии" зависит от того, извлекаются ли все случайные величины из одного и того же распределения, или существуют ли реальные различия в базовых распределениях для каждой случайной величины. В первом случае эффект "регрессии" статистически вероятен, но во втором случае он может проявляться слабее или вовсе не проявляться. Таким образом, регрессия к среднему – полезная концепция, которую следует учитывать при разработке любого научного эксперимента, анализа данных или теста, который намеренно отбирает наиболее экстремальные события. Это указывает на то, что повторные проверки могут быть полезны, чтобы избежать поспешных и ошибочных выводов об этих событиях; они могут быть подлинными экстремальными событиями, совершенно случайным отбором из-за статистического шума или сочетанием этих двух факторов.

Простой пример: студенты сдают тест

Представьте себе класс студентов, сдающих тест из 100 вопросов с вариантами ответа «верно» или «неверно» по определенному предмету. Предположим, что все студенты выбирают ответы случайным образом. Тогда оценка каждого студента будет являться реализацией одной из совокупности независимых и одинаково распределенных случайных величин со средним ожидаемым значением 50. Естественно, некоторым студентам удастся набрать значительно больше 50, а другим – значительно меньше, просто по случайности. Если отобрать только 10% студентов с наивысшими баллами и предложить им сдать второй тест, в котором они снова будут выбирать ответы случайным образом, то средний балл снова, вероятно, будет близок к 50. Таким образом, средний балл этих студентов «регрессирует» к среднему баллу всех студентов, сдававших исходный тест. Независимо от того, какой балл студент набрал на первом тесте, наилучшим прогнозом его балла на втором тесте будет 50. Если бы выбор ответов на вопросы теста не был случайным – то есть, если бы не было никакой удачи (как хорошей, так и плохой) или случайного угадывания при выборе ответов студентами – то все студенты, вероятно, набрали бы на втором тесте такой же балл, как и на первом, и не наблюдалось бы регрессии к среднему. Большинство реальных ситуаций находятся между этими двумя крайностями: например, можно рассматривать результаты экзаменов как комбинацию навыков и удачи. В этом случае подгруппа студентов, набравших выше среднего, будет состоять из тех, кто обладает навыками и не столкнулся с особой неудачей, а также из тех, кто не обладает навыками, но им чрезвычайно повезло. При повторной сдаче этого подмножества студентов, маловероятно, что студенты с недостаточными навыками повторят свою удачу, в то время как студенты с навыками получат второй шанс на неудачу. Следовательно, те, кто хорошо сдал первый тест, вряд ли покажут такие же хорошие результаты на втором тесте, даже если исходный тест нельзя будет воспроизвести. Следующий пример иллюстрирует второй тип регрессии к среднему. Класс студентов сдает два варианта одного и того же теста в два последовательных дня. Часто наблюдается, что студенты, показавшие худшие результаты в первый день, как правило, улучшают свои результаты во второй день, а студенты, показавшие лучшие результаты в первый день, как правило, показывают худшие результаты во второй день. Это происходит потому, что оценки студентов определяются частично их способностями, а частично случайностью. В первом тесте некоторым повезет и они наберут больше, чем позволяют их способности, а другим не повезет и они наберут меньше. Некоторые из счастливчиков на первом тесте снова будут удачливы на втором тесте, но большинство из них получат (для себя) средние или нижесредние баллы. Поэтому студент, которому повезло и который превзошел свои способности на первом тесте, с большей вероятностью получит худший результат на втором тесте, чем лучший. Аналогично, студенты, которым не повезло и которые набрали меньше, чем позволяют их способности на первом тесте, с большей вероятностью увидят, как их баллы увеличатся на втором тесте. Чем больше влияние удачи на возникновение экстремального события, тем меньше вероятность того, что удача повторится в нескольких событиях.

Consider a class of students taking a 100 item true/false test on a subject. Suppose that all students choose randomly on all questions. Then, each student's score would be a realization of one of a set of independent and identically distributed random variables, with an expected mean of 50. Naturally, some students will score substantially above 50 and some substantially below 50 just by chance. If one selects only the top scoring 10% of the students and gives them a second test on which they again choose randomly on all items, the mean score would again be expected to be close to 50. Thus the mean of these students would "regress" all the way back to the mean of all students who took the original test. No matter what a student scores on the original test, the best prediction of their score on the second test is 50. If choosing answers to the test questions was not random – i. e. if there were no luck (good or bad) or random guessing involved in the answers supplied by the students – then all students would be expected to score the same on the second test as they scored on the original test, and there would be no regression toward the mean. Most realistic situations fall between these two extremes: for example, one might consider exam scores as a combination of skill and luck. In this case, the subset of students scoring above average would be composed of those who were skilled and had not especially bad luck, together with those who were unskilled, but were extremely lucky. On a retest of this subset, the unskilled will be unlikely to repeat their lucky break, while the skilled will have a second chance to have bad luck. Hence, those who did well previously are unlikely to do quite as well in the second test even if the original cannot be replicated. The following is an example of this second kind of regression toward the mean. A class of students takes two editions of the same test on two successive days. It has frequently been observed that the worst performers on the first day will tend to improve their scores on the second day, and the best performers on the first day will tend to do worse on the second day. The phenomenon occurs because student scores are determined in part by underlying ability and in part by chance. For the first test, some will be lucky, and score more than their ability, and some will be unlucky and score less than their ability. Some of the lucky students on the first test will be lucky again on the second test, but more of them will have (for them) average or below average scores. Therefore, a student who was lucky and over performed their ability on the first test is more likely to have a worse score on the second test than a better score. Similarly, students who unluckily score less than their ability on the first test will tend to see their scores increase on the second test. The larger the influence of luck in producing an extreme event, the less likely the luck will repeat itself in multiple events.

Другие примеры

Если ваша любимая спортивная команда выиграла чемпионат в прошлом году, что это говорит об их шансах на победу в следующем сезоне? Чем больше этот результат обусловлен мастерством команды (хорошей формой игроков, сильным тренером и т.п.), тем вероятнее, что они выиграют и в следующем году. Но чем больше в этом везения (скандалы с допингом у соперников, удачная жеребьевка, удачный выбор на драфте и т.д.), тем меньше вероятность повторного успеха. Если у компании был высокоприбыльный квартал, при этом фундаментальные факторы, определяющие ее деятельность, не изменились, то, скорее всего, в следующем квартале ее результаты будут хуже. Бейсболисты, успешно проявившие себя в первый сезон, как правило, играют хуже во второй; это явление известно как "синдром второго года". Подобным образом, регрессия к среднему может объяснить "проклятие обложки Sports Illustrated" – периоды выдающихся результатов, приводящие к появлению спортсмена на обложке журнала, обычно сменяются периодами более скромных достижений, создавая впечатление, что публикация на обложке негативно влияет на карьеру спортсмена.

Открытие

Ф. Галтон, 1886 г. Иллюстрация корреляции между ростом взрослых и ростом их родителей. Галтон заметил, что крайние характеристики (например, рост) у родителей не передаются потомству в полной мере. Скорее, характеристики потомства регрессируют к некоторой средней точке (которая впоследствии была определена как среднее значение). Измеряя рост сотен людей, он смог количественно оценить регрессию к среднему и определить величину эффекта. Галтон писал, что "средняя регрессия потомства представляет собой постоянную долю соответствующих средних отклонений родителей". Это означает, что разница между ребенком и его родителями по определенной характеристике пропорциональна отклонению родителей от типичных значений в популяции. Если оба родителя на два дюйма выше среднего роста для мужчин и женщин, то, в среднем, рост потомства будет на некоторый фактор (который сегодня мы называем единицей минус коэффициентом регрессии) умноженный на два дюйма, ниже, чем у родителей. Для роста Галтон оценил этот коэффициент примерно в 2/3: рост человека будет близок к средней точке, которая составляет две трети отклонения родителей от среднего показателя по популяции. Галтон также опубликовал эти результаты, используя более простой пример шариков, падающих через доску Гальтона и образующих нормальное распределение, центрированное непосредственно под точкой входа. Затем эти шарики могли быть выпущены в другую галерею, соответствующую второму измерению. После этого Галтон задал обратный вопрос: "Откуда пришли эти шарики?". Ответ заключался не в том, что они пришли прямо сверху в среднем. Скорее, в среднем они пришли из области, смещенной к центру, по той простой причине, что над центром было больше шариков, которые могли отклониться влево, чем в крайнем левом положении, которые могли отклониться вправо, внутрь.

Развитие употребления термина

Гальтон ввел термин «регрессия» для описания наблюдаемого факта в наследовании многофакторных количественных генетических признаков: а именно, что признаки потомства родителей, находящихся в крайних значениях распределения, часто оказываются ближе к центру, к среднему значению распределения. Он количественно оценил эту тенденцию и, сделав это, изобрел линейный регрессионный анализ, тем самым заложив основу для большей части современного статистического моделирования. С тех пор термин «регрессия» используется в других контекстах, и современные статистики могут применять его для описания явлений, таких как систематическая ошибка выборки, которые мало связаны с первоначальными наблюдениями Гальтона в области генетики. Объяснение Гальтона феномена регрессии, наблюдаемого им в биологии, звучало следующим образом: «Ребенок наследует частично от своих родителей, частично от своих предков. В общем, чем дальше его родословная, тем многочисленнее и разнообразнее становится его происхождение, пока оно не перестанет отличаться от любой равнозначной случайной выборки из всей популяции». Это было ошибочное предположение, поскольку регрессия к среднему не основана на причинно-следственных связях, а скорее на случайной погрешности в естественном распределении вокруг среднего значения. Хотя крайние индивидуальные измерения стремятся к среднему, вторая выборка измерений не будет ближе к среднему, чем первая. Вернемся к примеру со студентами. Предположим, что крайние значения имеют тенденцию регрессировать на 10% к среднему значению 80, то есть студент, набравший 100 баллов в первый день, предположительно наберет 98 баллов во второй день, а студент, набравший 70 баллов в первый день, предположительно наберет 71 балл во второй день. Эти ожидания ближе к среднему, чем результаты первого дня. Однако результаты второго дня будут варьироваться вокруг этих ожиданий: у кого-то они будут выше, у кого-то ниже. Для крайних значений мы ожидаем, что второй результат будет ближе к среднему, чем первый, но для всех студентов мы ожидаем, что распределение отклонений от среднего будет одинаковым для обеих выборок измерений. В связи с этим, регрессия к среднему работает одинаково эффективно в обоих направлениях. Мы ожидаем, что студент с самым высоким результатом во второй день теста показал худший результат в первый день. И если мы сравним лучшего студента в первый день с лучшим студентом во второй день, независимо от того, один и тот же это человек или нет, не будет наблюдаться тенденции к регрессии к среднему в каком-либо направлении. Мы ожидаем, что лучшие результаты в оба дня будут одинаково далеки от среднего.

Galton coined the term "regression" to describe an observable fact in the inheritance of multi factorial quantitative genetic traits: namely that traits of the offspring of parents who lie at the tails of the distribution often tend to lie closer to the centre, the mean, of the distribution. He quantified this trend, and in doing so invented linear regression analysis, thus laying the groundwork for much of modern statistical modelling. Since then, the term "regression" has been used in other contexts, and it may be used by modern statisticians to describe phenomena such as sampling bias which have little to do with Galton's original observations in the field of genetics. Galton's explanation for the regression phenomenon he observed in biology was stated as follows: "A child inherits partly from his parents, partly from his ancestors. Speaking generally, the further his genealogy goes back, the more numerous and varied will his ancestry become, until they cease to differ from any equally numerous sample taken at haphazard from the race at large." Such a decision was a mistake, because regression toward the mean is not based on cause and effect, but rather on random error in a natural distribution around a mean. Although extreme individual measurements regress toward the mean, the second sample of measurements will be no closer to the mean than the first. Consider the students again. Suppose the tendency of extreme individuals is to regress 10% of the way toward the mean of 80, so a student who scored 100 the first day is expected to score 98 the second day, and a student who scored 70 the first day is expected to score 71 the second day. Those expectations are closer to the mean than the first day scores. But the second day scores will vary around their expectations; some will be higher and some will be lower. For extreme individuals, we expect the second score to be closer to the mean than the first score, but for all individuals, we expect the distribution of distances from the mean to be the same on both sets of measurements. Related to the point above, regression toward the mean works equally well in both directions. We expect the student with the highest test score on the second day to have done worse on the first day. And if we compare the best student on the first day to the best student on the second day, regardless of whether it is the same individual or not, there is no tendency to regress toward the mean going in either direction. We expect the best scores on both days to be equally far from the mean.

Ошибки регрессии

Многие явления, как правило, приписываются неверным причинам, когда регрессия к среднему не принимается во внимание. Ярким примером служит книга Гораса Секриста 1933 года «Триумф посредственности в бизнесе», в которой профессор статистики собрал огромное количество данных, чтобы доказать, что нормы прибыли конкурентоспособных предприятий со временем стремятся к среднему значению. На самом деле, такого эффекта не существует; изменчивость норм прибыли практически постоянна во времени. Секрист лишь описал обычную регрессию к среднему. Один возмущенный рецензент, Гарольд Хотеллинг, сравнил книгу с «доказательством таблицы умножения путем расстановки слонов в ряды и столбцы, а затем повторения того же с многочисленными другими видами животных». Расчет и интерпретация «показателей улучшения» на стандартизированных образовательных тестах в штате Массачусетс, вероятно, представляют собой еще один пример ошибочности регрессии. В 1999 году школам были поставлены цели по улучшению результатов. Для каждой школы Департамент образования рассчитал разницу между средними баллами учащихся в 1999 и 2000 годах. Быстро выяснилось, что большинство школ с наихудшими показателями достигли своих целей, что Департамент образования воспринял как подтверждение обоснованности своей политики. Однако также было отмечено, что многие из предположительно лучших школ штата, такие как Бруклинская средняя школа (с 18 финалистами Национальной стипендии за заслуги), были признаны не достигшими поставленных целей. Как и во многих случаях, связанных со статистикой и государственной политикой, этот вопрос остается предметом споров, но «показатели улучшения» в последующие годы не публиковались, и результаты, по-видимому, являются проявлением регрессии к среднему. Психолог Даниэль Канеман, лауреат Нобелевской премии по экономическим наукам 2002 года, указал на то, что регрессия к среднему может объяснить, почему упреки могут улучшить результаты, а похвала, кажется, дает обратный эффект. Обман регрессии также объясняется в книге Рольфа Добелли «Искусство ясного мышления». Политика правоохранительных органов Великобритании поощряет видимое размещение стационарных или мобильных камер контроля скорости в местах концентрации аварий. Эта политика была оправдана предположением о соответствующем снижении числа серьезных дорожно-транспортных происшествий после установки камеры. Однако статистики отмечают, что, хотя наблюдается чистый положительный эффект в плане спасенных жизней, игнорирование эффектов регрессии к среднему приводит к завышению благоприятного эффекта. Статистические аналитики давно признают эффект регрессии к среднему в спорте и даже дали ему специальное название: «синдром второго года». Например, Кармело Энтони из «Денвер Наггетс» провел выдающийся дебютный сезон в НБА в 2004 году. Он был настолько выдающимся, что не стоило ожидать его повторения: в 2005 году показатели Энтони снизились по сравнению с его дебютным сезоном. Причин «синдрома второго года» много, поскольку спорт предполагает адаптацию и контр-адаптацию, но удача, сопутствовавшая новичку, является столь же хорошей причиной, как и любая другая. Регрессия к среднему в спортивных результатах также может объяснить кажущийся «проклятием обложки Sports Illustrated» и «проклятие Маддена». Джон Холлингер предложил альтернативное название для феномена регрессии к среднему: «правило случайности», а Билл Джеймс называет его «Принципом Плексигласа». Поскольку популярные представления сосредоточены на регрессии к среднему как на объяснении снижения результатов спортсменов с одного сезона на другой, часто упускается из виду тот факт, что такая регрессия также может объяснить улучшение результатов. Например, если посмотреть на средний показатель отбивания игроков Высшей бейсбольной лиги за сезон, то те, у кого этот показатель был выше среднего по лиге, как правило, снижаются к среднему в следующем году, а те, у кого он был ниже среднего, как правило, повышаются к среднему в следующем году.

Many phenomena tend to be attributed to the wrong causes when regression to the mean is not taken into account. An extreme example is Horace Secrist's 1933 book The Triumph of Mediocrity in Business, in which the statistics professor collected mountains of data to prove that the profit rates of competitive businesses tend toward the average over time. In fact, there is no such effect; the variability of profit rates is almost constant over time. Secrist had only described the common regression toward the mean. One exasperated reviewer, Harold Hotelling, likened the book to "proving the multiplication table by arranging elephants in rows and columns, and then doing the same for numerous other kinds of animals". The calculation and interpretation of "improvement scores" on standardized educational tests in Massachusetts probably provides another example of the regression fallacy. In 1999, schools were given improvement goals. For each school, the Department of Education tabulated the difference in the average score achieved by students in 1999 and in 2000. It was quickly noted that most of the worst performing schools had met their goals, which the Department of Education took as confirmation of the soundness of their policies. However, it was also noted that many of the supposedly best schools in the Commonwealth, such as Brookline High School (with 18 National Merit Scholarship finalists) were declared to have failed. As in many cases involving statistics and public policy, the issue is debated, but "improvement scores" were not announced in subsequent years and the findings appear to be a case of regression to the mean. The psychologist Daniel Kahneman, winner of the 2002 Nobel Memorial Prize in Economic Sciences, pointed out that regression to the mean might explain why rebukes can seem to improve performance, while praise seems to backfire. The regression fallacy is also explained in Rolf Dobelli's The Art of Thinking Clearly. UK law enforcement policies have encouraged the visible siting of static or mobile speed cameras at accident blackspots. This policy was justified by a perception that there is a corresponding reduction in serious road traffic accidents after a camera is set up. However, statisticians have pointed out that, although there is a net benefit in lives saved, failure to take into account the effects of regression to the mean results in the beneficial effects being overstated. Statistical analysts have long recognized the effect of regression to the mean in sports; they even have a special name for it: the "sophomore slump". For example, Carmelo Anthony of the NBA's Denver Nuggets had an outstanding rookie season in 2004. It was so outstanding that he could not be expected to repeat it: in 2005, Anthony's numbers had dropped from his rookie season. The reasons for the "sophomore slump" abound, as sports rely on adjustment and counter adjustment, but luck based excellence as a rookie is as good a reason as any. Regression to the mean in sports performance may also explain the apparent "Sports Illustrated cover jinx" and the "Madden Curse". John Hollinger has an alternative name for the phenomenon of regression to the mean: the "fluke rule", while Bill James calls it the "Plexiglas Principle". Because popular lore has focused on regression toward the mean as an account of declining performance of athletes from one season to the next, it has usually overlooked the fact that such regression can also account for improved performance. For example, if one looks at the batting average of Major League Baseball players in one season, those whose batting average was above the league mean tend to regress downward toward the mean the following year, while those whose batting average was below the mean tend to progress upward toward the mean the following year.

Другие статистические явления

Регрессия к среднему просто означает, что после экстремального случайного события следующее случайное событие, скорее всего, будет менее экстремальным. Будущее событие ни в коем случае не "компенсирует" и не "выравнивает" предыдущее, хотя это и подразумевается в заблуждении игрока (и его варианте – законе средних значений). Аналогично, закон больших чисел утверждает, что в долгосрочной перспективе среднее значение будет стремиться к математическому ожиданию, но не делает никаких заявлений об отдельных испытаниях. Например, после серии из 10 орлов при подбрасывании честной монеты (редкое, экстремальное событие), регрессия к среднему предсказывает, что следующая серия орлов, вероятно, будет меньше 10, в то время как закон больших чисел утверждает, что в долгосрочной перспективе это событие усреднится, и средняя доля орлов будет стремиться к 1/2. В отличие от этого, игрок ошибочно полагает, что монете теперь "пора" выпасть серией решек, чтобы восстановить равновесие. Обратный эффект – регрессия к хвосту, возникающая в распределениях с ненулевой плотностью вероятности к бесконечности.

Определение простой линейной регрессии точек данных

Это определение регрессии к среднему, которое тесно следует оригинальному использованию сэра Фрэнсиса Гальтона. Ниже приводится неформальное описание вышеуказанного определения. Рассмотрим популяцию виджетов. Каждый виджет имеет два числа, X1 и X2 (например, его левый размер (X1) и правый размер (X2)). Предположим, что вероятностные распределения X1 и X2 в популяции идентичны, и что средние значения X1 и X2 равны μ. Теперь мы берем случайный виджет из популяции и обозначаем его значение X1 как c. (c может быть больше, равно или меньше μ.) У нас пока нет доступа к значению X2 этого виджета. Пусть d обозначает ожидаемое значение X2 этого конкретного виджета. (то есть, пусть d обозначает среднее значение X2 всех виджетов в популяции с X1=c.) Если верно следующее условие:
независимо от значения c, d лежит между μ и c (то есть, d ближе к μ, чем c),

то мы говорим, что X1 и X2 демонстрируют регрессию к среднему. Это определение тесно соответствует современному общепринятому использованию, развившемуся из первоначального использования Гальтоном термина "регрессия к среднему". Оно "ограничивающее" в том смысле, что не каждое бивариантное распределение с идентичными краевыми распределениями проявляет регрессию к среднему (в соответствии с этим определением). Следовательно, если 0 ≤ r < 1, то (X, Y) демонстрирует регрессию к среднему (в соответствии с этим определением).

Общее определение

Следующее определение возврата к среднему было предложено Сэмюэльсом как альтернатива более узкому определению регрессии к среднему, представленному выше.