Закон Бенфорда: Анализ первых цифр в числовых данных

Закон Бенфорда: удивительное правило о распределении первых цифр в наборах данных. Цифра 1 встречается чаще, чем другие. Применение в анализе данных и статистике.

11 мин чтения

100%

Источник: Benford's law — Wikipedia

Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.

Содержание

Введение

Наблюдение о том, что во многих реальных наборах данных ведущая цифра, скорее всего, будет небольшой.

Закон Бенфорда, также известный как закон Ньюкомба — Бенфорда, закон аномальных чисел или закон первой цифры, представляет собой наблюдение о том, что во многих реальных наборах численных данных ведущая цифра, вероятно, будет небольшой. В наборах, подчиняющихся этому закону, цифра 1 встречается в качестве ведущей значащей цифры примерно в 30% случаев, в то время как цифра 9 — менее чем в 5% случаев. При равномерном распределении цифр каждая из них встречалась бы примерно в 11,1% случаев. Закон Бенфорда также делает прогнозы относительно распределения второй цифры, третьей цифры, комбинаций цифр и так далее. График справа иллюстрирует закон Бенфорда для основания 10, являясь одним из бесконечного множества случаев обобщенного закона, применимого к числам, представленным в произвольных (целых) системах счисления, что исключает возможность того, что это явление является артефактом десятичной системы счисления. Дальнейшие обобщения, опубликованные в 1995 году, включали аналогичные утверждения как для n-й ведущей цифры, так и для совместного распределения первых n цифр, последнее из которых приводит к следствию, согласно которому значащие цифры являются статистически зависимой величиной. Показано, что этот результат применим к широкому спектру наборов данных, включая счета за электроэнергию, адреса улиц, цены на акции, цены на недвижимость, численность населения, показатели смертности, длины рек, а также физические и математические константы. Как и другие общие принципы, касающиеся естественных данных — например, тот факт, что многие наборы данных хорошо аппроксимируются нормальным распределением, — существуют иллюстративные примеры и объяснения, охватывающие многие случаи, когда применяется закон Бенфорда, хотя есть и множество других случаев, для которых закон Бенфорда применим, но не поддается простым объяснениям. Закон Бенфорда, как правило, наиболее точен, когда значения распределены по нескольким порядкам величины, особенно если процесс генерации чисел описывается степенным законом (который часто встречается в природе). Закон назван в честь физика Фрэнка Бенфорда, который сформулировал его в 1938 году в статье под названием «Закон аномальных чисел», хотя он был впервые сформулирован Саймоном Ньюкомбом в 1881 году. Пунктирная линия показывает распределение P(d) при условии его равномерности. (На SVG-изображении наведите курсор на график, чтобы увидеть значение для каждой точки.) Обобщение закона Бенфорда предсказывает распределение первых цифр в системах счисления, отличных от десятичной; фактически, для любого основания b ≥ 2. Общая форма выглядит следующим образом:

Benford's law, also known as the Newcomb–Benford law, the law of anomalous numbers, or the first digit law, is an observation that in many real life sets of numerical data, the leading digit is likely to be small. In sets that obey the law, the number 1 appears as the leading significant digit about 30% of the time, while 9 appears as the leading significant digit less than 5% of the time. Uniformly distributed digits would each occur about 11.1% of the time. Benford's law also makes predictions about the distribution of second digits, third digits, digit combinations, and so on. The graph to the right shows Benford's law for base 10, one of infinitely many cases of a generalized law regarding numbers expressed in arbitrary (integer) bases, which rules out the possibility that the phenomenon might be an artifact of the base 10 number system. Further generalizations published in 1995 included analogous statements for both the nth leading digit and the joint distribution of the leading n digits, the latter of which leads to a corollary wherein the significant digits are shown to be a statistically dependent quantity. It has been shown that this result applies to a wide variety of data sets, including electricity bills, street addresses, stock prices, house prices, population numbers, death rates, lengths of rivers, and physical and mathematical constants. Like other general principles about natural data—for example, the fact that many data sets are well approximated by a normal distribution—there are illustrative examples and explanations that cover many of the cases where Benford's law applies, though there are many other cases where Benford's law applies that resist simple explanations. Benford's Law tends to be most accurate when values are distributed across multiple orders of magnitude, especially if the process generating the numbers is described by a power law (which is common in nature). The law is named after physicist Frank Benford, who stated it in 1938 in an article titled "The Law of Anomalous Numbers", although it had been previously stated by Simon Newcomb in 1881. The dotted line shows P(d) were the distribution uniform. (In the SVG image, hover over a graph to show the value for each point.)]] An extension of Benford's law predicts the distribution of first digits in other bases besides decimal; in fact, any base b ≥ 2. The general form is

Для b = 1 и b = 2 (двоичной и унарной) систем счисления закон Бенфорда верен, но тривиален: все двоичные и унарные числа (за исключением 0 или пустого множества) начинаются с цифры 1. (С другой стороны, обобщение закона Бенфорда на вторую и последующие цифры не является тривиальным даже для двоичных чисел.)

Пояснения

Закон Бенфорда, как правило, наиболее точно применим к данным, охватывающим несколько порядков величины. В общем случае, чем больше порядков величины равномерно покрывает набор данных, тем точнее к нему применим закон Бенфорда. Например, можно ожидать, что закон Бенфорда будет применим к списку чисел, представляющих численность населения населённых пунктов Великобритании. Однако, если под «населённым пунктом» понимается деревня с населением от 300 до 999 человек, то закон Бенфорда не будет применим. Рассмотрим вероятностные распределения, представленные ниже, в отсчёте от логарифмической шкалы. В каждом случае общая площадь, выделенная красным цветом, представляет собой относительную вероятность того, что первая цифра будет 1, а общая площадь, выделенная синим цветом, – относительную вероятность того, что первая цифра будет 8. Для первого распределения размер красной и синей областей приблизительно пропорционален ширине соответствующих красной и синей полос. Следовательно, числа, взятые из этого распределения, будут в значительной степени соответствовать закону Бенфорда. С другой стороны, для второго распределения соотношение площадей красного и синего цветов значительно отличается от соотношения ширин соответствующих красной и синей полос. Скорее, относительные площади красного и синего цветов определяются в большей степени высотой полос, чем их шириной. Соответственно, первые цифры в этом распределении вовсе не удовлетворяют закону Бенфорда.

Объяснение энтропии Кригера-Кафри

В 1970 году Вольфганг Кригер доказал теорему, известную сейчас как теорема генератора Кригера. Теорему генератора Кригера можно рассматривать как обоснование предположения, лежащего в основе модели «шаров и ящиков» Кафри, о том, что в заданной системе счисления с фиксированным числом цифр 0, 1, ..., n, цифра n эквивалентна ящику Кафри, содержащему n невзаимодействующих шаров. Другие ученые и статистики предложили объяснения, связанные с энтропией, для закона Бенфорда.

Мультипликативные колебания

Многие реальные примеры закона Бенфорда возникают из-за мультипликативных флуктуаций. Например, если цена акции начинается со 100 долларов, а затем каждый день умножается на случайно выбранный фактор между 0,99 и 1,01, то со временем распределение вероятностей её цены будет с всё большей точностью удовлетворять закону Бенфорда. Причина в том, что логарифм цены акции подвергается случайному блужданию, поэтому со временем его распределение вероятностей становится всё более широким и гладким (см. выше). Для чисел, взятых из определенных распределений (например, показатели IQ или рост людей), закон Бенфорда не выполняется, поскольку эти величины подчиняются нормальному распределению, которое, как известно, не удовлетворяет закону Бенфорда, так как нормальные распределения не могут охватывать несколько порядков величины, а мантиссы их логарифмов не будут (даже приблизительно) равномерно распределены. Однако, если "смешивать" числа из этих распределений, например, беря их из газетных статей, закон Бенфорда снова начинает действовать. Это также можно доказать математически: если многократно "случайно" выбирать распределение вероятностей (из некоррелированного множества), а затем случайно выбирать число в соответствии с этим распределением, то полученный список чисел будет подчиняться закону Бенфорда. Подобное вероятностное объяснение появления закона Бенфорда в повседневных числах было предложено, показав, что он возникает естественным образом при рассмотрении смесей равномерных распределений.

Неизменность

В списке длин распределение первых цифр чисел в списке может быть в целом схожим, независимо от того, выражены ли все длины в метрах, ярдах, футах, дюймах и т. д. То же самое относится и к денежным единицам. Однако это не всегда так. Например, рост взрослого человека почти всегда начинается с 1 или 2 при измерении в метрах и почти всегда начинается с 4, 5, 6 или 7 при измерении в футах. Но в списке длин, равномерно распределенных по многим порядкам величины – например, в списке 1000 длин, упомянутых в научных работах, включающем измерения молекул, бактерий, растений и галактик – разумно ожидать, что распределение первых цифр будет одинаковым, независимо от того, записаны ли длины в метрах или в футах. Когда распределение первых цифр набора данных является масштабно-инвариантным (не зависит от единиц измерения данных), оно всегда описывается законом Бенфорда. Например, первая (ненулевая) цифра в вышеупомянутом списке длин должна иметь одинаковое распределение, независимо от того, используются ли футы или ярды в качестве единицы измерения. Но в одном ярде три фута, поэтому вероятность того, что первая цифра длины в ярдах равна 1, должна быть такой же, как и вероятность того, что первая цифра длины в футах равна 3, 4 или 5; аналогично, вероятность того, что первая цифра длины в ярдах равна 2, должна быть такой же, как вероятность того, что первая цифра длины в футах равна 6, 7 или 8. Применение этого ко всем возможным масштабам измерений приводит к логарифмическому распределению, описываемому законом Бенфорда. Закон Бенфорда для первых цифр является инвариантным относительно системы счисления. Существуют условия и доказательства инвариантности относительно суммы, обратной величины, а также сложения и вычитания.

Выявление мошенничества в бухгалтерском учете

В 1972 году Хал Вариан предположил, что закон Бенфорда можно использовать для выявления потенциального мошенничества в списках социально-экономических данных, представленных в обоснование решений о государственном планировании. Исходя из разумного предположения, что люди, фальсифицирующие данные, как правило, распределяют свои цифры более или менее равномерно, простое сравнение частотного распределения первых цифр в представленных данных с ожидаемым распределением согласно закону Бенфорда должно выявить любые отклонения.

Использование в уголовных процессах

В Соединенных Штатах доказательства, основанные на законе Бенфорда, принимались в уголовных делах на федеральном, штатном и местном уровнях.

Избирательные данные

Уолтер Мебайн, политолог и статистик из Мичиганского университета, первым применил тест закона Бенфорда для второй цифры (2BL test) в криминалистике выборов. Такой анализ считается простым, хотя и не безошибочным, методом выявления нарушений в результатах голосования. Научный консенсус относительно применимости закона Бенфорда к выборам в научной литературе не достигнут. Исследование 2011 года, проведенное политологами Джозефом Деккертом, Михаилом Мягковым и Питером С. Ордешуком, утверждало, что закон Бенфорда проблематичен и может вводить в заблуждение как статистический индикатор фальсификации выборов. Их методика подверглась критике со стороны Мебайна в ответном комментарии, хотя он согласился с тем, что применение закона Бенфорда к данным о выборах имеет множество ограничений. Закон Бенфорда использовался в качестве доказательства фальсификаций на выборах в Иране в 2009 году. Анализ Мебайна показал, что вторая цифра в подсчете голосов за президента Махмуда Ахмадинежада, победителя выборов, значительно отличалась от ожидаемых значений по закону Бенфорда, а также что избирательные ящики с очень небольшим количеством недействительных бюллетеней оказывали непропорционально большое влияние на результаты, что указывает на массовое вбрасывание бюллетеней. Другое исследование с использованием бутстрап-симуляций показало, что кандидат Мехди Карруби получил почти вдвое больше голосов, начинающихся с цифры 7, чем следовало ожидать согласно закону Бенфорда, в то время как анализ Колумбийского университета пришел к выводу, что вероятность того, что честные выборы дадут одновременно слишком мало несмежных цифр и подозрительные отклонения в частоте последних цифр, как это было обнаружено на президентских выборах в Иране в 2009 году, составляет менее 0,5%. Закон Бенфорда также применялся для криминалистической проверки и выявления мошенничества в данных губернаторских выборов в Калифорнии в 2003 году, президентских выборов в США в 2000 и 2004 годах и федеральных выборов в Германии в 2009 году; тест закона Бенфорда был признан "заслуживающим серьезного рассмотрения как статистический тест на мошенничество", хотя и "не чувствителен к искажениям, которые, как известно, существенно повлияли на многие голоса".

Walter Mebane, a political scientist and statistician at the University of Michigan, was the first to apply the second digit Benford's law test (2BL test) in election forensics. Such analysis is considered a simple, though not foolproof, method of identifying irregularities in election results. Scientific consensus to support the applicability of Benford's law to elections has not been reached in the literature. A 2011 study by the political scientists Joseph Deckert, Mikhail Myagkov, and Peter C. Ordeshook argued that Benford's law is problematic and misleading as a statistical indicator of election fraud. Their method was criticized by Mebane in a response, though he agreed that there are many caveats to the application of Benford's law to election data. Benford's law has been used as evidence of fraud in the 2009 Iranian elections. An analysis by Mebane found that the second digits in vote counts for President Mahmoud Ahmadinejad, the winner of the election, tended to differ significantly from the expectations of Benford's law, and that the ballot boxes with very few invalid ballots had a greater influence on the results, suggesting widespread ballot stuffing. Another study used bootstrap simulations to find that the candidate Mehdi Karroubi received almost twice as many vote counts beginning with the digit 7 as would be expected according to Benford's law, while an analysis from Columbia University concluded that the probability that a fair election would produce both too few non adjacent digits and the suspicious deviations in last digit frequencies as found in the 2009 Iranian presidential election is less than 0.5 percent. Benford's law has also been applied for forensic auditing and fraud detection on data from the 2003 California gubernatorial election, the 2000 and 2004 United States presidential elections, and the 2009 German federal election; the Benford's Law Test was found to be "worth taking seriously as a statistical test for fraud," although "is not sensitive to distortions we know significantly affected many votes."

Макроэкономические данные

Аналогичным образом, макроэкономические данные, которые правительство Греции предоставляло Европейскому Союзу перед вступлением в еврозону, были, вероятно, сфальсифицированы, что было выявлено с помощью закона Бенфорда, хотя и спустя годы после того, как страна вступила в зону евро.

Анализ цены

Исследователи использовали закон Бенфорда для выявления психологических моделей ценообразования в общеевропейском исследовании цен на потребительские товары до и после введения евро в 2002 году. Предполагалось, что при отсутствии психологического ценообразования первые две или три цифры цены товаров должны соответствовать закону Бенфорда. Соответственно, если распределение цифр отклоняется от закона Бенфорда (например, содержит много цифр 9), это может указывать на использование торговцами психологического ценообразования. Когда в 2002 году евро заменил местные валюты, на короткий период цены на товары в евро просто конвертировались из цен в местных валютах. Поскольку одновременно применять психологическое ценообразование к ценам в евро и в местной валюте практически невозможно, в переходный период психологическое ценообразование нарушалось, даже если оно использовалось ранее. Восстановление психологического ценообразования возможно только после того, как потребители привыкнут к ценам, выраженным в единой валюте – евро. Как и ожидали исследователи, распределение первой цифры цены соответствовало закону Бенфорда, однако распределение второй и третьей цифр значительно отклонялось от закона Бенфорда до введения евро, отклонение уменьшилось во время введения и снова увеличилось после него.

Данные о геноме

Количество открытых кадров считывания и их соотношение с размером генома различается у эукариот и прокариот: у первых наблюдается логарифмически-линейная зависимость, а у вторых – линейная. Закон Бенфорда был применен для проверки этого наблюдения, и в обоих случаях было достигнуто превосходное соответствие данным.

Выявление научных мошенничеств

Тест регрессионных коэффициентов в опубликованных работах продемонстрировал соответствие закону Бенфорда. В качестве контрольной группы испытуемых попросили сгенерировать статистические оценки. Сфабрикованные результаты соответствовали закону Бенфорда для первых цифр, но не соответствовали ему для вторых цифр.

Распределения, которые, как известно, подчиняются закону Бенфорда

Некоторые известные бесконечные последовательности целых чисел точно подчиняются закону Бенфорда (в асимптотическом пределе, при увеличении количества членов последовательности). К ним относятся числа Фибоначчи, факториалы, степени 2 и степени почти любого другого числа. Простые числа в конечном диапазоне следуют обобщенному закону Бенфорда, который приближается к равномерному распределению с увеличением размера диапазона. Списки местных телефонных номеров не подчиняются закону Бенфорда. Закон Бенфорда нарушается данными о населении всех населенных пунктов с населением не менее 2500 человек из пяти штатов США по результатам переписей 1960 и 1970 годов, где только 19% начинались с цифры 1, а 20% – с цифры 2, поскольку отсечение на уровне 2500 вносит статистическую погрешность. Распределения, не охватывающие несколько порядков величин, не будут подчиняться закону Бенфорда. Примеры включают рост, вес и показатели IQ.

В популярной культуре

Закон Бенфорда стал сюжетным элементом в ряде популярных развлечений двадцать первого века. В телесериале "CSI: Место преступления" (NUMB3RS) закон Бенфорда был использован в эпизоде 2006 года "Бегущий человек" для расследования серии ограблений. В фильме 2016 года "Бухгалтер" закон Бенфорда помог выявить хищение средств из компании, занимающейся робототехникой. В сериале Netflix "Озарк" 2017 года закон Бенфорда применялся для анализа финансовых отчетов члена картеля и обнаружения мошеннических действий. В романе Джереми Робинсона "Бесконечный 2" (Infinite 2), опубликованном в 2021 году, закон Бенфорда использовался для проверки, находятся ли персонажи в симуляции или в реальности. В романе Тома Клэнси "Точка контакта", написанном Майком Мейденом, Пол Браун (судебный бухгалтер из Hendley Associates) объясняет закон Бенфорда Джеку Райану-младшему, обсуждая методы выявления мошенничества в бухгалтерской отчетности.