Введение
Статистические методы анализа данных для прогнозирования неизвестных событий
Прогнозная аналитика – это форма бизнес-аналитики, использующая машинное обучение для создания прогнозных моделей для конкретных бизнес-задач. Таким образом, она включает в себя разнообразные статистические методы, от прогнозного моделирования до машинного обучения, которые анализируют текущие и исторические данные для прогнозирования будущих или иным образом неизвестных событий. Она представляет собой значительную часть приложений машинного обучения; в некоторых контекстах она является синонимом машинного обучения. В бизнесе прогнозные модели используют закономерности, выявленные в исторических и транзакционных данных, для определения рисков и возможностей. Модели отражают взаимосвязи между множеством факторов, позволяя оценить риски или потенциал, связанные с определенным набором условий, и направлять принятие решений по конкретным операциям. Ключевой функциональный эффект этих технических подходов заключается в том, что прогнозная аналитика предоставляет прогнозную оценку (вероятность) для каждого объекта (клиента, сотрудника, пациента, SKU продукта, транспортного средства, компонента, машины или другой организационной единицы) для определения, информирования или влияния на организационные процессы, охватывающие большое количество объектов, например, в маркетинге, оценке кредитных рисков, обнаружении мошенничества, производстве, здравоохранении и государственных операциях, включая правоохранительную деятельность.
Определение
Прогнозирующая аналитика – это набор технологий бизнес-аналитики (BI), позволяющих выявлять взаимосвязи и закономерности в больших объемах данных для прогнозирования поведения и событий. В отличие от других технологий BI, прогнозирующая аналитика ориентирована на будущее, используя прошлые события для предвидения будущего. Статистические методы прогнозирующей аналитики включают моделирование данных, машинное обучение, искусственный интеллект (ИИ), алгоритмы глубокого обучения и интеллектуальный анализ данных. Чаще всего интересующее неизвестное событие происходит в будущем, но прогнозирующая аналитика может применяться к любым неизвестным явлениям, будь то в прошлом, настоящем или будущем. Например, для выявления подозреваемых после совершения преступления или обнаружения мошеннических операций с кредитными картами в момент их совершения. В основе прогнозирующей аналитики лежит выявление взаимосвязей между объясняющими и прогнозируемыми переменными на основе прошлых данных и использование этих связей для предсказания неизвестного исхода. Однако важно отметить, что точность и полезность результатов во многом зависят от глубины анализа данных и качества исходных предположений.
Аналитические методы
Подходы и методы, используемые для проведения предиктивной аналитики, в основном делятся на методы регрессии и методы машинного обучения.
Машинное обучение
Машинное обучение можно определить как способность машины учиться и затем воспроизводить поведение, требующее интеллекта от человека. Это достигается посредством искусственного интеллекта, алгоритмов и моделей.
Авторегрессивная интегрированная скользящая средняя (ARIMA)
Модели ARIMA являются распространенным примером моделей временных рядов. Эти модели используют авторегрессию, что означает, что модель может быть подобрана с помощью программного обеспечения для регрессионного анализа, которое использует машинное обучение для выполнения большей части регрессионного анализа и сглаживания. Модели ARIMA характеризуются отсутствием общей тенденции, но вместо этого демонстрируют колебания вокруг среднего значения с постоянной амплитудой, что приводит к статистически схожим временным закономерностям. Это позволяет анализировать переменные и фильтровать данные для лучшего понимания и прогнозирования будущих значений. Одним из примеров метода ARIMA являются модели экспоненциального сглаживания. Экспоненциальное сглаживание учитывает различную значимость старых и новых наборов данных, поскольку более свежие данные более точны и ценны для прогнозирования будущих значений. Для этого используются весовые коэффициенты, придающие новым наборам данных больший вес в расчетах, чем старым.
Модели временных рядов
Модели временных рядов — это подмножество машинного обучения, использующее временные ряды для анализа и прогнозирования данных на основе прошлых значений. Временной ряд представляет собой последовательность значений переменной, измеренных через равные промежутки времени, например, годы или кварталы в бизнес-приложениях. Для этого необходимо сгладить данные или устранить случайные колебания, чтобы выявить тенденции. Существует несколько способов достижения этой цели.
Средняя скользящая величина
Методы простой скользящей средней используют последовательно уменьшающиеся наборы прошлых данных для снижения погрешности, возникающей при вычислении одной средней, что делает ее более точной, чем среднее значение всего набора данных. Методы центрированной скользящей средней используют данные, полученные при применении простой скользящей средней, вычисляя среднее значение медианного набора данных. Однако, поскольку медианный набор данных сложно вычислить для наборов с четным количеством элементов, этот метод лучше подходит для наборов с нечетным количеством элементов.
Прогнозирующее моделирование
Прогнозирующее моделирование – это статистический метод, используемый для предсказания будущего поведения. Оно использует прогностические модели для анализа взаимосвязи между конкретным объектом в заданной выборке и одним или несколькими его признаками. Цель этих моделей – оценить вероятность того, что объект в другой выборке проявит аналогичную закономерность. Решения, основанные на прогностических моделях, можно рассматривать как разновидность технологии интеллектуального анализа данных. Модели могут анализировать как исторические, так и текущие данные и генерировать модель для предсказания потенциальных будущих результатов. Независимо от используемой методологии, процесс создания прогностических моделей в целом включает одни и те же этапы. Сначала необходимо определить цели проекта и желаемые результаты и сформулировать их в виде задач и целей прогностической аналитики. Затем анализируются исходные данные для определения наиболее подходящего подхода к данным и построению моделей (ценность моделей определяется качеством и применимостью данных, используемых для их создания). Далее выполняется выбор и преобразование данных для создания моделей. Создаются и тестируются модели для оценки их валидности и способности достигать целей и показателей проекта. Результаты модели применяются к соответствующим бизнес-процессам (выявление закономерностей в данных не гарантирует, что бизнес сможет эффективно их использовать). После этого модели управляются и поддерживаются для стандартизации и повышения производительности (спрос на управление моделями будет расти в связи с новыми нормативными требованиями). Кроме того, множественная линейная регрессия (MLR) может быть использована для анализа взаимосвязей, включающих несколько независимых переменных, предлагая более комплексный подход к моделированию.
Аналитический обзор и условные ожидания в аудиторской деятельности
Важным аспектом аудита является аналитический обзор. В ходе аналитического обзора оценивается обоснованность проверяемых остатков по счетам. Аудиторы выполняют этот процесс посредством прогнозного моделирования, формируя прогнозы, называемые условными ожиданиями, с использованием методов авторегрессии, интегрирования и скользящего среднего (ARIMA) и методов общего регрессионного анализа.
Метод ARIMA для аналитического обзора использует анализ временных рядов на основе прошлых аудированных остатков для создания условных ожиданий. Затем эти условные ожидания сравниваются с фактическими остатками по аудируемому счету, чтобы определить степень соответствия между отчетными остатками и ожиданиями. Если отчетные остатки близки к условным ожиданиям, дальнейший аудит счетов не требуется. Если отчетные остатки существенно отличаются от условных ожиданий, возрастает вероятность существенной бухгалтерской ошибки и проводится дополнительный аудит. В этом случае остаток по счету является зависимой переменной. Для создания условного ожидания используется наиболее значимая независимая переменная, и, подобно методу ARIMA, условное ожидание сравнивается с отчетным остатком по счету, после чего принимается решение, основанное на степени их близости.
Бизнес-ценность
По мере того, как мы переходим в мир технологических достижений, где все больше и больше данных создается и хранится в цифровом виде, компании ищут способы использовать эту возможность и применять эту информацию для увеличения прибыли. Прогнозная аналитика может быть использована и предоставляет множество преимуществ широкому кругу предприятий, включая компании по управлению активами, страховые компании, телекоммуникационные компании и многие другие. Любая компания, использующая управление проектами для достижения своих целей, значительно выигрывает от возможностей предиктивной аналитики. В исследовании, проведенном IDC Analyze the Future, Дэн Вассет и Генри Д. Моррис объясняют, как компания по управлению активами использовала прогнозную аналитику для разработки более эффективной маркетинговой кампании. Они перешли от массового маркетинга к клиентоориентированному подходу, где вместо отправки одинакового предложения каждому клиенту, они персонализировали каждое предложение на основе данных о клиенте. Прогнозная аналитика использовалась для оценки вероятности принятия персонализированного предложения потенциальным клиентом. Благодаря маркетинговой кампании и прогнозной аналитике, процент принятия предложений компанией вырос в разы – в три раза больше людей приняли их персонализированные предложения. Технологические достижения в области прогнозной аналитики повысили ее ценность для компаний. Одним из таких достижений является увеличение вычислительной мощности компьютеров, что позволило прогнозной аналитике создавать прогнозы на больших объемах данных значительно быстрее. Увеличение вычислительной мощности также привело к росту объема данных и приложений, что расширило спектр входных данных для прогнозной аналитики. Другим технологическим достижением является более удобный пользовательский интерфейс, снижающий порог входа и требующий менее трудоемкого обучения сотрудников для эффективного использования программного обеспечения и приложений. Благодаря этим достижениям, все больше корпораций внедряют прогнозную аналитику и видят преимущества в повышении эффективности работы сотрудников и увеличении прибыли. Процент неудачных проектов достаточно высок – целых 70% проектов не выполняют обещанное клиентам. Однако, внедрение процесса управления проектами, как показывают исследования, снижает этот показатель до 20% и ниже.
Прогноз денежных потоков
Модели ARIMA, как одно- так и многовариантные, могут использоваться для прогнозирования будущих денежных потоков компании, при этом их уравнения и расчеты основаны на прошлых значениях определенных факторов, влияющих на денежные потоки. Используя анализ временных рядов, значения этих факторов можно проанализировать и экстраполировать для прогнозирования будущих денежных потоков компании. В одновариантных моделях в качестве единственного фактора прогнозирования используются прошлые значения денежных потоков. В то же время многовариантные модели используют несколько факторов, связанных с данными по начислениям, таких как операционная прибыль до амортизации. Другая модель, используемая для прогнозирования денежных потоков, была разработана в 1998 году и известна как модель Дечоу, Котари и Уоттса, или DKW (1998). DKW (1998) использует регрессионный анализ для определения взаимосвязи между множеством переменных и денежными потоками. С помощью этого метода модель установила, что изменения денежных потоков и начисления находятся в отрицательной корреляции, особенно через текущую прибыль, и использует эту взаимосвязь для прогнозирования денежных потоков на следующий период. Модель DKW (1998) выводит эту взаимосвязь на основе взаимосвязи начислений и денежных потоков с кредиторской и дебиторской задолженностью, а также с запасами.
Защита детей
Некоторые агентства по защите детей начали использовать предиктивную аналитику для выявления дел, находящихся в зоне повышенного риска. Например, в округе Хиллсборо, штат Флорида, использование агентством по защите детей инструмента предиктивного моделирования позволило предотвратить детские смерти, связанные с жестоким обращением, среди целевой группы населения.
Прогнозирование результатов судебных решений
Прогнозирование исхода судебных решений возможно с помощью программ искусственного интеллекта. Эти программы могут использоваться как вспомогательные инструменты для специалистов в этой сфере.
Прогноз на уровне портфеля, продукта или экономики
Часто в центре внимания анализа оказывается не потребитель, а продукт, портфель, компания, отрасль или даже экономика. Например, розничный торговец может быть заинтересован в прогнозировании спроса на уровне магазина для целей управления запасами. Или Федеральная резервная система может быть заинтересована в прогнозировании уровня безработицы на следующий год. Эти типы задач могут быть решены с помощью предиктивной аналитики, использующей методы анализа временных рядов (см. ниже). Также они могут быть решены с помощью методов машинного обучения, которые преобразуют исходный временной ряд в векторное пространство признаков, где алгоритм обучения выявляет закономерности, обладающие прогностической ценностью.
Запись
Многие предприятия должны учитывать подверженность риску, связанную с их различными услугами, и определять затраты, необходимые для его покрытия. Прогностическая аналитика может помочь оценить эти суммы, предсказывая вероятность возникновения заболеваний, дефолтов, банкротств и т.д. Прогностическая аналитика может оптимизировать процесс привлечения клиентов, предсказывая будущее рискованное поведение клиентов на основе данных, полученных при подаче заявки. Прогностическая аналитика в виде кредитных рейтингов сократила время, необходимое для одобрения кредитов, особенно на рынке ипотечного кредитования. Правильная прогностическая аналитика может привести к принятию обоснованных ценовых решений, что поможет снизить будущий риск дефолта. Прогностическая аналитика может использоваться для смягчения морального риска и предотвращения несчастных случаев.
Полицейская деятельность
Полицейские органы сейчас используют упреждающие стратегии для профилактики преступлений. Прогностическая аналитика, использующая статистические инструменты для прогнозирования закономерностей преступности, предоставляет новые возможности для мобилизации ресурсов и снижения уровня преступности. Благодаря этому прогностическому анализу данных о преступлениях полиция может более эффективно распределять ограниченные ресурсы и личный состав для предотвращения новых преступлений. Для защиты криминогенных зон, где плотность преступлений значительно выше средней по городу, могут быть применены целевые патрули или методы решения проблем.
Спорт
Появилось несколько компаний, специализирующихся на предиктивной аналитике в сфере профессионального спорта как для команд, так и для отдельных спортсменов. Несмотря на то, что прогнозирование человеческого поведения сопряжено с большой погрешностью из-за множества факторов, которые могут измениться после составления прогноза, включая травмы, судейство, решения тренеров, погодные условия и прочее, использование предиктивной аналитики для прогнозирования долгосрочных тенденций и результатов оказывается полезным. Значительный импульс этому направлению была дана концепцией Moneyball, разработанной Билли Бином в начале века, и в настоящее время большинство профессиональных спортивных команд имеют собственные аналитические отделы.