Анализ данных: обнаружение, интерпретация и применение закономерностей

Введение

Аналитика — это систематический вычислительный анализ данных или статистики. Она используется для выявления, интерпретации и представления значимых закономерностей в данных. Также она включает в себя применение выявленных закономерностей данных для принятия эффективных решений. Аналитика может быть особенно ценной в областях, располагающих большим объемом записанной информации; она опирается на одновременное применение статистики, компьютерного программирования и исследований операций для количественной оценки эффективности. Организации могут применять аналитику к бизнес-данным для описания, прогнозирования и улучшения бизнес-показателей. В частности, к областям аналитики относятся описательная, диагностическая, прогнозная, предписывающая и когнитивная аналитика. Аналитика может применяться в различных сферах, таких как маркетинг, управление, финансы, онлайн-системы, информационная безопасность и программное обеспечение как услуга. Поскольку аналитика может требовать значительных вычислительных ресурсов (см. большие данные), алгоритмы и программное обеспечение, используемые для аналитики, используют самые современные методы в области компьютерных наук, статистики и математики. По данным International Data Corporation, глобальные расходы на решения в области больших данных и бизнес-аналитики (BDA) оцениваются в 215,7 миллиарда долларов в 2021 году. Согласно Gartner, общий рынок программного обеспечения для аналитических платформ вырос на 25,5 миллиарда долларов в 2020 году.

Аналитика против анализа

Анализ данных фокусируется на процессе изучения прошлых данных, включающем понимание бизнеса, понимание данных, подготовку данных, моделирование и оценку, а также развертывание. Это подмножество аналитики данных, которое использует несколько процессов анализа данных для определения причин произошедшего события и прогнозирования будущих событий на основе имеющихся данных. Аналитика данных используется для принятия важных организационных решений. Аналитика данных – это междисциплинарная область, в которой широко применяются навыки работы с компьютером, математика, статистика, описательные методы и прогностические модели для получения ценных знаний из данных. Всё чаще используется термин «расширенная аналитика», обычно применяемый для описания технических аспектов аналитики, особенно в новых областях, таких как использование методов машинного обучения, включая нейронные сети, деревья решений, логистическую регрессию, линейный и множественный регрессионный анализ, а также классификацию для прогностического моделирования. Маркетинговая аналитика включает в себя качественные и количественные, структурированные и неструктурированные данные, используемые для принятия стратегических решений, касающихся результатов для бренда и доходов. Процесс включает в себя прогностическое моделирование, маркетинговые эксперименты, автоматизацию и коммуникации с продажами в режиме реального времени. Данные позволяют компаниям делать прогнозы и корректировать стратегию для достижения максимальных результатов. Эти взаимодействия предоставляют системам веб-аналитики информацию, необходимую для отслеживания источника перехода, поисковых запросов, определения IP-адреса и мониторинга действий посетителей. С помощью этой информации маркетолог может улучшать маркетинговые кампании, контент веб-сайта и информационную архитектуру. Методы анализа, часто используемые в маркетинге, включают в себя моделирование маркетингового микса, анализ ценообразования и стимулирования сбыта, оптимизацию работы отдела продаж и клиентскую аналитику, например, сегментацию. Веб-аналитика и оптимизация веб-сайтов и онлайн-кампаний часто тесно связаны с традиционными методами маркетингового анализа. Акцент на цифровых медиа несколько изменил терминологию, поэтому моделирование маркетингового микса часто называют атрибутивным моделированием в контексте цифрового или маркетингового микса. Эти инструменты и методы поддерживают как стратегические маркетинговые решения (например, общий объем расходов на маркетинг, распределение бюджета между брендами и маркетинговым миксом), так и тактическую поддержку кампаний, направленную на привлечение оптимального клиента с помощью наиболее эффективного сообщения в наиболее экономически выгодном канале и в идеальное время.

Data analysis focuses on the process of examining past data through business understanding, data understanding, data preparation, modeling and evaluation, and deployment. It is a subset of data analytics, which takes multiple data analysis processes to focus on why an event happened and what may happen in the future based on the previous data. Unreliable source: date=January 2022 Data analytics is used to formulate larger organizational decisions. Data analytics is a multidisciplinary field. There is extensive use of computer skills, mathematics, statistics, the use of descriptive techniques and predictive models to gain valuable knowledge from data through analytics. There is increasing use of the term advanced analytics, typically used to describe the technical aspects of analytics, especially in the emerging fields such as the use of machine learning techniques like neural networks, decision trees, logistic regression, linear to multiple regression analysis, and classification to do predictive modeling. Marketing analytics consists of both qualitative and quantitative, structured and unstructured data used to drive strategic decisions about brand and revenue outcomes. The process involves predictive modelling, marketing experimentation, automation and real time sales communications. The data enables companies to make predictions and alter strategic execution to maximize performance results. Those interactions provide web analytics information systems with the information necessary to track the referrer, search keywords, identify the IP address, and track the activities of the visitor. With this information, a marketer can improve marketing campaigns, website creative content, and information architecture. Analysis techniques frequently used in marketing include marketing mix modeling, pricing and promotion analyses, sales force optimization and customer analytics e. g.: segmentation. Web analytics and optimization of websites and online campaigns now frequently work hand in hand with the more traditional marketing analysis techniques. A focus on digital media has slightly changed the vocabulary so that marketing mix modeling is commonly referred to as attribution modeling in the digital or marketing mix modeling context. These tools and techniques support both strategic marketing decisions (such as how much overall to spend on marketing, how to allocate budgets across a portfolio of brands and the marketing mix) and more tactical campaign support, in terms of targeting the best potential customer with the optimal message in the most cost effective medium at the ideal time.

Аналитика людей

Аналитика персонала использует поведенческие данные для понимания того, как работают люди и как это влияет на управление компаниями. Аналитика персонала также известна как аналитика рабочей силы, HR-аналитика, аналитика талантов, инсайты о персонале, инсайты о талантах, инсайты о сотрудниках, анализ человеческого капитала и HRIS-аналитика. HR-аналитика – это применение аналитических методов для помощи компаниям в управлении человеческими ресурсами. Кроме того, HR-аналитика стала стратегическим инструментом для анализа и прогнозирования тенденций, связанных с персоналом, на меняющихся рынках труда, с использованием инструментов анализа карьеры. Цель состоит в том, чтобы определить, каких сотрудников нанимать, кого вознаграждать или повышать, какие обязанности им поручать и решать другие подобные задачи в области управления персоналом. Например, изучение стратегического явления текучести кадров с помощью инструментов аналитики персонала может быть важным анализом в периоды нестабильности. Существует мнение, что аналитика персонала – это отдельная дисциплина, отличная от HR-аналитики, с большим акцентом на бизнес-задачи, а не на административные процессы, и что аналитика персонала может не входить в структуру отдела кадров. Однако эксперты расходятся во мнениях: многие утверждают, что отделу кадров необходимо развивать аналитику персонала как ключевой элемент более эффективной и стратегической бизнес-функции в меняющемся мире работы, вызванном автоматизацией. Вместо того чтобы выводить аналитику персонала за рамки отдела кадров, некоторые эксперты считают, что она должна оставаться в его структуре, но с привлечением нового поколения HR-специалистов, ориентированных на данные и обладающих деловой хваткой.

Анализ портфеля

Общим применением бизнес-аналитики является анализ портфеля. В этом случае банк или кредитное учреждение располагает совокупностью счетов, различающихся по стоимости и уровню риска. Эти счета могут отличаться по социальному статусу держателя (состоятельные, средний класс, малообеспеченные и т. д.), географическому положению, чистой стоимости и множеству других факторов. Кредитор должен сбалансировать доходность по кредиту с риском невозврата для каждого кредита. Соответственно, возникает вопрос об оценке портфеля в целом. Наименьший риск представляет кредит, выданный очень состоятельным клиентам, однако их количество ограничено. С другой стороны, кредитов можно выдать большому количеству малообеспеченных заемщиков, но риск невозврата в этом случае выше. Необходимо найти баланс, который позволит максимизировать доходность и минимизировать риск. Решение в области аналитики может сочетать анализ временных рядов с другими аспектами для принятия решений о том, когда предоставлять кредиты различным сегментам заемщиков, или о размере процентной ставки, взимаемой с членов сегмента портфеля, для покрытия возможных убытков внутри этого сегмента.

Анализ рисков

Прогнозные модели в банковской отрасли разрабатываются для повышения уверенности в оценках риска для отдельных клиентов. Кредитные рейтинги формируются для прогнозирования вероятности неисполнения обязательств заемщиком и широко используются для оценки кредитоспособности каждого заявителя. Анализ рисков также проводится в научном сообществе и страховой индустрии. Он активно применяется в финансовых учреждениях, таких как компании, предоставляющие услуги онлайн-платежей, для выявления подлинности или мошеннического характера транзакций. Для этого используется история транзакций клиента. Особенно часто это применяется при покупках по кредитным картам: при резком увеличении объема транзакций клиента ему поступает звонок для подтверждения, что транзакция была инициирована им лично. Это помогает снизить убытки в подобных ситуациях.

Цифровая аналитика

Цифровая аналитика — это совокупность бизнес- и технических действий, направленных на определение, создание, сбор, проверку и преобразование цифровых данных в отчеты, исследования, аналитику, рекомендации, оптимизацию, прогнозы и автоматизацию. Она также включает SEO (поисковую оптимизацию), где отслеживается поиск по ключевым словам, а полученные данные используются в маркетинге. Даже баннерная реклама и клики относятся к сфере цифровой аналитики. Все больше брендов и маркетинговых агентств используют цифровую аналитику для задач цифрового маркетинга, где MROI (возврат инвестиций в маркетинг) является важным ключевым показателем эффективности (KPI).

Анализ безопасности

Аналитика безопасности — это использование информационных технологий (ИТ) для сбора данных о событиях безопасности с целью понимания и анализа событий, представляющих наибольшие угрозы безопасности. К продуктам в этой области относятся системы управления информацией о безопасности и событиями (SIEM) и аналитика поведения пользователей.

Аналитика программного обеспечения

Аналитика программного обеспечения — это процесс сбора информации о способах использования и разработки программного обеспечения.

Вызовы

В индустрии коммерческого аналитического программного обеспечения всё больше внимания уделяется решению задач анализа массивных и сложных наборов данных, особенно когда эти данные постоянно меняются. Такие наборы данных обычно называют большими данными. Если раньше проблемы, связанные с большими данными, встречались преимущественно в научной среде, то сегодня они актуальны для многих компаний, работающих с онлайн-транзакционными системами и, как следствие, быстро накапливающих большие объемы информации. Источники неструктурированных данных, такие как электронная почта, содержимое текстовых документов, PDF-файлы, геопространственные данные и т.п., стремительно становятся важным источником бизнес-аналитики для предприятий, государственных учреждений и университетов. Например, в Великобритании выявление факта незаконной продажи одной компанией поддельных медицинских справок с целью помощи людям в мошенничестве с работодателями и страховыми компаниями дало страховым компаниям возможность усилить контроль при анализе неструктурированных данных. Эти вызовы стимулируют значительную часть инноваций в современных аналитических информационных системах, порождая относительно новые концепции машинного анализа, такие как сложная обработка событий, полнотекстовый поиск и анализ, а также новые подходы к визуализации. Одним из таких нововведений является внедрение архитектуры, подобной сетке, в машинный анализ, позволяющее повысить скорость массово-параллельной обработки за счет распределения нагрузки между множеством компьютеров, имеющих равный доступ к полному набору данных. Аналитика всё шире применяется в сфере образования, особенно на уровне школьных округов и государственных органов управления образованием. Однако сложность показателей успеваемости учащихся создает трудности для педагогов, пытающихся понять и использовать аналитику для выявления закономерностей в успеваемости, прогнозирования вероятности окончания обучения, повышения шансов на успех учащихся и т.д. Например, в исследовании, проведенном в округах, известных активным использованием данных, 48% учителей испытывали затруднения при формулировании вопросов, основанных на данных, 36% не понимали представленные данные, а 52% неправильно их интерпретировали. Для решения этой проблемы некоторые аналитические инструменты для педагогов используют формат данных, не требующий регистрации (встраивают метки, дополнительную документацию и справочную систему, а также принимают ключевые решения относительно структуры отображения и контента), чтобы улучшить понимание и использование аналитики преподавателями.

In the industry of commercial analytics software, an emphasis has emerged on solving the challenges of analyzing massive, complex data sets, often when such data is in a constant state of change. Such data sets are commonly referred to as big data. Whereas once the problems posed by big data were only found in the scientific community, today big data is a problem for many businesses that operate transactional systems online and, as a result, amass large volumes of data quickly. Sources of unstructured data, such as email, the contents of word processor documents, PDFs, geospatial data, etc., are rapidly becoming a relevant source of business intelligence for businesses, governments and universities. For example, in Britain the discovery that one company was illegally selling fraudulent doctor's notes in order to assist people in defrauding employers and insurance companies is an opportunity for insurance firms to increase the vigilance of their unstructured data analysis. These challenges are the current inspiration for much of the innovation in modern analytics information systems, giving birth to relatively new machine analysis concepts such as complex event processing, full text search and analysis, and even new ideas in presentation. One such innovation is the introduction of grid like architecture in machine analysis, allowing increases in the speed of massively parallel processing by distributing the workload to many computers all with equal access to the complete data set. Analytics is increasingly used in education, particularly at the district and government office levels. However, the complexity of student performance measures presents challenges when educators try to understand and use analytics to discern patterns in student performance, predict graduation likelihood, improve chances of student success, etc. For example, in a study involving districts known for strong data use, 48% of teachers had difficulty posing questions prompted by data, 36% did not comprehend given data, and 52% incorrectly interpreted data. To combat this, some analytics tools for educators adhere to an over the counter data format (embedding labels, supplemental documentation, and a help system, and making key package/display and content decisions) to improve educators' understanding and use of the analytics being displayed.

Риски

Риски для населения в целом включают дискриминацию по признакам, таким как пол, цвет кожи, этническая принадлежность или политические взгляды, посредством механизмов, таких как ценовая дискриминация или статистическая дискриминация.