Тепловые карты: методы визуализации данных.

Введение

Техника визуализации данных

Тепловая карта (или heatmap) — это двухмерная техника визуализации данных, представляющая величину отдельных значений в наборе данных с помощью цвета. Изменение цвета может происходить за счет изменения оттенка или интенсивности. В некоторых областях применения, таких как анализ преступности или отслеживание кликов на веб-сайтах, цвет используется для отображения плотности точек данных, а не значения, привязанного к каждой точке. Термин "тепловая карта" относительно новый, однако практика затенения матриц существует уже более ста лет.

История

Тепловые карты возникли как двухмерное представление значений в матрице данных. Большие значения отображались маленькими тёмно-серыми или чёрными квадратами (пикселями), а меньшие – более светлыми квадратами. Туссен Луа (1873) использовал матрицу затенения для визуализации социальной статистики по районам Парижа. Компания, приобретшая изобретение Кинни в 2003 году, непреднамеренно допустила истечение срока действия товарного знака.

Типы

Существует два основных типа тепловых карт: пространственные и табличные. Пространственная тепловая карта отображает величину пространственного явления в виде цвета, обычно наложенного на карту. На изображении с пометкой "Пример пространственной тепловой карты" температура отображается цветовым диапазоном на карте мира. Цвета варьируются от синего (холодный) до красного (горячий). Табличная тепловая карта отображает величину в виде цвета в двумерной матрице, где каждое измерение представляет категорию признака, а цвет – величину измерения объединенных признаков из каждой из двух категорий. Например, одно измерение может представлять год, а другое – месяц, а измеряемым значением может быть температура. Эта тепловая карта покажет, как температура менялась с годами по месяцам. Табличные тепловые карты далее подразделяются на два типа матриц: кластеризованные и коррелограммы. Кластеризованная тепловая карта: пример месячной температуры по годам является кластеризованной тепловой картой. Коррелограмма: Коррелограмма – это кластеризованная тепловая карта, у которой одинаковый признак представлен на каждой оси, чтобы показать, как признаки в наборе взаимодействуют друг с другом. Коррелограмма имеет форму треугольника, а не квадрата, поскольку комбинация А и В идентична комбинации В и А, и поэтому не требует двойного представления. В табличной тепловой карте цвета представлены в сетке фиксированного размера, где каждая ячейка сетки имеет одинаковый размер и форму. Цель состоит в том, чтобы выявить кластеризацию или указать на наличие кластеров. Пространственная тепловая карта часто используется на картах или спутниковых изображениях (см. ГИС), где нет понятия ячеек, и цвета изменяются непрерывно.

Применение

Тепловые карты обладают широким спектром применения благодаря способности упрощать данные и делать анализ данных визуально привлекательным и понятным. Ниже перечислены многие области применения, использующие различные типы тепловых карт. Бизнес-анализ: тепловые карты используются в бизнес-аналитике для визуального представления текущего состояния компании, ее эффективности и потребностей в улучшении. Тепловые карты позволяют анализировать существующие данные компании и обновлять их с учетом роста и других конкретных задач. Тепловые карты наглядно демонстрируются членам команды и клиентам компании. Веб-сайты: существует множество способов использования тепловых карт на веб-сайтах для определения действий посетителей. Обычно используется несколько тепловых карт одновременно для получения информации о том, какие элементы на странице работают лучше всего, а какие – хуже. Ниже приведены некоторые конкретные типы тепловых карт, используемые для анализа веб-сайтов. Отслеживание движения мыши: тепловые карты отслеживания движения мыши (или карты наведения) визуализируют, где пользователь перемещает курсор. Отслеживание взгляда: тепловые карты отслеживания взгляда измеряют положение глаз пользователей веб-сайта и собирают данные, такие как объем фиксации взгляда, продолжительность фиксации и области интереса. Отслеживание кликов: тепловые карты отслеживания кликов (или карты касаний) аналогичны картам отслеживания движения мыши, но вместо действий наведения они визуализируют действия пользователей по кликам. Тепловые карты отслеживания кликов позволяют не только визуально определять кликабельные элементы на веб-странице, такие как кнопки или выпадающие меню, но и отслеживать клики по некликабельным объектам в любом месте страницы. Внимание, генерируемое ИИ: тепловые карты внимания, созданные искусственным интеллектом, помогают визуализировать, куда пользователь будет направлять свое внимание на определенном разделе веб-страницы. Эти типы тепловых карт реализуются с помощью программного алгоритма, который определяет и прогнозирует действия внимания пользователя. Отслеживание прокрутки: тепловые карты отслеживания прокрутки используются для представления поведения прокрутки пользователей веб-сайта. Это помогает определить, на каком разделе веб-сайта пользователь проводит больше всего времени. Исследовательский анализ данных: при работе с небольшими и большими наборами данных специалисты по данным изучают и определяют ключевые взаимосвязи и характеристики между различными точками данных, а также особенности этих точек. Специалисты по данным работают в команде с представителями других профессий. Использование тепловых карт позволяет наглядно обобщить результаты и основные компоненты. Существуют и другие способы представления данных, однако тепловые карты могут визуализировать эти данные и их взаимосвязи в многомерном пространстве, не делая их слишком компактными и визуально непривлекательными. В анализе данных тепловые карты позволяют указывать конкретные переменные для строк и/или столбцов на осях и даже на диагонали. Биология: в биологии тепловые карты используются для визуального представления больших и малых наборов данных. Основное внимание уделяется выявлению закономерностей и сходств в ДНК, РНК, экспрессии генов и т.д. При работе с этими наборами данных специалисты по биоинформатике сосредотачиваются на различных концепциях, таких как обнаружение сообществ, ассоциации и корреляции, а также на концепции центральности. Тепловые карты – это эффективный способ визуально обобщить результаты и поделиться ими с представителями других профессий, не связанных с биологией или биоинформатикой. Две тепловые карты справа, обозначенные как «Пример тепловой карты анализа данных», демонстрируют различные способы представления геномных данных для определенного региона (регион Hist1) специалистам, не являющимся биологами, чтобы помочь им лучше понять общую концепцию, которую пытаются донести биолог или специалист по данным. Финансовый анализ: стоимость различных продуктов и активов колеблется как быстро, так и постепенно с течением времени. Необходимо регистрировать изменения на ежедневных рынках, чтобы иметь возможность прогнозировать тенденции на основе закономерностей и анализировать прошлые числовые данные. Тепловые карты позволяют избежать трудоемких процессов и визуализировать данные, сравнивая эффективность различных активов. Географическая визуализация: тепловые карты используются для визуализации и отображения географического распределения данных. Они представляют различные плотности точек данных на географической карте, помогая пользователям оценить интенсивность определенных явлений и выявить наиболее и наименее важные элементы. Тепловые карты, используемые в географической визуализации, иногда путают с хороплетными картами, но различие заключается в способе представления данных. Спорт: тепловые карты могут использоваться в различных видах спорта и влиять на решения менеджеров и тренеров на основе данных о высокой и низкой плотности активности. Пользователи могут выявлять закономерности в игре, стратегии соперников и своей команды, принимать более обоснованные решения, приносящие пользу игрокам, команде и бизнесу, а также повышать эффективность в различных областях, определяя области для улучшения. Тепловые карты также визуализируют сравнения и взаимосвязи между различными командами в одном виде спорта или между разными видами спорта.

Heat maps have a wide range of possibilities amongst applications due to their ability to simplify data and make for visually appealing to read data analysis. Many applications using different types of heat maps are listed below. Business Analysis: Heat maps are used in business analytics to give a visual representation about a company's current functioning, performance, and the need for improvements. Heat maps are a way to analyze a company's existing data and update it to reflect growth and other specific efforts. Heat maps visually appeal to team members and clients of the business or company. Websites: There are many different ways heat maps are used within websites to determine a visiting users actions. Typically, there are multiple heat maps used together to determine insight to a website on what are the best and worst performing elements on the page. Some specific heat maps used for website analysis are listed below. Mouse Tracking: Mouse tracking heat maps or hover maps, are used to visualize where the user of the site hovers their cursor. Eye tracking: Eye tracking heat maps measure the eye position of the website's users and gathers measurements such as eye fixation volume, eye fixation duration, and areas of interest. Click Tracking: Click tracking heat maps or touch maps, are similar to mouse tracking heat maps, but instead of hover actions, these types of heat maps help visualize the users click actions. Click tracking heat maps not only allow for visual cues on clickable components on a webpage, such as buttons or dropdown menus, but these heat maps also allow for tracking on non clickable objects anywhere on the page. AI Generation Attention: AI generated attention heat maps help visualize where the visiting user's attention will go on a certain section of a webpage. These types of heat maps are implemented using a created software algorithm to determine and predict the attention actions of the user. Scroll Tracking: Scroll tracking heat maps are used to represent the scrolling behavior of the website's users. This helps produce visual cues to what section on the website the user spends the most time at. Exploratory Data Analysis: Working with small and large data sets, data scientists and data analysts look at and determine essential relationships and characteristics amongst different points in a data set as well as features of those data points. Data scientists and analysts work with a team of others in different professions. The use of heat maps make for a visually easy way to summarize findings and main components. There are other ways to represent data, however heat maps can visualize these data points and their relationships in a high dimensional space without becoming too compact and visually unappealing. Heat maps in data analysis, allow for specific variables of rows and/or columns on the axes and even on the diagonal. Biology: In the biological field, heat maps are used to visually represent large and small sets of data. The focus is towards patterns and similarities in DNA, RNA, gene expression, etc. Working with these sets of data, data scientists in bioinformatics, focus on different concepts, some of which being community detection, association and correlation, and the concept of centrality, where heat maps are a compelling way to visually summarize results and to share amongst other professions not in the field of biology or bioinformatics. The two heat maps to the right, labeled "Data Analysis Heat Map Example," show different ways in which one may present genomic data over a specific region (Hist1 region) to someone outside the field of biology so they have a better understanding of the general concept a biologist or data scientist are trying to present. Financial Analysis: The values of different product and assets fluctuate both rapidly and/or gradually over time. The need to log changes to the daily markets is imperative. It allows for the ability to draw predictions from patterns while being able to revisit past numerical data. Heat maps are able to remove the tedious process and enable the user to visualize data points and compare amongst the different performers. Geographical Visualization: Heat maps are used to visualize and display a geographic distribution of data. Heat maps represent different densities of data points on a geographical map to help users see the intensities of certain phenomena and to show items of most or least importance. Heat maps used in geographical visualization are sometimes confused with Choropleth maps, but the difference comes with how certain data is presented which differentiate the two. Sports: Heat maps can be used in many sports and can influence manager's and/or coaches decisions based on high and low densities of data displayed. Users can identify patterns within the game, the strategies of opponents and one's own team, make more informed decisions benefitting the player, team, and business, and can enhance performance in different areas by identifying enhancement is needed. Heat maps also visualize comparisons and relationships amongst different teams in the same sport or between different sports all together.

Цветовые схемы

Для иллюстрации тепловой карты можно использовать множество различных цветовых схем, каждая из которых имеет свои преимущества и недостатки с точки зрения восприятия. Выбор подходящей цветовой схемы имеет решающее значение для точного и эффективного отображения данных, в то время как неудачная цветовая схема может привести зрителей к неверным выводам или исключить из анализа данных людей с нарушениями цветового восприятия. Радужные цветовые карты – распространенный выбор, поскольку человек способен различать больше цветовых оттенков, чем оттенков серого, и это, как считается, увеличивает детализацию изображения. Однако в научном сообществе это настоятельно не рекомендуется по ряду причин. Основная из них заключается в том, что при использовании большого количества цветов визуализация может создавать иллюзию градиентов в данных, которых на самом деле нет. Чем больше цветов используется в визуализации, тем сильнее значения начинают смешиваться, и цветовая схема теряет естественную последовательность восприятия, характерную для серой шкалы или цветовых карт спектра черного тела. Кроме того, значения, представленные разными оттенками одного и того же цвета, могут создавать впечатление о взаимосвязи между ними, даже если таковой не существует. Важным фактором при выборе цветовой схемы является учет возможного наличия у зрителей нарушений цветового восприятия. Если в аудитории есть люди с какими-либо формами дальтонизма, рекомендуется избегать цветовых схем с преобладающими красными и зелеными цветами или неравномерными цветовыми градиентами. Gnuplot, универсальная и бесплатная программа для построения графиков из командной строки, позволяет создавать 2D и 3D тепловые карты. Google Fusion Tables может генерировать тепловую карту на основе таблицы Google Sheets, ограниченной 1000 точками географических данных. Цветовая схема «cubehelix» Дейва Грина предоставляет ресурсы для создания цветовой схемы, которая при печати на черно-белых устройствах PostScript отображается в виде монотонно увеличивающейся серой шкалы. Openlayers3 может отображать слой тепловой карты выбранного свойства всех географических объектов в векторном слое. D3.js, AnyChart и Highcharts – это JavaScript-библиотеки для визуализации данных, которые позволяют создавать интерактивные диаграммы тепловых карт, от простых до высоконастраиваемых, как часть своих решений.

Many different color schemes can be used to illustrate the heat map, with perceptual advantages and disadvantages for each. Choosing a good color scheme is integral to accurately and effectively displaying data, whereas a poor color scheme can lead viewers to inaccurate conclusions or exclude those with color deficiencies from proper analysis of said data. Rainbow color maps are a common choice, as humans can perceive more shades of color than they can of gray, and this would purportedly increase the amount of detail perceivable in the image. However, this is heavily discouraged in the scientific community for a number of reasons. Possibly the largest reason is that when there is a large number of colors involved, the visualization may give off the impression that there exist gradients in the data that are not really present. The more colors used in a visualization the more values begin to bleed together and color lacks the natural perceptual ordering found in grayscale or blackbody spectrum colormaps. Additionally, values represented by different shades of the same color can imply that the values are related when they are not. An important consideration when choosing a color scheme is whether or not the data will be viewed by anyone with any form of color deficiency. If the audience contains individuals with any form of color blindness, it may be wise to avoid color schemes with prominent reds and greens or uneven color gradients. Gnuplot, a universal and free command line plotting program, can trace 2D and 3D heat maps. Google Fusion Tables can generate a heat map from a Google Sheets spreadsheet limited to 1000 points of geographic data. Dave Green's 'cubehelix' colour scheme provides resources for a colour scheme that prints as a monotonically increasing greyscale on black and white postscript devices. Openlayers3 can render a heat map layer of a selected property of all geographic features in a vector layer. D3. js, AnyChart and Highcharts are JavaScript libraries for data visualization that provide the ability to create interactive heat map charts, from basic to highly customized, as part of their solutions.

Карты хороплета против тепловых карт

Хороплетные карты и тепловые карты часто используются ошибочно как взаимозаменяемые при визуализации географических данных. Оба метода отображают пропорцию интересующей переменной, но отличаются способом построения границ для агрегации данных этой переменной. Если данные собирались и агрегировались с использованием нерегулярных границ, таких как административные единицы, то тепловая карта, отображающая эти данные, будет выглядеть так же, как хороплетная карта, что может привести к путанице в понимании их различий. Хороплетные карты показывают данные, сгруппированные по географическим границам, таким как страны, штаты, провинции или даже поймы рек. Каждый регион имеет одно значение, визуализированное интенсивностью цвета, оттенком или узором. В качестве примера можно привести изображение справа, на котором показана хороплетная карта плотности населения США по штатам. На изображении представлено одно значение (население), обозначенное синей интенсивностью цвета, пропорциональной значению штата относительно значений всех остальных штатов и ограниченное границей каждого штата. Аналогично, тепловые карты также могут визуализировать данные на географической территории. Однако, в отличие от хороплетных карт, тепловые карты отображают пропорцию переменной на произвольной, но обычно небольшой сетке, не зависящей от географических границ. На изображении справа представлена тепловая карта мирового населения. На изображении показано одно значение (население), ограниченное произвольной сеткой (квадратными километрами), при этом каждая ячейка сетки представлена интенсивностью цвета, пропорциональной значению ячейки относительно всех остальных ячеек. Некоторые тепловые карты, созданные на основе приближенных региональных данных, могут отображать знакомые географические границы в визуализации, которых на самом деле не существует. Эта иллюзия географических границ возникает из-за наличия закономерностей в наборе данных, а не из-за метода визуализации. Это явление также присутствует на изображении справа, демонстрирующем тепловую карту мирового населения. Районы в сельской местности США и Южной Америки могут тесно напоминать знакомые географические границы в этих регионах.

Choropleth maps and heat maps are often used in place of one another incorrectly when referring to data visualized geographically. Both techniques show the proportion of a variable of interest, but the two differ in how the boundaries for the variable's data aggregations are constructed. If the data were collected and aggregated using irregular boundaries, such as administrative units, then a heat map displaying that data will be the same as a choropleth map, encouraging confusion about how the two differ. Choropleth maps show data grouped by geographic boundaries like countries, states, provinces or even floodplains. Each region has a singular value, visualized by color intensity, shading or pattern. The figure on the right displaying a choropleth map showing the United States' population density by state may be used as an example. The figure illustrates a singular value (population) denoted by blue color intensity proportionate to the state's value relative to all other states' values, bounded by each state's border. Similarly, heat maps may also visualize data over a geographic region. However, unlike choropleth maps, heat maps show the proportion of a variable over an arbitrary, but usually small grid size, independent of geographic boundaries. The figure on the right displaying a heat map of world population is an example. The figure illustrates a single value (population) bounded in an arbitrary grid (square kilometers) with each cell in the grid represented by a color intensity proportionate to the value of the cell relative to all other cells. Some heat maps that are created using approximated regional data may show familiar geographic borders in the visualization where none really exist. The illusion of geographic borders is due to the existence of patterns within the dataset rather than the visualization technique. The figure on the right displaying a heat map of world population also contains this occurrence. Areas in rural parts of the United States and South America may closely resemble familiar geographic borders in those regions.