Введение

Визуализация данных и информации (data viz/vis или info viz/vis) — это практика проектирования и создания наглядных графических или визуальных представлений больших объемов сложных количественных и качественных данных и информации с использованием статических, динамических или интерактивных визуальных элементов. Как правило, основанная на данных и информации, собранной из определенной области знаний, эта визуализация предназначена для широкой аудитории, чтобы помочь ей визуально исследовать и обнаруживать, быстро понимать, интерпретировать и получать важные сведения о структурах, взаимосвязях, корреляциях, локальных и глобальных закономерностях, тенденциях, вариациях, устойчивости, кластерах, выбросах и необычных группировках в данных (исследовательская визуализация). Когда визуализация предназначена для широкой публики (массовая коммуникация) с целью передачи краткой версии известных, конкретных сведений в ясной и привлекательной форме (презентационная или объяснительная визуализация), в визуализации данных и информации целью является графическое представление и исследование абстрактных, нефизических и непространственных данных, собранных из баз данных, информационных систем, файловых систем, документов, деловых и финансовых данных и т. д. (презентационная и исследовательская визуализация). Это отличается от области научной визуализации, где целью является создание реалистичных изображений на основе физических и пространственных научных данных для подтверждения или опровержения гипотез (подтверждающая визуализация). Эффективная визуализация данных должна быть правильно обоснована, контекстуализирована, простой и не перегруженной. Исходные данные должны быть точными и актуальными, чтобы обеспечить надежность выводов. Графические элементы должны быть хорошо подобраны для представленных наборов данных и эстетически привлекательны, с использованием форм, цветов и других визуальных элементов осознанно, осмысленно и без отвлечения внимания. Визуальные элементы сопровождаются пояснительными текстами (подписями и заголовками). Эти словесные и графические компоненты дополняют друг друга, обеспечивая четкое, быстрое и запоминающееся понимание. Эффективная визуализация информации учитывает потребности, проблемы и уровень знаний целевой аудитории, сознательно направляя ее к предполагаемому выводу. В бизнесе визуализация данных и информации может быть частью сторителлинга на основе данных, где она сочетается с последовательной повествовательной структурой или сюжетной линией для контекстуализации анализируемых данных и передачи полученных в результате анализа сведений четко и запоминающе, с целью убедить аудиторию принять решение или предпринять действия для создания деловой ценности. Это можно противопоставить области статистической графики, где сложные статистические данные графически передаются точно и аккуратно среди исследователей и аналитиков, обладающих статистической экспертизой, чтобы помочь им провести разведочный анализ данных или представить результаты такого анализа, где визуальная привлекательность, привлечение внимания к определенной проблеме и сторителлинг не так важны. Область визуализации данных и информации носит междисциплинарный характер, поскольку она включает принципы, заимствованные из описательной статистики (уже в XVIII веке), визуальной коммуникации, графического дизайна, когнитивной науки и, в последнее время, интерактивной компьютерной графики и взаимодействия человека с компьютером. Поскольку эффективная визуализация требует навыков проектирования, статистических навыков и вычислительных навыков, авторы, такие как Гершон и Пейдж, утверждают, что это одновременно искусство и наука. Соседняя область визуальной аналитики объединяет статистический анализ данных, визуализацию данных и информации и аналитическое мышление человека посредством интерактивных визуальных интерфейсов, чтобы помочь пользователям приходить к выводам, получать полезные сведения и принимать обоснованные решения, которые в противном случае было бы трудно сделать компьютерам. Исследования того, как люди читают и неправильно интерпретируют различные типы визуализаций, помогают определить, какие типы и особенности визуализаций наиболее понятны и эффективны в передаче информации. С другой стороны, непреднамеренно плохие или намеренно вводящие в заблуждение и обманчивые визуализации (дезинформирующая визуализация) могут служить мощными инструментами, распространяющими дезинформацию, манипулирующими общественным мнением и отклоняющими общественное мнение в определенном направлении. Таким образом, грамотность в области визуализации данных стала важным компонентом информационной грамотности в информационную эпоху, подобно роли, которую в прошлом играли текстовая, математическая и визуальная грамотность.

Обзор

Область визуализации данных и информации возникла "из исследований в области взаимодействия человека и компьютера, информатики, графики, визуального дизайна, психологии и бизнес-методов. Она все чаще применяется в качестве важнейшего компонента в научных исследованиях, цифровых библиотеках, анализе данных, финансовом анализе данных, исследованиях рынка, контроле производственных процессов и разработке лекарственных препаратов". Визуализация данных и информации исходит из предположения, что "визуальные представления и методы взаимодействия используют широкую пропускную способность зрительного канала человека для передачи информации в мозг, позволяя пользователям видеть, исследовать и понимать большие объемы информации одновременно. Визуализация информации сосредоточена на создании подходов для интуитивно понятной передачи абстрактной информации". Анализ данных является неотъемлемой частью всех прикладных исследований и решения задач в промышленности. Наиболее фундаментальными подходами к анализу данных являются визуализация (гистограммы, диаграммы рассеяния, поверхностные графики, древовидные карты, графики параллельных координат и т.д.), статистика (проверка гипотез, регрессия, PCA и т.д.), интеллектуальный анализ данных (ассоциативные правила и т.д.) и методы машинного обучения (кластеризация, классификация, деревья решений и т.д.). Среди этих подходов визуализация информации, или визуальный анализ данных, наиболее сильно зависит от когнитивных способностей аналитиков и позволяет обнаруживать неструктурированные, практически применимые идеи, которые ограничены лишь человеческим воображением и творчеством. Аналитику не требуется осваивать сложные методы для интерпретации визуализаций данных. Визуализация информации также является инструментом для генерации гипотез, который может и обычно сопровождается более аналитическим или формальным анализом, например, статистическим тестированием гипотез. Для четкой и эффективной коммуникации информации визуализация данных использует статистическую графику, диаграммы, информационную графику и другие инструменты. Числовые данные могут кодироваться с помощью точек, линий или столбцов для визуального представления количественной информации. Эффективная визуализация помогает пользователям анализировать и делать выводы на основе данных и доказательств. Она делает сложные данные более доступными, понятными и удобными в использовании, но также может приводить к упрощению. Пользователи могут иметь конкретные аналитические задачи, такие как сравнение или понимание причинно-следственных связей, и принцип дизайна графики (например, отображение сравнений или причинно-следственных связей) должен соответствовать этой задаче. Таблицы обычно используются, когда пользователям необходимо найти конкретное значение, а диаграммы различных типов – для отображения закономерностей или взаимосвязей в данных для одной или нескольких переменных. Визуализация данных относится к техникам, используемым для передачи данных или информации путем кодирования их в виде визуальных объектов (например, точек, линий или столбцов) на графиках. Цель состоит в том, чтобы четко и эффективно донести информацию до пользователей. Это один из этапов анализа данных или науки о данных. По мнению Виталия Фридмана (2008), "главная цель визуализации данных – четко и эффективно передавать информацию с помощью графических средств. Это не означает, что визуализация данных должна выглядеть скучно, чтобы быть функциональной, или чрезмерно сложной, чтобы быть красивой. Для эффективной передачи идей эстетическая форма и функциональность должны идти рука об руку, предоставляя понимание относительно скудного и сложного набора данных, сообщая о его ключевых аспектах более интуитивно понятным способом. Однако дизайнеры часто не достигают баланса между формой и функцией, создавая великолепные визуализации данных, которые не выполняют свою основную цель – передачу информации". Действительно, Фернанда Виегас и Мартин М. Уоттенберг предположили, что идеальная визуализация должна не только четко передавать информацию, но и стимулировать вовлеченность и внимание зрителя. Визуализация данных тесно связана с информационной графикой, визуализацией информации, научной визуализацией, разведочным анализом данных и статистической графикой. В новом тысячелетии визуализация данных стала активной областью исследований, обучения и разработки. Согласно Post et al. (2002), она объединила научную и информационную визуализацию. В коммерческой среде визуализация данных часто называют информационными панелями (dashboards). Инфографика – еще одна распространенная форма визуализации данных.

Визуальное восприятие и визуализация данных

Человек может легко различать различия в длине линии, форме, ориентации, расстояниях и цвете (оттенке) без значительных вычислительных усилий; эти характеристики называются "преаттентивными атрибутами". Например, для определения количества раз, когда цифра "5" встречается в ряду чисел, может потребоваться значительное время и усилия ("внимательная обработка"); но если эта цифра отличается размером, ориентацией или цветом, экземпляры цифры можно быстро заметить благодаря преаттентивной обработке. Эффективная графика использует преаттентивную обработку и атрибуты, а также относительную силу этих атрибутов. Например, поскольку людям легче воспринимать различия в длине линии, чем в площади, более эффективным может быть использование столбчатой диаграммы (которая использует длину линии для сравнения), чем круговой диаграммы (которая использует площадь для сравнения). Когниция относится к процессам, происходящим в человеке, таким как восприятие, внимание, обучение, память, мышление, формирование понятий, чтение и решение задач. Человеческое зрительное восприятие эффективно в обнаружении изменений и сравнении количеств, размеров, форм и изменений яркости. Когда свойства символьных данных отображаются на визуальные свойства, люди могут эффективно просматривать большие объемы данных. По оценкам, до 2/3 нейронов мозга могут быть задействованы в зрительной обработке. Правильная визуализация предоставляет иной подход к демонстрации потенциальных связей, взаимосвязей и т.п., которые не так очевидны в не визуализированных количественных данных. Визуализация может стать средством исследования данных. Исследования показали, что при сравнении визуализации данных с текстом люди в среднем используют на 19% меньше когнитивных ресурсов и на 4,5% лучше запоминают детали.

История

Современное изучение визуализации началось с компьютерной графики, которая «с самого начала использовалась для изучения научных проблем. Однако на ранних этапах ее полезность часто ограничивалась недостаточной вычислительной мощностью. Новый импульс визуализации начался в 1987 году со специального выпуска журнала *Computer Graphics* посвященного визуализации в научных вычислениях. С тех пор было проведено несколько конференций и семинаров, совместно спонсируемых IEEE Computer Society и ACM SIGGRAPH». Они были посвящены общим темам визуализации данных, визуализации информации и научной визуализации, а также более узким областям, таким как визуализация объемов. В 1786 году Уильям Плейфэр опубликовал первую графику для презентаций. Всеобъемлющей «истории» визуализации данных не существует. Нет работ, охватывающих все развитие визуального мышления и визуального представления данных, и объединяющих вклад различных дисциплин. Майкл Френдли и Дэниел Денис из Йоркского университета работают над проектом, целью которого является создание всесторонней истории визуализации. Вопреки распространенному мнению, визуализация данных – это не современное достижение. С доисторических времен данные о звездах или информация, такая как расположение звезд, визуализировались на стенах пещер (например, в пещере Ласко на юге Франции) со времен плейстоцена. Физические артефакты, такие как месопотамские глиняные жетоны (5500 г. до н.э.), кипу инков (2600 г. до н.э.) и навигационные карты Маршалловых островов (дата неизвестна), также можно рассматривать как визуализацию количественной информации. Первая задокументированная визуализация данных относится к 1160 г. до н.э. – это Туринский папирус, который точно отображает распределение геологических ресурсов и содержит информацию об их добыче. Такие карты можно отнести к тематической картографии, которая является типом визуализации данных, представляющей и передающей конкретные данные и информацию посредством географической иллюстрации, предназначенной для отображения определенной темы, связанной с конкретной географической областью. Самые ранние задокументированные формы визуализации данных – это различные тематические карты из разных культур, идеограммы и иероглифы, которые предоставляли и позволяли интерпретировать иллюстрированную информацию. Например, таблички Линейного письма Б из Микен содержат визуализацию информации о торговле в эпоху позднего бронзового века в Средиземноморье. Идея координат использовалась древнеегипетскими землемерами при планировании городов, земные и небесные координаты определялись с использованием аналога широты и долготы, по крайней мере, к 200 г. до н.э., а проекция сферической Земли на плоскость в системе координат широты и долготы, разработанная Клавдием Птолемеем (ок. 85 – ок. 165 гг. н.э.) в Александрии, служила эталонным стандартом до XIV века. График, по-видимому, предназначался для отображения наклонов орбит планет как функции времени. Для этого зона зодиака была представлена на плоскости горизонтальной линией, разделенной на тридцать частей, представляющих время или долготу. Вертикальная ось обозначает ширину зодиака. Горизонтальный масштаб, по-видимому, был выбран индивидуально для каждой планеты, поскольку периоды не согласуются. В сопроводительном тексте упоминаются только амплитуды. Кривые, по-видимому, не связаны во времени. К XVI веку были хорошо разработаны методы и инструменты для точного наблюдения и измерения физических величин, а также географического и небесного положения (например, «настенный квадрант», построенный Тихо Браге [1546–1601], занимавший всю стену в его обсерватории). Особенно важными были разработки триангуляции и других методов для точного определения местоположения на картах. Французский философ и математик Рене Декарт и Пьер Ферма разработали аналитическую геометрию и двумерную систему координат, которая оказала значительное влияние на практические методы отображения и вычисления значений. Работа Ферма и Блеза Паскаля в области статистики и теории вероятностей заложила основу для современного понимания данных. Программы, такие как SAS, SOFA, R, Minitab, Cornerstone и другие, позволяют визуализировать данные в области статистики. Другие приложения для визуализации данных, более специализированные и ориентированные на отдельных пользователей, такие как языки программирования D3, Python и JavaScript, позволяют визуализировать количественные данные. Частные школы также разработали программы для удовлетворения спроса на обучение визуализации данных и связанных с ней библиотек программирования, включая бесплатные программы, такие как The Data Incubator, и платные программы, такие как General Assembly. Начиная с симпозиума «Data to Discovery» в 2013 году, ArtCenter College of Design, Caltech и JPL в Пасадене ежегодно проводят программу по интерактивной визуализации данных. Программа ставит вопросы: как интерактивная визуализация данных может помочь ученым и инженерам более эффективно исследовать свои данные? Как вычисления, дизайн и дизайн-мышление могут максимизировать результаты исследований? Какие методологии наиболее эффективны для использования знаний из этих областей? Кодируя реляционную информацию с помощью соответствующих визуальных и интерактивных характеристик, чтобы помочь в исследовании и, в конечном итоге, получить новые знания из данных, программа разрабатывает новые междисциплинарные подходы к сложным научным проблемам, сочетая дизайн-мышление и новейшие методы вычислений, проектирования, ориентированного на пользователя, взаимодействия и 3D-графики.

Терминология

Визуализация данных включает в себя специфическую терминологию, часть которой заимствована из статистики. Например, автор Стивен Фью определяет два типа данных, которые используются в комбинации для поддержки осмысленного анализа или визуализации:

Категориальные: представляют группы объектов с определенной характеристикой. Категориальные переменные могут быть номинальными или порядковыми. Номинальные переменные, например пол, не имеют какого-либо порядка и, следовательно, являются номинальными. Порядковые переменные – это категории, имеющие определенный порядок, например, при определении возрастной группы, в которую попадает человек. Количественные: представляют собой измерения, такие как рост человека или температура окружающей среды. Количественные переменные могут быть непрерывными или дискретными. Непрерывные переменные отражают возможность повышения точности измерений. Дискретные переменные имеют лишь конечное число возможных значений, например, количество определенных событий или возраст, измеренный в полных годах. Эпплер и Ленглер разработали "Периодическую таблицу методов визуализации" – интерактивную диаграмму, демонстрирующую различные методы визуализации данных. Она включает в себя шесть типов методов визуализации данных: данные, информация, концепция, стратегия, метафора и комбинированный. В книге "Анализ и дизайн визуализации" Тамара Мунзнер пишет: "Компьютерные системы визуализации предоставляют визуальные представления наборов данных, разработанные для того, чтобы помочь людям более эффективно выполнять задачи". Мунзнер утверждает, что визуализация "подходит, когда необходимо расширить возможности человека, а не заменять людей методами принятия решений, основанными на вычислениях".

Архитектура представления данных

Архитектура представления данных (DPA) – это комплекс навыков, направленный на выявление, поиск, обработку, форматирование и представление данных таким образом, чтобы оптимально доносить смысл и обеспечивать получение достоверных знаний. Исторически термин «архитектура представления данных» приписывается Келли Лаутт: «Архитектура представления данных (DPA) – это редко востребованный, но критически важный комплекс навыков для успеха и ценности бизнес-аналитики. Архитектура представления данных объединяет науку о числах, данных и статистике в процессе обнаружения ценной информации и ее преобразования в полезную, релевантную и применимую форму, с использованием искусства визуализации данных, коммуникаций, организационной психологии и управления изменениями, чтобы предоставлять решения бизнес-аналитики с необходимым объемом данных, сроками, форматом и визуализациями, которые наиболее эффективно поддерживают и стимулируют оперативное, тактическое и стратегическое поведение, направленное на достижение понятных бизнес- (или организационных) целей. DPA не является ни ИТ-, ни бизнес-навыком, а представляет собой отдельную область экспертизы. Архитектура представления данных, которую часто путают с визуализацией данных, является гораздо более широким комплексом навыков, включающим определение того, какие данные, в каком графике и в каком точном формате должны быть представлены, а не только поиск наилучшего способа представления уже отобранных данных. Навыки визуализации данных – лишь один из элементов DPA».