Введение
Использование звуков, отличных от речи, для передачи информации
Сонификация – это использование неречевого аудио для передачи информации или представления данных в звуковой форме. Слуховое восприятие обладает преимуществами в отношении временного, пространственного, амплитудного и частотного разрешения, что открывает возможности в качестве альтернативы или дополнения к методам визуализации. Например, частота щелчков счетчика Гейгера передает уровень радиации в непосредственной близости от прибора. Хотя многочисленные эксперименты с сонификацией данных были проведены на таких площадках, как Международное сообщество по слуховому отображению (ICAD), сонификация сталкивается с рядом проблем, препятствующих ее широкому применению для представления и анализа данных. Например, исследования показывают, что обеспечение достаточного контекста для интерпретации сонифицированных данных является сложной, но необходимой задачей. Многие попытки сонификации реализуются с нуля из-за недостатка гибких инструментов для исследований в области сонификации и изучения данных.
История
Счетчик Гейгера, изобретенный в 1908 году, является одним из самых ранних и успешных применений сонификации. В счетчике Гейгера есть трубка с газом низкого давления; каждая обнаруженная частица производит импульс тока при ионизации газа, создавая звуковой щелчок. Первоначальная версия была способна обнаруживать только альфа-частицы. В 1928 году Гейгер и Уолтер Мюллер (докторант Гейгера) усовершенствовали счетчик, чтобы он мог обнаруживать больше типов ионизирующего излучения. В 1913 году доктор Эдмунд Фурнье д’Альбе из Бирмингемского университета изобрел оптофон, который использовал фотосенсоры из селена для обнаружения черного текста и преобразования его в звуковой сигнал. Слепой читатель мог поднести книгу к устройству и приложить аппарат к области, которую хотел прочитать. Оптофон воспроизводил определенную группу нот: каждая нота соответствовала позиции на читаемой области оптофона, и эта нота заглушалась при обнаружении черной краски. Таким образом, отсутствующие ноты указывали на места, где на странице была черная краска, и их можно было использовать для чтения. Поллок и Фикс опубликовали первые перцептивные эксперименты по передаче информации посредством слухового отображения в 1954 году. Они экспериментировали с комбинированием параметров звука, таких как время, частота, громкость, длительность и пространственное расположение, и обнаружили, что могут заставить испытуемых регистрировать изменения в нескольких параметрах одновременно. Эти эксперименты не углублялись в детали, поскольку каждый параметр имел только два возможных значения. В 1970 году Nonesuch Records выпустила новую электронную музыкальную композицию американского композитора Чарльза Доджа под названием «Магнитное поле Земли». Она была создана в Центре электронной музыки Колумбийского университета и Принстона. Как следует из названия, электронные звуки композиции были синтезированы из данных о магнитном поле Земли. Таким образом, это, возможно, первая сонификация научных данных в художественных, а не научных целях. Джон М. Чемберс, Макс Мэтьюз и Ф. Р. Мур из Лабораторий Белла провели первые работы по аудиальному графированию в своем техническом меморандуме «Инспекция аудиальных данных» в 1974 году. Они дополнили диаграмму рассеяния звуками, которые варьировались по частоте, спектральному содержанию и амплитудной модуляции для использования в классификации. Они не проводили формальной оценки эффективности этих экспериментов. В 1976 году философ техники Дон Ихде написал: «Подобно тому, как наука, кажется, производит бесконечное множество визуальных образов для практически всех своих явлений – от атомов до галактик, знакомых нам по научно-популярным книгам и журналам, так и «музыку» можно создавать из тех же данных, которые используются для визуализации». Это, по-видимому, одна из самых ранних ссылок на сонификацию как на творческую практику. В начале 1982 года Сара Блай из Калифорнийского университета в Дэвисе опубликовала две работы с примерами своих исследований по использованию компьютерного звука для представления данных. В то время область научной визуализации набирала обороты. Среди прочего, ее исследования и сопутствующие примеры сравнивали свойства визуального и звукового представления, демонстрируя, что «Звук предлагает расширение и альтернативу графическим инструментам». Ее работа предоставляет ранние экспериментальные данные, которые помогают определить соответствие представления данных типу и назначению. Также в 1980-х годах пульсоксиметры получили широкое распространение. Пульсоксиметры могут сонифицировать концентрацию кислорода в крови, излучая более высокие тоны для более высоких концентраций. Однако на практике эта конкретная функция пульсоксиметров может не широко использоваться медицинскими работниками из-за риска слишком большого количества звуковых стимулов в медицинских учреждениях. В 1992 году Международное сообщество по слуховому отображению (ICAD) было основано Грегори Крамером как форум для исследований слухового отображения, включая сонификацию данных. С тех пор ICAD стало домом для исследователей из различных областей, заинтересованных в использовании звука для передачи информации посредством своих конференций и рецензируемых публикаций. В мае 2022 года NASA сообщила о сонификации (преобразовании астрономических данных, связанных с волнами давления, в звук) черной дыры в центре скопления галактик Персея.