Введение
Формат звука полного сферического окружения
Ambisonics – это формат звука полного сферического окружения: в дополнение к горизонтальной плоскости, он охватывает звуковые источники над и под слушателем. В отличие от некоторых других многоканальных форматов объемного звучания, его каналы передачи не содержат сигналов для динамиков. Вместо этого они содержат независимое от динамиков представление звукового поля, называемое форматом B, которое затем декодируется в соответствии с конфигурацией акустической системы слушателя. Этот дополнительный этап позволяет создателю звука мыслить в терминах направлений источников звука, а не расположения динамиков, и предоставляет слушателю значительную гибкость в отношении компоновки и количества динамиков, используемых для воспроизведения. Ambisonics был разработан в Великобритании в 1970-х годах под эгидой Британской национальной корпорации по исследованиям и разработкам. Несмотря на прочную техническую основу и многочисленные преимущества, Ambisonics долгое время не имел коммерческого успеха и существовал лишь в нишевых приложениях и среди энтузиастов звукозаписи. С широкой доступностью мощной цифровой обработки сигналов (в отличие от дорогостоящих и подверженных ошибкам аналоговых схем, которые приходилось использовать на ранних этапах) и успешным выходом на рынок систем домашнего кинотеатра с 1990-х годов, интерес к Ambisonics среди звукорежиссеров, звукодизайнеров, композиторов, медиакомпаний, вещателей и исследователей возродился и продолжает расти. В частности, он оказался эффективным способом представления пространственного звука в приложениях виртуальной реальности (например, YouTube 360 Video), поскольку сцена в формате B может вращаться в соответствии с ориентацией головы пользователя, а затем декодироваться как бинауральное стерео.
Введение
Амбисоника может быть понята как трехмерное расширение стерео M/S (средний/боковой), с добавлением дополнительных каналов разности для высоты и глубины. Полученный набор сигналов называется форматом B. Его составляющие каналы обозначаются для звукового давления (M в M/S), для градиента звукового давления "спереди минус сзади", для разности "левый минус правый" (S в M/S) и для разности "верх минус низ". Сигнал соответствует всенаправленному микрофону, в то время как остальные компоненты соответствуют сигналам, которые были бы записаны микрофонами с кардиоидной диаграммой направленности, ориентированными вдоль трех пространственных осей.
Проверка источника
Простой амбисоник-панораматор (или кодер) принимает исходный сигнал и два параметра: горизонтальный угол и угол возвышения. Он позиционирует источник под желаемым углом, распределяя сигнал по амбисоник-компонентам с разными коэффициентами усиления:
Будучи всенаправленным, канал W всегда получает один и тот же постоянный входной сигнал, независимо от углов. Чтобы его средняя энергия была примерно такой же, как у других каналов, W ослабляется примерно на 3 дБ (точнее, делится на квадратный корень из двух). Члены, соответствующие Y и Z, фактически формируют диаграммы направленности микрофонов типа «восьмерка» (см. иллюстрацию справа, второй ряд). Мы берем их значения при θ = 90° и φ = 90°, и умножаем результат на входной сигнал. В итоге, входной сигнал попадает во все компоненты с той же громкостью, с какой его зафиксировал бы соответствующий микрофон.
Декодирование
Базовый декодер Ambisonic очень похож на набор виртуальных микрофонов. Для идеально регулярных конфигураций упрощенный декодер можно создать, направив виртуальный кардиоидный микрофон в направлении каждого динамика. Вот пример – квадрат:
Важны знаки компонентов и , остальное – коэффициенты усиления. Компонента отбрасывается, поскольку невозможно воспроизвести информацию о высоте, используя только четыре динамика в одной плоскости. На практике, для корректной работы реальному декодеру Ambisonic требуется ряд психоакустических оптимизаций. Частотно-зависимое декодирование также может использоваться для создания бинаурального стерео, что особенно актуально в приложениях виртуальной реальности.
Амбисоны высшего порядка
Пространственное разрешение амбисоники первого порядка, как описано выше, довольно низкое. На практике это приводит к некоторой размытости источников звука, а также к сравнительно небольшой полезной области прослушивания или "сладкому месту". Разрешение можно повысить и увеличить "сладкое место", добавив в формат B группы более селективных направленных компонентов. Эти компоненты уже не соответствуют традиционным диаграммам направленности микрофонов, а скорее напоминают четырехлистный клевер. Полученный набор сигналов называется амбисоникой второго, третьего или, в совокупности, высшего порядка. Для заданного порядка сферические системы полного охвата требуют сигнальных компонентов, а для воспроизведения только в горизонтальной плоскости необходимо компонентов. Исторически существовало несколько различных форматов для амбисоники высшего порядка; подробности см. в разделе "Форматы обмена данными амбисоники".
Психоакустика
Слуховой аппарат человека обладает очень точной локализацией источников звука в горизонтальной плоскости (в некоторых экспериментах удавалось определить разницу в положении источников всего в 2°). Для разных частотных диапазонов можно выделить два основных признака, определяющих локализацию:
Локализация низкочастотных сигналов
На низких частотах, где длина волны значительно больше размера человеческой головы, входящий звук огибает её дифракцией, поэтому акустическая тень практически отсутствует и, следовательно, разницы в уровне звука между ушами нет. В этом диапазоне единственной доступной информацией является фазовое соотношение между сигналами, поступающими в оба уха, которое называется межслуховой временной разницей, или ITD. Оценка этой временной разницы позволяет точно локализовать источник звука в пределах конуса неопределенности: угол прихода звука определяется однозначно, но ITD одинакова для звуков, приходящих спереди или сзади. Если звук не является совершенно новым для слушателя, эта неопределенность обычно разрешается благодаря восприятию тембральных изменений, вызванных формой ушных раковин (или пинн).
Высокочастотная локализация
По мере того, как длина волны приближается к двукратному размеру головы, фазовые соотношения становятся неоднозначными, поскольку уже неясно, соответствует ли разница фаз между ушами одному, двум или даже большему числу периодов при увеличении частоты. К счастью, в этом диапазоне голова создает значительную акустическую тень, что приводит к небольшой разнице в уровне звука между ушами. Это называется межауральной разницей уровней, или ILD (к этому применимо то же "поле неопределенности"). В совокупности эти два механизма обеспечивают локализацию звука во всем диапазоне слышимости.
Моноауральный сигнал HRTF
Люди также способны определять местоположение источника звука в трехмерном пространстве, учитывая высоту. Значительная часть этой способности обусловлена формой головы (особенно ушной раковины), которая создает частотную характеристику, изменяющуюся в зависимости от угла, под которым расположен источник звука. Эту характеристику можно измерить, поместив микрофон в ушной канал человека и воспроизводя звуки с разных направлений. Записанная передаточная функция, связанная с головой (HRTF), затем может быть использована для рендеринга амбисоники для наушников, имитируя эффект, создаваемый головой. HRTF различаются у разных людей из-за вариаций формы головы, однако использование усредненной HRTF может дать удовлетворительный результат.
Синтез звукового поля (декодирование)
В принципе, сигналы для громкоговорителей формируются посредством линейной комбинации компонентных сигналов Ambisonic, при этом каждый сигнал зависит от фактического положения громкоговорителя относительно центра воображаемой сферы, поверхность которой охватывает все доступные громкоговорители. На практике, незначительные неточности в расстояниях до громкоговорителей могут быть компенсированы с помощью задержки. Однако для корректного декодирования Ambisonic требуется пространственная эквализация сигналов, учитывающая различия в механизмах локализации звука на высоких и низких частотах в человеческом восприятии. Дополнительная оптимизация учитывает расстояние слушателя до громкоговорителей (компенсация ближнего поля). Также применяются различные современные методы декодирования.
Совместимость с существующими каналами распределения
В настоящее время декодеры Ambisonics не поступают в продажу конечным пользователям в заметных объемах, и коммерчески доступных оригинальных записей в формате Ambisonics не существует. Следовательно, контент, созданный в Ambisonics, необходимо предоставлять потребителям в стерео- или дискретном многоканальном формате.
Стерео
Содержание Ambisonics может быть автоматически сведено до стерео без необходимости в специальном даунмиксе. Наиболее простой подход – это выборка формата B с помощью виртуального стереомикрофона. Результат эквивалентен записи стерео с совпадающим расположением микрофонов. Образность звука будет зависеть от геометрии микрофона, но обычно источники, находящиеся сзади, будут воспроизводиться тише и более рассеянно. Вертикальная информация (из канала) исключается. В качестве альтернативы, формат B может быть матрично закодирован в формат UHJ, который подходит для непосредственного воспроизведения на стереосистемах. Как и прежде, вертикальная информация будет отброшена, но в дополнение к воспроизведению слева-справа, UHJ пытается сохранить часть горизонтальной информации об окружающем звучании, преобразуя источники позади в сигналы в противофазе. Это дает слушателю некоторое ощущение локализации звука сзади. Двухканальный UHJ также может быть декодирован обратно в горизонтальный Ambisonics (с некоторой потерей точности), если доступна система воспроизведения Ambisonics. Существует и безпотерий UHJ до четырех каналов (включая информацию о высоте), но он не получил широкого распространения. Во всех схемах UHJ первые два канала представляют собой стандартные сигналы для левого и правого динамиков.
Многоканальные форматы
Аналогичным образом, возможно предварительно декодировать материал Ambisonics для произвольных конфигураций динамиков, таких как Quad, 5.1, 7.1, Auro 11.1 или даже 22.2, опять же без ручного вмешательства. Канал LFE либо опускается, либо для него создается специальный микс вручную. Предварительное декодирование для 5.1-систем было известно как в ранние годы DVD-Audio, хотя этот термин сейчас практически не используется. Очевидное преимущество предварительного декодирования заключается в том, что любой пользователь объемного звука может оценить Ambisonics, не требуя специального оборудования, кроме того, что обычно есть в домашнем кинотеатре. Главный недостаток состоит в потере гибкости при рендеринге единого стандартного сигнала Ambisonics для любой целевой акустической системы: сигнал предполагает конкретную "стандартную" конфигурацию, и прослушивание на другой системе может привести к снижению точности локализации. Конфигурации с 5.1 и более каналами обычно превосходят пространственное разрешение Ambisonics первого порядка, по крайней мере, в переднем квадранте. Для достижения оптимального разрешения, избежания чрезмерных перекрестных помех и обхода особенностей целевой конфигурации, предварительное декодирование для таких систем должно выполняться на основе исходного материала Ambisonics более высокого порядка.
Производственный рабочий процесс
Амбисонический контент можно создать двумя основными способами: путем записи звука с помощью подходящего микрофона первого или более высокого порядка, либо путем использования отдельных монофонических источников и их панорамирования в нужные позиции. Контент также можно обрабатывать, находясь в формате B.
Нативные массивы формата B
Поскольку компоненты Амбисоники первого порядка соответствуют физическим диаграммам направленности микрофонов, вполне практично записывать формат B напрямую с помощью трех совпадающих микрофонов: всенаправленной капсулы, одной восьмёркообразной капсулы, направленной вперед, и одной восьмёркообразной капсулы, направленной влево, что позволяет получить компоненты , и . Это называется родным или микрофонным массивом Nimbus/Halliday, в честь его разработчика доктора Джонатана Холлидея из Nimbus Records, где он используется для записи их обширной и продолжающейся серии релизов в формате Ambisonic. Интегрированный микрофон родного формата B, C700S, производится и продается компанией Josephson Engineering с 1990 года. Основная сложность этого подхода заключается в том, что локализация и четкость высоких частот зависят от того, насколько близко диафрагмы подходят к идеальному совпадению. Вертикальное расположение капсул обеспечивает идеальное совпадение для горизонтальных источников звука. Однако звук, приходящий сверху или снизу, теоретически может подвергаться незначительным эффектам гребенчатой фильтрации на самых высоких частотах. В большинстве случаев это не является ограничением, поскольку источники звука, расположенные далеко от горизонтальной плоскости, обычно являются результатом отражений от помещения. Кроме того, восьмёркообразные микрофонные элементы, расположенные друг над другом, имеют глубокий провал в направлении оси их расположения, поэтому основным преобразователем в этих направлениях является центральный всенаправленный микрофон. На практике это может привести к меньшей ошибке локализации, чем у любой из альтернатив (тетраэдрические массивы с обработкой или четвертый микрофон для оси Z). Родные массивы чаще всего используются для горизонтального окружающего звучания, поскольку при добавлении четвертого микрофона увеличиваются позиционные ошибки и эффекты затенения.
Тетраэдрический микрофон
Поскольку построить идеально совпадающий массив микрофонов невозможно, наилучшим решением является минимизация и максимально равномерное распределение позиционной ошибки. Этого можно добиться, расположив четыре кардиоидных или субкардиоидных капсюля в форме тетраэдра и выполнив их эквализацию для получения равномерной характеристики в диффузном поле. Сигналы с капсюлей затем преобразуются в формат B посредством матричной операции. Помимо Ambisonics, тетраэдрические микрофоны стали популярны среди звукорежиссеров при записи на местности в стерео или 5.1 благодаря их гибкости при пост-обработке; в этом случае формат B используется лишь как промежуточный этап для создания виртуальных микрофонов.
Микрофоны высшего порядка
Выше первого порядка получить компоненты Ambisonic напрямую с помощью отдельных микрофонных капсул уже невозможно. Вместо этого, разностные сигналы более высокого порядка выводятся из нескольких пространственно распределенных (обычно всенаправленных) капсул с использованием сложной цифровой обработки сигналов. em32 Eigenmike и ZYLIA ZM 1 – коммерчески доступный 32-канальный амбизонный микрофонный массив. Недавняя работа Питера Крейвена и др. (впоследствии запатентованная) описывает использование двунаправленных капсул в микрофонах более высокого порядка для снижения степени необходимой эквализации. Микрофоны, основанные на этой идее, пока не были созданы.
Амбизонное паноражирование
Самый простой способ создания амбисоновых миксов любого порядка — использовать монофонические источники и позиционировать их с помощью амбисонового кодера. Полный сферический кодер обычно имеет два параметра: азимут (или горизонт) и угол возвышения. Кодер распределяет исходный сигнал по амбисоновым компонентам таким образом, чтобы при декодировании источник звучал из желаемой точки пространства. Более продвинутые панорамные инструменты также предоставляют параметр радиуса, который учитывает затухание сигнала в зависимости от расстояния и усиление низких частот, вызванное эффектом ближнего поля. Аппаратные панорамные консоли и микшеры для амбисоники первого порядка доступны с 1980-х годов и используются в коммерческих проектах. В настоящее время плагины панорамирования и другие программные инструменты доступны для всех основных цифровых аудио рабочих станций (DAW), часто в виде бесплатного программного обеспечения. Однако из-за ограничений на ширину шин, большинство профессиональных DAW не поддерживают порядок выше второго. Примечательными исключениями являются REAPER, Pyramix, ProTools, Nuendo и Ardour.
Амбизонные манипуляции
Формат B первого порядка может быть подвергнут различным манипуляциям для изменения содержания звуковой сцены. Хорошо известные манипуляции включают "ротацию" и "доминирование" (перемещение источников звука к или от определенного направления). Кроме того, линейная стационарная обработка сигнала, такая как эквализация, может быть применена к формату B без искажения направления звука, при условии, что она применяется одинаково ко всем компонентным каналам. Более поздние разработки в области амбисоники высшего порядка позволяют проводить широкий спектр манипуляций, включая вращение, отражение, перемещение, 3D-реверберацию, повышение дискретности из устаревших форматов, таких как 5.1 или первого порядка, визуализацию, а также направленно-зависимое маскирование и эквализацию.
Обмен данными
Для передачи формата Ambisonic B между устройствами и конечными пользователями необходим стандартизированный формат обмена. В то время как традиционный формат B первого порядка хорошо определен и общепринят, для амбисоники более высокого порядка существуют различные, иногда противоречивые соглашения, касающиеся порядка каналов и их весов, которые, вероятно, потребуется поддерживать в течение некоторого времени. Традиционно наиболее распространенным форматом высшего порядка является Furse Malham, использующий контейнер amb и основанный на формате файлов WAVE EX от Microsoft. Он масштабируется до третьего порядка и имеет ограничение на размер файла в 4 ГБ. Новые реализации и проекты могут рассмотреть предложение AmbiX, которое использует формат файла caf и устраняет ограничение в 4 ГБ. Он масштабируется до произвольно высоких порядков и основан на кодировании SN3D. Компания Google приняла кодирование SN3D в качестве основы для своего формата YouTube 360.
Сжатое распределение
Для эффективного распространения данных Ambisonic среди непрофессионалов желательно использовать сжатие с потерями, чтобы обеспечить приемлемый размер данных. Однако простое многоканальное моно-сжатие недостаточно, поскольку сжатие с потерями склонно к разрушению фазовой информации, что приводит к ухудшению локализации в виде пространственного сужения, размытости и появления ложных источников звука. Желательно уменьшить избыточность между каналами не только для повышения эффективности сжатия, но и для снижения риска заметных фазовых искажений. (Также возможно использовать постобработку для маскировки артефактов.) Подобно стереокодированию Mid/Side, схема статического матрицирования (как в Opus) применима к амбисонике первого порядка, но не оптимальна при наличии нескольких источников звука. Некоторые схемы, такие как DirAC, используют подход, аналогичный параметрическому стерео, при котором кодируется сигнал пониженного порядка, фиксируется основное направление и добавляется описание звукового окружения. MPEG H 3D Audio, основываясь на некоторых разработках MPEG Surround, расширяет эту концепцию для обработки нескольких источников. MPEG H использует анализ главных компонент для определения основных источников, а затем кодирует многоканальный моно-сигнал, соответствующий этим основным направлениям. Эти параметрические методы обеспечивают хорошее качество, при условии тщательного сглаживания направлений звука между кадрами.
Открытый код
С 2018 года существует бесплатная и открытая реализация в звуковом кодеке Opus. Предоставляются два режима кодирования каналов: один, который просто сохраняет каналы по отдельности, а другой, который применяет взвешивание каналов с помощью фиксированной, обратимой матрицы для уменьшения избыточности. В 2020 году был опубликован тест прослушивания Opus ambisonics, проведенный в качестве калибровки для AMBIQUAL – объективной метрики для оценки сжатых ambisonics, разработанной Google. Opus ambisonics третьего порядка при скорости 256 кбит/с обеспечивает сопоставимую точность локализации по сравнению с Opus ambisonics первого порядка при скорости 128 кбит/с.
Использование в играх
Высокопорядочные амбисоники нашли свою нишу на рынке видеоигр, разрабатываемых Codemasters. Первой игрой, использовавшей аудиодвижок Ambisonic, была Colin McRae: DiRT, однако в ней амбисоники применялись только на платформе PlayStation 3. Игра Race Driver: GRID расширила использование амбисоников на платформу Xbox 360, а Colin McRae: DiRT 2 использует амбисоники на всех платформах, включая ПК. В последних играх Codemasters – F1 2010, Dirt 3, F1 2011 и Dirt: Showdown – используются амбисоники четвертого порядка на более производительных ПК, отрисовываемые драйвером Rapture3D OpenAL от Blue Ripple Sound и предварительно смикшированный амбисонический звук, созданный с помощью плагинов WigWare Ambisonic Plugins Брюса Виггинса. OpenAL Soft, бесплатная реализация с открытым исходным кодом спецификации OpenAL, также использует амбисоники для рендеринга 3D-аудио. OpenAL Soft часто можно использовать как замену другим реализациям OpenAL, позволяя ряду игр, использующих API OpenAL, извлекать выгоду из рендеринга звука с помощью амбисоников. Для многих игр, которые не используют API OpenAL напрямую, использование обертки или цепочки оберток может помочь им косвенно использовать API OpenAL. В конечном итоге это приводит к тому, что звук отрисовывается в амбисониках, если используется подходящий драйвер OpenAL, такой как OpenAL Soft. Unreal Engine поддерживает рендеринг звукового поля Ambisonics, начиная с версии 4.25. Движок Unity поддерживает работу с аудиоклипами Ambisonics, начиная с версии 2017.1.
Патенты и товарные знаки
Большинство патентов, покрывающих разработки в области Ambisonic, истекли (включая патенты на микрофон Soundfield), и, как следствие, базовая технология стала доступна для реализации любому желающему. Изначально "пул" патентов, составляющих технологию Ambisonics, был собран Национальной корпорацией исследований и разработок правительства Великобритании (NRDC), которая существовала до конца 1970-х годов для разработки, продвижения британских изобретений и лицензирования их коммерческим производителям – предпочтительно одному лицензиату. В конечном итоге система была лицензирована компании Nimbus Records (в настоящее время принадлежащей Wyastone Estate Ltd.). Логотип Ambisonic в виде "перекрывающихся кругов" (зарегистрированные товарные знаки Великобритании и ), а также текстовые обозначения "AMBISONIC" и "A M B I S O N" (зарегистрированные товарные знаки Великобритании и ), ранее принадлежавшие Wyastone Estate Ltd., прекратили свое действие в 2010 году.