Введение
Музыкальный информационный поиск (MIR) — это междисциплинарная наука, посвященная извлечению информации из музыки. Специалисты в области MIR могут иметь образование в академической музыкальной науке, психоакустике, психологии, обработке сигналов, информатике, машинном обучении, оптическом распознавании нот, вычислительном интеллекте или в какой-либо комбинации этих дисциплин.
Приложения
MIR используется компаниями и учеными для категоризации, обработки и даже создания музыки.
Классификация музыки
Одной из классических тем исследований в области MIR является классификация по жанрам, то есть отнесение музыкальных произведений к одному из предопределенных жанров, таких как классическая музыка, джаз, рок и другие. Классификация настроения, определение исполнителя, идентификация инструментов и присвоение музыкальных тегов также являются популярными направлениями исследований.
Системы рекомендации
Несколько систем рекомендаций музыки уже существуют, но, как ни странно, лишь немногие из них основаны на методах MIR, в отличие от использования сходства между пользователями или трудоемкой компиляции данных. Например, Pandora использует экспертов для присвоения музыке определенных характеристик, таких как "женский вокал" или "выраженная басовая линия". Многие другие системы ищут пользователей со схожей историей прослушиваний и предлагают им неизведанную музыку из коллекций этих пользователей. Методы MIR для определения сходства в музыке постепенно начинают интегрироваться в подобные системы.
Отделение музыкального источника и распознавание инструмента
Разделение музыкальных источников – это выделение исходных сигналов из смешанного аудиосигнала. Распознавание инструментов – это определение инструментов, присутствующих в музыке. Разработаны различные системы MIR, способные разделять музыку на отдельные дорожки без доступа к мастер-записи. Таким образом, например, из обычных музыкальных треков можно создавать караоке-треки, хотя этот процесс пока не совершенен, поскольку вокал занимает часть того же частотного диапазона, что и другие инструменты.
Автоматическая транскрипция музыки
Автоматическая транскрипция музыки — это процесс преобразования аудиозаписи в символьную нотацию, такую как ноты или MIDI-файл. Этот процесс включает в себя ряд задач анализа звука, в том числе определение многоголосия, обнаружение атак, оценку длительности, идентификацию инструментов и извлечение гармонической, ритмической или мелодической информации. Эта задача усложняется при увеличении количества инструментов и уровня полифонии.
Создание музыки
Автоматическое создание музыки — цель, к которой стремятся многие исследователи в области MIR. Предпринимались попытки, но они имели ограниченный успех с точки зрения восприятия результатов человеком.
Источник данных
Музыкальные партитуры предоставляют четкое и логичное описание музыки, с которой можно работать, однако доступ к нотам, будь то в цифровом или другом виде, часто бывает затруднен. Музыка в формате MIDI также используется по схожим причинам, но при преобразовании из любого другого формата в MIDI некоторая информация теряется, если только музыка изначально не была написана с учетом стандартов MIDI, что встречается редко. Цифровые аудиоформаты, такие как WAV, mp3 и ogg, используются, когда сам аудиосигнал является частью анализа. Форматы с потерями, такие как mp3 и ogg, хорошо воспринимаются человеческим ухом, но могут содержать недостающие важные данные для исследований. Кроме того, некоторые методы кодирования создают артефакты, которые могут ввести в заблуждение автоматические анализаторы. Несмотря на это, широкая распространенность mp3 привела к тому, что многие исследования в этой области используют их в качестве исходного материала. В последнее время все чаще в MIR (Music Information Retrieval) включаются метаданные, полученные из сети Интернет, для более полного понимания музыки в ее культурном контексте, в частности, анализ социальных тегов.
Представление функций
Анализ часто требует некоторого обобщения, и для музыки (как и для многих других форм данных) это достигается с помощью извлечения признаков, особенно при анализе самого аудиоконтента и применении машинного обучения. Цель состоит в том, чтобы уменьшить объем данных до управляемого набора значений, чтобы обучение можно было выполнить за разумное время. Одним из распространенных извлекаемых признаков является коэффициент мел-частотных кепстральных коэффициентов (MFCC), который является мерой тембра музыкального произведения. Другие признаки могут использоваться для представления тональности, аккордов, гармонии, мелодии, основной высоты звука, темпа или ритма в композиции. Существует ряд доступных инструментов для извлечения аудиопризнаков. Доступны здесь.
Академическая деятельность
Конференция Международного общества по извлечению музыкальной информации (ISMIR) – ведущая площадка для исследований в области извлечения музыкальной информации. Международная конференция по акустике, обработке речи и сигналов (ICASSP) также является весьма значимой площадкой.