Метод независимого компонентного анализа в обработке сигналов

Введение

Вычислительный метод обработки сигналов

В обработке сигналов независимый компонентный анализ (ICA) — это вычислительный метод разделения многомерного сигнала на аддитивные подкомпоненты. Это достигается при предположении, что не более одного подкомпонента является гауссовским, и что подкомпоненты статистически независимы друг от друга. ICA был изобретен Жанни Эро и Кристианом Юттеном в 1985 году.

Введение

Независимый компонентный анализ стремится разложить многомерный сигнал на независимые, не гауссовы сигналы. Например, звук обычно представляет собой сигнал, который формируется как числовое суммирование, в каждый момент времени t, сигналов от нескольких источников. Возникает вопрос, возможно ли разделить эти составляющие источники из наблюдаемого суммарного сигнала. Когда предположение о статистической независимости верно, слепое разделение смешанного сигнала с помощью ИКА дает очень хорошие результаты. Он также используется для анализа сигналов, которые не предполагается получать путем смешивания. Простым примером применения ИКА является "проблема коктейльной вечеринки", где исходные речевые сигналы отделяются из выборочных данных, состоящих из речи нескольких людей, говорящих одновременно в комнате. Обычно задачу упрощают, предполагая отсутствие временных задержек или эха. Следует отметить, что отфильтрованный и задержанный сигнал является копией зависимого компонента, и, следовательно, предположение о статистической независимости не нарушается. Веса смешивания для построения наблюдаемых сигналов из компонентов можно представить в виде матрицы. Важно учитывать, что если имеется m источников, для восстановления исходных сигналов требуется как минимум n наблюдений (например, микрофонов, если наблюдаемый сигнал – аудио). Когда число наблюдений равно числу исходных сигналов, матрица смешивания является квадратной. Исследованы также случаи недостаточной и избыточной определенности. Успех разделения смешанных сигналов с помощью ИКА основан на двух предположениях и трех эффектах, возникающих при смешивании исходных сигналов. Два предположения:
Исходные сигналы независимы друг от друга. Значения в каждом исходном сигнале имеют распределение, отличное от гауссового. Три эффекта смешивания исходных сигналов:
Независимость: в соответствии с предположением 1, исходные сигналы независимы, однако их смеси не являются независимыми. Это связано с тем, что смеси сигналов содержат одни и те же исходные сигналы. Нормальность: согласно центральной предельной теореме, распределение суммы независимых случайных величин с конечной дисперсией стремится к гауссовскому распределению. В общих чертах, сумма двух независимых случайных величин обычно имеет распределение, более близкое к гауссовскому, чем любая из двух исходных величин. В данном случае мы рассматриваем значение каждого сигнала как случайную величину. Сложность: временная сложность любой смеси сигналов больше, чем сложность ее простейшего составляющего исходного сигнала. Эти принципы способствуют базовому формированию ИКА. Если сигналы, извлеченные из набора смесей, независимы и имеют распределение, отличное от гауссового, или имеют низкую сложность, то они должны быть исходными сигналами.

Independent component analysis attempts to decompose a multivariate signal into independent non Gaussian signals. As an example, sound is usually a signal that is composed of the numerical addition, at each time t, of signals from several sources. The question then is whether it is possible to separate these contributing sources from the observed total signal. When the statistical independence assumption is correct, blind ICA separation of a mixed signal gives very good results. It is also used for signals that are not supposed to be generated by mixing for analysis purposes. A simple application of ICA is the "cocktail party problem", where the underlying speech signals are separated from a sample data consisting of people talking simultaneously in a room. Usually the problem is simplified by assuming no time delays or echoes. Note that a filtered and delayed signal is a copy of a dependent component, and thus the statistical independence assumption is not violated. Mixing weights for constructing the observed signals from the components can be placed in an matrix. An important thing to consider is that if sources are present, at least observations (e. g. microphones if the observed signal is audio) are needed to recover the original signals. When there are an equal number of observations and source signals, the mixing matrix is square Other cases of underdetermined and overdetermined have been investigated. The success of ICA separation of mixed signals relies on two assumptions and three effects of mixing source signals. Two assumptions:
The source signals are independent of each other. The values in each source signal have non Gaussian distributions. Three effects of mixing source signals:
Independence: As per assumption 1, the source signals are independent; however, their signal mixtures are not. This is because the signal mixtures share the same source signals. Normality: According to the Central Limit Theorem, the distribution of a sum of independent random variables with finite variance tends towards a Gaussian distribution. Loosely speaking, a sum of two independent random variables usually has a distribution that is closer to Gaussian than any of the two original variables. Here we consider the value of each signal as the random variable. Complexity: The temporal complexity of any signal mixture is greater than that of its simplest constituent source signal. Those principles contribute to the basic establishment of ICA. If the signals extracted from a set of mixtures are independent and have non Gaussian distributions or have low complexity, then they must be source signals.

Бинарный ИКА

Особый вариант ИКА – бинарный ИКА, в котором как источники сигнала, так и мониторы представлены в двоичной форме, а наблюдения с мониторов являются дизъюнктивными смесями двоичных независимых источников. Показано, что эта задача находит применение в различных областях, включая медицинскую диагностику, многокластерное присвоение, сетевую томографию и управление интернет-ресурсами. Пусть – множество бинарных переменных, полученных с мониторов, а – множество бинарных переменных, соответствующих источникам. Связи между источниками и мониторами представляются (неизвестной) матрицей смешивания , где означает, что сигнал от i-го источника может быть зафиксирован j-м монитором. Система работает следующим образом: в любой момент времени, если источник активен и подключен к монитору , то монитор зафиксирует некоторую активность. Формально это можно записать так:

где – логическое И, а – логическое ИЛИ. Шум явно не моделируется, но может рассматриваться как независимые источники. Указанную задачу можно эвристически решить, предположив, что переменные непрерывны, и применив FastICA к бинарным данным наблюдений для получения матрицы смешивания (с вещественными значениями), а затем применив методы округления для получения бинарных значений. Показано, что этот подход дает крайне неточные результаты. Другой метод – использование динамического программирования: рекурсивное разбиение матрицы наблюдений на подматрицы и применение алгоритма вывода к этим подматрицам. Ключевым наблюдением, приводящим к этому алгоритму, является подматрица , где соответствует несмещенной матрице наблюдений скрытых компонент, не имеющих связи с -м монитором. Экспериментальные результаты демонстрируют, что этот подход обеспечивает высокую точность при умеренном уровне шума. Обобщенная структура бинарного ИКА представляет собой более широкую постановку задачи, которая не требует предварительных знаний о генеративной модели. Иными словами, этот метод пытается разложить источник на его независимые компоненты (насколько это возможно и без потери информации), не делая никаких предположений о способе его генерации. Несмотря на кажущуюся сложность, эту задачу можно точно решить с помощью алгоритма поиска с отсечениями (branch and bound) или ограничить сверху с помощью единственного умножения матрицы на вектор.

Основанная на максимальной вероятности

Максимальное правдоподобие (MLE) — стандартный статистический инструмент для нахождения значений параметров (например, матрицы разделения), обеспечивающих наилучшее соответствие данных (например, выделенных сигналов) заданной модели (например, предполагаемой совместной функции плотности вероятности (pdf) исходных сигналов). Метод был далее развит Кристианом Юттеном в 1985 и 1986 годах, усовершенствован Пьером Комоном в 1991 году и популяризирован в его работе 1994 года. В 1995 году Тони Белл и Терри Сейновски представили быстрый и эффективный алгоритм ICA, основанный на принципе infomax, введенном Ральфом Линскером в 1987 году. Интересную связь между подходами ML и Infomax можно найти в достаточно подробном учебном пособии по ML-подходу, опубликованном J.F. Кардозу в 1998 году. В литературе существует множество алгоритмов для выполнения ИКА. Широко используемым, в том числе в промышленных приложениях, является алгоритм FastICA, разработанный Хювяриненом и Оя, который использует негентропию в качестве целевой функции, предложенной Пьером Комоном в этом контексте еще за 7 лет до этого. Их метод не требует предварительных знаний о количестве независимых источников.