Введение
Категория регрессионного анализа
Непараметрическая регрессия – это категория регрессионного анализа, в которой форма зависимости между предикторами и зависимой переменной не задается заранее, а определяется на основе информации, извлеченной из данных. Иными словами, не делается никаких предположений о параметрической форме этой зависимости. Непараметрическая регрессия требует большего объема выборки, чем регрессия, основанная на параметрических моделях, поскольку данные должны не только оценить параметры модели, но и определить ее структуру.
Гауссовская регрессия процесса или Кригинга
В регрессии гауссовского процесса, также известной как кригинг, для кривой регрессии предполагается гауссовское априорное распределение. Ошибки предполагаются имеющими многомерное нормальное распределение, а кривая регрессии оценивается как мода апостериорного распределения. Гауссовское априорное распределение может зависеть от неизвестных гиперпараметров, которые обычно оцениваются методом эмпирического Байеса. Гиперпараметры обычно задают ковариационное ядро априорного распределения. В случае, если ядро также должно быть выведено непараметрически из данных, можно использовать критический фильтр. Сглаживающие сплайны можно интерпретировать как моду апостериорного распределения в регрессии гауссовского процесса.
Регрессия ядра
Регрессия ядра оценивает непрерывную зависимую переменную на основе ограниченного набора точек данных, посредством свертки координат этих точек с функцией ядра. Если говорить упрощенно, функция ядра определяет, как "размыть" влияние точек данных, чтобы их значения можно было использовать для предсказания значений в близлежащих точках.
Деревья регрессии
Алгоритмы обучения деревьев решений могут быть использованы для обучения прогнозированию зависимой переменной на основе данных. Хотя исходная формулировка Classification And Regression Tree (CART) применялась только к прогнозированию данных с одной переменной, эта структура может быть использована для прогнозирования многомерных данных, включая временные ряды.