Введение
В функциональном анализе (область математики) воспроизводящее ядро пространства Гильберта (RKHS) — это пространство функций Гильберта, в котором точечная оценка является непрерывным линейным функционалом. Грубо говоря, это означает, что если две функции и в RKHS близки по норме, то есть, мало, то и также близки по точечному значению, то есть, мало для всех. Обратное не обязательно верно. Неформально это можно продемонстрировать, рассмотрев супремум-норму: последовательность функций сходится поточечно, но не сходится равномерно, то есть не сходится в супремум-норме. (Это не является контрпримером, поскольку супремум-норма не возникает из какого-либо скалярного произведения из-за невыполнения закона параллелограмма.) Не совсем просто построить пространство Гильберта функций, которое не является RKHS. Однако некоторые примеры были найдены. Пространства L2 не являются пространствами функций Гильберта (и, следовательно, не RKHS), а скорее пространствами классов эквивалентности функций (например, функции и, определенные как и, эквивалентны в L2). Однако существуют RKHS, в которых норма является L2-нормой, например, пространство функций с ограниченной полосой пропускания (см. пример ниже). RKHS связано с ядром, которое воспроизводит каждую функцию в пространстве в том смысле, что для каждого в множестве, на котором определены функции, "оценка в " может быть выполнена путем вычисления скалярного произведения с функцией, определяемой ядром. Такое воспроизводящее ядро существует тогда и только тогда, когда каждый функционал оценки непрерывен. Воспроизводящее ядро впервые было введено в работе Станислава Зарембы 1907 года, посвященной краевым задачам для гармонических и бигармонических функций. Джеймс Мерсер одновременно исследовал функции, удовлетворяющие свойству воспроизведения, в теории интегральных уравнений. Идея воспроизводящего ядра оставалась без внимания почти двадцать лет, пока не появилась в диссертациях Габора Сегё, Стефана Бергмана и Соломона Бохнера. В конечном итоге предмет был систематически разработан в начале 1950-х годов Нахманом Аронсзайном и Стефаном Бергманом. Эти пространства имеют широкое применение, включая комплексный анализ, гармонический анализ и квантовую механику. Воспроизводящие ядра пространства Гильберта особенно важны в области теории статистического обучения благодаря знаменитой теореме о представителях, которая утверждает, что любая функция в RKHS, минимизирующая эмпирический функционал риска, может быть записана как линейная комбинация функции ядра, вычисленной в обучающих точках. Это практически полезный результат, поскольку он эффективно упрощает задачу эмпирической минимизации риска с бесконечномерной до конечномерной задачи оптимизации. Для облегчения понимания мы приводим структуру для вещественнозначных пространств Гильберта. Теория может быть легко расширена на пространства комплекснозначных функций и, следовательно, включает в себя многие важные примеры воспроизводящих ядер пространств Гильберта, которые являются пространствами аналитических функций.
In functional analysis (a branch of mathematics), a reproducing kernel Hilbert space (RKHS) is a Hilbert space of functions in which point evaluation is a continuous linear functional. Roughly speaking, this means that if two functions and in the RKHS are close in norm, i. e., is small, then and are also pointwise close, i. e., is small for all The converse does not need to be true. Informally, this can be shown by looking at the supremum norm: the sequence of functions converges pointwise, but does not converge uniformly i. e. does not converge with respect to the supremum norm. (This is not a counterexample because the supremum norm does not arise from any inner product due to not satisfying the parallelogram law.) It is not entirely straightforward to construct a Hilbert space of functions which is not an RKHS. Some examples, however, have been found. L2 spaces are not Hilbert spaces of functions (and hence not RKHSs), but rather Hilbert spaces of equivalence classes of functions (for example, the functions and defined by and are equivalent in L2). However, there are RKHSs in which the norm is an L2 norm, such as the space of band limited functions (see the example below). An RKHS is associated with a kernel that reproduces every function in the space in the sense that for every in the set on which the functions are defined, "evaluation at " can be performed by taking an inner product with a function determined by the kernel. Such a reproducing kernel exists if and only if every evaluation functional is continuous. The reproducing kernel was first introduced in the 1907 work of Stanisław Zaremba concerning boundary value problems for harmonic and biharmonic functions. James Mercer simultaneously examined functions which satisfy the reproducing property in the theory of integral equations. The idea of the reproducing kernel remained untouched for nearly twenty years until it appeared in the dissertations of Gábor Szegő, Stefan Bergman, and Salomon Bochner. The subject was eventually systematically developed in the early 1950s by Nachman Aronszajn and Stefan Bergman. These spaces have wide applications, including complex analysis, harmonic analysis, and quantum mechanics. Reproducing kernel Hilbert spaces are particularly important in the field of statistical learning theory because of the celebrated representer theorem which states that every function in an RKHS that minimises an empirical risk functional can be written as a linear combination of the kernel function evaluated at the training points. This is a practically useful result as it effectively simplifies the empirical risk minimization problem from an infinite dimensional to a finite dimensional optimization problem. For ease of understanding, we provide the framework for real valued Hilbert spaces. The theory can be easily extended to spaces of complex valued functions and hence include the many important examples of reproducing kernel Hilbert spaces that are spaces of analytic functions.
Билинейное ядро
RKHS, соответствующий этому ядру, является двойственным пространством, состоящим из функций, удовлетворяющих .