Введение
Теория масштабного пространства – это фреймворк для многомасштабного представления сигналов, разработанный сообществами компьютерного зрения, обработки изображений и обработки сигналов, с дополнительными мотивациями из физики и биологического зрения. Это формальная теория для обработки структур изображений в различных масштабах, представляющая изображение как семейство изображений с одним параметром – масштабом, масштабное пространство представления, параметризованное размером ядра сглаживания, используемого для подавления структур мелкого масштаба. Утверждаемая уникальность аргументов, основанных на масштабной инвариантности, подвергалась критике, и были предложены альтернативные ядра масштабного пространства с самоподобием. Однако гауссовское ядро является уникальным выбором согласно аксиоматике масштабного пространства, основанной на причинности и локальных максимумах (или минимумах) по масштабам масштабно-нормализованных производных, где – параметр, связанный с размерностью признака изображения. Это алгебраическое выражение для масштабно-нормализованных операторов гауссовских производных происходит из введения нормализованных производных согласно
и
Теоретически можно показать, что модуль выбора масштаба, работающий по этому принципу, будет удовлетворять следующему свойству ковариантности масштаба: если для определенного типа признака изображения предполагается локальный максимум в определенном изображении в определенном масштабе , то при масштабировании изображения с коэффициентом локальный максимум по масштабам в масштабированном изображении будет преобразован в масштабный уровень . Расширения линейной теории масштабного пространства касаются формулирования концепций нелинейного масштабного пространства, более ориентированных на конкретные задачи. В дополнение к вариативности масштаба, с которой была разработана оригинальная теория масштабного пространства, эта обобщенная теория масштабного пространства…
where is a parameter that is related to the dimensionality of the image feature. This algebraic expression for scale normalized Gaussian derivative operators originates from the introduction of normalized derivatives according to
and
It can be theoretically shown that a scale selection module working according to this principle will satisfy the following scale covariance property: if for a certain type of image feature a local maximum is assumed in a certain image at a certain scale , then under a rescaling of the image by a scale factor the local maximum over scales in the rescaled image will be transformed to the scale level
Extensions of linear scale space theory concern the formulation of non linear scale space concepts more committed to specific purposes. In addition to variabilities over scale, which original scale space theory was designed to handle, this generalized scale space theory
Regarding biological hearing there are receptive field profiles in the inferior colliculus and the primary auditory cortex that can be well modelled by spectra temporal receptive fields that can be well modelled by Gaussian derivates over logarithmic frequencies and windowed Fourier transforms over time with the window functions being temporal scale space kernels.
В отношении биологического слуха, профили рецептивных полей в нижнем бугре и первичной слуховой коре могут быть хорошо смоделированы спектро-временными рецептивными полями, которые, в свою очередь, могут быть хорошо смоделированы гауссовскими производными по логарифмическим частотам и оконным преобразованиям Фурье по времени, где оконные функции являются ядрами временного масштабного пространства.
where is a parameter that is related to the dimensionality of the image feature. This algebraic expression for scale normalized Gaussian derivative operators originates from the introduction of normalized derivatives according to
and
It can be theoretically shown that a scale selection module working according to this principle will satisfy the following scale covariance property: if for a certain type of image feature a local maximum is assumed in a certain image at a certain scale , then under a rescaling of the image by a scale factor the local maximum over scales in the rescaled image will be transformed to the scale level
Extensions of linear scale space theory concern the formulation of non linear scale space concepts more committed to specific purposes. In addition to variabilities over scale, which original scale space theory was designed to handle, this generalized scale space theory
Regarding biological hearing there are receptive field profiles in the inferior colliculus and the primary auditory cortex that can be well modelled by spectra temporal receptive fields that can be well modelled by Gaussian derivates over logarithmic frequencies and windowed Fourier transforms over time with the window functions being temporal scale space kernels.
Глубокое обучение и масштабное пространство
В области классического компьютерного зрения теория масштабного пространства утвердилась как теоретическая основа для раннего зрения, при этом гауссовские производные составляют каноническую модель для первого слоя рецептивных полей. С появлением глубокого обучения также велись работы по использованию гауссовских производных или гауссовских ядер в качестве общей основы для рецептивных полей в глубоких сетях. Используя свойства преобразований гауссовских производных и гауссовских ядер при масштабировании, таким образом становится возможным получить ковариантность/эквивариантность масштаба и инвариантность масштаба глубокой сети для обработки структур изображений в различных масштабах теоретически обоснованным способом. В частности, используя понятия ковариантности/эквивариантности масштаба и инвариантности масштаба, можно обеспечить устойчивую работу глубоких сетей в масштабах, не охваченных обучающими данными, что позволяет достичь обобщения по масштабу. Это ядро обладает аналогичными свойствами в причинно-следственной ситуации (отсутствие создания новых структур при увеличении масштаба и ковариантность временного масштаба), как гауссовское ядро в не причинном случае. Предел причинно-следственного ядра по времени соответствует свертке с бесконечным числом усеченных экспоненциальных ядер, соединенных каскадом, со специально подобранными временными константами для достижения ковариантности временного масштаба. Для дискретных данных это ядро часто можно численно хорошо аппроксимировать небольшим набором рекурсивных фильтров первого порядка, соединенных каскадом, см.
Вопросы внедрения
При реализации сглаживания в пространстве масштабов на практике существует несколько различных подходов, касающихся непрерывного или дискретного гауссова сглаживания, реализации в частотной области, использования пирамид, основанных на биномиальных фильтрах, аппроксимирующих гауссиану, или рекурсивных фильтров. Более подробная информация об этом представлена в отдельной статье, посвященной реализации пространств масштабов.