Введение
Любая техника для улучшения разрешения системы визуализации за пределами обычных ограничений.
Сверхразрешающая визуализация (SR) – это класс техник, повышающих (увеличивающих) разрешение системы визуализации. В оптической SR преодолевается дифракционный предел систем, а в геометрической SR улучшается разрешение цифровых датчиков изображения. В некоторых приложениях радиолокационной и гидролокационной визуализации (например, магнитно-резонансной томографии (МРТ), компьютерной томографии высокого разрешения) для достижения SR по сравнению со стандартным алгоритмом периодограммы используются методы, основанные на разложении в подпространства (например, MUSIC) и алгоритмы компрессионного зондирования (например, SAMV). Методы сверхразрешающей визуализации применяются в общей обработке изображений и в сверхразрешающей микроскопии.
Оптическая или дифракционная сверхразрешение
Замена пространственных полос частот: хотя полоса пропускания, определяемая дифракцией, фиксирована, её можно разместить в любой точке пространственного частотного спектра. Освещение темного поля в микроскопии является примером этого. См. также синтез апертуры.
Мультиплексирование пространственных частотных диапазонов
Образ формируется с использованием нормальной полосы пропускания оптического устройства. Затем на объект накладывается известная световая структура, например, набор световых интерференционных полос, которые необязательно должны находиться в пределах этой полосы пропускания.
Байесовская индукция за пределами традиционного дифракционного предела
Некоторые детали объекта, даже если они выходят за предел дифракции, могут быть связаны с другими деталями объекта, которые находятся в пределах этого предела и, следовательно, присутствуют на изображении. Затем, используя статистические методы, можно на основе имеющихся данных изображения делать выводы о наличии полного объекта. Классическим примером является предложение Торальдо ди Франсиа определять, является ли изображение одиночной или двойной звезды, оценивая, превышает ли его ширина размытие от одиночной звезды. Это возможно при расстояниях, значительно меньших классических границ разрешения, и требует предварительного ограничения выбора между вариантами "одиночная или двойная?". Этот подход может заключаться в экстраполяции изображения в частотной области, основываясь на предположении, что объект является аналитической функцией, и что мы можем точно знать значения этой функции на некотором интервале. Этот метод сильно ограничен неизбежным шумом в системах цифровой обработки изображений, но может быть применен в радиолокации, астрономии, микроскопии или магнитно-резонансной томографии. В последнее время был предложен и продемонстрирован быстрый алгоритм сверхразрешения по одному изображению, основанный на аналитическом решении задач, который значительно ускоряет большинство существующих байесовских методов сверхразрешения.
Алиасинг
Геометрические алгоритмы сверхразрешения (SR) возможны только в том случае, если входные изображения низкого разрешения были недостаточно дискретизированы и, следовательно, содержат эффект наложения (алиасинг). Из-за этого алиасинга высокочастотная составляющая желаемого изображения реконструкции заложена в низкочастотную составляющую каждого из наблюдаемых изображений. При наличии достаточного количества наблюдаемых изображений и если набор наблюдений различается по фазе (то есть, если изображения сцены сдвинуты на величину меньше пикселя), то фазовая информация может быть использована для разделения наложенной высокочастотной составляющей от истинной низкочастотной составляющей, и изображение в полном разрешении может быть точно восстановлено. На практике этот частотный подход не используется для реконструкции, но даже в случае пространственных методов (например, сдвиг и суммирование), наличие алиасинга все равно является необходимым условием для сверхразрешения (SR).
Технические реализации
Существует множество вариантов SR, как однокадровых, так и многокадровых. Многокадровый SR использует субпиксельные сдвиги между несколькими изображениями с низким разрешением одной и той же сцены. Он создает изображение с улучшенным разрешением, объединяя информацию из всех изображений с низким разрешением, а полученные изображения с более высоким разрешением лучше отражают детали сцены. Однокадровые методы SR стремятся увеличить изображение, не допуская появления размытия. Эти методы используют другие участки изображений с низким разрешением или другие, не связанные с ними изображения, чтобы определить, как должно выглядеть изображение высокого разрешения. Алгоритмы также можно классифицировать по области применения: частотной или пространственной. Изначально методы сверхразрешения хорошо работали только с изображениями в оттенках серого, но исследователи разработали способы адаптации их для цветных изображений с камер.
Исследования
Существуют перспективные исследования по применению глубоких сверточных сетей для повышения разрешения. В частности, была продемонстрирована работа, показывающая преобразование изображения пыльцевых зерен, полученного при увеличении в 20 раз в микроскопе, в изображение, полученное с помощью сканирующего электронного микроскопа с увеличением в 1500 раз. Хотя эта техника может увеличить информативность изображения, нет гарантии, что детали с повышенным разрешением присутствовали в исходном изображении, и глубокие сверточные алгоритмы повышения разрешения не следует использовать в аналитических приложениях с неоднозначными входными данными. Эти методы могут создавать артефакты, что делает их небезопасными для использования в медицине.