Введение

Векторная функция в оптике

Световое поле — это векторная функция, описывающая количество света, распространяющегося в каждом направлении через каждую точку пространства. Пространство всех возможных световых лучей задается пятимерной пленоптической функцией, а величина каждого луча определяется его силой света. Майкл Фарадей первым предложил интерпретировать свет как поле, аналогично магнитным полям, над которыми он работал. Термин «световое поле» был введен Андреем Гершуном в классической работе 1936 года, посвященной радиометрическим свойствам света в трехмерном пространстве. Термин «поле излучения» также может использоваться для обозначения схожих или идентичных понятий. Этот термин применяется в современных исследованиях, таких как нейронные поля излучения.

Пленоптическая функция

Для геометрической оптики, то есть для некогерентного света и объектов, размеры которых превышают длину волны света, основным носителем света является луч. Мерой количества света, распространяющегося вдоль луча, является сияние, обозначаемое L и измеряемое в Вт·ср−1·м−2, то есть в ваттах (Вт) на стерадиан (ср) на квадратный метр (м2). Стеридиан – это мера телесного угла, а квадратные метры используются для измерения площади поперечного сечения, как показано справа. Сияние вдоль всех таких лучей в области трехмерного пространства, освещенного неизменной конфигурацией источников света, называется пленоптической функцией. Пленоптическая функция освещения – это идеализированная функция, используемая в компьютерном зрении и компьютерной графике для представления изображения сцены с любой возможной точки обзора под любым углом зрения в любой момент времени. Она не используется на практике в вычислительном плане, но концептуально полезна для понимания других концепций в области зрения и графики. Поскольку лучи в пространстве могут быть параметризованы тремя координатами – x, y и z – и двумя углами – θ и φ, как показано слева, это пятимерная функция, то есть функция на пятимерном многообразии, эквивалентном произведению трехмерного евклидова пространства и 2-сферы. Поле света в каждой точке пространства можно рассматривать как бесконечное множество векторов, по одному на направление, касающееся этой точки, с длинами, пропорциональными их сиянию. Интегрирование этих векторов по любой группе источников света или по всей сфере направлений дает одно скалярное значение – общую освещенность в этой точке и результирующее направление. На рисунке показан этот расчет для случая двух источников света. В компьютерной графике эта векторная функция трехмерного пространства называется полем векторной освещенности. Направление вектора в каждой точке поля можно интерпретировать как ориентацию плоской поверхности, помещенной в эту точку, для наиболее яркого освещения.

Более высокая размерность

Время, длина волны и угол поляризации могут рассматриваться как дополнительные размерности, что приводит к соответствующим функциям более высокой размерности.

4D световое поле

В пленоптической функции, если область интереса содержит вогнутый объект (например, ладонь, сложенную лодочкой), то свет, исходящий из одной точки на объекте, может пройти лишь небольшое расстояние, прежде чем его заблокирует другая точка на объекте. Ни одно практическое устройство не способно измерить функцию в такой области. Однако для точек, находящихся вне выпуклой оболочки объекта (например, термоусадочная пленка), пленоптическую функцию можно измерить, захватив несколько изображений. В этом случае функция содержит избыточную информацию, поскольку сияние вдоль луча остается постоянным на протяжении всей его длины. Избыточность составляет одно измерение, в результате чего получается четырехмерная функция, которую называют фотополем, 4D-световым полем или люмиграфом. Формально, поле определяется как сияние вдоль лучей в свободном пространстве. Множество лучей в световом поле можно параметризовать различными способами. Наиболее распространенным является параметризация двумя плоскостями. Хотя эта параметризация не может представить все лучи, например, лучи, параллельные обеим плоскостям, если плоскости параллельны друг другу, она тесно связана с аналитической геометрией перспективной проекции. Проще всего представить световое поле, параметризованное двумя плоскостями, как набор перспективных изображений плоскости st (и любых объектов, расположенных на ней или за ней), каждое из которых получено с позиции наблюдателя на плоскости uv. Световое поле, параметризованное таким образом, иногда называют световой пластиной.

Аналоговый звук

Аналогом 4D светового поля для звука является звуковое или волновое поле, как в синтезе волнового поля, а соответствующая параметризация – интеграл Кирхгоффа — Гельмгольца, который утверждает, что при отсутствии препятствий звуковое поле во времени определяется давлением на плоскости. Таким образом, это два измерения информации в любой момент времени, а во времени – трехмерное поле. Эта двумерность, в отличие от кажущейся четырехмерности света, обусловлена тем, что свет распространяется в лучах (0D в момент времени, 1D во времени), тогда как, согласно принципу Гюйгенса — Френеля, звуковой фронт волны можно смоделировать как сферические волны (2D в момент времени, 3D во времени): свет движется в одном направлении (2D информации), а звук распространяется во всех направлениях. Однако свет, распространяющийся в невакуумной среде, может рассеиваться аналогичным образом, и необратимость или потеря информации при рассеянии проявляется в кажущейся потере измерения системы.

Методы создания световых полей

В компьютерной графике световые поля обычно создаются либо путем рендеринга 3D-модели, либо путем фотографирования реальной сцены. В любом случае, для создания светового поля необходимо получить изображения с большого количества точек обзора. В зависимости от параметризации, этот набор точек обычно охватывает часть линии, окружности, плоскости, сферы или другой формы, хотя возможны и неструктурированные наборы. Устройства для фотографического захвата световых полей могут включать в себя подвижную ручную камеру или камеру с роботизированным управлением, дугу камер (как в эффекте замедленного времени, использованном в фильме «Матрица»), плотный массив камер, ручные камеры, микроскопы или другие оптические системы. Количество изображений в световом поле зависит от конкретной задачи. Световое поле, полученное при съемке статуи «Ночь» Микеланджело, содержит 24 000 изображений разрешением 1,3 мегапикселя, что считается большим объемом данных по состоянию на 2022 год. Для полного захвата непрозрачного объекта при рендеринге светового поля необходимо сделать снимки как минимум спереди и сзади. Менее очевидно, что для объекта, расположенного на плоскости st, необходимо делать снимки с небольшим шагом на плоскости uv (в параметризации двумя плоскостями, показанной выше). Количество и расположение изображений в световом поле, а также разрешение каждого изображения в совокупности называются «дискретизацией» 4D светового поля. Также представляют интерес эффекты перекрытия, освещения и отражения.

Инженеры освещения

Причиной изучения светового поля для Гершуна было вывод (в аналитическом виде) распределений освещенности, которые наблюдались бы на поверхностях от источников света различной формы, расположенных над этими поверхностями. Отрасль оптики, посвященная технике освещения, называется неформообразующей оптикой. В ней широко используется понятие линий тока (линии потока Гершуна) и векторного потока (световой вектор Гершуна). Однако световое поле (в данном случае, положения и направления, определяющие световые лучи) обычно описывается в терминах фазового пространства и гамильтоновой оптики.

Отображение светового поля

Извлечение соответствующих 2D-срезов из 4D-светового поля сцены позволяет получать новые виды сцены. В зависимости от параметризации светового поля и срезов, эти виды могут быть перспективными, ортографическими, с перекрестным щелевым изображением, с использованием общих линейных камер, многоперспективными или представлять собой другой тип проекции. Рендеринг светового поля является одним из видов рендеринга на основе изображений.

Фотография синтетической диафрагмы

Интеграция подходящего 4D подмножества выборок в световом поле может аппроксимировать вид, который был бы запечатлен камерой с конечной (то есть, не точечной) апертурой. Такой вид обладает конечной глубиной резкости. Сдвиг или деформация светового поля перед выполнением этой интеграции позволяет фокусироваться на различных фронтально-параллельных или наклонных плоскостях. Изображения, полученные цифровыми камерами, способными захватывать световое поле, используются в современных подходах к отображению светового поля, которые исследуют совместную оптимизацию оптических элементов и вычислительных методов сжатия для достижения более высокого разрешения, повышенного контраста, более широкого угла обзора и других преимуществ.

Изображение мозга

Нейронная активность может быть зарегистрирована оптически путем генетического кодирования нейронов обратимыми флуоресцентными маркерами, такими как GCaMP, которые указывают на присутствие ионов кальция в реальном времени. Поскольку светопольная микроскопия позволяет получить информацию о всем объеме в одном кадре, становится возможным отслеживать нейронную активность отдельных нейронов, случайно распределенных в большом объеме, с частотой, сопоставимой с частотой кадров видео. Количественная оценка нейронной активности может быть проведена несмотря на оптические аберрации в тканях мозга и без реконструкции объемного изображения, что позволяет отслеживать активность тысяч нейронов.

Реконструкция общих сцен (GSR)

Это метод 3D-реконструкции из нескольких изображений, который создает модель сцены, состоящую из обобщенного светового поля и поля переосвечиваемого вещества. Обобщенное световое поле представляет собой свет, распространяющийся в каждом направлении через каждую точку пространства. Поле переосвечиваемого вещества представляет свойства взаимодействия света и излучательную способность вещества, занимающего каждую точку пространства. Структуры данных сцены могут быть реализованы с использованием нейронных сетей и физически обоснованных структур, среди прочего.

Голографические стереограммы

Создание изображений и предварительное искажение синтезированных изображений для голографических стереограмм — один из первых примеров вычисляемых световых полей.

Снижение бликов

Отражение возникает из-за многократного рассеяния света внутри корпуса камеры и оптики объектива, что снижает контрастность изображения. Хотя отражения анализировались в двумерном пространстве изображения, полезно рассматривать их как явление в четырехмерном лучевом пространстве. Статистический анализ лучевого пространства внутри камеры позволяет классифицировать и удалять артефакты отражения. В лучевом пространстве отражения проявляются как высокочастотный шум и могут быть уменьшены путем отбрасывания выбросов. Такой анализ можно выполнить, захватывая световое поле внутри камеры, но это приводит к потере пространственного разрешения. Для уменьшения отражений можно использовать равномерную и неравномерную выборку лучей, не оказывая существенного влияния на разрешение изображения.

Теория

Адельсон, Э. Х., Берген, Дж. Р. (1991). "Пленоптическая функция и элементы раннего зрения", в Computational Models of Visual Processing, под ред. М. Лэнди и Дж. А. Мовшон, MIT Press, Кембридж, 1991, с. 3–20. Арво, Дж. (1994). "Якобиан освещенности для частично перекрытых многогранных источников", Proc. ACM SIGGRAPH, ACM Press, с. 335–342. Боллс, Р. С., Бейкер, Х. Х., Маримонт, Д. Х. (1987). "Анализ изображения эпиполярной плоскости: подход к определению структуры в движении", International Journal of Computer Vision, т. 1, № 1, 1987, Kluwer Academic Publishers, с. 7–55. Фарадей, М., "Размышления о колебаниях лучей", Philosophical Magazine, S.3, т. XXVIII, № 188, май 1846 г. Гершун, А. (1936). "Световое поле", Москва, 1936. Перевод П. Муна и Г. Тимошенко в Journal of Mathematics and Physics, т. XVIII, MIT, 1939, с. 51–151. Гортлер, С. Дж., Гжещук, Р., Шелиски, Р., Коэн, М. (1996). "Люмиграф", Proc. ACM SIGGRAPH, ACM Press, с. 43–54. Левой, М., Ханрахан, П. (1996). "Рендеринг светового поля", Proc. ACM SIGGRAPH, ACM Press, с. 31–42. Мун, П., Спенсер, Д. Э. (1981). "Фотическое поле", MIT Press. Вонг, Т. Т., Фу, К. В., Хенг, П. А., Ленг, К. С. (2002). "Функция пленоптического освещения", IEEE Trans. Multimedia, т. 4, № 3, с. 361–371.

Анализ

G. Wetzstein, I. Ihrke, W. Heidrich (2013) "О пленоптическом мультиплексировании и реконструкции", Международный журнал компьютерного зрения (IJCV), том 101, выпуск 2, стр. 384–400. Ramamoorthi, R., Mahajan, D., Belhumeur, P. (2006). "Анализ первого порядка освещения, затенения и теней", ACM TOG. Zwicker, M., Matusik, W., Durand, F., Pfister, H. (2006). "Антиалиасинг для автоматических мультископических 3D-дисплеев", симпозиум Eurographics по рендерингу, 2006. Ng, R. (2005). "Фотография срезами Фурье", материалы ACM SIGGRAPH, ACM Press, стр. 735–744. Durand, F., Holzschuch, N., Soler, C., Chan, E., Sillion, F. X. (2005). "Частотный анализ переноса света", материалы ACM SIGGRAPH, ACM Press, стр. 1115–1126. Chai, J. X., Tong, X., Chan, S. C., Shum, H. (2000). "Пленоптическая дискретизация", материалы ACM SIGGRAPH, ACM Press, стр. 307–318. Halle, M. (1994) "Голографические стереограммы как дискретные системы формирования изображений", в SPIE Proc. Vol. #2176: Практическая голография VIII, под ред. S. A. Benton, стр. 73–84. Yu, J., McMillan, L. (2004). "Общие линейные камеры", материалы ECCV 2004, Lecture Notes in Computer Science, стр. 14–27.

Дисплеи

Wetzstein, G., Lanman, D., Hirsch, M., Raskar, R. (2012). "Тензорные дисплеи: компрессионный дисплей светового поля с использованием многослойных дисплеев с направленной подсветкой", ACM Transactions on Graphics (SIGGRAPH)
Wetzstein, G., Lanman, D., Heidrich, W., Raskar, R. (2011). "Слоистый 3D: томографический синтез изображений для дисплеев светового поля и высокого динамического диапазона на основе ослабления", ACM Transactions on Graphics (SIGGRAPH)
Lanman, D., Wetzstein, G., Hirsch, M., Heidrich, W., Raskar, R. (2011). "Поляризационные поля: динамический дисплей светового поля с использованием многослойных ЖК-дисплеев", ACM Transactions on Graphics (SIGGRAPH Asia)
Lanman, D., Hirsch, M., Kim, Y., Raskar, R. (2010). "HR3D: 3D-дисплей без очков с использованием двойных сложенных ЖК-дисплеев. Высокоранговый 3D-дисплей с использованием адаптивных параллаксных барьеров, зависящих от контента", ACM Transactions on Graphics (SIGGRAPH Asia)
Matusik, W., Pfister, H. (2004). "3D-телевизор: масштабируемая система для захвата, передачи и автостереоскопического отображения динамических сцен в реальном времени", Proc. ACM SIGGRAPH, ACM Press. Javidi, B., Okano, F., eds. (2002). Three Dimensional Television, Video and Display Technologies, Springer Verlag. Klug, M., Burnett, T., Fancello, A., Heath, A., Gardner, K., O'Connell, S., Newswanger, C. (2013). "Масштабируемая, совместная, интерактивная система отображения светового поля", SID Symposium Digest of Technical Papers
Fattal, D., Peng, Z., Tran, T., Vo, S., Fiorentino, M., Brug, J., Beausoleil, R. (2013). "Многонаправленная подсветка для широкоугольного 3D-дисплея без очков", Nature 495, 348–351

Приложения

Гросеник, Л., Андерсон, Т., Смит, С. Дж. (2009) "Эластичный выбор источника для визуализации нейронных ансамблей in vivo". От нано до макро, 6-й Международный симпозиум IEEE по биомедицинской визуализации. (2009) 1263–1266. Grosenick, L., Broxton, M., Kim, C. K., Liston, C., Poole, B., Yang, S., Andalman, A., Scharff, E., Cohen, N., Yizhar, O., Ramakrishnan, C., Ganguli, S., Suppes, P., Levoy, M., Deisseroth, K. (2017) "Идентификация динамики клеточной активности в больших объемах тканей мозга млекопитающих" bioRxiv 132688; doi: Идентификация динамики клеточной активности в больших объемах тканей мозга млекопитающих. Heide, F., Wetzstein, G., Raskar, R., Heidrich, W. (2013) "Адаптивный синтез изображений для сжатых дисплеев", ACM Transactions on Graphics (SIGGRAPH). Wetzstein, G., Raskar, R., Heidrich, W. (2011) "Ручная фотография Шлирена со световыми полевыми зондами", Международная конференция IEEE по вычислительной фотографии (ICCP). Pérez, F., Marichal, J. G., Rodriguez, J. M. (2008). "Дискретное преобразование фокусного стека", Proc. EUSIPCO. Raskar, R., Agrawal, A., Wilson, C., Veeraraghavan, A. (2008). "Фотография с учетом бликов: 4D-выборка лучей для уменьшения бликов от объективов камеры", Proc. ACM SIGGRAPH. Talvala, E. V., Adams, A., Horowitz, M., Levoy, M. (2007). "Устранение бликов в высокодинамическом диапазоне", Proc. ACM SIGGRAPH. Halle, M., Benton, S., Klug, M., Underkoffler, J. (1991). "UltraGram: Обобщенный голографический стереограм", SPIE Vol. 1461, Practical Holography V, S. A. Benton, ed., pp. 142–155. Zomet, A., Feldman, D., Peleg, S., Weinshall, D. (2003). "Создание мозаик новых видов: Проекция с перекрестными щелями", IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), Vol. 25, No. 6, June 2003, pp. 741–754. Vaish, V., Garg, G., Talvala, E., Antunez, E., Wilburn, B., Horowitz, M., Levoy, M. (2005). "Синтетическая апертурная фокусировка с использованием факторной деформации видового преобразования", Proc. Workshop on Advanced 3D Imaging for Safety and Security, in conjunction with CVPR 2005. Bedard, N., Shope, T., Hoberman, A., Haralam, M. A., Shaikh, N., Kovačević, J., Balram, N., Tošić, I. (2016). "Конструкция светового отоскопа для 3D-изображения in vivo среднего уха". Biomedical optics express, 8(1), pp. 260–272. Karygianni, S., Martinello, M., Spinoulas, L., Frossard, P., Tosic, I. (2018). "Автоматическая регистрация барабанной перепонки по данным светового поля". IEEE International Conference on Image Processing (ICIP). Rademacher, P., Bishop, G. (1998). "Изображения с несколькими центрами проекции", Proc. ACM SIGGRAPH, ACM Press. Isaksen, A., McMillan, L., Gortler, S. J. (2000). "Динамически перепараметризованные световые поля", Proc. ACM SIGGRAPH, ACM Press, pp. 297–306. Buehler, C., Bosse, M., McMillan, L., Gortler, S., Cohen, M. (2001). "Рендеринг неструктурированного люмиграфа", Proc. ACM SIGGRAPH, ACM Press. Ashdown, I. (1993). "Полевая фотометрия ближнего поля: Новый подход", Journal of the Illuminating Engineering Society, Vol. 22, No. 1, Winter, 1993, pp. 163–180. Chaves, J. (2015) "Введение в необращающую оптику, второе издание", CRC Press. Winston, R., Miñano, J. C., Benitez, P. G., Shatz, N., Bortz, J. C., (2005) "Необращающая оптика", Academic Press. Pégard, N. C., Liu H. Y., Antipa, N., Gerlock M., Adesnik, H., and Waller, L Компрессионная светополевая микроскопия для записи 3D-нейронной активности. Optica 3, no. 5, pp. 517–524 (2016). Leffingwell, J., Meagher, D., Mahmud, K., Ackerson, S. (2018). "Обобщенная реконструкция сцены". arXiv:1803.08496v3 [cs. CV], pp. 1–13. Mildenhall, B., Srinivasan, P. P., Tancik, M., Barron, J. T., Ramamoorthi, R., & Ng, R. (2020). “NeRF: Представление сцен в виде нейронных полей излучения для синтеза видов”. Computer Vision – ECCV 2020, 405–421. Yu, A., Fridovich Keil, S., Tancik, M., Chen, Q., Recht, B., Kanazawa, A. (2021). "Plenoxels: Поля излучения без нейронных сетей". arXiv:2111.11215, pp. 1–25. Perez, C. C., Lauri, A., Symvoulidis, P., Cappetta, M., Erdmann, A., & Westmeyer, G. G. (2015). Кальциевая нейровизуализация в поведении личинок рыбок-зебр с использованием камеры светового поля под ключ. Journal of Biomedical Optics, 20(9), 096009. León, K., Galvis, L., and Arguello, H. (2016). "Реконструкция мультиспектрального светового поля (5D-пленоптической функции) на основе компрессионного зондирования с цветными кодированными апертурами из 2D-проекций" Revista Facultad de Ingeniería Universidad de Antioquia 80, pp. 131.