Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.
Содержание
Введение
Образец движения в визуальной сцене, возникающий из-за относительного движения наблюдателя.
Pattern of motion in a visual scene due to relative motion of the observer
Оптический поток – это закономерность кажущегося движения объектов, поверхностей и границ в визуальной сцене, вызванная относительным движением между наблюдателем и сценой. Оптический поток также можно определить как распределение кажущихся скоростей движения яркости в изображении. Концепция оптического потока была предложена американским психологом Джеймсом Дж. Гибсоном в 1940-х годах для описания визуального стимула, получаемого животными при движении в окружающем мире. Гибсон подчеркнул важность оптического потока для восприятия доступности – способности распознавать возможности для действий в окружающей среде. Последователи Гибсона и его экологического подхода к психологии дополнительно продемонстрировали роль стимула оптического потока в восприятии движения наблюдателем в мире, восприятии формы, расстояния и движения объектов в мире, а также в управлении локомоцией. Термин «оптический поток» также используется робототехниками и охватывает связанные с ним методы обработки изображений и управления навигацией, включая обнаружение движения, сегментацию объектов, определение времени до контакта, вычисление фокуса расширения, оценку яркости, компенсационное кодирование движения и измерение стереопараллакса.
Optical flow or optic flow is the pattern of apparent motion of objects, surfaces, and edges in a visual scene caused by the relative motion between an observer and a scene. Optical flow can also be defined as the distribution of apparent velocities of movement of brightness pattern in an image. The concept of optical flow was introduced by the American psychologist James J. Gibson in the 1940s to describe the visual stimulus provided to animals moving through the world. Gibson stressed the importance of optic flow for affordance perception, the ability to discern possibilities for action within the environment. Followers of Gibson and his ecological approach to psychology have further demonstrated the role of the optical flow stimulus for the perception of movement by the observer in the world; perception of the shape, distance and movement of objects in the world; and the control of locomotion. The term optical flow is also used by roboticists, encompassing related techniques from image processing and control of navigation including motion detection, object segmentation, time to contact information, focus of expansion calculations, luminance, motion compensated encoding, and stereo disparity measurement.
Применение
Оценка движения и сжатие видео стали важным направлением в исследованиях оптического потока. Хотя поле оптического потока поверхностно похоже на плотное поле движения, получаемое методами оценки движения, оптический поток изучает не только определение самого поля оптического потока, но и его применение для оценки трехмерной структуры сцены и объектов, а также трехмерного движения объектов и наблюдателя относительно сцены, причем в большинстве случаев используется якобиан изображения. Исследователи в области робототехники использовали оптический поток во многих областях, таких как: обнаружение и отслеживание объектов, выделение доминирующей плоскости изображения, обнаружение движения, навигация роботов и визуальная одометрия. Применение оптического потока включает в себя задачу определения не только движения наблюдателя и объектов в сцене, но и структуры объектов и окружающей среды. Поскольку восприятие движения и создание ментальных карт структуры окружающей среды являются критически важными компонентами зрения животных (и человека), преобразование этой врожденной способности в компьютерную аналогично важно в области машинного зрения. Рассмотрим пяти кадровую последовательность с мячом, движущимся из нижнего левого угла в поле зрения в верхний правый. Методы оценки движения могут определить, что на двумерной плоскости мяч движется вверх и вправо, и векторы, описывающие это движение, могут быть извлечены из последовательности кадров. Для целей сжатия видео (например, MPEG) последовательность описывается в достаточной мере. Однако в области машинного зрения вопрос о том, движется ли мяч вправо или наблюдатель влево, остается неизвестным, но критически важным. Даже если бы в пяти кадрах присутствовал статический, текстурированный фон, мы не могли бы с уверенностью утверждать, что мяч движется вправо, поскольку текстура может находиться на бесконечном расстоянии от наблюдателя.
Motion estimation and video compression have developed as a major aspect of optical flow research. While the optical flow field is superficially similar to a dense motion field derived from the techniques of motion estimation, optical flow is the study of not only the determination of the optical flow field itself, but also of its use in estimating the three dimensional nature and structure of the scene, as well as the 3D motion of objects and the observer relative to the scene, most of them using the image Jacobian. Optical flow was used by robotics researchers in many areas such as: object detection and tracking, image dominant plane extraction, movement detection, robot navigation and visual odometry. The application of optical flow includes the problem of inferring not only the motion of the observer and objects in the scene, but also the structure of objects and the environment. Since awareness of motion and the generation of mental maps of the structure of our environment are critical components of animal (and human) vision, the conversion of this innate ability to a computer capability is similarly crucial in the field of machine vision. Consider a five frame clip of a ball moving from the bottom left of a field of vision, to the top right. Motion estimation techniques can determine that on a two dimensional plane the ball is moving up and to the right and vectors describing this motion can be extracted from the sequence of frames. For the purposes of video compression (e. g., MPEG), the sequence is now described as well as it needs to be. However, in the field of machine vision, the question of whether the ball is moving to the right or if the observer is moving to the left is unknowable yet critical information. Not even if a static, patterned background were present in the five frames, could we confidently state that the ball was moving to the right, because the pattern might have an infinite distance to the observer.
Оптический датчик потока
Существуют различные конфигурации оптических датчиков потока. Одна из них – чип сенсора изображения, подключенный к процессору, запрограммированному для выполнения алгоритма оптического потока. Другая конфигурация использует ви́зуальный чип – интегральную схему, содержащую как сенсор изображения, так и процессор на одном кристалле, что обеспечивает компактную реализацию. Примером является стандартный оптический сенсор компьютерной мыши. В некоторых случаях вычислительные схемы могут быть реализованы с использованием аналоговых или смешанных сигнальных схем для обеспечения быстрого вычисления оптического потока при минимальном энергопотреблении. Актуальное направление исследований – применение методов нейроморфной инженерии для создания схем, реагирующих на оптический поток, что делает их подходящими для использования в оптических датчиках потока. Эти схемы могут быть вдохновлены биологическими нейронными цепями, аналогично реагирующими на оптический поток. Оптические датчики потока широко используются в компьютерных оптических мышах в качестве основного компонента для измерения движения мыши по поверхности. Они также применяются в робототехнике, особенно там, где необходимо измерять визуальное движение или относительное движение между роботом и окружающими его объектами. Использование оптических датчиков потока в беспилотных летательных аппаратах (БПЛА) для обеспечения стабильности и обхода препятствий также является областью текущих исследований.
Various configurations of optical flow sensors exist. One configuration is an image sensor chip connected to a processor programmed to run an optical flow algorithm. Another configuration uses a vision chip, which is an integrated circuit having both the image sensor and the processor on the same die, allowing for a compact implementation. An example of this is a generic optical mouse sensor used in an optical mouse. In some cases the processing circuitry may be implemented using analog or mixed signal circuits to enable fast optical flow computation using minimal current consumption. One area of contemporary research is the use of neuromorphic engineering techniques to implement circuits that respond to optical flow, and thus may be appropriate for use in an optical flow sensor. Such circuits may draw inspiration from biological neural circuitry that similarly responds to optical flow. Optical flow sensors are used extensively in computer optical mice, as the main sensing component for measuring the motion of the mouse across a surface. Optical flow sensors are also being used in robotics applications, primarily where there is a need to measure visual motion or relative motion between the robot and other objects in the vicinity of the robot. The use of optical flow sensors in unmanned aerial vehicles (UAVs), for stability and obstacle avoidance, is also an area of current research.