Роберт Харалик: путь выдающегося ученого в области компьютерного зрения

Введение

Роберт М. Харалик (род. 1943) — выдающийся профессор в области компьютерных наук в Высшем центре Городского университета Нью-Йорка (CUNY). Харалик — один из ведущих специалистов в области компьютерного зрения, распознавания образов и анализа изображений. Он является действительным членом Института инженеров электротехники и электроники (IEEE) и действительным членом и бывшим президентом Международной ассоциации по распознаванию образов. Профессор Харалик удостоен премии King Sun Fu Prize за 2016 год «за вклад в анализ изображений, включая дистанционное зондирование, анализ текстур, математическую морфологию, согласованную маркировку и оценку эффективности системы».

Биография

Харалик получил степень бакалавра математики в Университете Канзаса в 1964 году, степень бакалавра электротехники в 1966 году и степень магистра электротехники в 1967 году. В 1969 году, после защиты докторской диссертации в Университете Канзаса, он присоединился к преподавательскому составу факультета электротехники, где работал профессором с 1975 по 1978 год. В 1979 году Харалик присоединился к факультету электротехники в Политехническом институте Вирджинии и Государственном университете, где был профессором и директором лаборатории анализа пространственных данных. С 1984 по 1986 год Харалик занимал должность вице-президента по исследованиям в компании Machine Vision International, Энн-Арбор, штат Мичиган. С 1986 по 2000 год Харалик занимал должность профессора Boeing Clairmont Egtvedt на кафедре электротехники в Университете Вашингтона. В Университете Вашингтона Харалик также был адъюнкт-профессором на факультетах компьютерных наук и биоинженерии. В 2000 году Харалик принял должность выдающегося профессора на факультете компьютерных наук Высшей школы Университета города Нью-Йорка.

Вклад

Харалик начал свою работу в качестве одного из ведущих исследователей данных спутника NASA ERTS, занимаясь анализом изображений дистанционного зондирования. Харалик внес ряд значительных вкладов в область компьютерного зрения. В области высокоуровневого зрения он работал над восстановлением трехмерной геометрии по одному или нескольким перспективным проекциям. Он также выявил ряд задач компьютерного зрения, которые являются частными случаями задачи согласованной маркировки. Его работы по согласованной маркировке, расположению, гомоморфизму отношений, сопоставлению и поиску по деревьям преобразуют конкретные задачи компьютерного зрения в более общую комбинаторную задачу согласованной маркировки, а затем рассматривают теорию операторов предвидения, ускоряющих поиск по деревьям. Наиболее базовый из них называется "Прямой проверкой" (Forward Checking). Это обеспечивает основу для структуры управления, необходимой при решении задач высокоуровневого зрения. Он также расширил технику поиска по дереву с прямой проверкой на логику высказываний. В областях низкого и среднего уровня Харалик занимался анализом текстуры изображений, используя пространственные признаки совпадения оттенков серого. Эти признаки успешно применялись к изображениям биологических клеток, рентгеновским снимкам, спутниковым изображениям, аэрофотоснимкам и многим другим типам изображений, полученных в различных масштабах. В области обнаружения признаков Харалик разработал фасетную модель для обработки изображений. Фасетная модель утверждает, что многие операции обработки изображений низкого уровня можно интерпретировать в зависимости от их воздействия на предполагаемую поверхность интенсивности оттенков серого, из которой данное изображение является зашумленной выборкой. Работы по фасетной модели разрабатывают методы обнаружения краев, линий, удаления шума, обнаружения пиков и впадин, а также различных других топографических признаков поверхности оттенков серого. В своей работе по анализу и выделению форм Харалик использует методы математической морфологии. Он разработал теорему морфологической выборки, которая устанавливает обоснованную основу для выбора размера и формы механизмов фокусировки внимания, способных обрабатывать данные изображений в многоразрешенном режиме, тем самым повышая эффективность некоторых процессов извлечения признаков изображения. Он также разработал рекурсивные морфологические алгоритмы для вычисления операций открытия и закрытия. Рекурсивные алгоритмы позволяют вычислить операции открытия или закрытия любого возможного размера для заданного структурирующего элемента за постоянное время на пиксель. Он также разработал статистические морфологические методы для анализа изображений и удаления шума. В области понимания изображений документов Харалик отвечает за разработку всесторонних баз данных, содержащих более 1500 изображений документов, большинство из которых на английском языке, а некоторые – на японском. Эти базы данных распространяются на CD-ROM и используются во всем мире специалистами, разрабатывающими методы и алгоритмы распознавания символов и структурного разложения изображений документов. Он разработал алгоритмы для оценки угла наклона изображения документа, выделения зон и определения ограничивающих прямоугольников для слов и строк текста. В серии статей Харалик оказал влияние на сообщество компьютерного зрения, повысив его чувствительность к потребностям характеризации производительности компьютерного зрения и распространению ковариации, поскольку без такого анализа компьютерное зрение не имеет надежной теоретической основы. Харалик внес вклад в область анализа медицинских изображений, особенно работая с рентгеновскими желудочкограммами и эхокардиографией. В этих работах были разработаны методы для идентификации и определения анатомически точных границ левого желудочка сердца. Его последние работы посвящены распознаванию образов, в частности, кластеризации многообразий в высокоразмерных наборах данных, применению распознавания образов к математическим комбинаторным задачам и исследованию кодов Торы, широко известных как библейские коды. В этой области он является соавтором книги с Элияху Рипсом, одним из соавторов оригинальной статьи в журнале Statistical Sciences. Исследования Харалика помогли разработать сложные алгоритмические и статистические методы для экспериментов с кодами Торы, методы, которые, по его утверждению, позволяют отличить таблицы, представленные в качестве кодировок в книгах, таких как "Моби Дик" и "Война и мир", от кодировок, встречающихся в тексте Торы. Харалик является членом IEEE за его вклад в компьютерное зрение и обработку изображений, а также членом Международной ассоциации по распознаванию образов (IAPR) за его вклад в распознавание образов, обработку изображений и деятельность в IAPR. Он был президентом IAPR с 1996 по 1998 год. Он входит в редакционную коллегию журнала "IEEE Transactions on Pattern Analysis and Machine Intelligence" и был редатором по компьютерному зрению в Communications of the ACM, а также ассоциированным редактором журналов Computer Vision, Graphics, and Image Processing, The IEEE Transactions on Image Processing and Pattern Recognition. Он также входит в редакционную коллегию журналов Real Time Imaging и Electronic Imaging. Его публикации включают более 570 архивных статей, глав книг, материалов конференций и книг. Индекс цитирования научных публикаций содержит более 6300 ссылок на его работы. Харалик был отмечен за свои научные исследования в книгах Marquis Who's Who. Он включен в текущие издания Who's Who in the East, Who's Who in America и Who's Who in the World.

Haralick began his work as one of the principal investigators of the NASA ERTS satellite data doing remote sensing image analysis. Haralick has made a series of contributions in the field of computer vision. In the high level vision area, he has worked on inferring 3D geometry from one or more perspective projection views. He has also identified a variety of vision problems which are special cases of the consistent labeling problem. His papers on consistent labeling, arrangements, relation homomorphism, matching, and tree search translate some specific computer vision problems to the more general combinatorial consistent labeling problem and then discuss the theory of the look ahead operators that speed up the tree search. The most basic of these is called Forward Checking. This gives a framework for the control structure required in high level vision problems. He has also extended the forward checking tree search technique to propositional logic. In the low and mid level areas, Haralick has worked in image texture analysis using spatial gray tone co occurrence texture features. These features have been used with success on biological cell images, x ray images, satellite images, aerial images and many other kinds of images taken at small and large scales. In the feature detection area, Haralick has developed the facet model for image processing. The facet model states that many low level image processing operations can be interpreted relative to what the processing does to the estimated underlying gray tone intensity surface of which the given image is a sampled noisy version. The facet papers develop techniques for edge detection, line detection, noise removal, peak and pit detection, as well as a variety of other topographic gray tone surface features. Haralick's work in shape analysis and extraction uses the techniques of mathematical morphology. He has developed the morphological sampling theorem which establishes a sound shape/size basis for the focus of attention mechanisms which can process image data in a multiresolution mode, thereby making some of the image feature extraction processes execute more efficiently. He has also developed recursive morphological algorithms for the computation of opening and closing transforms. The recursive algorithms permit all possible sized openings or closings for a given structuring element to be computed in constant time per pixel. He also developed statistical morphological methodologies for image analysis and noise removal. and noise removal

In the area of document image understanding, Haralick is responsible for the development of comprehensive ground truthed databases consisting of over 1500 document images, most in English and some in Japanese. The databases are issued on CD ROMs and are used all around the world by people developing character recognition methodologies and techniques for document image structural decomposition. He has developed algorithms for document image skew angle estimation, zone delineation, and word and text line bounding box delineation. In a series of papers, Haralick has helped influence the computer vision community to be more sensitive to the needs of computer vision performance characterization and covariance propagation for without this kind of analysis Computer Vision has no robust theory. Haralick has contributed to the medical image analysis area particularly working with X ray ventriculargrams and echocardiography, These papers developed techniques to identify and delineate anatomically accurate boundaries for the left ventricle of the heart. His most recent work is in the pattern recognition area, particularly in the manifold clustering of high dimensional data sets, the application of pattern recognition to mathematical combinatorial problems and in the area of Torah codes popularly called Bible codes. In this area he has co authored a book with Eliyahu Rips, one of the coauthors of the original Statistical Sciences paper. Haralick's research has helped develop sophisticated algorithmic and statistical methodology for Torah code experiments, methodology that he claims can differentiate between the tables that are depicted as encodings in books like Moby Dick and War and Peace from those encodings that occur in the Torah text. Haralick is a Fellow of IEEE for his contributions in computer vision and image processing and a Fellow of the International Association for Pattern Recognition (IAPR) for his contributions in pattern recognition, image processing, and for service to IAPR. He served as president of IAPR from 1996 to 1998. He has served on the editorial board of "IEEE Transactions on Pattern Analysis and Machine Intelligence" and has been the computer vision area editor for Communications of the ACM and as an associate editor for Computer Vision, Graphics, and Image Processing, The IEEE Transactions on Image Processing and Pattern Recognition. He served on the editorial board of Real Time Imaging and the editorial board of Electronic Imaging. His publications include over 570 archival papers, book chapters, conference proceedings and books. The science citation index lists over 6300 references to his papers. Haralick has been recognized for his academic research in the Marquis Who's Who books. He is listed in the current editions for Who's Who in the East, Who's Who in America, and Who's Who in the World.