Введение

Немецкий ученый в области компьютерных наук Бернхард Шёлькопф (родился 20 февраля 1968 года) — немецкий ученый, известный своими работами в области машинного обучения, особенно в отношении методов ядра и причинности. Он является директором Института интеллектуальных систем им. Макса Планка в Тюбингене (Германия), где возглавляет отдел эмпирических умозаключений. Он также является приглашенным профессором в ETH Zürich, почетным профессором в Университете Тюбингена и Техническом университете Берлина, а также председателем Европейской лаборатории обучения и интеллектуальных систем (ELLIS).

Методы ядра

Шёлкопф разработал методы SVM, достигнув мирового рекорда производительности на эталонном тесте распознавания образов MNIST в то время. С введением ядерного PCA, Шёлкопф и соавторы утверждали, что SVM являются частным случаем гораздо более широкого класса методов, и что все алгоритмы, которые можно выразить через скалярное произведение, могут быть обобщены на нелинейную постановку с помощью так называемых воспроизводящих ядер. Важным наблюдением также было то, что данные, на которых определено ядро, не обязательно должны быть векторными, при условии, что матрица Грама ядра является положительно определенной. Он показал, как рассматривать другие значимые методы понижения размерности, такие как LLE и Isomap, как частные случаи. В дальнейшей работе с Алексом Смолой и другими исследователями он расширил метод SVM для задач регрессии и классификации с заранее заданной разреженностью и оценкой квантилей/опорных векторов. Он доказал теорему о представителях, подразумевающую, что SVM, ядерный PCA и большинство других алгоритмов ядра, регуляризованных нормой в воспроизводящемся пространстве ядра Гильберта, имеют решения в виде разложения по ядрам на обучающих данных, что позволяет свести бесконечномерную задачу оптимизации к конечномерной. Он также разработал методы вложения распределений в пространства Гильберта для представления вероятностных распределений, установив связь с дифракцией Фраунгофера и находя применение в проверке независимости.

Причинно-следственная связь

Начиная с 2005 года, Шёлькопф обратил внимание на проблему причинно-следственного вывода. Причинные механизмы в мире порождают статистические зависимости как эпифеномены, однако популярные алгоритмы машинного обучения используют лишь последние. Знание о причинных структурах и механизмах полезно тем, что позволяет предсказывать не только будущие данные из того же источника, но и эффект вмешательств в систему, а также облегчает перенос обнаруженных закономерностей на новые ситуации. Шёлькопф и его коллеги рассмотрели (и в некоторых случаях решили) задачу обнаружения причинно-следственных связей для случая двух переменных и связали причинность с сложностью Колмогорова. Около 2010 года Шёлькопф начал исследовать возможности применения причинности в машинном обучении, используя предположения о независимости механизмов и инвариантности. Его ранние работы по причинно-следственному обучению были представлены более широкой аудитории специалистов по машинному обучению во время его лекции Поснера на NeurIPS 2011, а также в ключевом докладе на ICML 2017. Он изучал, как использовать лежащие в основе причинно-следственные структуры для повышения устойчивости методов машинного обучения к изменениям распределений и систематическим ошибкам, что привело к открытию ряда новых экзопланет, включая K2 18b, в атмосфере которой впоследствии был обнаружен водяной пар – впервые для экзопланеты в обитаемой зоне.

Образование и занятость

Шёлькопф изучал математику, физику и философию в Тюбингене и Лондоне. Он получил поддержку от Studienstiftung и выиграл премию Lionel Cooper Memorial Prize за лучшую магистерскую работу по математике в Лондонском университете. Он завершил обучение и получил диплом по физике, после чего переехал в Bell Labs в Нью-Джерси, где работал с Владимиром Вапником, который стал его соруководителем докторской диссертации в TU Berlin (совместно со Стефаном Яхнихеном). Его диссертация, защищенная в 1997 году, удостоилась ежегодной награды Немецкого общества информатики. В 2001 году, после работы в Берлине, Кембридже и Нью-Йорке, он основал Отдел эмпирических выводов в Институте биологической кибернетики имени Макса Планка, который вырос в ведущий центр исследований в области машинного обучения. В 2011 году он стал директором-основателем Института интеллектуальных систем имени Макса Планка. Вместе с Алексом Смолой Шёлькопф основал серию летних школ по машинному обучению. Он также является соучредителем совместной программы докторантуры Кембриджа и Тюбингена, а также Центра обучения систем имени Макса Планка при ETH. В 2016 году он стал соучредителем исследовательского консорциума Cyber Valley. Он принимал участие в глобальной инициативе IEEE по разработке "этически выверенного дизайна". Шёлькопф является главным редактором журнала "Journal of Machine Learning Research", который он помог основать, и был одним из участников массового ухода из редакционного совета журнала "Machine Learning". Он входит в число наиболее цитируемых ученых в области компьютерных наук. Среди выпускников его лаборатории – Ульрике фон Люксбург, Карл Расмуссен, Маттиас Хайн, Артур Греттон, Гуннар Рэч, Маттиас Бетге, Стефани Йегелька, Джейсон Уэстон, Оливье Буске, Оливье Шапель, Хоакин Квинонеро Кандела и Себастьян Новозин.

Награды

Награды Шёлкопфа включают в себя премию Королевского общества Милнера и премию Фонда BBVA «Границы знаний» в области информационно-коммуникационных технологий, которую он разделил с Изабеллой Гюйон и Владимиром Вапником. Он стал первым ученым, работающим в Европе, удостоенным этой награды.