Введение

Оптимальный экспериментальный дизайн, оптимальный в отношении некоторого статистического критерия.

В планировании экспериментов оптимальные экспериментальные дизайны (или оптимальные конструкции) представляют собой класс экспериментальных дизайнов, оптимальных в отношении некоторого статистического критерия. Создание этой области статистики связывают с именем датского статистика Кирстине Смит. При планировании экспериментов для оценки статистических моделей оптимальные дизайны позволяют оценивать параметры без смещения и с минимальной дисперсией. Неоптимальный дизайн требует большего числа экспериментальных прогонов для оценки параметров с той же точностью, что и оптимальный дизайн. На практике оптимальные эксперименты позволяют снизить затраты на проведение исследований. Оптимальность дизайна зависит от статистической модели и оценивается относительно статистического критерия, который связан с матрицей дисперсий оценщика. Выбор подходящей модели и критериальной функции требует понимания статистической теории и практического опыта в планировании экспериментов.

Контрастные черты

Во многих приложениях статистик больше всего заинтересован в "параметре интереса", а не в "помеховых параметрах". В более общем плане статистики рассматривают линейные комбинации параметров, которые оцениваются посредством линейных комбинаций средних значений вариантов в планировании экспериментов и при анализе дисперсии; такие линейные комбинации называются контрастами. Статистики могут использовать подходящие критерии оптимальности для таких параметров интереса и для контрастов.

Реализация

Каталоги оптимальных планов экспериментов можно найти в книгах и библиотеках программного обеспечения. Кроме того, ведущие статистические системы, такие как SAS и R, содержат процедуры для оптимизации плана эксперимента в соответствии с требованиями пользователя. Прежде чем метод сможет вычислить оптимальный план, экспериментатор должен задать модель для этого плана и критерий оптимальности.

Практические соображения

Некоторые продвинутые темы в оптимальном проектировании требуют более глубоких знаний статистической теории и практического опыта в планировании экспериментов.

Зависимость от модели и надежность

Поскольку критерий оптимальности большинства оптимальных планов основан на некоторой функции информационной матрицы, "оптимальность" конкретного плана зависит от модели: хотя оптимальный план является наилучшим для данной модели, его эффективность может снизиться при использовании других моделей. При использовании других моделей оптимальный план может оказаться как лучше, так и хуже, чем неоптимальный. Поэтому важно оценивать эффективность планов применительно к альтернативным моделям.

Выбор критерия оптимальности и надежности

Выбор подходящего критерия оптимальности требует обдумывания, и полезно оценивать эффективность планов относительно нескольких критериев оптимальности. Корнелл пишет, что

действительно, существуют несколько классов планов, для которых все традиционные критерии оптимальности совпадают, согласно теории "универсальной оптимальности" Кифера. Опыт практиков, таких как Корнелл, и теория "универсальной оптимальности" Кифера указывают на то, что устойчивость к изменениям критерия оптимальности значительно выше, чем устойчивость к изменениям в модели.

Гибкие критерии оптимальности и выпуклый анализ

Высококачественное статистическое программное обеспечение предоставляет комбинацию библиотек оптимальных планов или итеративных методов для построения приближенно оптимальных планов, в зависимости от указанной модели и критерия оптимальности. Пользователи могут использовать стандартный критерий оптимальности или запрограммировать собственный критерий. Все традиционные критерии оптимальности являются выпуклыми (или вогнутыми) функциями, и поэтому оптимальные планы поддаются математической теории выпуклого анализа, а их вычисление может использовать специализированные методы выпуклой минимизации. Практику не обязательно выбирать ровно один традиционный критерий оптимальности, он может указать собственный критерий. В частности, практику можно задать выпуклый критерий, используя максимумы выпуклых критериев оптимальности и неотрицательные комбинации критериев оптимальности (поскольку эти операции сохраняют выпуклость функций). Для выпуклых критериев оптимальности теорема эквивалентности Кифера-Вольфовица позволяет практику проверить, является ли данный план глобально оптимальным. Теорема эквивалентности Кифера-Вольфовица связана с преобразованием Лежандра-Фенхеля для выпуклых функций. Если критерий оптимальности не является выпуклым, то поиск глобального оптимума и проверка его оптимальности часто затруднены.

Выбор модели

Когда ученые хотят проверить несколько теорий, статистик может разработать эксперимент, позволяющий оптимально различать между заданными моделями. Такие "дискриминационные эксперименты" особенно важны в биостатистике, поддерживающей фармакокинетику и фармакодинамику, как было показано в работах Кокса и Аткинсона.

Байесовский экспериментальный дизайн

Когда специалистам необходимо рассмотреть несколько моделей, они могут задать распределение вероятностей на эти модели, а затем выбрать любой план эксперимента, максимизирующий математическое ожидание результата этого эксперимента. Такие оптимальные планы, основанные на вероятностях, называются оптимальными байесовскими планами. Особенно часто такие байесовские планы используются для обобщенных линейных моделей (где отклик следует экспоненциальному семейству распределений). Однако использование байесовского плана не обязывает статистиков применять байесовские методы для анализа данных. Более того, некоторые исследователи не одобряют термин "байесовский" для планов экспериментов, основанных на вероятностях. Альтернативные термины для "байесовской" оптимальности включают "оптимальность в среднем" или "оптимальность для популяции".

Итеративные эксперименты

Научный эксперимент — это итеративный процесс, и статистики разработали несколько методов оптимального планирования последовательных экспериментов.

Последовательный анализ

Последовательный анализ был разработан Авраамом Вальдом. В 1972 году Герман Чернофф представил обзор оптимальных последовательных планов, а адаптивные планы позднее были рассмотрены С. Заксом. Разумеется, значительная часть работы по оптимальному планированию экспериментов связана с теорией оптимальных решений, в особенности со статистической теорией принятия решений Авраама Вальда.

Методология поверхности отклика

Оптимальные планы для моделей поверхности отклика обсуждаются в учебнике Аткинсона, Донева и Тобиаса, а также в обзоре Гаффке и Хейлигерса и в математическом труде Пукельсхайма. Блокирование оптимальных планов рассматривается в учебнике Аткинсона, Донева и Тобиаса и в монографии Гуса. Первые оптимальные планы были разработаны для оценки параметров регрессионных моделей с непрерывными переменными, например, Ж. Д. Гергонном в 1815 году (Стиглер). На английском языке два ранних вклада внесли Чарльз С. Пирс и Кирстин Смит. Пионерские планы для многомерных поверхностей отклика были предложены Джорджем Э. П. Боксом. Однако планы Бокса обладают небольшим количеством свойств оптимальности. Фактически, план Бокса — Бехнкена требует избыточного количества экспериментальных прогонов при количестве переменных, превышающем три. "Центральный композитный" план Бокса требует большего числа экспериментальных запусков, чем оптимальные планы Коно.

Идентификация системы и стохастическое приближение

Оптимизация последовательного эксперимента изучается также в стохастическом программировании и в теории систем и управления. Популярные методы включают стохастическое приближение и другие методы стохастической оптимизации. Значительная часть этих исследований связана с поддисциплиной идентификации систем. В вычислительном оптимальном управлении Д. Юдин и А. Немировский, а также Борис Поляк описали методы, которые более эффективны, чем правила выбора размера шага (в стиле Армихо), предложенные Г. Э. П. Боксом в методологии поверхностного отклика. Адаптивные планы используются в клинических испытаниях, а оптимальные адаптивные планы рассматриваются в главе "Руководство по планированию экспериментов" Шелемияху Закса.

Использование компьютера для поиска хорошего дизайна

Существует несколько методов поиска оптимального дизайна при заданном априорном ограничении на число экспериментальных запусков или повторений. Некоторые из этих методов обсуждаются в работах Аткинсона, Донева и Тобиаса, а также в статье Хардина и Слоуна. Разумеется, заранее фиксировать число экспериментальных запусков было бы нецелесообразно. Благоразумные статистики рассматривают и другие оптимальные дизайны, число экспериментальных запусков в которых различается.

Дискретность дизайна вероятностных измерений

В математической теории оптимальных экспериментов оптимальный дизайн может представлять собой меру вероятности, носитель которой является бесконечное множество точек наблюдения. Такие оптимальные конструкции, заданные мерой вероятности, решают математическую задачу, в которой не учитывалась стоимость наблюдений и экспериментальных прогонов. Тем не менее, такие оптимальные конструкции, заданные мерой вероятности, могут быть дискретизированы для получения приближенно оптимальных дизайнов. В некоторых случаях для построения оптимального дизайна достаточно конечного множества точек наблюдения. Такой результат был доказан Коно и Кифером в их работах по планированию поверхностей отклика для квадратичных моделей. Анализ Коно–Кифера объясняет, почему оптимальные дизайны для поверхностей отклика могут иметь дискретные носители, которые очень похожи на менее эффективные дизайны, традиционно используемые в методологии поверхностей отклика.

История

В 1815 году, согласно Стиглеру, Джозеф Диас Гергонн опубликовал статью об оптимальных планах для полиномиальной регрессии. Чарльз С. Пирс предложил экономическую теорию научного эксперимента в 1876 году, целью которой было максимальное повышение точности оценок. Оптимальное распределение, предложенное Пирсом, сразу же повысило точность гравиметрических экспериментов и использовалось на протяжении десятилетий Пирсом и его коллегами. В своей лекции, опубликованной в 1882 году в Университете Джона Хопкинса, Пирс представил экспериментальный дизайн следующими словами:
"Логика не станет сообщать вам, какие эксперименты следует проводить, чтобы наилучшим образом определить ускорение свободного падения или значение Ома; но она подскажет, как разработать план эксперимента." [ ] К сожалению, практика обычно предшествует теории, и обычная участь человечества – сначала выполнить что-либо каким-то сложным способом, а потом понять, как это можно было сделать гораздо проще и совершеннее. Кирстин Смит предложила оптимальные планы для полиномиальных моделей в 1918 году. (Кирстин Смит была ученицей датского статистика Торвальда Н. Тиле и работала с Карлом Пирсоном в Лондоне.)

Учебники, в которых основное внимание уделяется методологии регрессии и поверхностного ответа

Учебник Аткинсона, Донева и Тобиаса применялся как для краткосрочных курсов повышения квалификации специалистов в промышленности, так и в университетских курсах.

Исторические

(Приложение № 14). NOAA PDF Eprint. Перепечатано в параграфах 139–157 и в