Планирование эксперимента и анализ вариаций данных

Введение

Проектирование задач

Проектирование экспериментов (DOE или DOX), также известное как планирование эксперимента или экспериментальный дизайн, – это проектирование любой задачи, направленной на описание и объяснение изменчивости данных в условиях, которые, как предполагается, отражают эту изменчивость. Этот термин обычно ассоциируется с экспериментами, в которых конструкция вводит условия, непосредственно влияющие на изменчивость, но также может относиться к проектированию квазиэкспериментов, в которых для наблюдения отбираются естественные условия, оказывающие влияние на изменчивость. В простейшем случае эксперимент направлен на предсказание результата путем изменения исходных условий, которое представляется одной или несколькими независимыми переменными, также называемыми «входными переменными» или «предикторными переменными». Изменение одной или нескольких независимых переменных, как правило, предполагает изменение одной или нескольких зависимых переменных, также называемых «выходными переменными» или «переменными отклика». Экспериментальная конструкция также может включать определение контрольных переменных, которые необходимо поддерживать постоянными, чтобы предотвратить влияние внешних факторов на результаты. Экспериментальный дизайн включает в себя не только выбор подходящих независимых, зависимых и контрольных переменных, но и планирование проведения эксперимента в статистически оптимальных условиях с учетом ограничений доступных ресурсов. Существуют различные подходы к определению набора точек проектирования (уникальных комбинаций значений независимых переменных), которые будут использоваться в эксперименте. Основные задачи при проектировании экспериментов включают обеспечение валидности, надежности и воспроизводимости. Например, эти задачи могут быть частично решены путем тщательного выбора независимой переменной, снижения риска погрешности измерения и обеспечения достаточной детализации документации метода. К смежным задачам относится достижение адекватного уровня статистической мощности и чувствительности. Правильно спланированные эксперименты способствуют расширению знаний в естественных и социальных науках, а также в инженерии, при этом методология проектирования экспериментов признана ключевым инструментом успешной реализации концепции «Качество через проектирование» (Quality by Design, QbD). Другие области применения включают маркетинг и разработку политик. Изучение проектирования экспериментов является важной темой в метанауке.

The design of experiments (DOE or DOX), also known as experiment design or experimental design, is the design of any task that aims to describe and explain the variation of information under conditions that are hypothesized to reflect the variation. The term is generally associated with experiments in which the design introduces conditions that directly affect the variation, but may also refer to the design of quasi experiments, in which natural conditions that influence the variation are selected for observation. In its simplest form, an experiment aims at predicting the outcome by introducing a change of the preconditions, which is represented by one or more independent variables, also referred to as "input variables" or "predictor variables." The change in one or more independent variables is generally hypothesized to result in a change in one or more dependent variables, also referred to as "output variables" or "response variables." The experimental design may also identify control variables that must be held constant to prevent external factors from affecting the results. Experimental design involves not only the selection of suitable independent, dependent, and control variables, but planning the delivery of the experiment under statistically optimal conditions given the constraints of available resources. There are multiple approaches for determining the set of design points (unique combinations of the settings of the independent variables) to be used in the experiment. Main concerns in experimental design include the establishment of validity, reliability, and replicability. For example, these concerns can be partially addressed by carefully choosing the independent variable, reducing the risk of measurement error, and ensuring that the documentation of the method is sufficiently detailed. Related concerns include achieving appropriate levels of statistical power and sensitivity. Correctly designed experiments advance knowledge in the natural and social sciences and engineering, with design of experiments methodology recognised as a key tool in the successful implementation of a Quality by Design (QbD) framework. Other applications include marketing and policy making. The study of the design of experiments is an important topic in metascience.

Статистические эксперименты, вслед за Чарльзом С. Пирсом

Теория статистического вывода была разработана Чарльзом С. Пирсом в трудах «Иллюстрации логики науки» (1877–1878) и «Теория вероятного вывода» (1883), двух публикациях, в которых подчеркивалась важность статистического вывода, основанного на рандомизации.

Рандомизированные эксперименты

Чарльз С. Пирс случайным образом распределил добровольцев по слепой схеме с повторными измерениями, чтобы оценить их способность различать веса. Эксперимент Пирса вдохновил других исследователей в психологии и образовании, что привело к формированию традиции проведения рандомизированных экспериментов в лабораториях и публикации специализированных учебников в 1800-х годах. Пионерский оптимальный дизайн для полиномиальной регрессии был предложен Жергонном в 1815 году. В 1918 году Кирстин Смит опубликовала оптимальные дизайны для многочленов степени шесть (и ниже).

Последовательность экспериментов

Использование последовательности экспериментов, где конструкция каждого может зависеть от результатов предыдущих экспериментов, включая возможное решение о прекращении проведения экспериментов, относится к области последовательного анализа, область, которую пионером разработал Авраам Уолд в контексте последовательных проверок статистических гипотез. Герман Чернофф написал обзор оптимальных последовательных планов. Один конкретный тип последовательного плана – "проблема двух рук бандита", обобщенная до "проблемы многорукого бандита", над которой ранние работы были проведены Гербертом Роббинсом в 1952 году.

Причинные связи

В чистом экспериментальном дизайне независимой (предикторной) переменной манипулирует исследователь – а именно – каждый участник исследования выбирается случайным образом из генеральной совокупности, и каждому выбранному участнику случайным образом присваивается условие независимой переменной. Только при соблюдении этих условий можно с высокой степенью уверенности утверждать, что различия в зависимых переменных обусловлены различными условиями. Поэтому исследователям следует отдавать предпочтение экспериментальному дизайну перед другими типами дизайна, когда это возможно. Однако природа независимой переменной не всегда допускает манипулирование. В таких случаях исследователи должны осознавать невозможность установления причинно-следственной связи, если дизайн исследования это не позволяет. Например, в обсервационных исследованиях участники не распределяются по условиям случайным образом, и поэтому, если обнаружены различия в зависимых переменных между условиями, вероятно, что причиной этих различий является нечто иное, кроме различий между самими условиями, то есть третья переменная. То же самое справедливо и для исследований с корреляционным дизайном (Adér & Mellenbergh, 2008).

Статистический контроль

Лучше всего, чтобы процесс находился под разумным статистическим контролем перед проведением спланированных экспериментов. Когда это невозможно, надлежащее блокирование, повторение и рандомизация позволяют аккуратно проводить спланированные эксперименты. Для контроля нежелательных переменных исследователи используют контрольные проверки в качестве дополнительных мер. Исследователи должны убедиться, что неконтролируемые факторы (например, восприятие авторитетности источника) не искажают результаты исследования. Проверка манипуляции – один из примеров контрольной проверки. Проверки манипуляции позволяют исследователям изолировать основные переменные, чтобы усилить уверенность в том, что эти переменные действуют по плану. Одним из важнейших требований к экспериментальным исследовательским дизайнам является необходимость устранения влияния посторонних, вмешивающихся и предшествующих переменных. В самой простой модели причина (X) приводит к следствию (Y). Однако может существовать третья переменная (Z), которая влияет на (Y), и X может оказаться не истинной причиной. Z считается посторонней переменной и должна быть учтена. То же самое относится к вмешивающимся переменным (переменной между предполагаемой причиной (X) и следствием (Y)) и предшествующим переменным (переменной, предшествующей предполагаемой причине (X), которая является истинной причиной). Когда третья переменная вовлечена и не учтена, отношение называется отношением нулевого порядка. В большинстве практических применений экспериментальных исследовательских дизайнов существует несколько причин (X1, X2, X3). В большинстве дизайнов одновременно манипулируется только одной из этих причин.

Экспериментальные конструкции после Фишера

Некоторые эффективные конструкции для оценки нескольких основных эффектов были найдены независимо и почти одновременно Радж Чандрой Бозе и К. Кишеном в 1940 году в Индийском статистическом институте, но оставались малоизвестными до тех пор, пока конструкции Плэкетта — Бурмана не были опубликованы в журнале Biometrika в 1946 году. Примерно в то же время К. Р. Рао ввёл понятие ортогональных массивов как экспериментальных конструкций. Эта концепция сыграла центральную роль в разработке методов Тагучи Дженъити Тагучи, которая произошла во время его визита в Индийский статистический институт в начале 1950-х годов. Его методы были успешно применены и внедрены японской и индийской промышленностью, а затем также были приняты американской промышленностью, хотя и с некоторыми оговорками. В 1950 году Гертруда Мэри Кокс и Уильям Геммелл Кокран опубликовали книгу «Экспериментальные конструкции», которая стала основным справочным трудом по планированию экспериментов для статистиков на долгие годы. Развитие теории линейных моделей охватило и превзошло случаи, представлявшие интерес для ранних исследователей. Сегодня теория опирается на передовые темы линейной алгебры, алгебры и комбинаторики. Как и в других областях статистики, планирование экспериментов осуществляется с использованием как частотного, так и байесовского подходов: при оценке статистических процедур, таких как экспериментальные планы, частотная статистика изучает распределение выборок, а байесовская статистика обновляет распределение вероятностей на пространстве параметров. Среди важных вкладчиков в область планирования экспериментов — C. S. Peirce, R. A. Fisher, F. Yates, R. C. Bose, A. C. Atkinson, R. A. Bailey, D. R. Cox, G. E. P. Box, W. G. Cochran, W. T. Federer, V. V. Fedorov, A. S. Hedayat, J. Kiefer, O. Kempthorne, J. A. Nelder, Андре Пазман, Фридрих Пукельсхайм, Д. Рагхаварао, C. R. Rao, Шриханде С. С., Дж. Н. Шривастава, Уильям Дж. Студден, Г. Тагучи и Х. П. Уинн. Учебники Д. Монтгомери, Р. Майерса и Г. Бокса/У. Хантера/Дж. С. Хантера охватили поколения студентов и практиков. Некоторые обсуждения планирования экспериментов в контексте идентификации системы (построения модели для статических или динамических моделей) приведены в и.

Some efficient designs for estimating several main effects were found independently and in near succession by Raj Chandra Bose and K. Kishen in 1940 at the Indian Statistical Institute, but remained little known until the Plackett–Burman designs were published in Biometrika in 1946. About the same time, C. R. Rao introduced the concepts of orthogonal arrays as experimental designs. This concept played a central role in the development of Taguchi methods by Genichi Taguchi, which took place during his visit to Indian Statistical Institute in early 1950s. His methods were successfully applied and adopted by Japanese and Indian industries and subsequently were also embraced by US industry albeit with some reservations. In 1950, Gertrude Mary Cox and William Gemmell Cochran published the book Experimental Designs, which became the major reference work on the design of experiments for statisticians for years afterwards. Developments of the theory of linear models have encompassed and surpassed the cases that concerned early writers. Today, the theory rests on advanced topics in linear algebra, algebra and combinatorics. As with other branches of statistics, experimental design is pursued using both frequentist and Bayesian approaches: In evaluating statistical procedures like experimental designs, frequentist statistics studies the sampling distribution while Bayesian statistics updates a probability distribution on the parameter space. Some important contributors to the field of experimental designs are C. S. Peirce, R. A. Fisher, F. Yates, R. C. Bose, A. C. Atkinson, R. A. Bailey, D. R. Cox, G. E. P. Box, W. G. Cochran, W. T. Federer, V. V. Fedorov, A. S. Hedayat, J. Kiefer, O. Kempthorne, J. A. Nelder, Andrej Pázman, Friedrich Pukelsheim, D. Raghavarao, C. R. Rao, Shrikhande S. S., J. N. Srivastava, William J. Studden, G. Taguchi and H. P. Wynn. The textbooks of D. Montgomery, R. Myers, and G. Box/W. Hunter/J. S. Hunter have reached generations of students and practitioners. Some discussion of experimental design in the context of system identification (model building for static or dynamic models) is given in and.