Эксперимент «Волшебник страны Оз» в человеко-компьютерном взаимодействии.

Введение

Копенгаген

В области взаимодействия человека и компьютера эксперимент "Волшебник страны Оз" — это исследовательский эксперимент, в котором участники взаимодействуют с компьютерной системой, которую они считают автономной, но которой на самом деле управляет или частично управляет незаметный человек.

Концепция

Фраза «Волшебник страны Оз» (первоначально OZ Paradigm) получила широкое распространение в областях экспериментальной психологии, психологии человека-машины, эргономики, лингвистики и разработки удобных интерфейсов для описания методологии тестирования или итеративного проектирования, в которой экспериментатор («волшебник»), в лабораторных условиях, имитирует поведение теоретического интеллектуального компьютерного приложения (часто уходя в другую комнату и перехватывая все коммуникации между испытуемым и системой). Это может делаться с предварительным уведомлением испытуемого, а иногда используется незначительный обман для управления ожиданиями испытуемого и стимулирования естественного поведения. Например, испытуемый может полагать, что взаимодействует с компьютером посредством речевого интерфейса, в то время как его слова на самом деле тайно вводятся в компьютер человеком в другой комнате («волшебник») и обрабатываются как текстовый поток, а не как аудиопоток. Отсутствующая функциональность системы, которую обеспечивает «волшебник», может быть реализована в последующих версиях системы (или даже представлять собой гипотетические возможности, которых нет в современных системах), однако её конкретные детали обычно не имеют значения для исследования. В ходе тестирования целью таких экспериментов может быть наблюдение за использованием и эффективностью предлагаемого пользовательского интерфейса испытуемыми, а не оценка качества системы в целом.

Происхождение

Название эксперимента происходит от романа Л. Фрэнка Баума «Чудесный волшебник из страны Оз» 1900 года, в котором обычный человек прячется за занавеской и притворяется, используя технологию «усиления», могущественным волшебником. Джон Ф. («Джефф») Келли придумал фразы «Волшебник ОЗ» и «парадигма ОЗ» для этой цели примерно в 1980 году, чтобы описать метод, который он разработал во время своей диссертационной работы в Университете Джона Хопкинса. (Его научным руководителем был покойный профессор Альфонс Чапатис, иногда называемый «Крестным отцом человеческих факторов и инженерной психологии».) Во время исследования, помимо односторонних зеркал и других техник, использовалась занавеска, отделявшая Келли («Волшебника») от взгляда участника. Техника «Экспериментатор в контуре» была впервые применена в Лаборатории коммуникационных исследований Чапатиса при Университете Джона Хопкинса еще в 1975 году (Дж. Ф. Келли прибыл в 1978 году). В. Рэндольф Форд использовал технику «Экспериментатор в контуре» со своей инновационной программой CHECKBOOK, в рамках которой он получал образцы языка в естественной обстановке. В методе Форда предварительная версия системы обработки естественного языка размещалась перед пользователем. Когда пользователь вводил синтаксис, который не распознавался, он получал запрос «Не могли бы вы перефразировать?» от программного обеспечения. После сеанса создавались или улучшались алгоритмы обработки вновь полученных образцов, и проводился следующий сеанс. Этот подход привел к разработке его метода обработки естественного языка «Многоступенчатое уменьшение шаблонов». Доктор Форд вспоминал, что доктор Келли действительно придумал фразу «парадигма Волшебника из страны Оз», но что эта техника была применена как минимум в двух отдельных исследованиях до того, как доктор Келли начал проводить исследования в Телекоммуникационной лаборатории Университета Джона Хопкинса. Аналогичное раннее использование техники для моделирования системы понимания естественного языка, разрабатываемой в Исследовательском центре Xerox Palo Alto, было осуществлено Алленом Мунро и Доном Норманом около 1975 года в Калифорнийском университете в Сан-Диего. Опять же, название «Волшебник из страны Оз» еще не применялось к этой технике. Результаты были опубликованы в статье 1977 года командой (Bobrow и др.). В этой работе экспериментатор («Волшебник») сидел за терминалом в смежной комнате, отделенной односторонним зеркалом, чтобы можно было наблюдать за испытуемым. Каждый ввод от пользователя правильно обрабатывался комбинацией программной обработки и вмешательства экспериментатора в реальном времени. По мере повторения процесса в последующих сессиях добавлялось все больше и больше программных компонентов, так что экспериментатору приходилось делать все меньше и меньше во время каждой сессии, пока не достигался асимптотический рост словаря фраз/слов, и экспериментатор мог «пойти выпить чашку кофе» во время сеанса (который в этот момент являлся перекрестной проверкой производительности конечной системы в автономном режиме). И последнее: воспоминания доктора Келли о создании этого термина подтверждаются воспоминаниями покойного профессора Аль-Шапаниса. В своем техническом отчете 1985 года Мичиганского университета Грин и Вей Хаас утверждают следующее: Первое появление названия «Волшебник из страны Оз» в печати было в диссертации Джеффа Келли (Kelley, 1983a, 1983b, 1984a). Считается, что название было придумано в ответ на вопрос на выпускном семинаре в Хопкинсе (Чапанис, 1984; Келли, 1984b). «Что произойдет, если испытуемый увидит экспериментатора [за «занавеской» в смежной комнате, действующего как компьютер]?» Келли ответил: «Ну, это как то, что случилось с Дороти в «Волшебнике страны Оз». И так название закрепилось. (С разрешения автора). Также есть мимолетная ссылка на планируемое использование «экспериментов Волшебника из страны Оз» в материалах конференции 1982 года, представленных Фордом и Смитом. Один факт, представленный в диссертации Келли, об этимологии термина в этом контексте: у доктора Келли изначально было определение акронима «OZ» (помимо очевидных параллелей с книгой 1900 года «Чудесный волшебник страны Оз» Л. Фрэнка Баума). «Оффлайн-ноль» относилось к тому факту, что экспериментатор («Волшебник») интерпретировал ввод пользователей в реальном времени во время фазы моделирования. Подобные экспериментальные установки иногда использовались ранее, но без названия «Волшебник из страны Оз». Исследователь в области дизайна Найджел Кросс проводил исследования в 1960-х годах с «смоделированными» системами автоматизированного проектирования, где предполагаемый симулятор на самом деле был человеком, использующим текстовую и графическую связь через ЦТВ. Как он объяснил: «Все, что пользователь воспринимает от системы, — это эта удаленная консоль доступа, а остальное для него — черный ящик. Можно заполнить черный ящик людьми, а не механизмами. Это обеспечивает сравнительно дешевый симулятор с замечательными преимуществами гибкости, памяти и интеллекта человеческого оператора, и который можно перепрограммировать для выполнения широкого спектра компьютерных ролей, просто изменив правила работы. Иногда ему не хватает скорости и точности настоящего компьютера, но команда экспертов, работающих одновременно, может компенсировать это в достаточной степени, чтобы обеспечить приемлемое моделирование». Позже Кросс назвал это разновидностью обратного теста Тьюринга.

The name of the experiment comes from L. Frank Baum's 1900 novel The Wonderful Wizard of Oz, in which an ordinary man hides behind a curtain and pretends, through the use of "amplifying" technology, to be a powerful wizard. John F. (“Jeff”) Kelley coined the phrases "Wizard of OZ" and "OZ Paradigm" for this purpose circa 1980 to describe the method he developed during his dissertation work at Johns Hopkins University. (His dissertation adviser was the late professor Alphonse Chapatis, sometimes called the "Godfather of Human Factors and Engineering Psychology".) During the study, in addition to one way mirrors and other techniques, there was a blackout curtain separating Kelley (the "Wizard") from the participant's view. The "Experimenter in the Loop" technique had been pioneered at Chapatis' Communications Research Lab at Johns Hopkins as early as 1975 (J. F. Kelley arrived in 1978). W. Randolph Ford used the experimenter in the loop technique with his innovative CHECKBOOK program wherein he obtained language samples in a naturalistic setting. In Ford's method, a preliminary version of the natural language processing system would be placed in front of the user. When the user entered a syntax that was not recognized, they would receive a "Could you rephrase that?" prompt from the software. After the session, the algorithms for processing the newly obtained samples would be created or enhanced and another session would take place. This approach led to the eventual development of his natural language processing technique, "Multi Stage Pattern Reduction". Dr. Ford's recollection was that Dr. Kelley did in fact coin the phrase "Wizard of Oz Paradigm" but that the technique had been employed in at least two separate studies before Dr. Kelley had started conducting studies at the Johns Hopkins Telecommunications Lab. A similar early use of the technique to model a Natural Language Understanding system being developed at the Xerox Palo Alto Research Center was done by Allen Munro and Don Norman around 1975 at the University of California, San Diego. Again, the name "Wizard of Oz" had not yet been applied to this technique. The results were published in a 1977 paper by the team (Bobrow, et al.). In that employment the experimenter (the "Wizard") sat at a terminal in an adjacent room separated by a one way mirror so the subject could be observed. Every input from the user was processed correctly by a combination of software processing and real time experimenter intervention. As the process was repeated in subsequent sessions, more and more software components were added so that the experimenter had less and less to do during each session until asymptotic was reached on phrase/word dictionary growth and the experimenter could "go get a cup of coffee" during the session (which at this point was a cross validation of the final system's unattended performance). A final point: Dr. Kelley's recollection of the coinage of the term is backed up by that of the late professor Al Chapanis. In their 1985 University of Michigan technical report, Green and Wei Haas state the following:
The first appearance of the "Wizard of Oz" name in print was in Jeff Kelley's thesis (Kelley, 1983a, 1983b, 1984a). It is thought the name was coined in response to a question at a graduate seminar at Hopkins (Chapanis, 1984; Kelley, 1984b). "What happens if the subject sees the experimenter [behind the "curtain" in an adjacent room acting as the computer]?" Kelley answered: "Well, that's just like what happened to Dorothy in the Wizard of Oz." And so the name stuck. (Cited by permission.) There is also a passing reference to planned use of the "Wizard of Oz experiments" in a 1982 proceedings paper by Ford and Smith. One fact, presented in Kelley's dissertation, about the etymology of the term in this context: Dr. Kelley did originally have a definition for the "OZ" acronym (aside from the obvious parallels with the 1900 book The Wonderful Wizard of Oz by L Frank Baum). "Offline Zero" was a reference to the fact that an experimenter (the "Wizard") was interpreting the users' inputs in real time during the simulation phase. Similar experimental setups had occasionally been used earlier, but without the "Wizard of Oz" name. Design researcher Nigel Cross conducted studies in the 1960s with "simulated" computer aided design systems where the purported simulator was actually a human operator, using text and graphical communication via CCTV. As he explained, "All that the user perceives of the system is this remote access console, and the remainder is a black box to him. one may as well fill the black box with people as with machinery. Doing so provides a comparatively cheap simulator, with the remarkable advantages of the human operator's flexibility, memory, and intelligence, and which can be reprogrammed to give a wide range of computer roles merely by changing the rules of operation. It sometimes lacks the real computer's speed and accuracy, but a team of experts working simultaneously can compensate to a sufficient degree to provide an acceptable simulation." Cross later referred to this as a kind of Reverse Turing test.

Значение

Метод Волшебника страны Оз очень эффективен. В своем первоначальном применении доктор Келли смог создать простую систему распознавания естественного языка с клавиатурным вводом, которая значительно превосходила показатели распознавания любых более сложных систем того времени. Распространенное в то время мнение среди ученых-компьютерщиков и лингвистов заключалось в том, что для того, чтобы компьютер мог "понимать" естественный язык в достаточной степени для оказания помощи в полезных задачах, программное обеспечение должно быть связано с обширным "словарем", содержащим множество категорий для каждого слова. Эти категории позволили бы сложному алгоритму синтаксического анализа разрешать неоднозначности, присущие естественному языку. Сложность создания такого словаря заставила многих поверить, что компьютеры никогда не смогут по-настоящему "понимать" язык, пока не будут "выращены" и не "получат жизненный опыт", как люди, поскольку люди, кажется, используют накопленный жизненный опыт для интерпретации языка. Ключевым фактором, позволившим впервые использовать метод OZ, было то, что система была разработана для работы в едином контексте (ведение календаря), что ограничивало сложность языка, используемого пользователями, до такой степени, что простой модели обработки языка было достаточно для достижения целей приложения. Модель обработки представляла собой двухпроходный подход, основанный на сопоставлении ключевых слов/ключевых фраз и слабо базирующийся на алгоритмах, использованных в знаменитой программе Eliza Вейзенбаума. Стимулируя участников генерировать языковые образцы в контексте решения реальной задачи (используя компьютер, который, по их мнению, действительно понимал то, что они вводят), разнообразие и сложность собранных лексических структур значительно уменьшались, и можно было разработать простые алгоритмы сопоставления ключевых слов для обработки собранного языка. Это первое применение OZ осуществлялось в рамках итеративного подхода к проектированию. На ранних этапах разработки экспериментатор полностью имитировал систему, выполняя все запросы к базе данных и составляя все ответы участникам вручную. По мере развития процесса экспериментатор мог заменять человеческие вмешательства, шаг за шагом, вновь разработанным кодом (который на каждом этапе был разработан для точной обработки всех входных данных, сгенерированных на предыдущих этапах). К концу процесса экспериментатор смог наблюдать за сеансами в режиме "без вмешательства" (и измерять показатели распознавания завершенной программы). OZ был важен, поскольку он опроверг очевидную критику, заключающуюся в нереалистичности использования итеративного метода для создания отдельной системы естественного языка (словарей, синтаксиса) для каждого нового контекста (поскольку такой метод потребовал бы многократного добавления новых структур и алгоритмов для обработки каждой новой партии входных данных). Эмпирический подход OZ сделал это возможным; в его первоначальном применении рост словаря и синтаксиса достиг асимптотического уровня (достигая от 86% до 97% показателей распознавания в зависимости от используемых измерений) всего после 16 экспериментальных испытаний, а полученная программа со словарями занимала менее 300 КБ кода. В течение 23 лет, последовавших за первоначальной публикацией, метод OZ применялся в самых разных областях, особенно при прототипировании и тестировании удобства использования предлагаемых конструкций пользовательского интерфейса до создания фактического программного обеспечения.

The Wizard of OZ method is very powerful. In its original application, Dr. Kelley was able to create a simple keyboard input natural language recognition system that far exceeded the recognition rates of any of the far more complex systems of the day. The thinking current among many computer scientists and linguists at the time was that, in order for a computer to be able to "understand" natural language enough to be able to assist in useful tasks, the software would have to be attached to a formidable "dictionary" having a large number of categories for each word. The categories would enable a very complex parsing algorithm to unravel the ambiguities inherent in naturally produced language. The daunting task of creating such a dictionary led many to believe that computers simply would never truly "understand" language until they could be "raised" and "experience life" as humans, since humans seem to apply a life's worth of experiences to the interpretation of language. The key enabling factor for the first use of the OZ method was that the system was designed to work in a single context (calendar keeping), which constrained the complexity of language encountered from users to the extent where a simple language processing model was sufficient to meet the goals of the application. The processing model was a two pass keyword/key phrase matching approach, based loosely on the algorithms employed in Weizenbaum's famous Eliza program. By inducing participants to generate language samples in the context of solving an actual task (using a computer that they believed actually understood what they were typing), the variety and complexity of the lexical structures gathered was greatly reduced and simple keyword matching algorithms could be developed to address the actual language collected. This first use of OZ was in the context of an iterative design approach. In the early development sessions, the experimenter simulated the system in toto, performing all the database queries and composing all the responses to the participants by hand. As the process matured, the experimenter was able to replace human interventions, piece by piece, with newly created developed code (which, at each phase, was designed to accurately process all the inputs that were generated in preceding steps). By the end of the process, the experimenter was able to observe the sessions in a "hands off" mode (and measure the recognition rates of the completed program). OZ was important because it addressed the obvious criticism that it would be unrealistic to use an iterative method to build a separate natural language system (dictionaries, syntax) for each new context (as such a method would require repeatedly adding new structures and algorithms to handle each new batch of inputs). OZ's empirical approach made this feasible; in its original application, dictionary and syntax growth reached asymptotic (achieving from 86% to 97% recognition rates, depending on the measurements employed) after only 16 experimental trials and the resulting program, with dictionaries, was less than 300k of code. In the 23 years that followed initial publication, the OZ method has been employed in a wide variety of settings, notably in the prototyping and usability testing of proposed user interface designs in advance of having actual application software in place.