Адам-компьютерлік өзара әрекеттесудегі «Сиқыршы Оз» тәжірибесі

Кіріспе

Копенгаген

Адам-компьютерлік өзара әрекеттесу саласында, «Оз сиқыршысы» эксперименті – қатысушылар автономды деп ойлайтын, бірақ шындығында көрінбейтін адаммен басқарылатын немесе жартылай басқарылатын компьютерлік жүйемен өзара әрекеттесетін зерттеу эксперименті.

Тұжырымдама

"Оз сиқыршысы" (алғашқыда OZ парадигмасы) термині эксперименттік психология, адам факторы, эргономика, лингвистика және қолданушылық инженерия салаларында кеңінен қолданылады. Бұл әдістеме эксперимент жүргізушінің ("сиқыршының") зертхана жағдайында теориялық интеллектуалды компьютерлік қолданбаның мінез-құлқын симуляциялауын (әдетте басқа бөлмеге барып, қатысушы мен жүйе арасындағы барлық байланысты бақылап отыру арқылы) қамтитын сынақ немесе итеративтік дизайн әдістемесін сипаттайды. Кейде бұл қатысушының алдын ала білуімен жасалады, ал кейде қатысушының күтулерін басқару және табиғи мінез-құлықты ынталандыру үшін қолданылатын шағын алдау болып табылады. Мысалы, сынаққа қатысушы сөйлеу интерфейсі арқылы компьютермен байланыс жасайтындай сезінуі мүмкін, бірақ шындығында қатысушының айтқан сөздері басқа бөлмедегі адам ("сиқыршы") тарапынан компьютерге жасырын түрде енгізіліп, аудио емес, мәтін ағыны ретінде өңделеді. Сиқыршы ұсынатын жүйелік мүмкіндіктер жүйенің келесі нұсқаларында іске асырылуы мүмкін (немесе қазіргі жүйелерде жоқ болашақ мүмкіндіктер болуы мүмкін), бірақ оның нақты егжей-тегжейлері зерттеу үшін маңызды емес деп есептеледі. Сынақ кезінде мұндай эксперименттердің мақсаты жүйенің толыққанды сапасын бағау емес, сынақ қатысушыларының ұсынылған қолданушы интерфейсін пайдалануын және оның тиімділігін бақылау болуы мүмкін.

Шығу тегі

Эксперименттің атауы Л. Фрэнк Баумның 1900 жылы жазылған "Оздың ғажайып сиқыршысы" романынан алынған. Онда қарапайым адам перде артына тығылып, "күшейткіш" технологияны пайдаланып, өзін қуатты сиқыршы ретінде көрсетіп, алдап келеді. Джон Ф. (“Джефф”) Келли шамамен 1980 жылы, Джонс Хопкинс университетіндегі диссертациялық жұмысы барысында жасаған әдісін сипаттау үшін "ОЗ сиқыршысы" және "ОЗ парадигмасы" деген тіркестерді ойлап тапты. (Оның диссертациялық жетекшісі – марқұм профессор Альфонс Чапатис болды, оны кейде "Адам факторлары мен инженерлік психологияның әкесі" деп атайды.) Зерттеу кезінде, бір жақты айналар және басқа да техникалардан өзге, Келли ("Сиқыршы") мен қатысушыны бөліп тұратын қараңғы перде де болды. "Эксперимент жүргізушінің қатысуы" техникасы 1975 жылға дейін Джонс Хопкинс университетінің Коммуникациялар зерттеу зертханасында пайда болған (Дж. Ф. Келли 1978 жылы келді). В. Рэндольф Форд өзінің инновациялық CHECKBOOK бағдарламасында осы техниканы қолданып, табиғи ортада тілдік үлгілерді жинады. Фордтың әдісінде пайдаланушының алдына табиғи тілді өңдеу жүйесінің алдын ала нұсқасы қойылды. Пайдаланушы жүйеге таныс емес синтаксисті енгізсе, бағдарламалық қамтамасыз етуден "Оны қайта айта аласыз ба?" деген сұрау келеді. Сессиядан кейін, жаңа алынған үлгілерді өңдеу алгоритмі жасалады немесе жақсартылады, содан кейін тағы бір сессия өтеді. Осы тәсіл оның табиғи тілді өңдеу техникасын, "Көп сатылы үлгіні азайту" әдісін дамытуға әкелді. Доктор Фордтың есте сақтауынша, доктор Келли шынымен "ОЗ сиқыршысы парадигмасы" деген тіркесті ойлап тапқан, бірақ бұл техника доктор Келли Джонс Хопкинс телекоммуникация зертханасында зерттеулер бастамай тұрып, кем дегенде екі жеке зерттеуде қолданылған. Xerox Palo Alto Research Center-де дамытылған Табиғи тілді түсіну жүйесін модельдеу үшін осыған ұқсас техниканы 1975 жылы Ален Мунро мен Дон Норман Калифорния университетінде, Сан-Диегода қолданған. Бірақ сол кезде бұл әдіс әлі "ОЗ сиқыршысы" деп аталмаған. Нәтижелер 1977 жылы топтың (Bobrow және т.б.) мақаласында жарияланды. Онда тәжірибе жүргізуші ("Сиқыршы") бір жақты айнамен бөлінген көрші бөлмедегі терминалда отырды, осылайша қатысушыны бақылауға болады. Пайдаланушының әрбір кірісі бағдарламалық қамтамасыз ету және тәжірибе жүргізушінің нақты уақыт араласуы арқылы дұрыс өңделді. Процесс келесі сессияларда қайталанып, сөздік қорының өсуіне байланысты тәжірибе жүргізушінің әр сессияда атқаратын жұмысы азайды, содан кейін тәжірибе жүргізуші сессия кезінде "кофе ішуге" бара алатын болды (бұл осы сәтте соңғы жүйенің бақылаусыз жұмысын тексеру болды). Соңғы бір мәселе: доктор Келли терминді қалай ойлап тапқанын еске түсіруін марқұм профессор Аль Чапанис та растайды. 1985 жылғы Мичиган университетінің техникалық есебінде Грин мен Вей Хаас келесіні айтады: "ОЗ сиқыршысы" атауы алғаш рет Джефф Келлидің диссертациясында кездеседі (Келли, 1983а, 1983б, 1984а). Бұл атау Хопкинс университетінің аспирантурасындағы семинарда қойылған сұраққа жауап ретінде пайда болды деп есептеледі (Chapanis, 1984; Kelley, 1984b). "Егер қатысушы тәжірибе жүргізушіні [көрші бөлмедегі "перде" артында компьютер рөлін атқаратын болса] көрсе, не болады?" деген сұраққа Келли: "Ол Оз елінің сиқыршысындағы Доротиге болған оқиғаға ұқсас" деп жауап берді. Осылайша атау қалыптасты. (Рұқсатпен келтірілген.) Сондай-ақ, Форд пен Смиттің 1982 жылғы мақаласында "ОЗ сиқыршысы эксперименттерін" жоспарлау туралы айтылған. Келлидің диссертациясында осы контекстте терминнің этимологиясы туралы бір факт келтірілген: доктор Келли бастапқыда "OZ" аббревиатурасы үшін анықтама берген (Л. Фрэнк Баумның 1900 жылғы "Оздың ғажайып сиқыршысы" кітабымен салыстырылатын). "Оффлайн нөл" дегені – тәжірибе жүргізушінің ("Сиқыршының") симуляция кезеңінде пайдаланушының кірісін нақты уақытта түсіндіретінін білдірді. Бұрын да осыған ұқсас тәжірибелік құрылғылар қолданылған, бірақ "ОЗ сиқыршысы" атауы қолданылмаған. Дизайн зерттеушісі Найджел Кросс 1960 жылдары "модельделген" компьютерлік көмекпен жобалау жүйелерімен зерттеулер жүргізді, онда имитатор шын мәнінде адам операторы болды, ол CCTV арқылы мәтіндік және графикалық байланысты қолданды. Ол былай деп түсіндірді: "Жұмыс беруші жүйе туралы тек осы қашықтан қолжетімділік консолін ғана көреді, ал қалған бөлігі оған қара қорап сияқты. Қара қорапты адамдармен де, машиналармен де толтыруға болады. Бұл салыстырмалы түрде арзан имитаторды қамтамасыз етеді, сонымен қатар адам операторының икемділігі, жадысы және интеллектуалдық қабілеттерінің ерекше артықшылықтары бар, оны операция ережелерін өзгерту арқылы компьютердің әртүрлі рөлін орындауға бағдарламалауға болады. Ол кейде нақты компьютердің жылдамдығы мен дәлдігінен кем болуы мүмкін, бірақ бірнеше сарапшылардың бірдей жұмысы жеткілікті дәрежеде компенсация жасап, қанағаттанарлық симуляцияны қамтамасыз етеді." Кросс кейіннен осыны кері Тьюринг тестісінің бір түрі деп атады.

The name of the experiment comes from L. Frank Baum's 1900 novel The Wonderful Wizard of Oz, in which an ordinary man hides behind a curtain and pretends, through the use of "amplifying" technology, to be a powerful wizard. John F. (“Jeff”) Kelley coined the phrases "Wizard of OZ" and "OZ Paradigm" for this purpose circa 1980 to describe the method he developed during his dissertation work at Johns Hopkins University. (His dissertation adviser was the late professor Alphonse Chapatis, sometimes called the "Godfather of Human Factors and Engineering Psychology".) During the study, in addition to one way mirrors and other techniques, there was a blackout curtain separating Kelley (the "Wizard") from the participant's view. The "Experimenter in the Loop" technique had been pioneered at Chapatis' Communications Research Lab at Johns Hopkins as early as 1975 (J. F. Kelley arrived in 1978). W. Randolph Ford used the experimenter in the loop technique with his innovative CHECKBOOK program wherein he obtained language samples in a naturalistic setting. In Ford's method, a preliminary version of the natural language processing system would be placed in front of the user. When the user entered a syntax that was not recognized, they would receive a "Could you rephrase that?" prompt from the software. After the session, the algorithms for processing the newly obtained samples would be created or enhanced and another session would take place. This approach led to the eventual development of his natural language processing technique, "Multi Stage Pattern Reduction". Dr. Ford's recollection was that Dr. Kelley did in fact coin the phrase "Wizard of Oz Paradigm" but that the technique had been employed in at least two separate studies before Dr. Kelley had started conducting studies at the Johns Hopkins Telecommunications Lab. A similar early use of the technique to model a Natural Language Understanding system being developed at the Xerox Palo Alto Research Center was done by Allen Munro and Don Norman around 1975 at the University of California, San Diego. Again, the name "Wizard of Oz" had not yet been applied to this technique. The results were published in a 1977 paper by the team (Bobrow, et al.). In that employment the experimenter (the "Wizard") sat at a terminal in an adjacent room separated by a one way mirror so the subject could be observed. Every input from the user was processed correctly by a combination of software processing and real time experimenter intervention. As the process was repeated in subsequent sessions, more and more software components were added so that the experimenter had less and less to do during each session until asymptotic was reached on phrase/word dictionary growth and the experimenter could "go get a cup of coffee" during the session (which at this point was a cross validation of the final system's unattended performance). A final point: Dr. Kelley's recollection of the coinage of the term is backed up by that of the late professor Al Chapanis. In their 1985 University of Michigan technical report, Green and Wei Haas state the following:
The first appearance of the "Wizard of Oz" name in print was in Jeff Kelley's thesis (Kelley, 1983a, 1983b, 1984a). It is thought the name was coined in response to a question at a graduate seminar at Hopkins (Chapanis, 1984; Kelley, 1984b). "What happens if the subject sees the experimenter [behind the "curtain" in an adjacent room acting as the computer]?" Kelley answered: "Well, that's just like what happened to Dorothy in the Wizard of Oz." And so the name stuck. (Cited by permission.) There is also a passing reference to planned use of the "Wizard of Oz experiments" in a 1982 proceedings paper by Ford and Smith. One fact, presented in Kelley's dissertation, about the etymology of the term in this context: Dr. Kelley did originally have a definition for the "OZ" acronym (aside from the obvious parallels with the 1900 book The Wonderful Wizard of Oz by L Frank Baum). "Offline Zero" was a reference to the fact that an experimenter (the "Wizard") was interpreting the users' inputs in real time during the simulation phase. Similar experimental setups had occasionally been used earlier, but without the "Wizard of Oz" name. Design researcher Nigel Cross conducted studies in the 1960s with "simulated" computer aided design systems where the purported simulator was actually a human operator, using text and graphical communication via CCTV. As he explained, "All that the user perceives of the system is this remote access console, and the remainder is a black box to him. one may as well fill the black box with people as with machinery. Doing so provides a comparatively cheap simulator, with the remarkable advantages of the human operator's flexibility, memory, and intelligence, and which can be reprogrammed to give a wide range of computer roles merely by changing the rules of operation. It sometimes lacks the real computer's speed and accuracy, but a team of experts working simultaneously can compensate to a sufficient degree to provide an acceptable simulation." Cross later referred to this as a kind of Reverse Turing test.

Маңыздылығы

Оз елінің сиқыршысы әдісі өте тиімді. Алғаш рет қолданылғанда доктор Келли, сол кездегі өте күрделі жүйелерге қарағанда әлдеқайда жоғары тану деңгейіне ие, қарапайым пернетақталық енгізу арқылы табиғи тілді тану жүйесін жасады. Сол кезде көптеген компьютер ғалымдары мен тіл білімі мамандарының пікірінше, компьютердің пайдалы тапсырмаларға көмектесу үшін табиғи тілді жеткілікті деңгейде "түсінуі" үшін, бағдарламалық құрал әр сөз үшін көптеген санаттар бар үлкен "сөздікпен" байланыстырылуы керек еді. Бұл санаттар, табиғи тілде кездесетін түсініксіздіктерді шешуге мүмкіндік беретін өте күрделі талдау алгоритмін құруға көмектесер еді. Мұндай сөздікті жасаудың қиындығы, көптеген мамандарды компьютерлердің адамдар сияқты "өмірді сүріп, тәжірибе жинамайынша" тілді шын мәнінде "түсінбейтініне" сендірді, себебі адамдар тілді түсіндіру үшін өмір бойы жинаған тәжірибелерін пайдаланатын сияқты көрінеді. OZ әдісін алғаш рет қолданудың басты факторы – жүйе бір ғана контекстте (күнтізбемен жұмыс) жұмыс істеуге бағытталған, бұл пайдаланушылардан түсетін тілдің күрделілігін шектеді, соның салдарынан қолданбаның мақсаттарына жету үшін қарапайым тілді өңдеу моделі жеткілікті болды. Өңдеу моделі – Вайзенбаумның әйгілі Элиза бағдарламасында қолданылған алгоритмдерге негізделген, кілт сөздерді/кілт сөз тіркестерін екі рет тексеру әдісі болды. Қатысушыларды нақты міндетті шешу үшін тілдік үлгілер жасауға ынталандыру арқылы (олар енгізген мәтінді шын мәнінде түсінетін компьютерді пайдаланатындарына сене отырып), жиналған лексикалық құрылымдардың әртүрлілігі мен күрделілігі айтарлықтай төмендеді және жиналған тілді өңдеу үшін қарапайым кілт сөздерді тексеру алгоритмдерін жасау мүмкін болды. OZ әдісі алғаш рет итеративті жобалау тәсілінің аясында қолданылды. Алғашқы даму кезеңдерінде тәжірибеші жүйелерді толығымен симуляциялады, барлық деректер базасына сұраныстарды орындап, қатысушыларға барлық жауаптарды қолмен жазып берді. Процесс жетілген сайын, тәжірибеші адамның араласуын, жаңадан жасалған кодпен (әр кезеңінде алдыңғы қадамдарда жасалған барлық кірістілерді дәл өңдеуге бағытталған) біртіндеп алмастыра алды. Процесс аяқталғаннан кейін, тәжірибеші сессияларды "қолсыз" режимде бақылай алды (және аяқталған бағдарламаның тану деңгейін өлшеді). OZ әдісі маңызды болды, өйткені ол әрбір жаңа контекст үшін жеке табиғи тіл жүйесін (сөздіктер, синтаксис) құру үшін итеративті әдіс қолданудың дұрыс еместігіне қатысты айқын сынға жауап берді (мұндай тәсіл әрбір жаңа кіріс жинағын өңдеу үшін жаңа құрылымдар мен алгоритмдерді қайта-қайта қосуды талап етеді). OZ әдісінің эмпирикалық тәсілі осыны мүмкін етті; алғашқы қолданылуында сөздік пен синтаксис өсуі асимптотикалық деңгейге жетті (қолданылған өлшемдерге байланысты 86% -дан 97% -ға дейін тану деңгейіне жетті) тек 16 тәжірибелік сынақтан кейін, ал нәтижедегі бағдарлама, сөздіктерімен бірге, 300 мыңнан аз кодтан тұрды. Алғаш рет жарияланғаннан кейін өткен 23 жылда OZ әдісі әртүрлі салаларда қолданылды, әсіресе нақты қолданбалы бағдарламалық құралдар дайын болмас бұрын ұсынылған пайдаланушы интерфейсі жобаларының прототиптерін жасау және пайдалануға ыңғайлылығын тексеруде.

The Wizard of OZ method is very powerful. In its original application, Dr. Kelley was able to create a simple keyboard input natural language recognition system that far exceeded the recognition rates of any of the far more complex systems of the day. The thinking current among many computer scientists and linguists at the time was that, in order for a computer to be able to "understand" natural language enough to be able to assist in useful tasks, the software would have to be attached to a formidable "dictionary" having a large number of categories for each word. The categories would enable a very complex parsing algorithm to unravel the ambiguities inherent in naturally produced language. The daunting task of creating such a dictionary led many to believe that computers simply would never truly "understand" language until they could be "raised" and "experience life" as humans, since humans seem to apply a life's worth of experiences to the interpretation of language. The key enabling factor for the first use of the OZ method was that the system was designed to work in a single context (calendar keeping), which constrained the complexity of language encountered from users to the extent where a simple language processing model was sufficient to meet the goals of the application. The processing model was a two pass keyword/key phrase matching approach, based loosely on the algorithms employed in Weizenbaum's famous Eliza program. By inducing participants to generate language samples in the context of solving an actual task (using a computer that they believed actually understood what they were typing), the variety and complexity of the lexical structures gathered was greatly reduced and simple keyword matching algorithms could be developed to address the actual language collected. This first use of OZ was in the context of an iterative design approach. In the early development sessions, the experimenter simulated the system in toto, performing all the database queries and composing all the responses to the participants by hand. As the process matured, the experimenter was able to replace human interventions, piece by piece, with newly created developed code (which, at each phase, was designed to accurately process all the inputs that were generated in preceding steps). By the end of the process, the experimenter was able to observe the sessions in a "hands off" mode (and measure the recognition rates of the completed program). OZ was important because it addressed the obvious criticism that it would be unrealistic to use an iterative method to build a separate natural language system (dictionaries, syntax) for each new context (as such a method would require repeatedly adding new structures and algorithms to handle each new batch of inputs). OZ's empirical approach made this feasible; in its original application, dictionary and syntax growth reached asymptotic (achieving from 86% to 97% recognition rates, depending on the measurements employed) after only 16 experimental trials and the resulting program, with dictionaries, was less than 300k of code. In the 23 years that followed initial publication, the OZ method has been employed in a wide variety of settings, notably in the prototyping and usability testing of proposed user interface designs in advance of having actual application software in place.