Вычисления с участием человека: от эволюционных алгоритмов к искусственному интеллекту.

Введение

Вычисления на основе человека (HBC), вычисления с привлечением человека, повсеместные вычисления с участием человека или распределенное мышление (по аналогии с распределенными вычислениями) — это методика в компьютерных науках, при которой машина выполняет свою функцию, делегируя определенные этапы людям, как правило, в форме микрозадач. Этот подход использует различия в возможностях и альтернативную стоимость между людьми и компьютерными агентами для достижения симбиотического взаимодействия человека и компьютера. Для вычислительно сложных задач, таких как распознавание изображений, вычисления на основе человека играют ключевую роль в обучении систем искусственного интеллекта, основанных на глубоком обучении. В этом случае вычисления на основе человека также называют искусственным интеллектом с поддержкой человека. В традиционных вычислениях человек использует компьютер для решения задачи, предоставляя компьютеру формализованное описание проблемы и алгоритм, а затем получает решение для интерпретации. Вычисления на основе человека часто меняют эти роли: компьютер обращается к человеку или большой группе людей с просьбой решить задачу, а затем собирает, интерпретирует и объединяет их решения. Это превращает гибридные сети людей и компьютеров в "крупномасштабные распределенные вычислительные сети", где код частично выполняется в человеческом мозге и на кремниевых процессорах.

Ранние работы

Исследования вычислений на основе человека (в отличие от исторического значения термина "компьютер") берут начало в ранних работах по интерактивным эволюционным вычислениям (EC). Идея интерактивных эволюционных алгоритмов приписывается Ричарду Докинзу; в программном обеспечении Biomorphs, сопровождающем его книгу «Слепой часовщик» (Dawkins, 1986), предпочтения человеческого экспериментатора используются для управления эволюцией двухмерных наборов линейных сегментов. По сути, эта программа просит человека выступать в роли фитнес-функции эволюционного алгоритма, чтобы алгоритм мог использовать человеческое визуальное восприятие и эстетическое суждение для выполнения задачи, недоступной обычному эволюционному алгоритму. Однако, получить достаточное количество оценок от одного человека затруднительно, если требуется эволюция более сложных форм. Виктор Джонстон и Карл Симс расширили эту концепцию, используя возможности большого числа людей для оценки пригодности (Caldwell and Johnston, 1991; Sims, 1991). В результате их программы могли создавать красивые лица и произведения искусства, привлекательные для публики. Эти программы эффективно изменили привычное взаимодействие между компьютерами и людьми. В них компьютер выступает не агентом пользователя, а координатором, объединяющим усилия множества человеческих оценщиков. Эти и другие подобные исследования стали предметом изучения в области эстетического отбора или интерактивных эволюционных вычислений (Takagi, 2001), однако область этих исследований ограничивалась аутсорсингом оценки, и, как следствие, полный потенциал аутсорсинга не был полностью раскрыт. Концепция автоматического теста Тьюринга, разработанная Мони Наором (1996), является еще одним предшественником вычислений на основе человека. В тесте Наора машина контролирует доступ людей и компьютеров к сервису, предлагая им решить задачу обработки естественного языка (NLP) или компьютерного зрения (CV) для идентификации людей среди них. Набор задач выбирается таким образом, чтобы в данный момент не существовало одновременно эффективного и алгоритмического решения. Если бы такое решение существовало, компьютер мог бы легко его выполнить, тем самым провалив тест. На самом деле, Мони Наор была скромна, назвав это автоматизированным тестом Тьюринга. Имитационная игра, описанная Аланом Тьюрингом (1950), не предполагала использования задач CV, а лишь конкретную задачу NLP, в то время как тест Наора определяет и исследует широкий класс задач, не обязательно из области NLP, которые могут быть использованы для той же цели как в автоматизированных, так и в неавтоматизированных версиях теста. Наконец, генетический алгоритм с участием человека (HBGA) стимулирует участие человека в различных ролях. Люди не ограничиваются ролью оценщика или какой-либо другой предопределенной ролью, а могут выбирать для выполнения более широкий спектр задач. В частности, они могут вносить свои инновационные решения в эволюционный процесс, вносить постепенные изменения в существующие решения и выполнять интеллектуальную рекомбинацию. Короче говоря, HBGA позволяет людям участвовать во всех операциях типичного генетического алгоритма. В результате HBGA может обрабатывать решения, для которых отсутствуют операторы вычислительных инноваций, например, естественные языки. Таким образом, HBGA устранила необходимость в фиксированной схеме представления, которая являлась ограничивающим фактором как для стандартного, так и для интерактивного EC. Эти алгоритмы также можно рассматривать как новые формы социальной организации, координируемые компьютером, согласно мнению Алекса Косорукова и Дэвида Голдберга.

Human based computation (apart from the historical meaning of "computer") research has its origins in the early work on interactive evolutionary computation (EC). The idea behind interactive evolutionary algorithms has been attributed to Richard Dawkins; in the Biomorphs software accompanying his book The Blind Watchmaker (Dawkins, 1986) the preference of a human experimenter is used to guide the evolution of two dimensional sets of line segments. In essence, this program asks a human to be the fitness function of an evolutionary algorithm, so that the algorithm can use human visual perception and aesthetic judgment to do something that a normal evolutionary algorithm cannot do. However, it is difficult to get enough evaluations from a single human if we want to evolve more complex shapes. Victor Johnston and Karl Sims extended this concept by harnessing the power of many people for fitness evaluation (Caldwell and Johnston, 1991; Sims, 1991). As a result, their programs could evolve beautiful faces and pieces of art appealing to the public. These programs effectively reversed the common interaction between computers and humans. In these programs, the computer is no longer an agent of its user, but instead, a coordinator aggregating efforts of many human evaluators. These and other similar research efforts became the topic of research in aesthetic selection or interactive evolutionary computation (Takagi, 2001), however the scope of this research was limited to outsourcing evaluation and, as a result, it was not fully exploring the full potential of the outsourcing. A concept of the automatic Turing test pioneered by Moni Naor (1996) is another precursor of human based computation. In Naor's test, the machine can control the access of humans and computers to a service by challenging them with a natural language processing (NLP) or computer vision (CV) problem to identify humans among them. The set of problems is chosen in a way that they have no algorithmic solution that is both effective and efficient at the moment. If it existed, such an algorithm could be easily performed by a computer, thus defeating the test. In fact, Moni Naor was modest by calling this an automated Turing test. The imitation game described by Alan Turing (1950) didn't propose using CV problems. It was only proposing a specific NLP task, while the Naor test identifies and explores a large class of problems, not necessarily from the domain of NLP, that could be used for the same purpose in both automated and non automated versions of the test. Finally, Human based genetic algorithm (HBGA) encourages human participation in multiple different roles. Humans are not limited to the role of evaluator or some other predefined role, but can choose to perform a more diverse set of tasks. In particular, they can contribute their innovative solutions into the evolutionary process, make incremental changes to existing solutions, and perform intelligent recombination. In short, HBGA allows humans to participate in all operations of a typical genetic algorithm. As a result of this, HBGA can process solutions for which there are no computational innovation operators available, for example, natural languages. Thus, HBGA obviated the need for a fixed representational scheme that was a limiting factor of both standard and interactive EC. These algorithms can also be viewed as novel forms of social organization coordinated by a computer, according to Alex Kosorukoff and David Goldberg.

Методы вычислений на основе человека

(HC) Дарвин (Vyssotsky, Morris, McIlroy, 1961) и Core War (Jones, Dewdney 1984) – это игры, в которых несколько программ, написанных людьми, соревнуются в турнире (компьютерное моделирование), где выживают наиболее приспособленные программы. Авторы программ копируют, модифицируют и рекомбинируют успешные стратегии, чтобы повысить свои шансы на победу. (CH) Interactive EC (Dawkins, 1986; Caldwell and Johnston, 1991; Sims, 1991) IEC позволяет пользователю создавать абстрактный рисунок, выбирая лишь понравившиеся изображения, таким образом, человек выполняет только оценку пригодности, а программное обеспечение – инновационную роль. [Unemi 1998] Стиль моделирования размножения не предполагает явной пригодности, а лишь отбор, что облегчает задачу для человека. (HH2) Wiki (Cunningham, 1995) позволила множеству пользователей редактировать веб-контент, то есть поддерживала два типа инноваций, основанных на участии человека (создание новой страницы и её последовательные правки). Однако механизм отбора отсутствовал до 2002 года, когда к вики добавили историю изменений, позволяющую отменять нежелательные правки. Это обеспечило возможность выбора между различными версиями одной и той же страницы и превратило вики в инструмент для совместной эволюции контента (в терминах EC это можно классифицировать как стратегию эволюции, основанную на человеке). (HH3) Генетический алгоритм с участием человека (Kosorukoff, 1998) использует как отбор, осуществляемый человеком, так и три типа инноваций, основанных на человеке (добавление нового контента, мутации и рекомбинации). Таким образом, все операторы типичного генетического алгоритма передаются на выполнение людям (отсюда и название – алгоритм, основанный на человеке). Эта идея была расширена до интеграции с краудсорсингом для изучения творчества в 2011 году. (HH1) Приложения для социального поиска принимают вклад от пользователей и пытаются использовать человеческую оценку для выбора наиболее приспособленных вкладов, которые попадают в верхнюю часть списка. Они используют один тип инноваций, основанных на человеке. Первые работы в этой области были выполнены в контексте HBGA. Digg и Reddit – недавние популярные примеры. См. также коллаборативная фильтрация. (HC) Компьютерное тестирование. Компьютер генерирует задачу и представляет её пользователю для оценки. Например, CAPTCHA отличает людей от компьютерных программ, предлагая задачу, которая предположительно проста для человека и сложна для компьютера. Хотя CAPTCHA являются эффективными мерами безопасности для предотвращения автоматического злоупотребления онлайн-сервисами, усилия человека, затраченные на их решение, в противном случае тратятся впустую. Система reCAPTCHA использует эти человеческие ресурсы для помощи в оцифровке книг, представляя слова из отсканированных старых книг, которые не может распознать оптическое распознавание символов. (HC) Интерактивные онлайн-игры: это программы, которые извлекают знания от людей в развлекательной форме. (HC) "Человеческое роение" или "Социальное роение". Платформа UNU для человеческого роения создает системы с обратной связью в реальном времени вокруг групп пользователей, объединенных в сеть, по образу и подобию биологических роев, позволяя участникам действовать как единый коллективный интеллект. (NHC) Естественное человеческое вычисление предполагает использование существующего человеческого поведения для извлечения вычислительно значимой работы, не нарушая это поведение. NHC отличается от других форм вычислений с участием человека тем, что вместо передачи вычислительной работы человеческой деятельности, требуя от людей выполнения новых вычислительных задач, оно использует ранее незамеченную вычислительную значимость в существующем поведении.

(HC) Darwin (Vyssotsky, Morris, McIlroy, 1961) and Core War (Jones, Dewdney 1984) These are games where several programs written by people compete in a tournament (computational simulation) in which fittest programs will survive. Authors of the programs copy, modify, and recombine successful strategies to improve their chances of winning. (CH) Interactive EC (Dawkins, 1986; Caldwell and Johnston, 1991; Sims, 1991) IEC enables the user to create an abstract drawing only by selecting his/her favorite images, so the human only performs fitness computation and software performs the innovative role. [Unemi 1998] Simulated breeding style introduces no explicit fitness, just selection, which is easier for humans. (HH2) Wiki (Cunningham, 1995) enabled editing the web content by multiple users, i. e. supported two types of human based innovation (contributing new page and its incremental edits). However, the selection mechanism was absent until 2002, when wiki has been augmented with a revision history allowing for reversing of unhelpful changes. This provided means for selection among several versions of the same page and turned wiki into a tool supporting collaborative content evolution (would be classified as human based evolution strategy in EC terms). (HH3) Human based genetic algorithm (Kosorukoff, 1998) uses both human based selection and three types of human based innovation (contributing new content, mutation, and recombination). Thus, all operators of a typical genetic algorithm are outsourced to humans (hence the origin of human based). This idea is extended to integrating crowds with genetic algorithm to study creativity in 2011. (HH1) Social search applications accept contributions from users and attempt to use human evaluation to select the fittest contributions that get to the top of the list. These use one type of human based innovation. Early work was done in the context of HBGA. Digg and Reddit are recently popular examples. See also Collaborative filtering. (HC) Computerized tests. A computer generates a problem and presents it to evaluate a user. For example, CAPTCHA tells human users from computer programs by presenting a problem that is supposedly easy for a human and difficult for a computer. While CAPTCHAs are effective security measures for preventing automated abuse of online services, the human effort spent solving them is otherwise wasted. The reCAPTCHA system makes use of these human cycles to help digitize books by presenting words from scanned old books that optical character recognition cannot decipher. (HC) Interactive online games: These are programs that extract knowledge from people in an entertaining way. (HC) "Human Swarming" or "Social Swarming". The UNU platform for human swarming establishes real time closed loop systems around groups of networked users molded after biological swarms, enabling human participants to behave as a unified collective intelligence. (NHC) Natural Human Computation involves leveraging existing human behavior to extract computationally significant work without disturbing that behavior. NHC is distinguished from other forms of human based computation in that rather than involving outsourcing computational work to human activity by asking humans to perform novel computational tasks, it involves taking advantage of previously unnoticed computational significance in existing behavior.

Вычисления на основе человека как форма социальной организации

Рассматриваемые как форма социальной организации, человеческие вычисления часто оказываются на удивление более устойчивыми и продуктивными, чем традиционные организации. Последние зависят от обязательств по поддержанию своей более или менее фиксированной структуры, функциональности и стабильности. Каждая из них подобна тщательно спроектированному механизму, где люди выступают в качестве его частей. Однако это ограничивает свободу их сотрудников и подвергает их различным видам стресса. Большинство людей, в отличие от механических деталей, испытывают трудности с адаптацией к фиксированным ролям, наилучшим образом соответствующим организации. Проекты эволюционных человеческих вычислений предлагают естественное решение этой проблемы. Они адаптируют организационную структуру к человеческой спонтанности, учитывают человеческие ошибки и креативность, и используют их конструктивным образом. Это освобождает участников от обязательств, не ставя под угрозу функциональность системы в целом, и делает людей счастливее. Все еще существуют сложные исследовательские задачи, которые необходимо решить, прежде чем мы сможем полностью реализовать потенциал этой идеи. Алгоритмические методы аутсорсинга, используемые в человеческих вычислениях, гораздо более масштабируемы, чем ручные или автоматизированные методы, традиционно применяемые для управления аутсорсингом. Именно эта масштабируемость позволяет легко распределять усилия между тысячами (и более) участников. Недавно было предложено, что этот массовый аутсорсинг достаточно отличается от традиционного аутсорсинга малого масштаба, чтобы заслужить новое название: краудсорсинг. Однако другие утверждают, что краудсорсинг следует отличать от истинных человеческих вычислений. Краудсорсинг действительно предполагает распределение вычислительных задач между множеством человеческих агентов, но Микелуччи утверждает, что этого недостаточно для того, чтобы считать его человеческими вычислениями. Человеческие вычисления требуют не только распределения задачи между различными агентами, но и смешанного состава этих агентов: часть из них должны быть людьми, а часть – традиционными компьютерами. Именно такое сочетание различных типов агентов в вычислительной системе придает человеческим вычислениям их уникальный характер. Некоторые примеры краудсорсинга действительно соответствуют этому критерию, но не все. Human Computation организует работников через рынок задач с использованием API, цен на задачи и протоколов программного обеспечения как услуги, позволяющих работодателям/заказчикам получать данные, произведенные работниками, непосредственно в свои ИТ-системы. В результате многие работодатели пытаются управлять работниками автоматически с помощью алгоритмов, а не реагировать на запросы работников в каждом конкретном случае или решать их проблемы. Реагирование на запросы работников сложно масштабировать до уровня занятости, обеспечиваемого микрорабочими платформами человеческих вычислений. Работники системы Mechanical Turk, например, сообщают, что работодатели, использующие человеческие вычисления, могут быть невосприимчивы к их проблемам и потребностям.

Viewed as a form of social organization, human based computation often surprisingly turns out to be more robust and productive than traditional organizations. The latter depend on obligations to maintain their more or less fixed structure, be functional and stable. Each of them is similar to a carefully designed mechanism with humans as its parts. However, this limits the freedom of their human employees and subjects them to various kinds of stresses. Most people, unlike mechanical parts, find it difficult to adapt to some fixed roles that best fit the organization. Evolutionary human computation projects offer a natural solution to this problem. They adapt organizational structure to human spontaneity, accommodate human mistakes and creativity, and utilize both in a constructive way. This leaves their participants free from obligations without endangering the functionality of the whole, making people happier. There are still some challenging research problems that need to be solved before we can realize the full potential of this idea. The algorithmic outsourcing techniques used in human based computation are much more scalable than the manual or automated techniques used to manage outsourcing traditionally. It is this scalability that allows to easily distribute the effort among thousands (or more) of participants. It was suggested recently that this mass outsourcing is sufficiently different from traditional small scale outsourcing to merit a new name: crowdsourcing. However, others have argued that crowdsourcing ought to be distinguished from true human based computation. Crowdsourcing does indeed involve the distribution of computation tasks across a number of human agents, but Michelucci argues that this is not sufficient for it to be considered human computation. Human computation requires not just that a task be distributed across different agents, but also that the set of agents across which the task is distributed be mixed: some of them must be humans, but others must be traditional computers. It is this mixture of different types of agents in a computational system that gives human based computation its distinctive character. Some instances of crowdsourcing do indeed meet this criterion, but not all of them do. Human Computation organizes workers through a task market with APIs, task prices, and software as a service protocols that allow employers / requesters to receive data produced by workers directly in to IT systems. As a result, many employers attempt to manage worker automatically through algorithms rather than responding to workers on a case by case basis or addressing their concerns. Responding to workers is difficult to scale to the employment levels enabled by human computation microwork platforms. Workers in the system Mechanical Turk, for example, have reported that human computation employers can be unresponsive to their concerns and needs

Критика

Вычисления с привлечением людей критикуются как эксплуататорские и вводящие в заблуждение, с потенциалом подрыва коллективных действий. В социальной философии утверждается, что вычисления с привлечением людей представляют собой неявную форму онлайн-труда. Философ Райнер Мюльхофф выделяет пять различных типов "машинного присвоения" человеческой микроработы в "гибридных человеко-компьютерных сетях": (1) геймификация, (2) "уловка и отслеживание" (например, CAPTCHA или отслеживание кликов в поиске Google), (3) социальная эксплуатация (например, разметка лиц на Facebook), (4) сбор информации и (5) кликовая работа (например, на Amazon Mechanical Turk). Мюльхофф утверждает, что вычисления с привлечением людей часто используются для обучения системам искусственного интеллекта, основанным на глубоком обучении, явление, которое он анализирует как "искусственный интеллект, усиленный человеком".