Введение

Программный агент, действующий автономно – термин в области интеллектуальных систем.

В области интеллекта и искусственного интеллекта интеллектуальный агент (ИА) – это агент, действующий разумно. Он воспринимает окружающую среду, предпринимает автономные действия для достижения целей и может улучшать свою производительность посредством обучения или получения знаний. Интеллектуальный агент может быть простым или сложным: термостат или другая система управления рассматривается как пример интеллектуального агента, как и человек, так и любая система, соответствующая этому определению, например, фирма, государство или биом. Ведущие учебники по ИИ определяют «искусственный интеллект» как «изучение и разработку интеллектуальных агентов», определение, которое считает целенаправленное поведение сущностью интеллекта. Целенаправленные агенты также описываются термином, заимствованным из экономики, – «рациональный агент». Агент обладает «целевой функцией», которая охватывает все цели ИА. Такой агент спроектирован для создания и выполнения любого плана, который после завершения максимизирует ожидаемое значение целевой функции. Например, агент, обучающийся с подкреплением, имеет «функцию вознаграждения», позволяющую программистам формировать желаемое поведение ИА, а поведение эволюционного алгоритма формируется «функцией пригодности». Интеллектуальные агенты в искусственном интеллекте тесно связаны с агентами в экономике, а варианты парадигмы интеллектуального агента изучаются в когнитивной науке, этике и философии практического разума, а также во многих междисциплинарных социально-когнитивных моделях и компьютерных социальных симуляциях. Интеллектуальные агенты часто схематично описываются как абстрактная функциональная система, подобная компьютерной программе. Абстрактные описания интеллектуальных агентов называются абстрактными интеллектуальными агентами (АИА) для отличия от их реализаций в реальном мире. Автономный интеллектуальный агент предназначен для функционирования без вмешательства человека. Интеллектуальные агенты также тесно связаны с программными агентами (автономной компьютерной программой, выполняющей задачи от имени пользователей).

Преимущества

В философском плане такое определение искусственного интеллекта позволяет избежать ряда критических замечаний. В отличие от теста Тьюринга, оно не опирается на понятие человеческого интеллекта. Таким образом, не возникает необходимости дискутировать о том, является ли интеллект "настоящим" или "смоделированным" (то есть "синтетическим" или "искусственным"), и не утверждается, что подобная машина обладает разумом, сознанием или истинным пониманием (то есть это не подразумевает "сильную гипотезу ИИ" Джона Сирла). Оно также не стремится провести чёткую границу между "интеллектуальным" и "неинтеллектуальным" поведением – программы следует оценивать исключительно по их целевой функции. Более того, оно обладает рядом практических преимуществ, способствовавших прогрессу в исследованиях ИИ. Оно предоставляет надёжный и научный метод тестирования программ; исследователи могут напрямую сравнивать или даже комбинировать различные подходы к решению отдельных задач, определяя, какой агент лучше всего максимизирует заданную "целевую функцию". Это также даёт им общий язык для взаимодействия с другими областями, такими как математическая оптимизация (определяемая в терминах "целей") или экономика (использующая то же определение "рационального агента").

Целевая функция

Агент, которому назначена явная "целевая функция", считается более интеллектуальным, если он последовательно предпринимает действия, успешно максимизирующие его запрограммированную целевую функцию. Цель может быть простой ("1, если ИИ выигрывает партию в Го, 0 в противном случае") или сложной ("Выполнять действия, математически схожие с теми, которые были успешными в прошлом"). "Функция цели" охватывает все цели, к которым стремится агент; в случае рациональных агентов функция также включает в себя допустимые компромиссы между достижением противоречивых целей. (Терминология варьируется; например, некоторые агенты стремятся максимизировать или минимизировать "функцию полезности", "целевую функцию" или "функцию потерь".) Системы, которые традиционно не считаются агентами, такие как системы представления знаний, иногда включаются в эту парадигму, рассматриваясь как агенты, целью которых является (например) отвечать на вопросы максимально точно; понятие "действия" здесь расширяется, чтобы включать в себя "акт" предоставления ответа на вопрос. Кроме того, системы, основанные на имитации, могут быть представлены как агенты, оптимизирующие "целевую функцию" в зависимости от того, насколько успешно ИИ имитирует желаемое поведение. В то время как системы символьного ИИ часто используют явную целевую функцию, эта парадигма также применима к нейронным сетям и эволюционным вычислениям. Обучение с подкреплением позволяет создавать интеллектуальных агентов, которые, по-видимому, действуют таким образом, чтобы максимизировать "функцию вознаграждения". Иногда, вместо того чтобы устанавливать функцию вознаграждения, непосредственно равную желаемой эталонной оценочной функции, программисты машинного обучения используют формирование вознаграждения, чтобы изначально предоставлять машине вознаграждения за постепенный прогресс в обучении. Янн ЛеКун заявил в 2018 году: "Большинство алгоритмов обучения, которые были разработаны, по сути, заключаются в минимизации некоторой объективной функции". У шахматного движка AlphaZero была простая объективная функция: каждая победа приносила +1 балл, а каждое поражение – 1 балл. Объективная функция для беспилотного автомобиля должна быть более сложной. Эволюционные вычисления могут создавать интеллектуальных агентов, которые, по-видимому, действуют таким образом, чтобы максимизировать "функцию пригодности", влияющую на количество потомков, которых может оставить каждый агент. Однако в реальном мире ИИ ограничен конечным временем и аппаратными ресурсами, и ученые соревнуются в создании алгоритмов, способных достигать все более высоких результатов на эталонных тестах с использованием реального оборудования.

Простые рефлекторные агенты

Простые рефлекторные агенты действуют исключительно на основе текущего восприятия, игнорируя предшествующую историю восприятий. Функция агента строится на основе условного правила действия: "если условие, то действие". Такая функция агента успешно работает только в полностью наблюдаемой среде. Некоторые рефлекторные агенты могут также учитывать свое текущее состояние, что позволяет им отбрасывать условия, для которых исполнительные механизмы уже активированы. Бесконечные циклы часто неизбежны для простых рефлекторных агентов, работающих в частично наблюдаемой среде. Если агент способен рандомизировать свои действия, то можно попытаться избежать бесконечных циклов.

Рефлекторные агенты на основе моделей

Агент, основанный на модели, способен функционировать в частично наблюдаемых средах. Его текущее состояние хранится внутри агента, поддерживая некоторую структуру, описывающую ту часть мира, которая не видна. Эти знания о том, "как устроен мир", называются моделью мира, отсюда и название "агент, основанный на модели". Рефлекторный агент, основанный на модели, должен поддерживать внутреннюю модель, зависящую от истории восприятия и, таким образом, отражающую хотя бы некоторые ненаблюдаемые аспекты текущего состояния. История восприятия и влияние действий на окружающую среду могут быть определены с использованием внутренней модели. Затем он выбирает действие тем же способом, что и рефлекторный агент. Агент также может использовать модели для описания и предсказания поведения других агентов в среде.

Целевые агенты

Целевые агенты расширяют возможности агентов, основанных на моделях, используя информацию о "целях". Информация о целях описывает желаемые ситуации. Это предоставляет агенту возможность выбирать из множества вариантов, отбирая тот, который приводит к целевому состоянию. Поиск и планирование – это области искусственного интеллекта, посвященные нахождению последовательностей действий для достижения целей агента.

Коммунальные агенты

Агент, ориентированный на достижение цели, различает только целевые и нецелевые состояния. Также возможно определить меру желательности конкретного состояния. Эту меру можно получить с помощью функции полезности, которая сопоставляет состоянию числовое значение его полезности. Более общая мера производительности должна позволять сравнивать различные состояния мира по степени соответствия целям агента. Термин "полезность" можно использовать для описания степени "удовлетворенности" агента. Рациональный агент, основанный на полезности, выбирает действие, которое максимизирует ожидаемую полезность исходов этого действия, то есть то, что агент ожидает получить в среднем, учитывая вероятности и полезности каждого исхода. Агенту, основанному на полезности, необходимо моделировать и отслеживать окружающую среду, что требует значительных исследований в области восприятия, представления знаний, рассуждений и обучения.

Учившиеся агенты

Учиться дает агентам возможность изначально действовать в неизвестных средах и становиться более компетентными, чем это позволило бы им только на основе первоначальных знаний. Наиболее важное различие заключается между "обучающим элементом", ответственным за внесение улучшений, и "элементом действия", ответственным за выбор внешних действий. Обучающий элемент использует обратную связь от "критика" об успехе агента и определяет, как следует изменить элемент действия, или "исполнителя", чтобы в будущем действовать лучше. Элемент действия, ранее рассматривавшийся как весь агент, получает информацию об окружающем мире и принимает решения о действиях. Последний компонент обучающего агента – это "генератор задач". Он отвечает за предложение действий, которые приведут к новому и информативному опыту.

Другое

В 2013 году Александр Висснер Гросс опубликовал теорию, касающуюся свободы воли и интеллекта интеллектуальных агентов.

Иерархии агентов

Для активного выполнения своих функций, интеллектуальные агенты сегодня обычно объединяются в иерархическую структуру, включающую множество "субагентов". Интеллектуальные субагенты обрабатывают и выполняют функции нижнего уровня. Вместе интеллектуальный агент и субагенты образуют полноценную систему, способную решать сложные задачи или достигать целей, демонстрируя при этом поведение и реакции, свидетельствующие об определенном уровне интеллекта. Как правило, агент конструируется путем разделения его структуры на сенсоры и актуаторы, а также за счет использования сложной системы восприятия, которая принимает описание мира в качестве входных данных для контроллера и выдает команды актуаторам. Однако для баланса между необходимостью быстрой реакции на задачи нижнего уровня и медленным обдумыванием сложных, высокоуровневых целей часто требуется иерархия слоев управления.

Приложения

Халлербах и др. обсудили применение агентных подходов для разработки и валидации автоматизированных систем управления транспортными средствами с использованием цифрового двойника тестируемого автомобиля и микроскопического моделирования дорожного движения на основе независимых агентов. Waymo создала мультиагентную симуляционную среду Carcraft для тестирования алгоритмов для беспилотных автомобилей. Она моделирует взаимодействие между водителями, пешеходами и автоматизированными транспортными средствами. Поведение людей имитируется искусственными агентами на основе данных о реальном поведении людей. Базовая идея использования агентного моделирования для изучения беспилотных автомобилей была предложена еще в 2003 году.