Модели взаимодействия в мультиагентных средах

Мультиагентное моделирование при принятии управленческого решения. Мультиагентное моделирование является эффективным средством нахождения оптимального решения задач, принятия управленческого решения. В этом контексте та или иная ситуация проецируется на искусственно созданную модель, где каждый агент наделяется определенным функционалом. В управленческой среде речь может идти о моделировании ситуации, где задействованы люди, производственные процессы, объекты и прочее. Живые агенты — люди — имеют одно отличительное свойство по сравнению с другими агентами (роботы, компьютерные агенты). Это свойство — социальность. В таких моделях важно учитывать социальный статус, социальные отношения, распределение функций, наделение полномочиями. Агентные системы, смоделированные по образу человеческого сообщества, связаны с теорией организацией, теорией административного управления, теорией игр и др. Однако, в таких системах очень тяжело учесть ценностные ориентиры, которые приняты в данной группе. Люди могут выбрать нормативную и ненормативную линию поведения, что нельзя никак перенести на агент. Но в остальном агенты также могут обращаться к другим агентам при решении поставленной задачи, строить совместные планы, координировать свои действия. Такой подход к решению задачи очень удобен, он отсекает много рисков. Например, он позволяет руководителю выбрать правильную стратегию поведения во взаимоотношениях с поставщиками, клиентами, конкурентами, в кризисной ситуации ограниченности ресурсов. Если резюмировать, то при моделировании мультиагентных сред важно учитывать: 1. Отражение особенностей таких как, тип ресурса, с которым работают агенты (материальный, информационный, человеческий), состояние операции, проблемное поле; 2. Определение целей каждого агента, описание его знаний; 3. Описание механизма взаимодействия между агентами, группами агентов; 4. Описание механизма разрешения конфликтных ситуаций между агентами, группами агентов; 5. Описание плана действий агентов, групп агентов.

--Гнетнева Ксения (обсуждение) 13:55, 5 апреля 2016 (MSK)

Мультиагентное моделирование в среде NetLogo

Программа NetLogo обладает простым функциональным интерфейсом. Главным элементом, которого является окно «виртуального Мира» агентов. На рисунке это окно расположено в центре экрана.

Пользователь и разработчик агентной программы может взаимодействовать с ней в интерактивном режиме, подавая команды в окне «Командного центра», оно расположено в нижней части окна программы. Команды подаются на уровне определенного объекта программы моделирования: «Наблюдатель», «Пятна», «Черепахи» (агенты), «Связи». Команда — это определенный оператор языка программирования NetLogo. Допускается создание комбинированных моделей, код которых предварительно записан на языке NetLogo, и затем модель исследуется с привлечением командного центра. Код агентной модели представляет собой набор процедур. Пример на картинке:

В модели всегда должны присутствовать две процедуры setup и go [4]. Первая процедура связывается с командной кнопкой инициализации агентов модели, вторая запускает процесс моделирования. Движение агентов в виртуальном мире показано на рисунке. По умолчанию используется пиктограмма агента в виде направленного острия. Допускается сменить пиктограмму агента на другую из библиотеки ресурсов программы, либо создать собственную пиктограмму, с помощью графического редактора. Графический редактор входит в систему моделирования.

Примером модели может служить — Модель «хищник — жертва»

Такой класс моделей позволяет исследовать взаимодействие агентов в виртуальном Мире, где наблюдается конкуренция между агентами. Один класс агентов «хищники», поддерживают свой жизненный потенциал за счет уничтожения других агентов «жертв». Вид интерфейса работающей модели показан на рисунке

Агенты обоего типа обладает энергией, если она падает ниже определенного уровня, то агент «умирает». Агенты жертвы поддерживают свою энергию за счет «зеленых пятен», поглощая их, агент хищник поддерживает свою энергию за счет уничтожения жертв. Когда энергия агентов возрастает до определенного уровня, они воспроизводит себе подобных. Это операция клонирования агентов. Для контроля за состоянием ресурсов используется экран «Ресурсы». Экран отображает число ресурсов — пятен зеленого цвета, ресурсы возобновляются. Из рисунка видно, что популяции «хищников» и обычных агентов имеет пиковые значения, после численность популяции начинает стабилизироваться.

--Крашенинников Алексей (обсуждение) 21.58, 5 апреля 2016 (MSK)

Имитационное моделирование

В исследовании операций широко применяются как аналитические, так и статистические модели. Каждый из этих типов имеет свои преимущества и недостатки. Аналитические модели более грубы, учитывают меньшее число факторов, всегда требуют каких-то допущений и упрощений. Зато результаты расчета по ним легче обозримы, отчетливее отражают присущие явлению основные закономерности. А, главное, аналитические модели больше приспособлены для поиска оптимальных решений. Статистические модели, по сравнению, с аналитическими, более точны и подробны, не требуют столь грубых допущений, позволяют учесть большое (в теории – неограниченно большое) число факторов. Но и у них – свои недостатки: громоздкость, плохая обозримость, большой расход машинного времени, а главное, крайняя трудность поиска оптимальных решений, которые приходятся искать «на ощупь», путем догадок и проб. Наилучшие работы в области исследования операций основаны на совместном применении аналитических и статистических моделей. Аналитическая модель дает возможность в общих чертах разобраться в явлении, наметить как бы контур основных закономерностей. Любые уточнения могут быть получены с помощью статистических моделей. Имитационное моделирование применяется к процессам, в ход которых может время от времени вмешиваться человеческая воля. Человек, руководящий операцией, может в зависимости от сложившейся обстановки, принимать те или другие решения, подобно тому, как шахматист, глядя на доску, выбирает свой очередной ход. Затем приводится в действие математическая модель, которая показывает, какое ожидается изменение обстановки в ответ на это решение и к каким последствиям оно приведет спустя некоторое время . Следующее «текущее решение» принимается уже с учетом реальной новой обстановки и т.д. В результате многократного повторения такой процедуры руководитель как бы «набирает опыт», учится на своих и чужих ошибках и постепенно выучивается принимать правильные решения – если не оптимальные, то почти оптимальные. В современной литературе не существует единой точки зрения по вопросу о том, что понимать под имитационным моделированием. Так существуют различные трактовки: - в первой – под имитационной моделью понимается математическая модель в классическом смысле; - во второй – этот термин сохраняется лишь за теми моделями, в которых тем или иным способом разыгрываются (имитируются) случайные воздействия; - в третьей – предполагают, что имитационная модель отличается от обычной математической более детальным описанием , но критерий, по которому можно сказать, когда кончается математическая модель и начинается имитационная , не вводится;

Имитационное моделированием применяется к процессам, в ход которых может время от времени вмешиваться человеческая воля. Человек, руководящий операцией, может в зависимости от сложившейся обстановки, принимать те или иные решения, подобно тому, как шахматист глядя на доску, выбирает свой очередной ход. Затем приводится в действие математическая модель, которая показывает, какое ожидается изменение обстановки, в ответ на это решение и к каким последствиям оно приведет спустя некоторое время. Следующее текущее решение принимается уже с учетом реальной новой обстановки и т. д. В результате многократного повторения такой процедуры руководитель как бы «набирает опыт», учится на своих и чужих ошибках и постепенно выучиваться принимать правильные решения – если не оптимальные, то почти оптимальные.

Этапы процесса построения математической модели сложной системы

1. Формулируются основные вопросы о поведении системы, ответы на которые мы хотим получить с помощью модели. 2. Из множества законов, управляющих поведением системы, выбираются те, влияние которых существенно при поиске ответов на поставленные вопросы. 3. В пополнение к этим законам, если необходимо, для системы в целом или отдельных ее частей формулируются определенные гипотезы о функционировании. Критерием адекватности модели служит практика.

Трудности при построении математической модели сложной системы:

- Если модель содержит много связей между элементами, разнообразные нелинейные ограничения, большое число параметров и т. д. - Реальные системы зачастую подвержены влиянию случайных различных факторов, учет которых аналитическим путем представляет весьма большие трудности, зачастую непреодолимые при большом их числе; - Возможность сопоставления модели и оригинала при таком подходе имеется лишь в начале.

Эти трудности и обуславливают применение имитационного моделирования.

Оно реализуется по следующим этапам:

1. Как и ранее, формулируются основные вопросы о поведении сложной системы, ответы на которые мы хотим получить. 2. Осуществляется декомпозиция системы на более простые части-блоки. 3. Формулируются законы и «правдоподобные» гипотезы относительно поведения как системы в целом, так и отдельных ее частей. 4. В зависимости от поставленных перед исследователем вопросов вводится так называемое системное время, моделирующее ход времени в реальной системе. 5. Формализованным образом задаются необходимые феноменологические свойства системы и отдельных ее частей. 6. Случайным параметрам, фигурирующим в модели, сопоставляются некоторые их реализации, сохраняющиеся постоянными в течение одного или нескольких тактов системного времени. Далее отыскиваются новые реализации.

Метод Монте-Карло как разновидность имитационного моделирования

Датой рождения метода Монте-Карло принято считать 1949 г., когда появилась статья под названием «The Monte Carlo method». Создателями этого метода считают американских математиков Дж. Неймана и С. Улама. В СССР первые статьи о методе Монте-Карло были опубликованы в 1955—1956гг. Любопытно, что теоретическая основа метода была известна давно. Более того, некоторые задачи статистики рассчитывались иногда с помощью случайных выборок, т. е. фактически методом Монте-Карло. Однако до появления электронных вычислительных машин (ЭВМ) этот метод не мог найти сколько-нибудь широкого применения, ибо моделировать случайные величины' вручную—очень трудоемкая работа. Таким образом, возникновение метода Монте-Карло как весьма универсального численного метода стало возможным только благодаря появлению ЭВМ. Само название «Монте-Карло» происходит от города Монте-Карло в княжестве Монако, знаменитого своим игорным домом. Идея метода чрезвычайно проста и состоит она в следующем. Вместо того, чтобы описывать процесс с помощью аналитического аппарата (дифференциальных или алгебраических уравнений), производится «розыгрыш» случайного явления с помощью специально организованной процедуры, включающей в себя случайность и дающей случайный результат. В действительности конкретное осуществление случайного процесса складывается каждый раз по-иному; так же и в результате статистического моделирования мы получаем каждый раз новую, отличную от других реализацию исследуемого процесса. Что она может нам дать? Сама по себе ничего, так же как, скажем, один случай излечения больного с помощью какого-либо лекарства. Другое дело, если таких реализаций получено много. Это множество реализаций можно использовать как некий искусственно полученный статистический материал, который может быть обработан обычными методами математической статистики. После такой обработки могут быть получены любые интересующие нас характеристики: вероятности событий, математические ожидания и дисперсии случайных величин и т. д. При моделировании случайных явлений методом Монте-Карло мы пользуемся самой случайностью как аппаратом исследования, заставляем ее «работать на нас». Нередко такой прием оказывается проще, чем попытки построить аналитическую модель. Для сложных операций, в которых участвует большое число элементов (машин, людей, организаций, подсобных средств), в которых случайные факторы сложно переплетены, где процесс — явно немарковскпй, метод статистического моделирования, как правило, оказывается проще аналитического (а нередко бывает и единственно возможным). В сущности, методом Монте-Карло может быть решена любая вероятностная задача, но оправданным он становится только тогда, когда процедура розыгрыша проще, а не сложнее аналитического расчета. Приведем пример, когда метод Монте-Карло возможен, но крайне неразумен. Пусть, например, по какой-то цели производится три независимых выстрела, из которых каждый попадает в цель с вероятностью 1/2. Требуется найти вероятность хотя бы одного попадания. Элементарный расчет дает нам вероятность хотя бы одного попадания равной 1 — (1/2)3 = 7/8. Ту же задачу можно решить и «розыгрышем», статистическим моделированием. Вместо «трех выстрелов» будем бросать «три монеты», считая, скажем, герб—за попадание, решку — за «промах». Опыт считается «удачным», если хотя бы на одной из монет выпадет герб. Произведем очень-очень много опытов, подсчитаем общее количество «удач» и разделим на число N произведенных опытов. Таким образом, мы получим частоту события, а она при большом числе опытов близка к вероятности. Ну, что же? Применить такой прием мог бы разве человек, вовсе не знающий теории вероятностей, тем не менее, в принципе, он возможен.

Список литературы

1. Вентцель Е.С. «Исследование операций», Москва «Советское радио» 1972 г. 2. Соболь И.М. «Метод Монте-Карло», Москва «Наука»,1985 г. 3. «Экономико-математические методы и прикладные модели», под ред. Федосеева В.В. , Москва «Юнити» 2001 г.

--Кузнецова катя

Коалиционная модель мультиагентного процесса преобразования ресурсов

Целью разработки коалиционной модели мультиагентного процесса преобразования ресурсов (МППР) является описание процессов взаимодействия агентов и формирования коалиций при решении вопросов коллективного использования ре­сурсов и средств в условиях параллельного выполнения МППР. Разработанная модель отвечает следующим требованиям.

1. Ориентация на моделирование мультиагентных процессов преобразования ресур­сов. Необходимо отражение следующих основных особенностей МППР: учет различных ти­пов ресурсов (материальных, информационных, энергетических, трудовых, финансовых); наличие возможности задания начальных состояний операций над ресурсами; учет возник­новения и разрешения конфликтов; наличие возможности иерархического представления структуры процесса и расчета различных характеристик процесса на каждом уровне иерар­хии.

2. Наличие возможности описания гибридных моделей агентов, в т.ч.: определение целей агента, описание базы знаний агента, выбор определенной стратегии взаимодействий агента.

3. Наличие механизма формирования коалиций, обеспечивающего следующие основ­ные возможности: определение целей коалиции, описание базы знаний коалиции.

4. Наличие механизма описания мультиагентных систем (МАС), позволяющего определение: множества аген­тов и коалиций МАС, множества установленных связей между агентами и коалициями, об­щей базы знаний МАС.

5. Наличие аппарата организации взаимодействий агентов и коалиций, включаю­щего: язык общения агентов, соответствующий проблемной области МППР и разработанный на основе стандарта взаимодействия агентов; механизм обмена сообщениями между аген­тами и коалициями и множество методов взаимодействий агентов и коалиций в МАС.

6. Наличие механизма разрешения конфликтов между агентами, основанного на ис­пользовании стратегий взаимодействий и организации аукционов.

7. Наличие механизма составления планов действий для агентов и коалиций.

Реализация вышеперечисленных требований обеспечивается с помощью применения имитационного моделирования, теории процессов преобразования ресурсов (ППР), теории мультиагентных систем, теории аукционов и теории составления расписаний.

Основой для создания коалиционной модели МППР является математическая модель, разработанная Аксеновым К.А. и Гончаровой Н.В..

Сравнение коалиционной модели с моделью И.М. Москалева

В работе И.М. Москалева представлена математическая модель ППР из пассивных преобразователей, модель из активных преобразователей и смешанная модель.

Модель активных и пассивных ППР,

где – множество активных элементов модели ППР; – множество пассивных элементов модели ППР; – хранилища ресурса; – множество разделяемых парков средств; – множество возможных по­токов ресурса между элементами модели; – множество потоков средств между элемен­тами модели; – множество информационных пото­ков между преобразователями; – множество ресурсов в сети.

Пассивный преобразователь может находиться в трех состояниях: ожидания входных ресурсов, преобразования ресурсов и блокирования. Для представления переходов его состояний используется граф состояний .

Достоинства модели (относительно требований к коалиционной модели):

– развитые средства описания информационных потоков;

– деление на активные и пассивные преобразователи ППР;

– модель позволяет работать с онтологиями предметной области.

Недостатки модели (относительно требований к коалиционной модели):

– отсутствие ориентации на мультиагентный подход;

– отсутствие возможности формирования коалиций;

– отсутствие встроенного механизма составления планов действий агентами;

– отсутствие встроенного механизма разрешения конфликтов.

Таким образом, рассмотренная модель не удовлетворяет ряду требований, предъявля­емых к коалиционной модели МППР, специально не разработана для предметной области МППР.

Сравнение коалиционной модели с моделью открытой мультиагентной системы П.О. Скобелева

Открытая мультиагентная система (ОМАС) для поддержки процессов принятия ре­шений на основе ПВ-сетей (сетей потребностей и возможностей) П.О. Скобелева базируется на холистическом подходе, состоящем в следующем:

- модель ОМАС декомпозируется на автономные сущности (деталь, материал, работ­ник, станок, автомобиль и т.д.);

- каждая сущность имеет собственных агентов потребностей и возможностей;

- агенты возможностей ищут себе наиболее выгодное применение, а агенты потребно­стей − максимально удовлетворить свои требования;

- потребности и возможности (например, заказы и ресурсы) находятся в постоянном поиске соответствия (матчинга), обусловленного заданными индивидуальными критериями для каждой из сторон.

В такой открытой системе агенты потребностей и возможностей реагируют на любые изменения в системе, разрывая имеющиеся и устанавливая новые связи. МСППР рассматри­вается как система, состоящая из агентов возможностей и потребностей, соревнующихся или кооперирующихся между собой, в зависимости от ситуации, с целью выполнения поставлен­ной задачи. Главной особенностью подхода (относительно предлагаемой авторами статьи коалиционной модели) является самоорганизация заказов и ресурсов. Под самоорганизацией при этом понимается возможность системы автономно устанавливать но­вые связи между компонентами и разрывать существующие.

Порождающей ПВ-сетью называется множество N вида:

N = {A, R, P, G},

где А − множество агентов потребностей и возможностей для заданной предметной области; R − множество возможных отношений между агентами потребностей и возможностей; Р − множество правил принятия решений и установления (разрыва) связей; G − множество целей, заданных агентам.

Архитектура ОМАС для построения ПВ-сетей состоит из базы знаний предмет­ной области, включающей набор онтологий деятельности; сцены текущего виртуального мира; исполняющей системы; библиотеки расширений и интерфейсной системы.

Достоинства модели (относительно требований к коалиционной модели):

– простота реализации мультиагентной модели, позволившей унифицировать агентов потребностей и возможностей;

– непрерывный процесс принятия и пересмотра решений агентами позволяет системе гибко реагировать на любые события и изменения;

– агенты в модели обладают способностью самоорганизации;

– модель позволяет работать с онтологиями предметной области.

Недостатки модели (относительно требований к коалиционной модели):

– каждый ресурс и каждый заказ имеет собственных агентов, что порождает большое количество агентов, при этом любое событие в системе порождает многочисленные перего­воры агентов, а также разрыв существующих связей и установление новых (такое нестабиль­ное поведение модели требует значительное количество вычислительных ресурсов);

– отсутствие возможности формирования коалиций.

Таким образом, рассмотренная модель не удовлетворяет ряду требований, предъявля­емых к коалиционной модели МППР, специально не разработана для предметной области МППР.

Сравнение коалиционной модели с моделью Д.Ю. Бугайченко

Одной из моделей, позволяющих описывать МППР, является модель Д.Ю. Бугайченко. Для описания агента в модели предложена следующая архитектура. Внешняя среда агента описывается с помощью множества S-состояний среды. Возможные действия агента описываются с помощью множества А-действий. Таким образом, агента можно представить в виде функции: S → A. Выбор конкретного действия из воз­можных агент осуществляет на осно­вании текущего состояния внешней среды, а также истории, описывающей предыдущие со­стояния. При этом действия аген­та могут влиять на окружающую среду, но не контролиро­вать ее полностью. Взаимодействие агента и внешней среды можно представлять с помощью истории (history):

h: so(a0)→s1(a1)→s2(a2)→… ,

где s0 – начальное состояние внешней среды; ai – i-е действие, выбранное агентом; si – состояние внешней среды после осуществления агентом (i-1)-го действия.

Для описания агента используется модель воспри­ятия окружающей среды. Для этого вве­дено множество P возможных восприятий и функция see: S → P, описываю­щие, каким обра­зом определенные состояния среды воспринима­ются агентом. В этом случае агент описыва­ется с помощью функции action: P* → A, т.е. действие агента определяется теку­щим вос­приятием состояния внешней среды, а также множеством предыдущих восприятий.

Еще одной модификацией архитектуры Д.Ю. Бугайченко яв­ляется агент с состоянием. Такой агент содержит внутренние структуры дан­ных, которые он модифицирует в зависимости от восприятия текущего состояния внешней среды, и на основе полученных ре­зультатов выбирает действие. Для форма­лизации этого процесса введено множество I внут­ренних состояний агента и функция refine: I × P → I, отвечающая за обновление внутрен­него состояния в соответствии с текущим восприятием среды. Агент в этом случае опи­сывается с помощью функции action: I → A, т. е. действие будет выбираться на основе текущего внутреннего со­стояния.

Описанная выше архитектура обладает одним су­щественным недостат­ком: определенный таким образом агент не получает информации о совершенных им самим действиях, что рез­ко ограничивает его возможности в накоплении опыта и анализе потен­циальных последствий действий. Можно считать, что информация о действиях агента являет­ся частью информации об окружающей среде, но такой подход не является наглядным и интуитивно понятным. Д.Ю. Бугайченко предложено включение инфор­мации о совершаемых действиях явно во входные данные функции выбора действия action: (P × A)* → A. В таком виде агент явно получает информацию обо всей истории взаимодействия с окружающей средой, а не только о последова­тельности состояний, в которые окружающая среда переходила.

Достоинства модели (относительно требований к коалиционной модели):

– детальное описание агентов, его целей, базы знаний;

– использование модели агента с состоянием, позволяющим ос­новывать выбор действия не на последовательно­сти входных дан­ных, а на одном конкретном элементе состояния;

– ведение истории действий агента.

Недостатки модели (относительно требований к коалиционной модели):

– модель является слишком общей и требует детальной проработки при описании сложных МППР;

– отсутствие возможности формирования коалиций;

– отсутствие встроенного механизма составления планов действий агентами;

– отсутствие встроенного механизма разрешения конфликтов.

Таким образом, рассмотренная модель не удовлетворяет ряду требований, предъявля­емых к коалиционной модели МППР, специально не разработана для предметной области МППР.

Коалиционная модель МППР разработана для предметной области ППР и имеет ряд отличительных особенностей, определяющих нишу ее адекватного применения: 1) ориентация на моделирование МППР;

2) наличие возможности описания гибридных моделей агентов;

3) наличие механизма формирования коалиций;

4) наличие механизма описания мультиагентных систем;

5) наличие аппарата взаимодействий агентов и коалиций, включаю­щего язык, разработанный на основе стандарта взаимодействия агентов для проблемной области МППР;

6) наличие механизма разрешения конфликтов между агентами, основанного на ис­пользовании стратегий взаимодействий и организации аукционов;

7) наличие механизма составления планов действий для агентов и коалиций.

Разработанная коалиционная модель мультиагентного процесса преобразования ресурсов может быть применена для решения задач планирования и управления процессами производства на промышленных предприятиях.

--Сизов Роман (обсуждение) 22:37, 5 апреля 2016 (MSK)