Вариант динамического метод автоматического порождения гипотез для обучения мобильного робота

В настоящий момент наблюдается активное внедрение методов искусственного интеллекта в робототехнику в таких областях, как распознавание изображений, планирование, коллективное поведение.

В работе [Добрынин и др., 2006] приведена классификация роботов:

Программные роботы (действующие по заранее заданной программе);

Адаптивные роботы (способные изменять поведение под воздействием окружающей среды);

Интеллектуальные роботы (способные выполнять задачу, поставленную в общем виде).

Из самых известных адаптивных роботов современности стоит упомянуть известных шагающих роботов Big Dog и Little Dog компании Boston Dynamics. Обзор современного состояния интеллектуальных роботов изложен в статье [Добрынин, 2006b].

Особую роль в создании адаптивных и интеллектуальных роботов играют методы машинного обучения. Одним из наиболее развитых методов машинного обучения является ДСМ-метод.

Постановка задачи обучения

Робот должен обучаться, чтобы совершенствовать своё поведение с накоплением опыта. Робот существует в среде, все объекты которой имеют описание (пусть X — множество всех описаний объектов) и принадлежат к некоторым классам из множества Y. Робот может сам получать факты из окружающей среды, поэтому обучение должно быть индуктивным, то есть основанным на выявлении закономерностей в эмпирических данных. Задачей будет являться построение индуктивного классификаторапо модели «стимул-реакция» (выработка условного рефлекса).

В качестве обучающей выборки возьмем множество пар «обстановка — действие». Под обстановкой понимается состояние окружающей среды, зафиксированное рецепторами робота — освещенность, цвет поверхности, наличие препятствия, угол по отношению к некоторому ориентиру (маяку). Под действием будем понимать влияние эффекторов робота на окружающую среду — вращение колес, свет, звук. Возможны более сложные действия, состоящие из простых: например, действие «Атака» является комбинацией езды вперед и света фонариком, а «Защита» — комбинацией езды назад и звука.

Обучение будет осуществляться на примерах (положительных и отрицательных), которые выдаёт учитель. Формирование положительного примера назовём поощрением, отрицательного примера — наказанием. Обобщение нескольких примеров (только положительных или только отрицательных) назовём гипотезой.

Фазы обучения (обобщения, получения гипотез) и действия (применения гипотез) повторяются циклически. Кроме того, должен существовать некоторый критерий, показывающий, что обучение достаточно и теперь можно перейти к фазе работы.

Обучение является интерактивным, то есть сигналы поощрения и наказания выдаются непосредственно в ходе работы системы.