Общая схема исследования математической модели и постановка задачи оптимального управления

Определение случайного процесса, описывающего функционирование рассматриваемой системы.

Обозначим — объем поступившего требования в момент , — остаточный объем ресурса в момент. Рассмотрим двумерную случайную последовательность, При введенных выше предположениях о характере модели данная последовательность образует двумерную цепь Маркова.

Если зафиксировать состояние цепи в момент, то есть событие (), то управление (решение) нам производственном цикле определяется парой чисел и зависит от состояния .

Показатель качества управления и проблема выбора оптимальных решений.

Определим показатель качества управления в данной модели как математическое ожидание прибыли, полученной на некотором производственном цикле. Обозначим через условное математическое ожидание прибыли, полученной на одном производственном цикле при условиях, что состояние системы фиксировано, а управление задается парой .

Зафиксируем детерминированную стратегию управления, то есть сопоставим каждому состоянию пару чисел, определяющих управление и обозначим такую пару чисел через если. Фактически стратегия управления представляет собой функцию, заданную на множестве возможных состояний и принимающих значения во множестве допустимых управлений. Совокупность всех стратегий управления обозначим через .

Для каждой фиксированной стратегии управления можно выписать переходные характеристики двумерной цепи Маркова {} и уравнения для стационарных вероятностей этой цепи. Обозначим через стационарное распределение управляемой цепи Маркова. Данное стационарное распределение определяется вероятностями перехода цепи Маркова и зависит от принятой стратегии управления. Тогда можно выписать представление для стационарного показателя средней прибыли, полученной на одном производственном цикле:

(4.1).

Суммирование в правой части формулы (4.1) производится по множеству состояний марковской цепи.

Величина есть математическое ожидание прибыли на одном производственном цикле (в стационарном режиме) при фиксированной стратегии управления .

Оптимальная стратегия управления определяется как решение экстремальной задачи:

(4.2).

Заметим, что показатель можно выписать в явном виде. При некоторых дополнительных предположениях на характер модели можно получить, что множество состояний системы будет конечным. Множество возможных стратегий управления также будет конечным. Таким образом, задача оптимального управления будет иметь единственное решение, которое может быть определено численным методом.