Оптимизация динамических систем с краевыми условиями

в каждом разделе науки и техники существуют управляемые системы, т. е. такие системы, которые можно заставить вести себя, но разному в зависимости от воли оператора. Каждый раз, когда операто]) системы прини. мает решение, т. е. выбирает распределение параметров, которые управляют системой, он производит изменение в распределении состоящей, в которых пребывает система и, следовательно, изменяет конечное состояние. Поэтому, возникает естественный вопрос: среди всех допустимых управлений конкретно какое управление приведет систему в определенное состояние? Например, какое управление мини. шзирует разницу между конечным и начальным значением произвольной функции, зависящей от состояния систе.мы. Область пауки, исследующая такого типа задачи, называется теорией оптимального управления.Мате.матическая теория оптимального управления начала развиваться пятьдесят лет назад как специальный раздел в рамках предмета дифференииальные уравнения. Оптимальное управление берет свои истоки в вариационном исчислении 17 века (Ферма, Ньютон, Лейбниц и братья Бериулли). Оно имеет дело с нахождением функций, которые минилщзируют целевой функционал, подчиненный системе дифферепциальпых уравнений. Вариационное исчисление также имеет дело с функциями более чем одной переменной и используется для постулирования вариациоппых принципов в физике. Метод Эйлера, метод множителей Лагранжа, и их комбинированное необходимое условие первого порядка для стационарного решения (известное как уравнение Эйлера-Лагранжа) дали толчок для дальнейшего развития вариациоипого исчисления в 19 веке Лежанлром, Якоби, Га. П1льтоном и Всйерп1трассом. В начале 20 века Больца и Блисс дали вариационному исчислению его современную строгую математическую структуру [16, 18, 19, 22, 33, 51]. Динамическое программирование как продолжение и новый взгляд на теорию Галпшьтона-Якоби было разработано Р. Беллманом и его коллегами начиная с 1950;х годов. [11, 12, 13]. Оно имеет дело с семействами экстремальных траекторий, удовлетворяюПН1Х конкретным конечным условиям. Оптимальная функция возврата определялась как величина целевого функционала, начинающегося в текущем состоянии и юментс времени и приближающегося оптимально к заданным конечным условиям. Так как функция управления здесь представляется в виде обратной связи па текущее состояние и момент времени, динамическое программирование часто определяется как нелинейное оптимальное управление по обратной связи. Беллман распространил теорию Гамильтона-Якоби на дискретные динамические системы и комбинаторные системы. Частные производные оптимальной функции возврата, но переменным состояния идентичны множителям Лагранжа, поэтому вывод уравнений Эйлера-Лагранжа может быть сделан очень просто с использованием метода дипалтческого програмлтрованпя [22]. Очень редко имеется возможность решить уравнения в частных производных Гамильтона-Якоби-Белл.мана для нелинейной системы, имеющей какое-либо практическое значение, поэтому развитие явных управляемых схем обратной связи для нелинейных систем обычно недостижимо. Однако, если пространство состояний ограничено областью, б.'шзкой к оптимальной траектории, задача динамического нрограм. чшрования люжет хорошо аппроксимироваться линейной квадратичной задачей, т. е. задачей с линейной диналшкой и квадратичным целевым функционалом [1, 19, 23, 25, 36, 37, 50]. Принцип максимума представляет собой o6o6meinie необходимых условий Эйлера-Лагранжа и Вейерштрасса на случай, когда функции управления ограгшчены [33]. Он был разработан Л. С. Понтрягиным и его школой в СССР [6−1]. В терминологии оптимального управления этот принцип утверждает, что мщщмизирующая траектория должна удовлетворять уравнениям Эйлера-Лагранжа, где функция управления MaKcnNni3HpycT гамильтониан в пределах своей ограниченной области в каждой точке вдоль траектории. Таким образом, задача вариационного исчисления трансфорлшруется в задачу нелинейного программирования в каждой точке вдоль траектории. Принцип максимума оперирует одной экстремалью в конкретный люмент времени, тогда как динамическое программирование оперирует семействами экстремалей. Принцип максимума является неотъемлемой частые динамического программирования, так как решение уравнений Га. н1льтона-Якоби-Беллмана включает также нахождение управлений (по возможности ограниченных), которые максимизируют гамильтониан в каждой точке пространства состоя1нп'1.Первоначально доказанный для линейных задач быстродействия, принцип максиму. ма был получен в обще. м линейном случае В. Г. Болтянским в [17].

Введение

игольчатых вариаций и применение теоремы отделилюсти для выпуклых множеств гюзволило преодолеть трудности, связанные с замкнутостью области управлений. Аналогичный подход был использован Р. В. Гамкрелидзс, чтобы доказать принцип максимума для задач с фазовтлми ограничениями по состоянию [31, 32]. С тех пор больнюе число публикаций, посвященных принципу максимума и его различным приложениям, изданы и издаются, и круг задач, ренше. мых этим методом, расширяется каждый год. Однако, принцип максимума Понтрягина не даст никакой информации об особых оптимальных управлениях, т. е. он не может определить особое экстремальное управление в терминах фазовой, сопряженной и независимой переменных. Хотя некоторые обобщения необходимых условий оптимальности, как и некоторые методы численного решения особых задач были найдены, точное решение все еще вызывает сложности. Первоначальный вклад был сделан Л. И. Розоноером, А. Миэлс, Г. Келли и соавторами в [45, СО, G6] которые ввели новый тип вариаций вместо игольчатой вариации, используе. мой Л. С. Поитрягиным. Дальнейшее обобщение необходимых условий оптимальности особых управлений, соировождае. юе численными методами решения появилось в [9, 10, 19, 20, 26, 27, 28, 29, 30, 42, 46, 58]. Первые практические задачи оптимального управления были связаны с оптимизацией нелинейных динамических систем для авиастроения, создания космических аппаратов и роботов. Какова должна быть реактивная тяга, чтобы ракета с заданной. массой топлива достигла максимальной высоты? Так как эта конкретная задача сегодня всесторонне исследована, ее можно использовать, чтобы наглядно продемонстрировать цель данной диссертации. Рассмотрим вертикальный взлет ракстрл (Fig. 1.0.1). Пусть t = to — вре. мя старта, Xi{t) — вертикальная координата, т. е. высота ракеты в каждый момент времени t > to. Для процесса с фиксированной продолжительностью f 6 Т" = [fo, ^i], естественно ввести ограничение хг{и) > то,. (1.0.4) которое подразумевает, что масса топлива, на борту не должна опускаться ниже массы оболочки ракеты. Если m > a{ti — to), ограничением (1,0.4) можно пренебречь. В зависимости от различных целей управления можно сформулировать различные типы задач оптимального управления. Три задачи, — лриведенные ниже, общепризнанны основными.1. Предположим, что ограничением (1.0.4) можно пренебречь. В течение определенного времени ti — to, какова должна быть сила реактивной тяги, чтобы ракета достигала максимальной высоты? В терминах целевого функционала J{u) = xi{ti) -> max, u{t)GU- (1.0.5) или, например, при каком выборе управления ракета сможет достичь определенной высоты h в момент времени ti, затратив при этом наименьшее количество топлива? В этом случае J (и) = Piix i{ti) — h)^ + Р2 f {t)dt-^ mm, u{t)eU, (1.0.6) •'to где Pi, P2 — определенные приоритетные коэффициенты. Это задача с ограниченны. м управлением (1.0.1) и неограниченным состояние. м, поэтому ее иногда называют задачей со свободным правым концом.2. Предположим, что ограничение (1.0.4) существенно. Тогда для ракеты достичь максимальной высоты математически означает J{u) = x{ti) -> max, u{t) € U, X3{ti) > niQ. (1.0.7) Задачи (1.0.5) и (1.0.7) не являются одинаковыми. Также ясно, что в задаче (1.0.7) ограничение типа неравенства (1.0.4) фактически может быть за. менено на ограничение-равенство xsiti) = riio, так как естественно рассматривать, что все топливо будет истрачено к моменту времени ij .Эта задача называется задачей оптимального управления с фазовыми ограничениями, потому что и управление, и состояние здесь ограничены. Используя метод П1трафных функций, задачу (1.0.7) можно свести к ряду задач со свободным правым концом: Jk{u) = -xi{tx) -Ь 7'(^з (^1) — mo)^ 4 > О, Ок 5к+1 < 4, к =1,2,…, lim 5к = 0. А:-юо 3. Предположим, что конечный момент времеш^ i^ заранее не определен. Сформулируем задачу следующим образом: Какова должна быть сила реактивной тяги, чтобгл ракета достигла высоты h за кратчайнюе время? В этом случае / • ' • J{u) = / (It —> min, u{t) G и, xi{ti) = li, X3{ti) = т^. (1.0.8) Jto Эта задача называется задачей быстродействия. Все три типа задач, приведенных выше, хорошо известны каждому, кто знаком с теорией оптимального управления. Они являлись объектом аналитического и числешюго решения в течение всего времени сушествования теории оптимального управле1П1я. Следует заметить, что во всех трех типах задач начальное состояние динамического процесса задастся пачальпыми условиями (1.0.3). Что же происходит, когда одна группа переменных состояния задана в начальный момент времени^о, а другая группа задана в конечный момент времени? Например, пусть Xi{to) = О, X2{to) = О, X^ih) = 7770. (1.0.9) Тогда можно сформулировать другую задачу оптимального управления. Какова должна быть сила реактивной тяги, чтобы ракета достигла высоты Л, израсходовав при этом все топливо? В терминах целевого функционала это запишется как J (tO = (х,(^,) — Л)^ ^ min, ii{t)eU. (1.0.10) В данной постановке начальная масса тои-п1ва 777 не 0П1) еделена заранее, а определяется после того, как закон оптимального управления установлен: 777 = хз (/о) — «7о.Если мы зададим другую группу краевых условий a l^(/o) = О, X2{ti) = О, Хз (/1) = 7770 (1.0.11) для динамической системы (1.0.2), то для того же самого целевого функционала (1.0.10) цель оптимального управления можно сформулировать следующим об[)азом. Найти закон оптимального управления, при котором ракета достигнет высоты /г, израсходовав при этом все топливо, и на этой высоте зависнет (0:2(^1) = О).Задачам тина (1.0.2), (1.0.9) или (1.0.11) с фазовыми ограничениями или без них исследователями уделялось намного мсньню внимания, чем задачам, в которых начальное состояние динамического процесса определено, хотя они и могут рассматриваться как обобп1снны11 случай задач со свободным правым концом и поэтому называются задачами оптимального упрамепия с краевыми условиями. Здесь динамический процесс подчинен краевой задаче, которая, как известно, является обобщением задачи с начальными условиями или задачи Копп .^ Цель данной диссертации как раз и состоит в тп1ательиом и подробном изучении задач управления с краевыми условиями. Следует отметить, что лишь малая часть современных технических задач может решаться исключительно аналитическими методами [15, 16, 19, 22, 33, 35, 52, 53, 61, 64]. Следовательно, существует необходимость в разработке численных алгоритмов, позволяЮНЦ1Х решать задачи оптимального управления на компьютере. Здесь можно выделить две группы численных алгоритмов: методы первого и методы второго порядка. Методы первого порядка (или градиентные методы) оперируют производными не выше первого порядка от рассматриваемых функций, а методы второго порядка (или методы квазилинеаризации) опе1) ируют производни. ми не выше второго порядка от рассматриваемых функций. Применение принципа максимума ведет к так называемым методам последовательных приближений, кото1) ые используют понятие игольчатой вариации, чтобы улучшить значения имеющегося допустимого управления. Изначально задачи оптимального управления сводились к двухточечной краевой задаче, но аналогии с вариационным исчислешю’М. Тогда, естественно было применять для их решения численные методы решения краевых задач, такие как метод частных penieний [34, С2], метод комплиментарных функций и сопряженных переменных [G5], методы стрельбы [3, 43]. Эти методы заключаются в „угадывании“ начальных значений сопряженных переменных (т.е. множителей Лагранжа), интегрировании вперед уравнений ЭйлераЛагранжа и зате. м интерполяции по сопряженным элементам вплоть до удовлетворения конечных условий. Иногда уравнения Эйлера-Лагранжа .могут становиться нестабильными для интегрирования вперед и назад, что вызывает потерю числсгнюй точности для компьютерного решения. Градиентные методы, предложенные в [7,44, 63], исключают проблему нестабильности методов стрельбы, но они требуют выбора начальных приближений, достаточно близких к решению задачи. Сначала исходная динамическая система интегрируется вперед, и Ho: iyченная траектория сохраняется. Зате. м, сопряженная система интегрируется назад вдоль этой траектории, что, по сути, является стабильным интегрированием. Это определяет ихи1ульсную реакцию целевого функционала и ограничений па правом конце на возмущение неременных унравлегшя. После этого значения переменных управления изменяются в направлении, противоположном направлению градиента, и вся процедура повторяется до тех пор, пока копсчгпле условия не будут удовлетворяться в пределах заданной точности, и целевой функционал не будет болыпе убывать. Существуют также методы квазилииеарнзации [И], разработанные в качестве одной из реализаций абстрактного метода Ньютопа-Рафсона в банаховых пространствах [40, 41]. По сути дела квазилинеаризация включает в себя линеаризацию нелинейных уравнений вблизи ренюния, удовлетворяющего заданным краевым условиям, и решение последовательности линейных двухточечных краевых задач, где решение А:-той задачи берется в качестве начального для решения {к+ 1)-ой задачи. Данная методика требует значительно больше программирования, чем градиентные методы, а также не то*1ько хороших начальных приближений, по и аналитических выражений для первой и второй производной функций правых частей исходной системы и краевых условий. Методы, основанные иа принципе максимума (т.е. .методы последовательных приближений), впервые были предложены И. А. Крыловым и Ф. Л. Чериоусько [47, 48] и далее были разработаны други. ми отечественны.ми .математиками [30, 55, 56, 57, 72, 73, 74, 75, 76]. Методы принципа макси.му.ма развиваются как одна из реализаций метода прирашений. Метод последовательных приближешн» ! состоит в интегрировании исходной динамической систе. пл вперед и сопряженной системы назад па выбранном допустимом управлении и нахождении экстремального управления согласно принципу Л1акспму.ма. Далее, это доп’стимое управление улучшается посредством его игольчатой вариации с экстремальны. м управлегшем в некоторой малой окрестности, определяе. уюй вариационным пара.метро.м.После этого производится параметрическая минимизация приращения целевого функционала, ведущая к нахождению значения вариационного параметра. В конечном счете, улучшенное управление, соответствующее найденному значению вариационного параметра, берется в качестве следующего приближения, и вся процедура повторяется до тех пор, пока принцип максимума не будет удовлетворяться. Этот метод дает хорошие результаты для задач с ограниченным управлением, особенно для задач с точечными ограничения. ми на управление. Однако, пара. метрическую минилшзацию иногда трудно осуществить, поэтому сейчас разрабатываются некоторые успешные комбинации методов последовательных приближений с градиентными методами [74]. Все вышеиерсчислспные методы (метод1Л стрельбы, градиентные алгоритмы, квазилинеаризация и методы последовательных приближений) были 1) азработаны для задач оптимального управления со свободным или закрепленным правым концом, с ограничениями на управление или без таковых, с фиксированной или незаданной продолжительностью управляемого процесса. Во всех этих задачах начальное состояние динамического процесса было всегда задано, т. е. начальные условия для фазовых переменных были всегда определены. В данной диссертации принципиальное внимание уделено численным методам penieния, основанным на принципе максимума, и их комбинациям с градиентными алгоритмами для задач оптимального управления с краевыми условиями вместо начальных. Как было отмечено ранее, задачи управления с краевыми (вместо начальных) условиями не наи1ли должного внимания в науке. Всего лишь несколько работ па эту тему были опубликованы к настоящему времени. Работа [21] изучает условия оптимальности задачи, где состояние исходной системы должно остановиться на границе. Здесь также показано, что решение обобщенных уравнений Гамильтоиа-Якоби-Беллмаиа является единственным в классе {)егулярнглх функций. Задача управления рспюнием уравнения теплопроводности с согласованными ограниченными условиями и коэффициентами теплообмена в качестве управления рассмотрена в [54]. Выпуклая задача оптимального управления для линейной системы с двухточечными краевылш условия. п1 аптипериодического тина изучена в [S]. Работа [21] исследует принцип оптимальности Пеллмана, тогда как в данной диссертации в1П1мание будет уделено принципу максимума Поптрягина. Диссертация построена следующим образом. В Главе 2 приводится общая формулировка краевой задачи. Здесь выводится легко ироверяелюе условие, при котором линейная краевая задача имеет единственное решение, а также приводится аналитическая формула представления решения линейной краевой задачи, напоминаюпщя по форме и являющаяся обобщением формулы Коши для представления решения линейной задачи Коти. В этой главе также описываются алгоритмы решения первого и второго порядка для нелинейной краевой задачи, являющиеся по сути дела аналогами градиентных методов и квазилинеаризации. Для выводов использован метод приращений и другие. методики, общепризнанные в теории управления. Задача оптимального управления с краевыми условиялш поставлена в Главе 3. Три различных типа формулы прирап1епия целевого функционала получены с применением линеаризации и теории первой вариащш. необходимые условия оптимальности в форме принципа максимума сформулированы и доказаны с использованием аналога формулы Коши, который был получен в Главе 2. Глава 4 посвящена численным методам поиска оптимального управления, которые основаны на принципе максимума. Здесь рассматривается традициошн^п! метод последовательных приближений и его модификация на основе нетрадиционной формулы приращения, иолученной в главе 3, а также комбинация этих методов с градиентными алгоритмами. Несколько примеров решены с применением ко. шыотерной обработки для того, чтобы продемонстрировать потенциальные возможности рассмотренных алгоритмов. В Главе 5 рассмотрена особая ситуация, когда принцип максимума более не применим (возникновение так называемых особых управлений). Здесь получены необходимые условия оптимальности особых управлений второго порядка на основе формул приращения второго порядка с использованием метода приращений теории второй вариации и линеаризации. Также объясняется, каким образом необходимые условия опти. мальности второго порядка могут применяться на практике. Линейно-квадратичная задача с краевыми условиями рассматривается в Главе G как частный случай упрощения методики последовательных приближе1Н1Й на основе необходимых условий оптимальности второго порядка, которые могут применяться для нахождения как особых, так и неособых экстремальных управлений. Чтобы продемонстрировать практическую ценность и научную важность всех результатов, полученных в данной диссертации, в заключение приводится постановка и решение конкретной практической задачи оптимального управления с краевыми условиями. В завершение, в Главе 7 дается сжатое изложешю всей проделанной работы и намечаются несколько направлений возможных дальнейгиих исследований. Глава 2 Краевая задача. Существование решения и численные методы интегрирования.

Эта глава резюмирует диссертацию в целом, подчеркивает основные результаты и наме чает направления дальнейшего исследования. Глава 1 — вводная. В ней приводятся исторические аспекты задачи управления с кра евыми условиями, т. е. задачи, которая рассматривается в течение всей диссертации, а также дастся обзор современных исследований задач этого типа. Глава 2 посвящена краевым задачам. Значительными результатами данной главы счи таются легко проверяемое условие (2.2.7), при котором линейно-квадратичная задача име ет единственное решение, и аналитическое представление решения линейной краевой зада чи (2.3.1), наиоминаюшсе представление репхения краевой задачи с начальнылш условиями (так называемая формула Коши). Также показано, как обобщенную нелинейную краевую задачу мож1Ю свести к задаче минимизации выпуклой функции (2.4.3), характеризующей отклонение от краевых условий, чтобы иметь воз. можность применять вычислительные алгоритмы первого и второго порядка для ее решения. Для этого получены явные форму лы градиента и гессиана. В Главе 3 приводится общая постановка задачи оптимального управления с краевыми условиями, различные виды формул приращения целевого функционала и доказательство необходимых условий оптимальности в виде принципа максимума. Пстрадиционнг^ге фор мулы прирапхепия (3.2.15)-(3.2.1б), полученные с помощью подхода линеаризации [2, 67], считаются важным результатом, т.к. они дают более «глубокое» и более информативное приращение целевого функционала по сравнению с традиционной формуаюй и Ц1) иводят к более эффективным численным алгоритмам с более «глубокой» итерацией, описанны. м в Главе 4. Особенный упор делается па доказательство принципа максимума, которое проводится с использованием аналога формулы Коши, полученном в Главе 2. Глава 4 описывает алгоритмы поиска оптимального управления, основанные на прин ципе максимума. Сначала традиционная схема метода последовательных приближений подстраивается под задачи оптимального управления с краевыми условиями, затем вво дится модификация этого метода с более «глубокой» итерацией, и наконец, комбинация метода последовательных приближений и градиентного метода приводит к двухпараме трическому итерационному процессу. Обсуждаются достоинства и недостатки каждого метода, доказывается сходимость первого (Алгоритм 4.1) и последнего (Алгоритм 4.3) методов (второй метод является частным случае. м первого), потенциальные возможности каждого метода демонстрируются на примерах. Калчдый алгоритм имеет салюстоятсль ную значимость. Глава 5 посвящена исследованию особых управлений. В ней дается обзор частных слу чаев, в которых не применим припцип максимума и существует необходимость в других условиях оптимальности. Такие условия оптимальности второго порядка (5.3.15) впервые получены на основе формул приращения второго порядка, с использованием метода при ращений, обобщения теории второй вариации и подхода линеаризации в простой аналогии с условиями оптимальности первого порядка (т.е. собственно принципом максимума). В Главе 5 подчеркивается значение этих условий в качестве орудия обнаружения и прове]);

ки кандидатов на особое управление и как условий, имеюпщх большой потенциал для численного поиска оптимальных управлений. В Главе б рассматривается линейно-квадратичная задача с краевыми условиями как частный случай общей нелинейной задачи. Метод квадратичных аппроксимаций приводит к значительному упрощению метола последовательных приближений на основе условий оптимальности второго порядка. Этот метод подходит для поиска как особых, так и псо собых управлений. Он считается значительным результатом Главы б. Чтобы подвести итог результатов всей исследовательской работы, проведенной в данной диссертации, в последнем разделе Главы б рассмотрена и решена одна практическая задача управления с краевыми условиями, что и завершает основную часть диссертации. Даже если этот пример не совсем профессионален, он ясно показывает, что задачи управления с краевгл ми условиями не просто выдумка математиков, они имеют практическую значимость, и поэтому должны исследоваться далее. Таким образом, в качестве научных достижений и научных результатов диссертации можно выделить: • условие разрешимости и аналитическое представление решения линейной краевой задачи- • нетрадиционные формулы приращения и доказательство принципа максимума- • численные алгоритмы поиска оптимальных управлений- • необходимгле условия оптимальности второго порядка для особых управлений- • метод квадратичной аппроксимации и его приложения. Теперь, когда установлена значимость задач оптимального управления с краевыми условиЯхП1 для современной науки, их дальнейиюе исследование может принести ценные результаты. Можно указать несколько направлений их дальнейшего изучения. Очевидно, что для краевых задач характерны различные неопределенности и особенности, следова тельно, они являются неотъемлемой частью и задач управления с краевы. чш условиями. Таким образом, было бы неплохо провести детальный анализ параметрических и динами ческих неопределенностей, рассмотреть вопрос о стабильности и, возюжно, установить свойства робастности, даже если только для частных случаев. В теории, стоит попробовать получить необходимые условия опти. мальности для осо бых управлений в общем, нелинейном, случае. В данной диссертации они доказаны только для задач управления с линейными краевыми условиями. На практике, хорошо бы подогнать и улучнщть компьютерную программу математи ческих вычислений с по. юншю новой, только выходящей версии Mathematica 3.0, которая включает, как обещают, пакет прикладных программ для решения краевых задач. Ком пьютерные программы, использованные в данной диссертации, написаны на Fortraii-77 и скорее рассматриваются как образовательный и тсстируюнщй инструмент, чем как про фессиональный инженерный пакет.