ЧИСЕЛЬНЕ РОЗВ’ЯЗАННЯ ЗАДАЧ оптимального керування

1 Дискретизація задачі із закріпленим лівим і вільним правим кінцем. Необхідні умови оптимальності

Розглянемо неперервну задачу оптимального керування

,(1)

,(2)

, , . (3)

Виконаємо дискретну апроксимацію даної задачі. Для цього розіб’ємо відрізок точками , і будемо обчислювати значення цільового функціонала і закону руху тільки в точках розбиття: , , . Закон руху в цьому випадку можна записати у вигляді:

.

Тепер дискретна задача оптимального керування, що апроксимує неперервну задачу (1) – (3), матиме вигляд:

, , (4)

, (5)

(6)

, . (7)

Для пошуку оптимального розв’язку отриманої дискретної задачі може бути застосований метод множників Лагранжа. Функція Лагранжа має вигляд:

,

,(8)

де .

Обмеження на керування введемо далі, під час реалізації чисельного методу. Відзначимо, що перед першим доданком стоїть знак «–», оскільки і якщо не додавати «–», то характер екстремуму початкової функції зміниться.

Якщо – локально-оптимальний процес для задачі (4) – (7), то існують такі нерівні одночасно нулю множники Лагранжа , , , , що матимуть місце наступні умови:

1. або

,

,

. (10)

2. або

,

. (11)

Із (9) одержимо ітераційні співвідношення для спряжених змінних , а з (10) – співвідношення для :

, (12)

. (13)

Перепишемо співвідношення (12) у вигляді:

.

Очевидно, що останнє співвідношення є аналогом спряженої системи для неперервних задач керування. Дійсно,

.

Якщо , то з останнього співвідношення одержимо

.

Зі співвідношення (13) випливає, що .

Сформулюємо критерій оптимальності для задачі (4) – (7). Вважатимемо, що функції , неперервно-диференційовані за змінними і опуклі за . Тоді для локально-оптимального процесу існують такі множники Лагранжа , , , , не всі рівні нулю одночасно, що матимуть місце необхідні умови екстремуму:

1) умови стаціонарності в точці :

;

2) . (14)

Розпишемо (14), використовуючи вираз для функції Лагранжа:

Перетворимо вираз під знаком мінімуму, переходячи до довільного :

Або

Якщо , то з останнього співвідношення одержимо

2 Ітераційний метод розв’язання дискретної задачі оптимального керування з двійним перерахуванням

Розглянемо ітераційний метод пошуку оптимального керування задачі (4) – (7). Суть методу полягає в тому, що на кожній ітерації обчислюються два вектори: і . Перший із них містить -е наближення для керувань у моменти часу для системи (14), при , а другий – -е наближення для фазових станів системи в ці ж моменти часу. Отже, на кожній ітерації ми одержуємо процес , що є -м наближенням до шуканого оптимального процесу.

Контроль у методі подвійного перерахування полягає в повторному перерахуванні результатів задачі і порівнянні отриманих даних для різних значень кроку розбиття. У випадку розбіжності виконується корекція і обчислення повторюються.

Розглянемо алгоритм методу.

1. Задаємо крок розбиття та точність обчислень .

2. Задаємо початкове наближення – припустимий набір керувань на кожному кроці – початкову стратегію керування:

, , ,

де – наближення керування в момент на ітерації .

3. За визначеною в п. 2 стратегією керування будуємо фазову траєкторію процесу

, ,

на початкової ітерації , використовуючи початкові умови і різницеві співвідношення, що апроксимують рівняння руху:

, .

4. Визначаємо початкове наближення відповідно до (5).

5. Знаходимо спряжені змінні за формулами (12) – (13).

Визначаємо наступні наближення до оптимального керування ,

в момент як розв’язки задачі (15) або (16):

, .

7. Обчислюємо відповідну стратегії траєкторію

за формулами (4), (6):

, , .

8. Знаходимо наступне наближення цільового функціонала

за формулою (5).

9. Якщо , то переходимо до п. 10, інакше вважаємо, що

, , і переходимо до п. 13.

10. Перевіряємо, чи виконується задана точність обчислень. Якщо

і ,

то переходимо до п. 13, інакше – до п. 11.

11. Позначаємо

, , .

12. Виконуємо наступний крок ітераційного методу – п. 5.

13. Позначаємо

, , – розв’язок, отриманий із кроком розбиття .

1 Якщо крок не ділився, то переходимо до п. 15, інакше – до п. 1

15. Ділимо крок

. Тоді і переходимо до п. 2 при .

1 Перевіряємо задану точність. Якщо

і ,

то переходимо до п. 18, інакше переходимо до п. 17.

17. Позначаємо

, , , , і переходимо до п. 15 – наступного кроку подвійного перерахування.

18. , , – розв’язок задачі.

Кінець алгоритму.

3. Оптимальне стохастичне керування: формулювання із зовнішнім інтегралом

Розглянемо відображення , що задане формулою

, (17)

за таких припущень:

 параметр приймає значення з вимірного простору . Для будь-якої фіксованої пари задана ймовірнісна міра на просторі , а символ у формулі (12) означає зовнішній інтеграл відносно цієї міри. Отже,

;

 функції і відображують множину відповідно в множини і , тобто , ;

 скаляр додатний.

Формули (1), (6) є окремими випадками відображення з (12). Очевидно, що відображення (1) для детермінованої задачі випливає з (12), якщо множина складається з єдиного елемента, а відображення (6) (для стохастичної задачі зі зліченним простором збурень) відповідає випадку, коли множина зліченна, а є -алгеброю, складеною із всіх підмножин .

Очевидно, що відображення з (12) задовольняє припущенню монотонності. Якщо на множини , і функції , і накласти вимоги вимірності, то витрати за кроків можна визначити в термінах звичайного інтегрування для будь-якої стратегії , для якої функції , вимірні.

Для початкового стану і стратегії ймовірнісні міри

, ...,

у сукупності із системою рівнянь

, (18)

визначають єдину міру на -кратному прямому добутку копій простору . У випадку, якщо , , і виконується одна з умов

або

,

то функція витрат за кроків, що відповідає вимірній стратегії , приводиться до звичайного вигляду

,

де стани , виражено як функції змінних , ..., за допомогою рівнянь (13) та початкового стану .

Рекурентне співвідношення методу динамічного програмування для розв’язання багатоетапних задач оптимального стохастичного керування зі скінченним горизонтом можна записати так:

, ,

де – щільність розподілу величини .

4 Оптимальне стохастичне керування: мультиплікативний функціонал витрат

Розглянемо відображення , що задане формулою

, (19)

за припущення, що параметр приймає значення зі зліченної множини відповідно до заданого розподілу ймовірностей, що залежать від стану і керування . Вважатимемо також, що , , , . Тоді відображення з формули (14) задовольняє припущенню монотонності.

Якщо , , то задача оптимального керування з мультиплікативним функціоналом витрат і скінченним горизонтом матиме такий вигляд:

, (20)

. (21)

а відповідна задача з нескінченним горизонтом:

, (22)

. (23)

Границя в (23) існує, якщо : або .

Самостійний інтерес становить задача з експоненціальною функцією витрат

,

,

де .

Для розв’язання багатоетапних задач оптимального стохастичного керування з мультиплікативним функціоналом витрат використовується таке рекурентне співвідношення алгоритму динамічного програмування:

, ,

де – щільність розподілу величини .

5. Мінімаксне керування

Розглянемо задачу керування системою, у якій некерованими впливами є стратегії супротивника (або явища природи) , , що обираються залежно від поточного стану і керування . Вважатимемо, що припустимі стратегії супротивника приймають значення із множини , . Будемо обчислювати стратегію керування , орієнтуючись на найгіршу поведінку супротивника. Розглянемо відображення , задане формулою

,

за таких припущень:

 параметр приймає значення з деякої множини , а – непуста підмножина при будь-яких , ;

 функції і відображують множину в множини та відповідно, тобто , ;

 скаляр додатний.

За таких умов припущення про монотонність для відображення має місце. Якщо при цьому , і для всіх , , , то відповідну -крокову задачу мінімаксного керування можна сформулювати так:

, (17)

. (18)

Задача з нескінченним горизонтом формулюється аналогічно:

, (24)

. (25)

Границя у співвідношенні (25) існує при виконанні будь-якої з умов:

, , , ;

, , , ;

, , , , і деякого .

Для розв’язання багатокрокових мінімаксних задач оптимального стохастичного керування рекурентне співвідношення алгоритму динамічного програмування використовується у такому вигляді:

, ,

,

.