Математическое моделирование процессов резания


Численные методы оптимизации


Помимо аналитических методов оптимизации, в практике широко применяются численные методы оптимизации, причем при численной оптимизации дифференцируемых функций во многих случаях также используется понятие градиента.

Рассмотрим некоторые из методов численной оптимизации. Для простоты изложения будем полагать, что модель оптимизации, представленная в форме (4.2), не содержит ограничений. Тогда мы можем говорить, что непрерывная дифференцируемая функция задана во всех точках пространства

. Для произвольной точки
, в которой
, вектор градиента
 задает направление наискорейшего роста функции
, а обратное ему направление -
, называемое антиградиентом, - направление наискорейшего убывания этой функции. Это значит, что движение (на очень малый шаг) в направлении градиента функции обеспечивает наибольший рост, а в направлении антиградиента - наибольшее уменьшение этой функции. Из сказанного вытекает общая идея градиентного спуска (подъема): отправляясь из заданной точки
, строим последовательность точек
, так, что перемещение от каждой точки
 к точке
, производится в направлении антиградиента (градиента) в точке
 [1, С.272; 5, С.225; 15, С.42].

Определение 4.2

Метод градиентного спуска - это метод численной оптимизации гладких функций многих переменных, при котором приближение к экстремуму производится так, что

                   

,               (4.5)

где

- вектор единичной длины, имеющий то же направление, что и
.

Существуют различные модификации метода градиентного спуска в зависимости от того, каким образом выбирается величина множителя

, которая должна уменьшаться по мере приближения к точке экстремума. Наиболее простым способом обеспечения требуемого уменьшения шага является выбор длины шага
, пропорциональной длине вектора градиента в точке
.

Определение 4.3

Пропорционально-градиентный метод - один из видов метода градиентного спуска, при котором длина шага на (i+1)-м приближении определяется из условия

             

,
,
.         (4.6)

При использовании полношагового градиентного метода (метода наискорейшего спуска) каждый шаг градиентного спуска делается на максимально возможную длину, обеспечивающую требуемое направление изменения значения функции.


- Начало -  - Назад -  - Вперед -