Експериментальне обґрунтування якості градієнтних методів оптимізації

Abstract

Розглянуті практичні аспекти реалізації широкого кола градієнтних методів мінімізації функцій. На прикладі еліптичних та не опуклих функцій проведено експериментальне дослідження основних параметрів збіжності модифікацій методу градієнтного спуску. Модифікації визначали вибір кроку та напрямку спуску, технології з розширенням просторів у створенні градієнтів та методи, що будують напрямки спуску з допомогою градієнтів. Ефективні методи враховують особливості двох послідовних напрямків спуску, які теоретично забезпечують прискорену збіжність, але це потребує експериментального підтвердження. Різні модифікації мають різну ефективність для різних класів задач. Визначенню ефективних модифікацій посвячена робота. На прикладі еліптичних та не опуклих функцій проведено експериментальне дослідження основних параметрів збіжності модифікацій методу градієнтного спуску.

Рассмотрены практические аспекты реализации градиентных методов безусловной минимизации. На примере эллиптических и не выпуклых функций проведено экспериментальное исследование основных параметров сходимости модификаций метода. Модификации определяли выбор шага и направления спуска, технологии с расширением пространств в создании градиентов и методы, строящие направления спуска с помощью градиентов. Эффективные методы учитывают особенности двух последовательных направлений спуска, которые теоретически обеспечивают ускоренную сходимость, но это требует экспериментального подтверждения. Существует множество эффективных методов оптимизации выпуклых негладких функций, использующих градиент функции для определения направления нахождения новой точки. Эти технологии используются также в качестве основы построения многих других многочисленных методов оптимизации, имеющих практическое применение.

Practical aspects of realization of a wide range of gradient methods of function minimization are considered. An experimental study of the main parameters of the convergence of modifications of the gradient descent method was performed on the example of elliptical and nonconvex functions. Modifications determined the choice of step and direction of descent, technologies with the expansion of spaces in the creation of gradients and methods that build directions of descent with the help of gradients. Effective methods take into account the features of two consecutive descent directions, which theoretically provide accelerated convergence, but this requires experimental confirmation.