一类基于强制函数的自适应信赖域算法

《一类基于强制函数的自适应信赖域算法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第２１卷第５期运筹与管理Ｖｏｌ．２１，Ｎｏ．５２０１２年１０月ＯＰＥＲＡＴＩＯＮＳＲＥＳＥＡＲＣＨＡＮＤＭＡＮＡＧＥＭＥＮＴＳＣＩＥＮＣＥＯｃｔ．２０１２一类基于强制函数的自适应信赖域算法１２王献锋，　张红霞（１．西京学院基础部，陕西西安７１０１２３；２．渭南高级中学，陕西渭南７１４０００）摘要：本文提出一种无约束优化问题的自适应信赖域算法，该算法利用强制函数构造了灵活的自适应信赖域策略。若选取不同形式的强制函数，该信赖域策略可演变为多种自适应信赖域形式。在一定的假设条件下，给出了算法的收敛性，并通过数值实验验证了算法的有效性。关键词：最优化；信赖域算法；自适应策略；强制函数中图分类号：Ｏ２

2、２１．２　　　文章标识码：Ａ文章编号：１００７-３２２１（２０１２）０５-０１３５-０４AnAdaptiveTrustRegionMethodBaseontheForcingFunctionforUnconstrainedOptimizationProblems１２ＷＡＮＧＸｉａｎ-ｆｅｎｇ，ＺＨＡＮＧＨｏｎｇ-ｘｉａ（１．DepartmentofFundamentalCoursesofXijingUniversity，Xi’an７１０１２３，China；２．WeinanSeniorSchool，Weinan７１４０００，China）Abstract：Ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｎａ

3、ｄａｐｔｉｖｅｔｒｕｓｔｒｅｇｉｏｎａｌｇｏｒｉｔｈｍｆｏｒｕｎｃｏｎｓｔｒａｉｎｅｄｏｐｔｉｍｉｚａｔｉｏｎ，ｔｈｅａｌｇｏｒｉｔｈｍｉｎ-ｔｒｏｄｕｃｅａｆｌｅｘｉｂｌｅｓｔｒａｔｅｇｙｔｏｇｅｔｔｈｅｔｒｕｓｔｒｅｇｉｏｎｒａｄｉｕｓｂｙｍｅａｎｓｏｆｔｈｅｆｏｒｃｉｎｇｆｕｎｃｔｉｏｎ．Ｓｅｌｅｃｔｉｎｇｄｉｆｆｅｒｅｎｔｆｏｒｃ-ｉｎｇｆｕｎｃｔｉｏｎ，ｗｅｃａｎｇｅｔｄｉｆｆｅｒｅｎｔｔｒｕｓｔｒｅｇｉｏｎｓｔｒａｔｅｇｙｉｎｔｈｉｓｎｅｗａｌｇｏｒｉｔｈｍ．Ｕｎｄｅｒｃｅｒｔａｉｎｃｏｎｄｉｔｉｏｎｓ，ｔｈｅｇｌｏｂａｌｃｏｎｖｅｒｇｅｎｃｅｏｆｔｈｅａｌｇｏｒｉｔｈｍｉｓｐｒ

4、ｏｖｅｄａｎｄｔｈｅｎｕｍｅｒｉｃｔｅｓｔｓｈｏｗｓｔｈｅｖａｌｉｄｉｔｙｏｆｉｔ．Keywords：ｏｐｔｉｍｉｚａｔｉｏｎ；ｔｒｕｓｔｒｅｇｉｏｎａｌｇｏｒｉｔｈｍ；ａｄａｐｔｉｖｅｓｔｒａｔｅｇｙ；ｆｏｒｃｉｎｇｆｕｎｃｔｉｏｎ０　引言考虑无约束优化问题：ｍｉｎf（x）（１）x∈Rnn其中f∶R→R是连续可微函数。线性搜索方法和信赖域方法是求解无约束优化问题的两类主要的数［１］值方法，其中信赖域方法起源于Ｐｏｗｅｌｌ１９７０的研究，该类算法有较好的适应性和稳定性，因此得到广泛［２］的关注和应用。信赖域方法通过求解如下信赖域子问题来获得试探步：T１Tｍｉｎφk（d）＝gkd＋dBkd（２

5、）２ｓ．ｔ．‖d‖≤Δk２其中gk＝Δf（xk），Bk是近似于Ｈｅｓｓｉａｎ阵Δf（xk）的对称矩阵，Δk是信赖域半径。信赖域半径的选取是求解信赖域子问题（２）的关键因素之一，其决定了信赖域试探步的大小，影响算法的有效性和收敛速度。因［３～９］［３］此许多学者提出了自适应信赖域算法。Ｓａｒｔｅｎａｅ首先提出了一个自动确定初始信赖域半径的ＩＴＲＲ收稿日期：２０１１-０３-２７作者简介：王献锋（１９６５-），男，陕西渭南人，副教授，硕士，硕士研究生导师，从事最优化理论及其应用研究。１３６运筹与管理　　　　　　　　　　　２０１２年第２１卷p［４］c‖gk‖算法．章祥荪相继提出了两种自适应信赖域策略

6、，其信赖域半径的选取分别为Δk＝和Δk＝γkp３c‖gk‖＾＾，其中０＜c＜１，γk＝ｍｉｎ｛‖Bk‖，１｝，p为非负整数，t是使得Bk＝Bk＋tI是对称正定矩阵的最小T＾gkBkgk非负整数。基于此思想，本文利用强制函数的特性，结合迭代点的梯度信息构造了一类更灵活的信赖域半［４～９］径选取策略，该信赖域策略在不同的形式下可演变为许多已有的信赖域选取方式，一定程度上拓展了信赖域半径的选取方法。１　自适应信赖域策略及其算法本节将介绍强制函数的概念，自适应信赖域策略及其对应的信赖域算法。定义1函数τ（t）：［０，＋∞］→［０，＋∞）对于序列｛tk｝满足条件：若ｌｉｍτ（tk）＝０则ｌｉｍtk＝０

7、，那k→＋∞k→＋∞么称函数τ（t）为强制函数（Ｆｏｒｃｉｎｇｆｕｎｃｔｉｏｎ）。［１０，１１］强制函数在很多算法分析中都有应用，本文将利用其特性构造自适应信赖域策略。定义2若取tk＝‖gk‖，而算法又能使得ｌｉｍτ（‖gk‖）＝０，则根据强制函数的特性，可得k→＋∞ｌｉｍ‖gk‖＝０，即得问题（１）的稳定点。满足定义１的条件的τ（‖gk‖）是形式是灵活多样的：如简单地k→＋∞pp３c‖gk‖c‖gk‖取τ（