min-max问题的截断凝聚光滑拟牛顿法及其在模糊神经网络学习中的应用

论文摘要

min-max问题是一类重要的非光滑优化问题,在投资组合、工程设计、大型故障诊断等很多实践领域中有着广泛的应用。对于求解无约束min-max问题的凝聚光滑化方法的研究尽管取得了非常丰富的成果,但是随着大数据时代的到来,计算技术的进步和数据收集、传输和存储技术的不断升级,使得实际面临问题的规模越来越大,因此,研究大规模min-max问题的高效求解方法仍然是一个重要的课题。本文主要研究了求解大维数且带有大量组成函数的min-max问题的凝聚光滑拟牛顿法,及引入凝聚光滑技术训练带有min和max逻辑算子的模糊神经网络。我们通过深入研究求解min-max问题的截断凝聚光滑牛顿法,利用拟牛顿修正公式获得近似的Hessian矩阵,结合简单的凝聚参数调整准则,提出高效的求解大规模的无约束min-max问题的拟牛顿法。并且通过引入凝聚光滑技术,研究带有min和max算子的模糊神经网络的光滑梯度法,提出了渐进光滑的梯度凝聚光滑训练算法,有效的减缓算法病态现象的发生,克服了以往光滑训练算法使得网络训练过早停止或训练过慢的问题。本文的主要内容概括为以下几个方面:1.在第一章中,主要介绍本文所研究的min-max问题模型及其应用背景,非常全面地评述了求解min-max问题的相关理论及各类算法,包括直接对max型函数进行凝聚光滑的方法,概括了凝聚光滑稳定牛顿型及高斯-牛顿型法的研究成果,以及凝聚光滑在min和max逻辑算子的模糊神经网络训练中的最新应用,进而引出本文所研究的问题。最后,简述了研究动机、研究思路以及本论文内容的结构安排。2.在第二章中,提出Armijo线搜索下的截断凝聚光滑拟牛顿法和信赖域策略下的截断凝聚光滑对称秩-1法。这简化了截断准则和凝聚参数更新准则。同时,在信赖域框架下,任意迭代点处都可以进行近似Hessian矩阵的对称秩-1更新且矩阵可能不是正定矩阵。数值结果表明,相比于其他同类的算法,当问题的维数增加且组成函数较多时,所提算法具有优势。3.在第三章中,为求解大维数且带有大量组成函数的无约束min-max问题,我们提出了一种高效的截断凝聚光滑BFGS拟牛顿法。通过相邻迭代点和梯度信息,给出两个条件来决定是否进行BFGS更新。并在组成函数强凸的假定下,任意凝聚参数下的近似Hessian矩阵及其逆矩阵都是有界的。再结合一个简单的凝聚参数调整准则,提出求解大规模凸min-max问题的凝聚光滑BFGS拟牛顿法。最后,我们分析算法的全局收敛性质及内迭代序列的收敛性质。数值结果表明,同带有截断策略或积极集策略的凝聚光滑算法相比较,有限存储格式的BFGS凝聚光滑算法具有非常明显的优势。4.在第四章中,我们提出渐进凝聚光滑算法来训练带有min和max逻辑算子的模糊神经网络。考虑感知机型的网络结构,应用凝聚光滑技术,构造网络评价函数的凝聚光滑函数,利用凝聚参数调整规则,提出渐进的二次凝聚光滑的梯度型模糊神经网络训练方法。我们讨论了原始min-max-min问题的最优性条件,探讨了原始优化问题同极小化渐进光滑问题之间的联系,以及算法的全局收敛性质。数值结果显示,与现有的光滑化算法相比较,所提算法有较高的计算效率,能够克服以往光滑算法训练网络时出现的算法过早停止或者训练过慢的问题,大大缓解以往算法求解过程中产生的病态现象,能更有效地训练网络。

论文目录

• 摘要
• Abstract
• 1 绪论
•   1.1 研究问题及其应用背景
•   1.2 相关理论与算法介绍
•   1.3 本文的研究动机及研究思路
•   1.4 本文的结构安排
• 2 解min-max问题的截断凝聚光滑拟牛顿法
•   2.1 背景介绍
•   2.2 预备知识
•     2.2.1 凝聚光滑
•     2.2.2 截断凝聚光滑
•   2.3 截断凝聚光滑拟牛顿法
•     2.3.1 Armijo线搜索下的截断凝聚光滑拟牛顿法
•     2.3.2 截断凝聚光滑对称秩-1信赖域法
•   2.4 数值实验
•   2.5 小结
• 3 解大规模凸min-max问题的截断凝聚光滑BFGS法
•   3.1 背景介绍
•   3.2 截断凝聚光滑BFGS法
•     3.2.1 一个新的截断凝聚光滑BFGS算法
•     3.2.2 几个重要结果
•     3.2.3 算法的全局收敛性
•     3.2.4 内迭代序列的R-线性收敛和超线性收敛
• j的选择'>    3.2.5 数值实验中ε_j的选择
•   3.3 数值实验
•   3.4 小结
• 4 渐进近似框架下的凝聚光滑max-min模糊神经网络梯度算法
•   4.1 背景介绍
•   4.2 max-min模糊神经网络输出的光滑近似
•     4.2.1 max-min模糊神经网络的结构
•     4.2.2 max-min函数的二次凝聚光滑近似
•     4.2.3 带有渐进近似框架的凝聚光滑梯度训练算法
•   4.3 算法的收敛性结果
•   4.4 数值模拟结果
•   4.5 算法的收敛性结果证明
•     4.5.1 预备知识
•     4.5.2 算法的全局收敛性
•   4.6 小结
• 5 结论和展望
• 参考文献
• 攻读博士学位期间发表学术论文情况
• 致谢
• 作者简介

文章来源

类型: 博士论文

作者: 路云龙

导师: 于波

关键词: 问题,凝聚光滑,截断策略,光滑拟牛顿法,模糊神经网络

来源: 大连理工大学

年度: 2019

分类: 基础科学,信息科技

专业: 数学,自动化技术

单位: 大连理工大学

分类号: O242.23;TP183

DOI: 10.26991/d.cnki.gdllu.2019.003545

总页数: 117

文件大小: 4814K

下载量: 36