导读:本文包含了学习收敛性论文开题报告文献综述、选题提纲参考文献，主要关键词:迭代,矩阵,正定,收敛性,算法,分数,内蕴。
学习收敛性论文文献综述写法
杨瑞[1]（2019）在《多步强化学习算法的收敛性分析》一文中研究指出在强化学习(Reinforcement Learning)算法理论中,最近有学者提出了一个新的估值算法Q(σ),这里σ是采样度(degree of sampling),这是一个介于全采样(full-sampling)和非采样(no-sampling)的新方法。Q(σ)统一了Sarsa和Expected Sarsa等传统算法,但是Q(σ)的提出者只在实验上验证了算法的有效性。该文对Q(σ)的收敛性作了理论分析,证明了在一定条件下Q(σ)是收敛的。(本文来源于《计算机与数字工程》期刊2019年07期）
陈再毅[2]（2018）在《机器学习中的一阶优化算法收敛性研究》一文中研究指出由于具有对目标函数的假设较弱,收敛速度快和易于实现等特点,一阶优化算法被广泛应用于求解机器学习模型参数。然而传统的一阶优化算法在实现时会遇到各种各样的问题。一方面,随着数据规模的爆发式增长和深度神经网络等机器学习模型中参数规模不断增加,传统的确定性数值优化算法有计算量过大的问题。另一方面,数值优化领域中讨论的一阶算法分析往往基于最坏计算复杂度。由于实际当中最坏情况往往不会出现,实际中传统的随机梯度下降等方法在求解过程中可能浪费大量的迭代。为此,机器学习领域的研究者们提出了ADAGRAD等针对凸问题的随机自适应算法,这些方法通过利用随机梯度的历史信息来自适应地更新步长,在实际应用中通常有更好的性能。但是,目前大量的机器学习任务(如深度神经网络)的目标函数为非凸函数,在非凸情况下大部分上述算法在理论层面尚缺乏收敛性保证。综上,研究实用、收敛速度更快的优化算法是机器学习理论中的一个重要挑战。为此,本文重点研究能同时提升理论收敛速度和实际表现的一阶优化算法,具体包括四个方面:1)研究了 KL不等式在非凸矩阵秩最小化问题上的应用,证明了当目标函数满足KL性质时关于奇异值的非凸规范化项可被传统的近邻映射算法求解,给出了近邻映射的闭形式,并证明当函数的可微部分的梯度是利普斯西连续时,算法有O(1/ε)的渐进计算复杂度;2)提出了求解满足强凸和局部误差界条件的问题的强自适应随机优化算法(SADAGRAD),证明了该算法具有关于随机次梯度范数的自适应计算复杂度,且复杂度在最坏情况下分别为O(1/ε)和O(1/ε2(1-α)),其中α ∈[0,1)为函数的局部误差界常数。当随机梯度稀疏时,SADAGRAD可以有效降低计算复杂度,并减少优化变量规模对算法效率的影响;3)提出了阶段化的一阶优化算法框架,该算法框架通过把求解非凸问题转化为递归求解凸问题,将自适应算法等成熟的凸优化方法扩展到非凸优化当中。可以证明在该算法框架下,大量成熟的凸优化算法求解非凸问题时可以达到目前最优的收敛速度;4)最后,针对非凸问题提出了阶段化加速的方差减小随机梯度下降法(Stagewise-Katyusha),当 μ-weakly convex 的目标函数由 n 个 L-smooth 的函数和一些相对简单的项组成时,该算法在条件数L/μ≥4n/3时可以达到算法复杂度的下界,且比在该条件下取得最优计算复杂度的其它算3法内存开销更低。(本文来源于《中国科学技术大学》期刊2018-11-03）
杨轩,阮小娥,王彭[3]（2018）在《时变切换信号驱动的线性连续切换系统的迭代学习控制收敛性分析》一文中研究指出针对一类由任意时变切换信号驱动并在某个时间区间可重复运行的切换系统,该文研究一阶和高阶PD-型迭代学习控算法.利用卷积积分的广义Young不等式,在Lebesgue-p范数意义下分析跟踪误差性态,得出算法收敛的充分条件,并量化了状态矩阵对学习效果的影响,数值仿真验证了理论结果的可行性和有效性.(本文来源于《数学物理学报》期刊2018年03期）
杨亮亮,胡建[4]（2018）在《基于最优控制迭代学习算法的收敛性研究》一文中研究指出针对迭代学习控制算法在线性离散系统中的收敛性问题,建立了直线电机的离散化数学模型,并将迭代学习控制算法运用到电机控制系统,对其稳定性和收敛性进行了研究。提出了一种基于最优控制理论的迭代学习控制算法,利用迭代学习控制的收敛条件对所提出的控制算法的稳定性和收敛性条件进行了分析,并在前馈及反馈二自由度控制结构的基础上进行了控制器的设计;同时通过对前馈控制力引入一个加权矩阵系数,提高了基于最优控制理论的迭代学习控制算法的收敛速度,将其运用到Matlab仿真平台和实际机电控制系统。研究结果表明:基于最优控制理论和加权矩阵系数的迭代学习控制算法收敛效果显着,提高了运动轨迹跟踪性能。(本文来源于《机电工程》期刊2018年04期）
刘焕香[5]（2018）在《核正则化回归学习和向量排序的收敛性分析及应用》一文中研究指出在经济社会问题中,许多实际任务都可以转化为回归问题,比如,市场趋势预测、人口预测、经济发展因素分析、股价预测等。排序学习在实际中也有许多应用的例子,比如,作为一个有力工具,排序学习在信息检索、质量控制、生存分析、计算生物学等方面有着许多实际应用价值。在回归分析中,经常遇到非线性问题,此时常用的回归方法,如多元线性回归、多元逐步回归、线性分位数回归等方法,就不能对数据进行有效拟合和预测了。核函数的表示方法,通过定义一个核函数作为非线性变换,将输入空间的非线性数据映射到高维的特征空间,然后在这个线性的特征空间中构造回归函数,而且只需要计算数据在特征空间的内积就可以表示数据的特征。因此利用核函数技术,不失为解决非线性回归问题的一种有效方法。在进行回归分析时,基于经验风险最小化准则的回归算法属于不适定问题,在样本量较小时容易出现“过拟合现象”,虽然对训练数据有较高的拟合度,但是对未知数据的预测能力差,模型的复杂度过大。为此,Tikhonov提出了正则化的方法,在期望风险后面加上表示模型复杂度的正则化项,在这种结构风险最小化准则下进行回归学习。核正则化方法同时结合核函数技术和正则化方法的优点,是学习理论当前采用的一种新方法。本文基于核正则化方法,在最小平方损失下,对回归学习和向量排序学习的收敛速度进行研究。对算法的误差上界进行量化分析,以此来衡量根据训练样本学习到的算法对未知数据的预测能力,探讨算法的收敛速度是否受到再生核空间的凸性、逼近性能和容量的影响,这是学习理论中的一个焦点问题。本文的主要研究内容和创新点体现在以下叁个方面:1.近年来已经有许多文献对再生核Hilbert空间的正则化回归学习算法的收敛速度进行了研究。但是由于Hilbert空间的结构简单所以有局限性,实际上许多数据不满足由Hilbert空间的内积诱导的距离。因此有必要扩大假设函数空间,Banach空间就是一个合理的选择。对再生核Banach空间的正则化回归学习算法的收敛性进行分析,这是一个新的研究领域,一个关键的理论问题是Banach空间的几何性质如何影响收敛速度。论文的第叁章在Banach空间B具有q-一致凸性(其中q>l),有一致连续的再生核等假定下,对再生核Banach空间的正则回归学习算法的收敛速度进行了研究,分别推导出了以期望均值和经验均值表示的学习速度,结果表明Banach空间的一致凸性会影响核正则化回归算法的学习速度,改进了现有文献中得到的学习速度。之后给出符合定理条件的再生核Banach空间的例子,说明了定理条件的合理性。2.对于Banach空间无凸性要求的情况(= l),目前尚未见到对此时再生核Banach空间的正则化回归算法的收敛性进行分析,论文的第四章展开了这方面的研究,以期望均值的形式推导出了该核正则化回归算法的泛化误差的概率上界。研究结果表明此时正则化回归算法的期望误差上界与样本量、再生核Banach空间的复杂度、逼近误差、输出空间Y的取值上界M、再生核等有关。3.排序学习可以看作是特殊的回归问题,但是也有它的不同之处。在排序问题中,通过学习一个实值函数用以对样本进行打分,但是得分本身并不重要,关键在于通过这些得分对研究对象进行相对排序。近年来,将排序理论和机器学习结合起来,形成了核正则化排序方法。将一般的排序问题扩展为向量排序问题,这是一个新的研究内容。在论文第五章中,利用假设空间的覆盖数、再生性等特点,对最小平方损失下再生核Hilbert空间的正则化向量排序算法的收敛速度进行了定量研究,利用Gateaux导数给出了最优解和未知分布之间的定性关系,从数量上分析了解的稳定性问题。最后,根据再生核Hilbert空间的逼近性能和容量,推导出了向量排序学习算法的收敛速度。此外,蒙特卡洛数值模拟和经济预测的实证分析结果都表明,核正则化回归方法是处理非线性回归问题的一个有效途径。(本文来源于《浙江工商大学》期刊2018-01-01）
张克军,燕善俊,窦建君,孙天凯[6]（2017）在《分数阶线性系统P-型迭代学习控制在L~p范数意义下的收敛性》一文中研究指出针对一类分数阶线性时不变系统,讨论P-型迭代学习控制律(ILC)的单调收敛性.首先,在Lebesgue-p(L~p)范数意义下,利用卷积的推广Young不等式,推导一、二阶P-型控制律单调收敛的充分条件,并推广到N阶控制律的情形;然后,比较分析一、二阶控制律的收敛速度.研究结果表明控制律的收敛条件取决于控制律的学习增益以及系统本身的属性.数值仿真验证了理论的正确性和控制律的可行性.(本文来源于《徐州工程学院学报(自然科学版)》期刊2017年04期）
李鑫,白延琴[7]（2017）在《半监督度量学习内蕴最速下降算法的收敛性分析》一文中研究指出主要研究对称正定矩阵群上的内蕴最速下降算法的收敛性问题.首先针对一个可转化为对称正定矩阵群上无约束优化问题的半监督度量学习模型,提出对称正定矩阵群上一种自适应变步长的内蕴最速下降算法.然后利用李群上的光滑函数在任意一点处带积分余项的泰勒展开式,证明所提算法在对称正定矩阵群上是线性收敛的.最后通过在分类问题中的数值实验说明算法的有效性.(本文来源于《运筹学学报》期刊2017年03期）
张克军,彭国华,孙天凯[8]（2017）在《线性广义系统P型迭代学习控制离散频域收敛性》一文中研究指出针对一类线性广义系统,研究其P型迭代学习控制在离散频域中的收敛性态。在离散频域中,对广义系统进行奇异值分解后,利用傅里叶级数系数的性质和离散的Parseval能量等式,推演了一阶P型迭代学习控制律跟踪误差的离散能量频谱的递归关系和特性,获得了学习控制律收敛的充分条件;讨论了二阶P型迭代学习控制律的收敛条件。仿真实验验证了理论的正确性和学习律的有效性。(本文来源于《计算机工程与应用》期刊2017年24期）
张克军,彭国华[9]（2017）在《PD~α-型分数阶迭代学习控制在L~p范数意义下的收敛性分析》一文中研究指出针对一类分数阶线性系统,讨论了PDα-型分数阶迭代学习控制算法的单调收敛性。首先,在Lebesgue-p(Lp)范数意义下,对一、二阶PDα-型控制算法的单调收敛性进行理论分析,推导出其单调收敛的充分条件,并推广到N阶控制算法的情形;然后,对二者的收敛快慢进行了详细说明。结论表明,控制算法的收敛条件由学习增益和系统自身属性共同决定。仿真实验验证了理论的正确性和控制算法的可行性。(本文来源于《系统工程与电子技术》期刊2017年10期）
李天宇,张屹山[10]（2017）在《适应性学习下货币政策规则的收敛性与收敛速度影响因素分析》一文中研究指出适应性学习过程是从有限理性向理性预期均衡收敛的过程,其收敛性和收敛速度是制约货币政策效果的关键因素。文章先夯实了多种货币政策规则的收敛区域,而后通过在区域内综合比较不同规则的福利损失状况,得到公众向理性预期均衡收敛最快的货币政策规则形式,最后探索了影响适应性学习向理性预期均衡收敛速度的原因,结果显示:承诺下预期型最优货币政策规则较其他规则有更快的收敛速度;而公众的数据搜集能力和利用效率,对货币政策目的和预期效果的了解程度以及适应性学习方法等因素是制约适应性学习收敛速度的关键。(本文来源于《南方经济》期刊2017年07期）
学习收敛性论文开题报告范文
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
由于具有对目标函数的假设较弱,收敛速度快和易于实现等特点,一阶优化算法被广泛应用于求解机器学习模型参数。然而传统的一阶优化算法在实现时会遇到各种各样的问题。一方面,随着数据规模的爆发式增长和深度神经网络等机器学习模型中参数规模不断增加,传统的确定性数值优化算法有计算量过大的问题。另一方面,数值优化领域中讨论的一阶算法分析往往基于最坏计算复杂度。由于实际当中最坏情况往往不会出现,实际中传统的随机梯度下降等方法在求解过程中可能浪费大量的迭代。为此,机器学习领域的研究者们提出了ADAGRAD等针对凸问题的随机自适应算法,这些方法通过利用随机梯度的历史信息来自适应地更新步长,在实际应用中通常有更好的性能。但是,目前大量的机器学习任务(如深度神经网络)的目标函数为非凸函数,在非凸情况下大部分上述算法在理论层面尚缺乏收敛性保证。综上,研究实用、收敛速度更快的优化算法是机器学习理论中的一个重要挑战。为此,本文重点研究能同时提升理论收敛速度和实际表现的一阶优化算法,具体包括四个方面:1)研究了 KL不等式在非凸矩阵秩最小化问题上的应用,证明了当目标函数满足KL性质时关于奇异值的非凸规范化项可被传统的近邻映射算法求解,给出了近邻映射的闭形式,并证明当函数的可微部分的梯度是利普斯西连续时,算法有O(1/ε)的渐进计算复杂度;2)提出了求解满足强凸和局部误差界条件的问题的强自适应随机优化算法(SADAGRAD),证明了该算法具有关于随机次梯度范数的自适应计算复杂度,且复杂度在最坏情况下分别为O(1/ε)和O(1/ε2(1-α)),其中α ∈[0,1)为函数的局部误差界常数。当随机梯度稀疏时,SADAGRAD可以有效降低计算复杂度,并减少优化变量规模对算法效率的影响;3)提出了阶段化的一阶优化算法框架,该算法框架通过把求解非凸问题转化为递归求解凸问题,将自适应算法等成熟的凸优化方法扩展到非凸优化当中。可以证明在该算法框架下,大量成熟的凸优化算法求解非凸问题时可以达到目前最优的收敛速度;4)最后,针对非凸问题提出了阶段化加速的方差减小随机梯度下降法(Stagewise-Katyusha),当 μ-weakly convex 的目标函数由 n 个 L-smooth 的函数和一些相对简单的项组成时,该算法在条件数L/μ≥4n/3时可以达到算法复杂度的下界,且比在该条件下取得最优计算复杂度的其它算3法内存开销更低。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
学习收敛性论文参考文献
[1].杨瑞.多步强化学习算法的收敛性分析[J].计算机与数字工程.2019
[2].陈再毅.机器学习中的一阶优化算法收敛性研究[D].中国科学技术大学.2018
[3].杨轩,阮小娥,王彭.时变切换信号驱动的线性连续切换系统的迭代学习控制收敛性分析[J].数学物理学报.2018
[4].杨亮亮,胡建.基于最优控制迭代学习算法的收敛性研究[J].机电工程.2018
[5].刘焕香.核正则化回归学习和向量排序的收敛性分析及应用[D].浙江工商大学.2018
[6].张克军,燕善俊,窦建君,孙天凯.分数阶线性系统P-型迭代学习控制在L~p范数意义下的收敛性[J].徐州工程学院学报(自然科学版).2017
[7].李鑫,白延琴.半监督度量学习内蕴最速下降算法的收敛性分析[J].运筹学学报.2017
[8].张克军,彭国华,孙天凯.线性广义系统P型迭代学习控制离散频域收敛性[J].计算机工程与应用.2017
[9].张克军,彭国华.PD~α-型分数阶迭代学习控制在L~p范数意义下的收敛性分析[J].系统工程与电子技术.2017
[10].李天宇,张屹山.适应性学习下货币政策规则的收敛性与收敛速度影响因素分析[J].南方经济.2017