基于多径向基神经网络的多任务优化研究

论文摘要

目前在利用贝叶斯优化框架解决昂贵优化问题（即适应度估计计算成本特别高的问题）时,最常用的代理模型就是高斯过程模型,主要是因为它能够提供适应度值的估计（目标函数值的预测平均值）以及不确定性的估计（目标函数值的预测方差）。然而,当训练样本的数量增加时,高斯过程中协方差矩阵的计算量会变得非常大（（）3O N,N为训练数据数量）,用于构造高斯过程的计算时间可能变得过长。另一方面,通过在不同任务之间共享信息,同时学习多个存在相关性的任务可以避免每个任务从头开始学习,且利用任务之间的相关信息可以促使每个任务更好的学习数据特征。因此,多任务学习的研究非常具有意义。然而,现有的多任务学习方法大多都是通对网络的损失函数添加约束项来对网络中的权值进行约束处理,并使用该约束项来表示任务之间各种可能的关系,所以,各个任务的网络结构并没有改变。本文通过分析现有的多任务学习网络结构,将多个任务的网络联合起来进行学习,通过在网络中增加相关性层,提出了两种新型的多任务学习网络结构。论文的主要工作有以下几点:（1）研究了径向基函数（Radial basic function,RBF）神经网络,并根据其局部逼近特性和学习速度快等特点将其应用于贝叶斯优化框架,取代常用的高斯过程模型,从而避免高斯模型中复杂的协方差函数计算问题。（2）本文提出了基于RBF的多任务学习网络模型,并将提出的多任务RBF网络模型应用于贝叶斯优化框架。相较于传统多任务学习网络,我们提出的网络模型包含相关性学习层。通过采集函数在每一次迭代中根据不同的任务选择出一些新的候选点,并根据不同模型的数据集特性,选择性的对候选点进行评估,快速扩展训练集的数据量,数据量的增加将更有利于模型的训练。（3）针对于不同的应用,提出了两种多任务学习结构,一种是单输入多输出的多任务RBF学习网络（The multi-task learning network with single-input-multiple-output based on radial basic function,SIMO-MT-RBF）,另一种是多输入多输出的多任务RBF学习网络（The multi-task learning network with multi-input-multiple-output based on radial basic function,MIMO-MT-RBF）模式,其中,对于MIMO-MT-RBF网络模型,我们提出了两种不同的训练方式。（4）在多个基准问题上对提出的多任务学习模型进行实验,与基于单任务学习模型的贝叶斯优化算法,以及基于高斯过程的贝叶斯优化算法进行实验对比,在几种情况下的实验研究都表明,我们所提出多任务学习框架能获得更好的性能表现。（5）将提出的算法应用于复杂神经网络超参数优化问题,并与基于单任务学习的贝叶斯优化算法的结果进行比较,实验结果表明本文提出的多任务学习网络模型能够让多个任务之间的信息共享,并且可以学习到任务之间的相关性,从而找到使神经网络准确率较高的超参数组合。

论文目录

• 摘要
• Abstract
• 第1章 绪论
•   1.1 研究背景和意义
•   1.2 研究现状
•     1.2.1 多任务学习研究现状
•     1.2.2 贝叶斯优化研究现状
•     1.2.3 RBF神经网络研究现状
•   1.3 论文的主要贡献
•   1.4 论文的结构安排
• 第2章 相关技术概述
•   2.1 多任务学习
•     2.1.1 共享隐藏层的多任务学习
•     2.1.2 基于参数软共享的多任务学习
•   2.2 RBF神经网络
•     2.2.1 RBF神经网络结构
•     2.2.2 中心点的选择策略
•   2.3 贝叶斯优化算法
•     2.3.1 贝叶斯优化整体框架
•     2.3.2 采集函数
•   2.4 本章小结
• 第3章 单输入多输出的多任务学习网络
•   3.1 引言
•   3.2 SIMO-MT-RBF网络
•     3.2.1 SIMO-MT-RBF网络结构
•     3.2.2 RBF神经网络的参数确定
•     3.2.3 网络的训练过程
•     3.2.4 网络的预测过程
•   3.3 基于SIMO-MT-RBF模型的贝叶斯优化算法
•     3.3.1 多RBF网络模型结构
•     3.3.2 候选点的选择策略
•     3.3.3 加点策略
•   3.4 实验
•     3.4.1 测试函数
•     3.4.2 测试函数添加噪声
•   3.5 本章小结
• 第4章 多输入多输出的多任务学习网络
•   4.1 引言
•   4.2 MIMO-MT-RBF网络结构
•   4.3 网络的训练过程
•     4.3.1 整体更新策略
•     4.3.2 局部更新策略
•   4.4 网络的预测过程
•   4.5 基于MIMO-MT-RBF模型的贝叶斯优化算法
•     4.5.1 候选点的评估及加点策略
•     4.5.2 算法流程图
•   4.6 实验
•     4.6.1 测试函数
•     4.6.2 测试函数添加噪声
•   4.7 本章小结
• 第5章 超参数优化的应用
•   5.1 超参数概念及研究现状
•   5.2 超参数优化实验
•   5.3 本章小结
• 第6章 总结与展望
•   6.1 全文工作总结
•   6.2 展望
• 参考文献
• 致谢
• 攻读硕士学位期间的研究成果

文章来源

类型: 硕士论文

作者: 陈娇

导师: 骆剑平

关键词: 神经网络,任务相关性,多任务学习,网络结构

来源: 深圳大学

年度: 2019

分类: 基础科学,信息科技

专业: 数学,自动化技术

单位: 深圳大学

分类号: O224;TP183

DOI: 10.27321/d.cnki.gszdu.2019.000012

总页数: 67

文件大小: 3167K

下载量: 36