时频联合长时循环神经网络

论文摘要

时间序列建模问题因有着重要的应用价值已经成为机器学习领域的研究热点之一.循环神经网络（recurrent neural network, RNN）是近年来时间序列建模的一个重要工具.但是,现有循环神经网络无法处理长时依赖关系的时序数据,也没有在频域对时间序列数据的特征模式进行建模.对于那些包含长时依赖且频率成分丰富的时序数据,这2个问题大大限制了现有循环神经网络的性能.针对这些问题,提出了时频联合长时循环神经网络（long term recurrent neural network with state-frequency memory, LTRNN-SFM）,通过将传统循环神经网络隐藏层的状态向量替换为状态-频率矩阵,实现对时间序列的时域特征和频域特征的联合建模.同时,通过解耦隐藏层神经元、引入ReLU（rectified linear unit）激活函数和权重裁剪,该模型可以有效避免梯度消失和梯度爆炸问题的干扰,使得深层网络训练更加容易、网络记忆周期更长.实验表明:时频联合长时循环神经网络在处理长时依赖且频率成分丰富的时序数据上,取得了最好的性能.

论文目录

• 1 相关工作
•   1.1 IndRNN模型
•   1.2 SFM-RNN模型
• 2 时频联合长时循环神经网络
•   2.1 单层时频联合长时循环神经网络
•     1) 网络结构
•     2) 梯度问题
•   2.2 深层时频联合长时循环神经网络
•   2.3 应用场景
•     1) 时间序列预测任务
•     2) 时间序列分类任务
• 3 实验结果和分析
•   3.1 SKLearn手写数字数据集分类
•   3.2 UCI-HAR数据集分类
•   3.3 手势阶段数据集分类
• 4 未来展望

文章来源

类型: 期刊论文

作者: 庄连生,吕扬,杨健,李厚强

关键词: 循环神经网络,长时依赖,频域分析,时间序列分类,时间序列预测

来源: 计算机研究与发展 2019年12期

年度: 2019

分类: 信息科技

专业: 自动化技术

单位: 中国科学技术大学信息科学技术学院,军事科学院系统工程研究院,鹏城实验室

基金: 国家自然科学基金项目(61472379)~~

分类号: TP183

页码: 2641-2648

总页数: 8

文件大小: 1039K

下载量: 97