基于深度学习的双模态特征融合鸟类物种识别算法

论文摘要

鸟类物种多样性调查是了解鸟类群落结构和作用的重要内容之一。鸟类鸣声属于鸟类重要的生物学特征之一,具有较高的辨识度,在鸟类物种分类和行为学研究中得到广泛应用。近几年,新提出的利用自动录音设备和识别软件,通过鸣声识别实现鸟类调查的方法因高效率、非损伤、低干扰、大范围的监测优势具有巨大的应用前景。本文面向鸟类统计分析的需求,针对自然环境下基于鸣声的鸟类物种识别存在随机干扰噪声降低识别效果、手动提取鸟鸣声差异特征困难以及识别模型识别效率低等问题,在鸟类鸣声的处理、物种识别及应用三方面展开研究,本文主要工作如下:1.提出一种基于迁移学习的鸟类物种识别方法。鉴于深度学习技术对数据量要求较高且鸟类数据来源有限,提出一种基于特征和模型迁移学习的物种分类方法,对自然环境中音频信号的进行预处理,利用时频分析法得到去噪后音频信号的语图,经数据增强技术扩充后建立语图图像样本库;通过卷积神经网络（Convolution Neural Network,CNN）自动提取语图高层次特征并完成分类,为其它鸟类项目的应用提供了研究基础。2.提出了基于双模态特征融合的鸟类物种分类算法。本文结合卷积神经网络和长短时记忆网络（Long Short-Term Memory,LSTM）的结构,建立一种更具有泛化能力的卷积-长短时记忆神经网络（Convolution Long Short-Term Memory,CLSTM）网络模型,优化网络结构包括输入的预处理,学习速率,防止过拟合,梯度消失等问题,融合卷积网络提取的语图特征和长短时记忆结构提取的鸣声时序序列特征,自适应完成基于鸣叫或者鸣唱的物种识别。实现了鸣声分类算法的优化,提高了识别效果。3.设计了基于MVC（Model View Controller）架构的移动端嵌入式鸟类识别系统。本文利用Eclipse开发工具开发了一套面向实际采集鸣声信号的鸟类识别软件,客户端APP集合了数据模块、View图像模块、控制模块等功能。本文开发的人机交互界面具有较高的识别性能,完善了基于安卓的鸟类个体的自动识别任务,推动鸟类资源调查和监测的自动化。为了验证本文提出的算法的有效性,利用鸟类公开数据集Xeno-canto和北京市松山国家级自然保护区采集的18种鸟类音频分别进行算法和应用实验验证,并与传统的算法及模型进行对比,实验结果表明,本文方法在识别准确率、精确率、召回率、F1值等性能评价指标上均有较大提升。实现了基于鸣声的鸟类物种自动分类与统计,该成果也可以推广到其他鸟类数量的自动统计中,具有重要的理论意义和工程应用价值。

论文目录

• 摘要
• ABSTRACT
• 1. 绪论
•   1.1. 选题背景和研究意义
•   1.2. 鸟声识别技术国内外研究现状
•     1.2.1. 有效鸣声信号提取研究现状
•     1.2.2. 特征参数计算研究现状
•     1.2.3. 分类决策方法研究现状
•   1.3. 本文的研究内容及组织结构
•     1.3.1. 研究内容
•     1.3.2. 组织结构
• 2. 鸟类鸣声信号的前端处理
•   2.1. 鸣声信号采集与样本库的建立
•     2.1.1. 采集音频文件
•     2.1.2. 建立语图样本库
•   2.2. 鸣声信号前端处理
•   2.3. 样本库分类与整理
•   2.4. 本章小结
• 3. 基于特征和模型迁移学习的鸟类物种识别方法
•   3.1. 迁移学习技术
•     3.1.1. CNN模型结构
•     3.1.2. VGG-16迁移学习模型设计
•   3.2. 声谱图像特征提取算法
•     3.2.1. 傅里叶语图计算
•     3.2.2. 语图卷积特征可视化
•   3.3. 语音和图像数据增强算法
•     3.3.1. 基于载波调制的语音合成
•     3.3.2. STFT语图样本数据扩充
•   3.4. 实验结果与分析
•   3.5. 本章小结
• 4. 基于鸣声和声谱图像的双模态鸟类物种识别算法
•   4.1. 梅尔频率倒谱算法及提取策略
•     4.1.1. 鸣声信号主成分分析降维
•     4.1.2. MFCC静态系数及动态系数的提取
•   4.2. 基于改进的CLSTM双模态鸟类识别算法
•     4.2.1. LSTM模型结构
•     4.2.2. CLSTM网络优化策略及算法实现
•   4.3. 双模态特征决策级融合实验验证与分析
•     4.3.1. 分类效果及性能评价
•     4.3.2. 实验验证与对比分析
•   4.4. 本章小结
• 5. 基于移动端的嵌入式鸟类识别系统设计与开发
•   5.1. Android系统移动端轻量化神经网络
•     5.1.1. tensorflow框架下的Android调用
•     5.1.2. Mobilenet-v1轻量化模型
•   5.2. 压缩模型实验仿真与验证
•   5.3. Android界面设计与应用
•     5.3.1. 安卓端移植算法实现
•     5.3.2. 用户端识别测试及应用
•   5.4. 本章小结
• 6. 总结与展望
•   6.1. 总结
•   6.2. 展望
• 参考文献
• 个人简介
• 导师简介
• 获得成果目录
• 致谢

文章来源

类型: 硕士论文

作者: 冯郁茜

导师: 刘文定,谢将剑

关键词: 深度学习,鸟类物种识别,迁移学习,双模态特征融合,移动端嵌入式开发

来源: 北京林业大学

年度: 2019

分类: 基础科学,信息科技

专业: 生物学,电信技术,自动化技术

单位: 北京林业大学

基金: 北京林业大学中央高校基本科研业务费交叉创新科学研究试点专项(项目编号:2017JC14),国家重点研发项目(项目编号:2017YFC1403503)

分类号: TN912.3;TP18;Q959.7

DOI: 10.26949/d.cnki.gblyu.2019.000638

总页数: 71

文件大小: 7164K

下载量: 118