全文摘要
本发明涉及数据分析、脑机接口、人机交互、软件开发等领域，为提高对无人机集群队形的控制效果，让操控人员获得更便利、高效的操纵感受，本发明，基于脑‑机接口的无人机集群编队队形重构控制方法，包括离线训练步骤和在线训练步骤：离线训练步骤：运动想象训练系统初始化；通过神经网络的分类值与标签值的比较，采用反向传播算法对混合深度神经网络进行训练，确定网络权值；在线控制步骤：预处理，信号特征提取和利用基于深度卷积网络及深度长短期记忆网络的混合深度神经网络进行分类；根据输出的分类结果生成控制命令，控制虚拟无人机集群队形重构。本发明主要应用于无人机设计制造场合。
主设计要求
1.一种基于脑-机接口的无人机集群编队队形重构控制方法，其特征是，包括离线训练步骤和在线训练步骤：离线训练步骤：S1、运动想象训练系统初始化；S2、启动交互界面，交互界面随机显示上、下、左、右指向的箭头；S3、操纵人员按照箭头方向的指示分别想象舌头、脚、左手、右手部位的运动，通过电极帽采集操纵人员的脑电信号；S4、处理脑电信号，包括：预处理，信号特征提取和利用基于深度卷积网络及深度长短期记忆网络的混合深度神经网络进行分类；S5、通过神经网络的分类值与标签值的比较，采用反向传播算法对混合深度神经网络进行训练，确定网络权值；在线控制步骤：S6、启动虚拟无人机集群编队队形软件，进入无人机集群队形控制界面；S7、操纵人员根据自己期望的无人机集群队形分别想象舌头、脚、左手、右手部位的运动，同时电极帽采集操纵者的脑电信号；S8、采集到脑电信号后，处理采集到的脑电信号，包括：预处理，信号特征提取和利用基于深度卷积网络及深度长短期记忆网络的混合深度神经网络进行分类；S9、根据输出的分类结果生成控制命令，控制虚拟无人机集群队形重构。
设计方案
1.一种基于脑-机接口的无人机集群编队队形重构控制方法，其特征是，包括离线训练步骤和在线训练步骤：
离线训练步骤：S1、运动想象训练系统初始化；S2、启动交互界面，交互界面随机显示上、下、左、右指向的箭头；S3、操纵人员按照箭头方向的指示分别想象舌头、脚、左手、右手部位的运动，通过电极帽采集操纵人员的脑电信号；S4、处理脑电信号，包括：预处理，信号特征提取和利用基于深度卷积网络及深度长短期记忆网络的混合深度神经网络进行分类；S5、通过神经网络的分类值与标签值的比较，采用反向传播算法对混合深度神经网络进行训练，确定网络权值；
在线控制步骤：S6、启动虚拟无人机集群编队队形软件，进入无人机集群队形控制界面；S7、操纵人员根据自己期望的无人机集群队形分别想象舌头、脚、左手、右手部位的运动，同时电极帽采集操纵者的脑电信号；S8、采集到脑电信号后，处理采集到的脑电信号，包括：预处理，信号特征提取和利用基于深度卷积网络及深度长短期记忆网络的混合深度神经网络进行分类；S9、根据输出的分类结果生成控制命令，控制虚拟无人机集群队形重构。
2.如权利要求1所述的基于脑-机接口的无人机集群编队队形重构控制方法，其特征是，
具体地，1)脑电信号预处理，包括：
S10、对脑电信号进行降采样处理，获得250Hz的脑电信号；S11、对采集到的脑电信号进行50Hz的工频滤波；S12、采用时间窗口对脑电信号时间序列进行分割；S13、采用滤波器组对脑电信号进行滤波；
2)脑电信号特征提取，包括：
采用一对多-公共空间模式方法OVR-CSP对S13获得的脑电信号进行特征提取，一对多-公共空间模式方法步骤包括：
S14、分别对每类运动想象信号求其相对于其他信号的公共空间模式滤波权重Wj<\/sub>：
设计说明书
技术领域
本发明涉及数据分析、脑机接口、人机交互、软件开发等领域，尤其涉及一种基于脑机接口的无人机集群队形重构控制方法。
背景技术
脑机接口(BCI)系统提供了一种新兴的人机交互方法，可以通过提取操控人员的脑电信号，检测其中的有效信息，从而达到对其他设备进行控制的功能。在众多的脑机接口范式中，P300、稳态视觉电位(SSVEP)、运动想象是当下最热门的研究领域。其中，运动想象是唯一一个自发性，不需要外部刺激的脑机接口范式。
运动想象，指大脑仅有肢体运动意图但不实际执行，反映人对动作的期望及对将要发生真实动作的预演。在想象某一特定的运动场景时，大脑会产生连续的EEG脑电信号。从该信号中提取获得的脑电特征与实验人员初始思维活动相关，从而可以将信号转化为对外部设备的控制指令。
深度学习作为机器学习中的一种，已在计算机视觉、语音识别和自然语言处理等领域大放光彩。在大数据时代，大量的运动想象数据集可以通过各种渠道获得。因此，深度学习方法可以更好的学习与分类大量脑电数据中运动想象特征。深度卷积网络(CNN)作为应用较为广泛的技术，可以充分的挖掘脑电数据中的空间特征；深度长短期记忆网络(LSTM)是一种时间递归神经网络，非常适合处理及分类时间序列信号，采用长短期记忆网络可以很好的提取脑电数据中的时间特征。因此构建基于深度卷积网络与深度长短期记忆网络的混合深度神经网络对脑电信号进行监督学习，将其中的运动想象特征在空间及时间上充分的挖掘，具有较好的实时性和准确性。
在现今航空航天研究领域中，多机编队、人机协同成为当下研究的趋势，对无人机的控制手段也提出了新的要求。传统的单机飞控设备已经不能满足当下无人机集群的控制需求，因此开发新的控制方法迫在眉睫。把BCI技术引入航空航天领域当中，无人机飞手不仅可以依靠传统飞控设备对无人机集群位置进行控制，同时可以采用意念对无人机集群队形进行重构控制，大大提高操纵人员对无人机集群的控制能力。
发明内容
为克服现有技术的不足，本发明旨在提出一种脑控无人机集群队形重构控制方法，可以使操控人员通过基于运动想象的脑电信号控制无人机集群，变化成所期望的队形，提高对无人机集群队形的控制效果，让操控人员获得更便利、高效的操纵感受。为此，本发明采取的技术方案是，基于脑-机接口的无人机集群编队队形重构控制方法，包括离线训练步骤和在线训练步骤：
离线训练步骤：S1、运动想象训练系统初始化；S2、启动交互界面，交互界面随机显示上、下、左、右指向的箭头；S3、操纵人员按照箭头方向的指示分别想象舌头、脚、左手、右手部位的运动，通过电极帽采集操纵人员的脑电信号；S4、处理脑电信号，包括：预处理，信号特征提取和利用基于深度卷积网络及深度长短期记忆网络的混合深度神经网络进行分类；S5、通过神经网络的分类值与标签值的比较，采用反向传播算法对混合深度神经网络进行训练，确定网络权值；
在线控制步骤：S6、启动虚拟无人机集群编队队形软件，进入无人机集群队形控制界面；S7、操纵人员根据自己期望的无人机集群队形分别想象舌头、脚、左手、右手部位的运动，同时电极帽采集操纵者的脑电信号；S8、采集到脑电信号后，处理采集到的脑电信号，包括：预处理，信号特征提取和利用基于深度卷积网络及深度长短期记忆网络的混合深度神经网络进行分类；S9、根据输出的分类结果生成控制命令，控制虚拟无人机集群队形重构。
具体地，1)脑电信号预处理，包括：
S10、对脑电信号进行降采样处理，获得250Hz的脑电信号；S11、对采集到的脑电信号进行50Hz的工频滤波；S12、采用时间窗口对脑电信号时间序列进行分割；S13、采用滤波器组对脑电信号进行滤波；
2)脑电信号特征提取，包括：
采用一对多-公共空间模式方法OVR-CSP对S13获得的脑电信号进行特征提取，一对多-公共空间模式方法步骤包括：
S14、分别对每类运动想象信号求其相对于其他信号的公共空间模式滤波权重Wj<\/sub>：
其中,Cj<\/sub>表示该类运动想象信号的协方差矩阵，Ej<\/sub>表示包含Cj<\/sub>特征值的对角阵，Wj<\/sub>表示该类运动想象信号相对于其他信号的公共空间模式滤波权重，j＝1,2,3,4分别代表四类运动想象信号；
S15、分别提取Wj<\/sub>的前两列和后两列组合成新的矩阵 申请码:申请号:CN201910581534.0 申请日:2019-06-29 公开号:CN110377049A 公开日:2019-10-25 国家:CN 国家/省市:12(天津) 授权编号:授权时间:主分类号:G05D 1/10 专利分类号:G05D1/10 范畴分类:40E;31B; 申请人:天津大学 第一申请人:天津大学 申请人地址:300072 天津市南开区卫津路92号 发明人:宗群;张睿隆;彭麒麟;赵欣怡;王丹丹 第一发明人:宗群 当前权利人:天津大学 代理人:刘国威 代理机构:12201 代理机构编号:天津市北洋有限责任专利代理事务所 优先权:关键词:当前状态:审核中 类型名称:外观设计设计图
相关信息详情