近日，西安理工大学脑机交互团队李睿联合西安市人民医院脑病院区院长刘卫平教授，共同撰写的《The
SSHVEP Paradigm-Based Brain Controlled Method for Grasping Robot Using MVMD
Combined CNN Model》正式发表于国际知名期刊《IEEE
Transactions on Neural Systems and Rehabilitation Engineering》。
随着我国老龄化社会的加快以及慢性病种类的增加，全球多个国家的残疾人数都在急速增长。因此，探寻合适的辅助手段来帮助失能患者恢复基本的生活自理能力，已经成为了重要的社会问题。而脑机交互技术作为一种新型的人机交互方式，可有效建立外围设备与被试之间的直接交互通道，因而其研究极具必要性。
研究内容及背景
（1）面向动态环境的混合视觉诱发范式设计
通过识别动态环境中的目标物并将其作为视觉刺激单元的一部分，以此提高动态环境的适应性；通过引入径向棋盘格来提高受试者的注意集中能力；通过对动态环境中识别到的目标物进行黑白处理，以此调高EEG信号的响应程度；通过对黑白处理后的目标物图像进行边缘提取，以此降低受试者的视觉疲劳。该范式的具体实现步骤如下：
1）基于Yolov5的动态环境目标物品识别，并对识别结果进行分割、背景去除等处理来获得清晰的目标物品图像；
2）基于目标物品图像闪烁的径向棋盘格生成及其运动形式实现；
3）混合视觉诱发范式数学模型构建，并通过不同频率进行调制。
（2）基于MVMD-CNN的SSHVEP解码算法
为了提取SSHVEP深层次的特征信息，并且充分利用SSHVEP各谐波成分。本研究组提出一种基于SSHVEP频域分离的变分模态分解算法（multivariate
variational mode decomposition，MVMD）进行自适应频带划分、基于卷积神经网络(Convolutional Neural Networks, CNN)进行目标辨识的解码方法来提高信号的解码精度，该算法的基本结构如下图2所示。
图2 CNN网络结构图
（3）面向机器人抓取的脑机融合共享控制策略
针对当前直接脑控系统存在环境交互能力不足等问题，将外围设备的自主控制策略和基于SSHVEP的异步脑控意图解码方法相结合，以此充分发挥人的认知和决策能力以及智能设备的自主控制能力，进而提高脑控系统的适应性和执行率。如下图3为整体系统结构图。
图3 整体系统结构图
实验验证结果
本次实验共招募18名22-26岁的健康受试者自愿参加实验，其中具有典型代表性的被试者S9的EEG溯源响应特性及脑网络分析，同时分析结果证明了本研究所提出的SSHVEP范式的有效性。如下图4为典型代表性受试者S9的脑源定位分析，图5为脑网络分析。
为了验证研究所提出的SSHVEP解码方法的有效性，进一步计算了MVMD-CNN和FBCCA-CNN两种方法的SNR值以及MVMD-CNN与传统算法相比的准确率系数图6结果显示，MVMD分解的子带包含来自谐波的更有效信息，并且限制了背景EEG中的噪声，能有效提高SSHVEP的检测精度。
表1对三种算法进行比较，基于MVMD-CNN解码算法的准确率为95.41±2.70%,与传统的FDCCA和CNN解码算法相比较，性能提高了5.8%和6.97%，对比结果证明了MVMD-CNN解码算法的优越性。
图6 子带频谱图的SNR值
表1 MVMD-CNN和FBCCA-CNN的准确率系数
在线实验首先在机器人操作系统（Robot Operating System，ROS）下的Gazebo中搭建仿真环境，并进行了基于机器人运动学建模的机器人自主抓取实验，随后18名受试者均开展了基于SSHVEP范式的助残抓取机器人的在线实验，其平均正确率为93.21±10.18%。
结论
所有被试均对9个目标进行了抓取实验,在线实验结果正确率平均为93.21±10.18%，11名被试的最高正确率达到100%，证明了所提方法的可行性和所构建的脑控机器人抓取系统的实用性。
本研究将动态环境下的可抓取目标与视觉诱发范式的产生机理相结合，同时实现了一种基于MVMD与CNN相结合的SSHVEP解码方法，实现了一套完整的一种基于SSHVEP范式的助残抓取机器人脑机交互方法，为肢体功能障碍患者生活自理能力的恢复，提供了有效的基础理论依据。
Li , Duanyang Bai , Zhijun Li , Shiqiang Yang, Weiping Liu, Yichi Zhang ,
Jincao Zhou , Jing Luo , and Wen Wang，“The
SSHVEP Paradigm-Based Brain Controlled Method for Grasping Robot Using MVMD
Combined CNN Model”in IEEE Transactions Systems AND Rehabilitation
Engineering,vol.32,2024
仅用于学术分享，若侵权请留言，即时删侵！