微美全息(WIMI.US)开发多模态脑电视觉伺服BCI系统

脑机接口技术(Brain-Computer Interface，BCI)是一种允许人类直接通过大脑活动与外部设备进行交互的技术。近年BCI技术的快速发展已经取得了显著进展，尤其在基于脑电信号的控制上取得了很大的突破。在过去的研究中，许多BCI系统主要集中于单一的脑电信号识别，例如SSVEP、P300、运动意象等。这些方法可以实现一些基本的控制命令，如选择菜单项或简单的指令输入，但是其可控性和灵活性有限，难以实现复杂任务的控制。同时，随着智能机器人技术的发展，人们对于BCI系统在机器人控制中的应用也越来越感兴趣。人们希望通过脑电信号与机器人进行更自然、更复杂的交互，例如控制机器人执行多种动作或任务，以提供更丰富的服务体验。在这样的背景下，WIMI微美全息(NASDAQ:WIMI)提出了基于多模态脑电的视觉伺服模块混合BCI系统设计的想法。该系统结合了SSVEP和电机图像信号，并引入了视觉伺服模块，以提高机器人执行抓取任务的性能。通过将不同类型的脑电信号相结合，用户可以更自由、更直观地控制机器人执行多样化的动作，从而提供更满意的服务体验。

【资料图】

微美全息(NASDAQ:WIMI)基于多模态脑电的视觉伺服模块混合BCI系统的方法主要涉及信号采集、信号处理、控制命令生成和视觉伺服模块的设计。

1，信号采集：系统首先需要采集用户的脑电信号和视觉反馈信号。为了实现多模态控制，该系统同时采集SSVEP和电机图像信号。

SSVEP信号采集：通过将脑电电极放置在用户头皮上，系统可以采集到用户的SSVEP信号。SSVEP是一种闪烁视觉诱发电位，当用户的视觉注意力集中在特定频率的闪烁刺激上时，大脑产生特定频率的电信号。为了实现多模态控制，系统在视觉界面上提供三种不同频率的闪烁刺激，每种刺激对应于机器人的一个控制命令，比如向前、向左转和向右转。

电机图像信号采集：除了SSVEP信号，系统还需要采集用户的电机图像信号。这是通过脑电电极在特定区域上获取用户的电机图像信号实现的。当用户想象进行抓取运动时，相关的电机图像信号会被捕获并用于控制机器人执行抓取动作。

2，信号处理：在信号采集之后，获得的原始脑电信号需要进行处理和分析，以提取有用的信息，并进行特征提取和分类，从而识别用户的意图。

SSVEP信号处理：对于SSVEP信号，系统首先需要对原始信号进行滤波和预处理，以消除噪声和干扰。然后，通过提取频谱特征，识别用户当前的视觉注意力集中在哪个频率上，从而判断用户的意图是向前、向左转还是向右转。

电机图像信号处理：对于电机图像信号，系统需要将原始信号进行预处理，消除噪声和干扰。然后，通过特征提取和分类技术，识别用户的想象动作，例如抓取运动。

在微美全息(NASDAQ:WIMI)多模态脑电的视觉伺服模块混合BCI系统中，控制命令的生成是整个系统的核心部分。控制命令的生成涉及对识别到的脑电信号进行解析，并将其映射到相应的机器人动作上。

3，控制命令生成：在识别用户的意图后，系统根据所得到的结果生成相应的控制命令，从而控制机器人的动作。

SSVEP控制命令生成：对于SSVEP信号，系统采用频谱分析方法对信号进行处理。频谱分析可以提取出用户当前的视觉注意力集中在哪个频率上。在视觉界面上提供的不同闪烁刺激对应于机器人的不同动作，例如向前、向左转和向右转。通过识别用户的视觉注意力所在的频率，系统能够确定用户的意图，并相应地生成对应的控制命令。

电机图像控制命令生成：对于电机图像信号，系统利用特征提取和分类技术对用户想象的动作进行识别。用户在想象进行抓取运动时，特定的电机图像信号会被捕获。系统通过训练机器学习算法来识别这些特征，并根据识别结果生成相应的控制命令，指示机器人执行抓取动作。

4，视觉伺服模块设计：视觉伺服模块的设计是为了提高机器人执行抓取任务的性能和精度。这个模块可以实时调整机器人的抓取姿态和力度，使得抓取动作更加精准和可靠。视觉伺服模块通过摄像头捕获机器人执行抓取任务时的实时视觉反馈，并将其与用户的电机图像信号相结合，进行动态调整。

视觉反馈采集：摄像头捕获机器人执行抓取任务时的实时视觉反馈。这些反馈可能包括机器人末端执行器(例如机械爪)的位置、姿态、目标物体的位置和形状等。

特征提取：从视觉反馈中提取有用的特征。这些特征可能包括目标物体的边缘、颜色、形状等信息，以及机器人末端执行器的位置和姿态信息。

控制命令调整：将视觉反馈中提取的特征与用户的电机图像信号相结合，进行动态调整。例如，如果用户想象抓取更远处的物体，系统可以相应地调整机器人的抓取姿态和力度，使得机器人能够更好地完成抓取任务。

反馈控制：视觉伺服模块实时监测机器人执行抓取任务的进展，并根据实际执行情况进行反馈控制。如果抓取过程中出现误差或不稳定，系统可以及时调整，使得机器人能够更准确地完成抓取动作。

通过视觉伺服模块的设计，WIMI微美全息多模态脑电的混合BCI系统可以更加灵活地适应不同的抓取场景和用户意图，提供更高质量的服务体验。该模块的引入增强了机器人执行抓取任务的自主性和适应性，使得系统能够实现更复杂、更自然的多模态控制。

传统的脑机接口系统通常只能提供有限的控制命令，限制了用户与机器人之间的交互方式。而WIMI微美全息多模态脑电的视觉伺服模块混合BCI系统，结合了不同类型的脑电信号，能够实现更丰富多样的控制命令，用户可以通过想象不同动作或集中注意力到不同频率的刺激上，实现更复杂的机器人控制，从而提供更灵活和自然的交互体验。

微美全息(NASDAQ:WIMI)多模态脑电的视觉伺服模块混合BCI系统，通过结合多种脑电信号，系统能够更准确地识别用户的意图。例如，SSVEP信号和电机图像信号的结合可以实现更高的控制准确性，同时通过视觉伺服模块的引入，可以实时调整机器人的执行动作，提高控制命令的可靠性和精度，从而使机器人更好地响应用户的指令。该系统不仅仅局限于机器人控制，还可以应用于其他领域，如虚拟现实、康复治疗、辅助设备控制等。这种技术的拓展为脑机接口技术的应用范围提供了新的可能性，推动了人机交互领域的发展。

WIMI微美全息多模态脑电的视觉伺服模块混合BCI系涉及多种技术的结合和应用，例如脑电信号处理、特征提取、机器学习算法和视觉伺服技术等。通过解决这些技术之间的协调与融合，促进了BCI技术的进一步发展，为更高级别的脑机接口应用奠定了基础。WIMI微美全息多模态脑电的视觉伺服模块混合BCI系提供更丰富多样的控制命令，提高控制精度和可靠性，拓展脑机接口应用领域，改善用户体验和生活质量，同时推动了BCI技术的发展和创新，这种技术的应用将有望在未来的智能机器人和人机交互领域发挥重要作用。