该研究由复旦大学华山医院等团队联合开展,针对汉语作为tonal 单音节语言的解码难题,首次实现了基于脑机接口(BCI)的全谱系中文实时解码。研究以一名 43 岁癫痫患者为对象,通过植入 256 通道高密度皮质脑电图(ECoG)阵列,采集其朗读 394 个不同汉语音节时的神经信号。
研究采用双流解码架构,并行处理音节和声调信息,结合四层LSTM 网络模型,离线音节解码准确率达 71.2%,声调解码准确率 69.1%。在此基础上,通过字符 - 句子分层解码策略,整合 3 元语言模型后,实时句子解码字符准确率提升至 73.1%,通信速率达 49.7 字符 / 分钟。
该BCI 系统可将神经信号解码为文本或语音,成功实现对机械臂、数字化身的控制,以及与大型语言模型的交互。研究证实了基于音节的解码策略对汉语的有效性,突破了
tonal 单音节语言实时解码的技术瓶颈,为渐冻症等失语患者提供了新型沟通方案,也为多语言脑机接口研发奠定基础。