“脑机融合与机器智能”团队介绍

作者:发布时间:2024-10-22

  

“脑机融合与机器智能”团队介绍

 

团队带头人:邹凌

团队成员:陈树越吕继东陈阳陈岚萍李辉戎海龙周天彤姜忠义李文杰毕卉汤立汉

团队简介:

欧洲杯官方网站入口“脑机融合与机器智能”团队拥有“人机物智能与交互国际联合实验室”、“常州市生物医学信息技术重点实验室”、欧洲杯官方网站入口与常州市第二人民医院共建生物医学信息技术研究中心等创新型科研平台。团队由欧洲杯官方网站入口微电子学院、计算机学院、机械学院以及医学与健康工程学院等十余名优秀骨干教师组成,充分体现学科交叉融合,现有教授2名,副教授7名,讲师3。教师具有博士学位占92%,八零后教师占比58%,团队朝气蓬勃,年龄结构合理。团队教师中拥有“333工程”中青年学术技术带头人、江苏省高校“青蓝工程”中青年学术带头人、江苏省六大高峰人才等省级人才4位; 已培养硕士研究生150余名,在中科院软件所、北京师范大学等国内知名科研院所攻读博士学位6名,在读硕士研究生50余名。团队师资队伍建设及人才培养卓有成效。

团队长期从事人机交互控制技术、计算机应用技术、脑机交互等技术领域科研工作,在认知神经科学、信息科学与临床应用交叉研究、机器智能等领域已有二十年的研究基础,积累了一批创新性研究成果。已完成国家自然科学基金委员会项目5江苏省科技厅社会发展面上项目抑郁症患者虚拟现实-生物反馈诊疗术研究”)江苏省科技厅自然科学基金项目(“惯性-地磁组合姿态解算算法的关键技术研究”,“苹果采摘机器人不同生长状态果实自分类精确识别研究”)、江苏省财政厅、江苏省农业科学院农业科技自主创新资金项目(“棚架葡萄智能套袋关键技术及装备研发”)、中国残联课题基于脑电和视觉导引的喂饭机器人”),江苏省教育厅首批中外合作办学平台联合科研项目人机智能与交互国际联合实验室等一系列课题。团队承担完成脑机接口领域多项关键技术研发工作,其中包括基于多模融合的高精度脑机接口编解码关键技术、基于脑功能连接的高时空分辨率脑电编解码技术开发,基于状态转换动态网络算法和虚拟现实技术的精神疾病诊疗系统开发,设计研制基于脑机接口和视觉导引的助餐机器人等,研究成果可作为多动症、抑郁症等精神疾病的脑机接口数字诊疗处方,可用于残疾人的智能辅助器具等,有力的推动脑机接口技术及产品的应用和产业化实施。团队积极创新设计机器智能算法,同时重视算法应用,自主研制可落地的工业、农业智能控制系统。与国内科研院所合作,实现小尺寸阵列高性能自主探测,性能赶超被禁运的国外最新同类产品;研制输电线路重要跨越段拆换线施工智能机器人,攻克重要跨越段拆换线施工的技术难题;研制的果蔬园智能作业机器人,助力农业智能化转型、高时效作业。团队成员参与制定国内首个消费级脑机接口团队标准“基于脑电的注意力监测系统技术要求及测试方法”于20249月正式发布。团队成员近五年已经发表SCI论文十余篇,获得授权国家发明专利十余件,发明专利转化8件,软件著作权10余件,参与制定国家标准4件,团体标准3件团队科研成果得工业与信息化部国防科学技术进步二等奖、江苏省科技进步二等奖、全国妇幼健康科技奖三等奖、电力建设科学技术进步三等奖等省部级科学技术进步奖6

团队学术氛围浓厚,积极开展国内外学术交流活动。团队主办了第四届美国EGI公司EEG/ERP系统培训班、常州市人工智能与脑科学学术创新论坛、以及常州市新型人机交互技术学术创新论坛。团队还参与承办第三届欧洲杯官方网站入口与芬兰萨塔昆塔应用技术大学科技论坛、第六届欧洲杯官方网站入口与芬兰萨塔昆塔应用技术大学科技论坛、第八届先进制造及自动化国际会议(IWAMA2018)、第十八届IEEE智慧城市国际会议等系列电子信息领域重要国际学术活动, 搭建了开展深入学术交流和产学研用交流的平台,扩大了学校在人工智能领域的影响,也为欧洲杯线上买球师生开展该领域的交流与合作提供了重要的平台和契机,团队成员作为程序委员会主席获得IEEE杰出领导力奖。团队成员受邀在“一带一路”脑健康与脑器交互科技国际会议——纪念脑电100年与神经科技未来展望、中国运筹学会排序分会“排序与调度网络公益讲堂”、“全国生物电工与生物电磁高峰会议”等国内外重要专业学术会议做主题发言,彰显了团队研究成果的学术影响力。

 

团队成员简介:

带头人

邹凌,博士,三级教授,博导。

Email: zouling@cczu.edu.cn

研究方向:脑机融合、模式识别

计算机学会人机交互专委会执行委员,全国工业过程测量控制和自动化标准技术委员会委员,科技部重点研发计划项目/国家自然基金项目评审专家,脑机接口产业联盟专家委员会资深专家,常州市生物医学工程学会理事长。江苏省高校“青蓝工程”中青年学术带头人,江苏省“333工程”中青年学术技术带头人。近年来完成国家自然基金项目3项,省部级项目6项,授权发明专利30余件、专利转化3件、软件著作权10余件,参与制定国家标准4项,团体标准2项。发表SCI检索论文40余篇。获得省部级科技奖项3项。

团队成员


吕继东 博士、副教授、硕导

Email: ljd@cczu.edu.cn

研究方向:机器人视觉感知与控制

江苏大学控制理论与控制工程博士,香港科技大学访问学者。主要从事果蔬园作业机器人、康复与日常生活辅助机器人等方面的科研工作。主持或参与省部级以上项目6项;在Computers and Electronics in Agriculture 、Biosystems engineering、Scientia Horticulturae等国内外知名期刊和相关会议上以第一作者或通讯作者发表相关学术论文40余篇,其中SCI/EI检索超 30篇;申请国家发明专利30余项,其中已授权17项;获取软件著作权2项;并获得中国商业联合会科学技术奖-全国商业科技进步奖二等奖1项,常州市优秀科技论文二等奖1项。

 

陈阳 博士、副教授、硕导

Email: chenyangcczu@cczu.edu.cn

研究方向:信号处理与机器学习

2010获得哈尔滨工程大学博士学位,2017年赴英国萨里大学访学。曾主持国家自然科学青年基金等省部级以上纵向项目4项,2022年江苏省第六期“333高层次人才培养工程”第三层次培养对象。近三年科研到款600万,获得2021年工信部国防科学技术进步二等奖、2020年中国钢铁工业协会金属学会冶金科学技术一等奖、2022年中国石油和化学工业联合会科技进步三等奖、2023年电力建设科学技术进步三等奖。部分科研成果被应用到海洋装备与电力建设领域,实现了显著的社会效益。

陈岚萍,博士,副教授,硕导

Email: chenlp@cczu.edu.cn

研究方向:智能交通及智能汽车控制,数据分析与智能算法应用。

上海交通大学控制理论与控制工程博士,美国普渡大学波利斯分校访问学者。主要从事智能交通与智能车优化控制,材料特性数据分析与预测等方面的科研工作。主要参与国家自然基金2项,国际项目1项,主持参与多项省、市级及横向项目,主持参与多项省部级鉴定,发表论文SCIEI及核心论文30多篇,授权及申请发明专利10多项。主持教育部协同育人项目1项,主持校级一流课程1门及教研课题5项,主编十三五规划教材1部、江苏省高校重点教材1部,指导学生多次荣获学科竞赛一等奖、二等奖,获多项省创新创业项目,获省及校本科优秀毕业设计。荣获欧洲杯官方网站入口优秀教师、毕设优秀指导教师、教学名师培育等荣誉称号。

 

李辉  博士、副教授、硕导

Email: leehui@cczu.edu.cn

研究方向:高级物联网开发技术、随钻电磁测量理论与数值模拟技术

中国石油大学(北京)控制理论与控制工程博士,中国人工智能学会会员,曾就职于中国石油集团渤海钻探工程有限公司。主持江苏省省部级科研项目2项,主要参与国家级科研项目3项。在《地球物理学报》、《中国电机工程学报》、《控制理论与应用》、《Acta Geophysica》、《Journal of Petroleum Exploration and Production Technology》等国内外学术期刊发表论文30余篇(SCIEI检索近20篇),公开或授权发明专利10余项,出版学术专著1部,参编教材1部。

姜忠义 博士、副教授、硕导

Email: 姜忠义@cczu.edu.cn

研究方向:智能优化算法,大数据分析

复旦大学管理科学与工程博士,佐治亚州立大学罗宾逊商学院访问学者,美国数学评论员,中国人工智能学会自然计算与数字智能城市专委会委员。主要研究方向为智能算法、最优化理论与方法、大数据分析方法等。多次指导大学生数学建模竞赛和研究生数学建模竞赛活动全国一等奖和二等奖和三等奖,参与自然基金项目3项,主持常州市级大数据分析项目、南京医科大学常州医学中心临床研究项目、江苏省石油化工过程关键设备数字孪生技术工程研究中心课题等项目多项,参入自然基金项目3项。第一作者发表SCI检索论文10余篇,授权发明专利2项。

李文杰 博士、讲师

Email: lwj@cczu.edu.cn

研究方向:神经成像信号分析

上海大学信号与信息处理博士,主要从事神经成像数据处理和分析、认知神经科学相关研究工作。近年来,主要参与了脑电、功能磁共振成像及其数据融合在神经心理学疾病方面的应用研究,在Frontiers in neuroscienceFrontiers in human neuroscienceBehavioural brain researchNeuropsychologia等领域内高质量期刊上发表了多项研究论文。

汤立汉 博士、讲师

Email: tanglihan@cczu.edu.cn

研究方向:机器学习与生物医学信号处理

浙江大学电路与系统博士。主要从事机器学习、基于脑电信号的脑功能障碍发作机制研究等方面的科研工作。2022年加入欧洲杯官方网站入口与常州市第二人民医院共建“生物医学信息技术研究中心”,“常州市生物医学信息技术重点实验室”。到目前为止,主持或参与省部级以上项目2项。2023年入选江苏省“双创博士”。

 

团队主要科研成果:

一、脑机融合

1 上肢康复脑电解码算法

上肢康复旨在帮助患者恢复或者改善上肢功能,提高生活质量,使其能够在一定程度上进行自主的生活与参与社会活动。脑机接口(Brain Computer Interface, BCI)作为一项新兴技术,与运动想象脑电 (Motor Imagery Electroencephalogram, MI-EEG) 信号相结合,可辅助运动功能障碍患者主动康复训练,帮助其一定程度上恢复运动功能。但经典的运动想象范式与实际需要康复的肢体部位产生偏差。同时,传统的运动想象解码方法对于单侧肢体不同动作的MI-EEG信号又存在分类识别率较低的问题。针对上述问题,研究设计了针对上肢康复的精细运动想象(Fine Motor Imagery, FMI)范式,并结合脑电特征设计了相应的深度学习解码模型,实现FMI-EEG信号的解码,为后续BCI系统的开发与应用打下基础。研究成果已发表SCI期刊论文2篇,申请发明专利3件,发明专利授权1件,申请软件著作权1件。

 

2  同步EEG-fMRI融合算法

脑电图(Electroencephalography, EEG)、功能磁共振成像(functional Magnetic Resonance Imaging, fMRI)等无创脑成像技术已成为认知科学研究和临床医疗诊断的重要工具。EEG 能以较高时间分辨率(毫秒级)记录大脑活动的电生理信号,空间分辨率较低(厘米级);fMRI 根据血氧水平依赖反映大脑活动功能变化特征,具有较高空间分辨率(毫米级)和较低时间分辨率(秒级)。同步EEG-fMRI 技术在检测大脑活动的时间分辨率和空间分辨率方面优势互补,具备多模态的时空特性,为脑功能研究提供新的途径,具有广阔的应用前景

核磁环境下影响脑电的主要噪声是磁场梯度伪迹和心电伪迹,它们在幅度量级上远超脑电信号,足以掩盖微弱的神经活动,同时与脑电信号成分在频域的混叠特性大大增加了处理难度。根据核磁环境下心电伪迹的时变特点,提出聚类-约束独立成分分析(ccICA)方法去除心电伪迹。模拟融合数据和真实融合数据的处理结果验证了ccICA算法的有效性。针对情绪重评的同步EEG-fMRI数据,分别进行了基于典型相关分析的对称融合分析、基于基于滑动时间窗和加权最小范数的源定位及脑功能网络研究、以及基于EEGfMRI预测分析等系列研究。研究成果已发表在包括IEEE transactions on medical imaging、自动化学报等国内外顶级期刊9篇,教育部科技成果登记1项,江苏省科技进步二等奖1项。

 

3脑机融合应用案例

1)智能助餐机器人

随着我国老龄化问题日益严重,失能、失智老人和需要就餐护理的残疾人数量巨大,但护理人员极为短缺。智能助餐机器人系统包括人脸识别装置、脑电采集处理装置、主控设备以及数字孪生三维可视化监控系统。机器人系统根据脑电特征选择饭菜,并使用机器视觉技术自主控制升降桌面台,导引机械手臂自主适配饭菜,使喂饭过程更加智能化和便捷。基于脑电的饭菜选择准确率高于80%,嘴巴视觉辨识准确率高于90%,喂食操作时间5秒钟完成,且不遗撒。该系统已申请发明专利5件,软件著作权登记1件,入选2023年中国残疾人康复协会、中国残疾人辅助器具中心组织的残疾人辅助器具创新成果推介活动设计组(科研创新)优秀作品,2024年江苏省科技助残辅具创意创新大赛优秀奖。

2)抑郁症患者虚拟现实-生物反馈诊疗系统

郁症是一种常见且易复发的精祌疾病,严重危害人们的身心健康,已成为重要的社会问题。基于多用户网络化的抑郁症患者辅助康复训练系统包括自制多通道多模放大器、个体化多级虚拟游戏场景作以及网络化训练反馈计算软件。该系统可快速处理用户数据并生成基于网络发布格式的临床指标报告。对若干抑郁症患者进行虚拟现实情境治疗,通过治疗前后的脑电分析,发现左右脑不对称指数(AlphaBeta)、频谱不对称指数(SASI)特征差异明显、效果稳定,计算速度快,患者抑郁症状有较明显改善。该系统已授权国家发明专利3件,软件著作权登记6件,全国妇幼健康科学技术三等奖1件。

二、机器智能

1、智能算法分析与设计

1)基于惯性-地磁组合的定姿技术

作为一种传感器组合,惯性地磁组合主要由三轴陀螺仪、三轴加速度计和三轴地磁传感器构成。对于惯性地磁组合而言,扩展卡尔曼算法是目前最受欢迎的一种算法。该算法的目的是通过融合上述三种传感器的输出信息以得到载体的姿态。然而扩展卡尔曼算法的主要缺点之一是其较高的计算时间,这主要是由于其在计算增益矩阵时需要用到求逆运算。通过简化增益计算,使其不包含任何求逆计算不失为一种很好的选择,而通过简化线性化观测矩阵(即雅克比矩阵)的方式可以达到这一目的,而简化上述观测矩阵的途径是正交化观测和参考矢量。在简化观测矩阵之后,增益矩阵中包含的逆矩阵的直接计算式则可以通过数学推导后得出,该直接计算式则随后可以用于逆矩阵的计算而不必再去求逆。相关研究已经发表13篇学术论文,其中SCI论文11篇,EI论文2篇,并获授权国家发明专利4项。

2)带有学习效应的调度问题研究

调度问题是一类重要的优化问题,广泛应用于管理科学、医疗卫生、企业管理、现代服务业以及工业生产等多个领域。本研究将实际的时间依赖和作业依赖的学习效应引入单机调度问题中,证明了最小化工期问题和最小化加权完工时间和问题均为NP-hard问题,针对带有学习效应的调度模型设计了求解算法。提出一种改进的黏菌智能算法(IMSMA),引入基于伯努利映射反向学习的初始种群策略,采用柯西变异策略来避免陷入局部最优,转换动态非线性边界,增强算法在早期迭代中的全局搜索能力和在后期迭代中的局部搜索能力,从而加快了算法的收敛速度。研究成果已发表4SCI期刊论文。

 

2、机器智能系统

1)果蔬智能采摘机器人视觉识别技术

果蔬适时高效采收、降低采摘成本尤为重要。基于机器视觉的果蔬采摘机器人可充分利用其信息感知能力对果蔬进行检测识别采摘,提高采摘效率,从而提升经济效益,增加农民收入。果蔬的生长形态多种多样,不同生长形态的果蔬对于采摘机器人来说其采摘机制应当是不同的,由此在果蔬采摘机器人作业中,其工作的首要任务是能够视觉辨识出不同生长形态的果蔬,然后机器人才能选用相应方法来完成不同生长形态果蔬的顺利采摘。由于深度学习特征提取表达能力强、泛化能力好,提出了一种果园果实生长形态辨识深度学习模型YOLOv5-B,它使用FPN+BiFPN-S作为骨干网络来进行特征提取和融合,并利用混合激活函数来提高模型检测性能,同时在训练过程中使用迁移学习和多尺度训练的方式来优化检测准确率。相关成果已发表15SCI/EI检索论文,授权国家发明专利12项,转化6项,获中国商业联合会科技进步二等奖1项。

2)小尺寸阵列高性能自主探测

针对小尺寸载体声学阵列孔径受限,导致阵列多目标分辨能力不足的难题,提出导向向量随机误差修正的稳健波束形成,提高系统校准精度。应用到与中科院声学所合作自研新型毛发阻尼阵列,性能赶超被禁运的国外最新同类产品,打破了贸易战的技术封锁。研究成果在SPL、声学学报等期刊发表论文5篇,获省部级科学技术进步奖1项。

(3) 输电线路重要跨越段拆换线施工智能机器人研究

输电线路重要跨越段拆换线施工智能机器人针对传统拆换线施工中多部门协调困难、施工成本高、作业风险大及影响交跨物正常运行的难题,创造性的提出基于智能机器人的拆换线施工工艺,并在拆换线机器人顶升力自动控制技术、智能防撞技术和轻量化设计方面取得创新成果,提高了机器人负载能力、操控性、安全性和便携性,具备结构紧凑、重量轻、可靠性高、操作方便的特点,核心技术获得电力建设科学技术进步三等奖。基于智能机器人的拆换线施工工艺不影响交跨物运行,安全性高,攻克了重要跨越段拆换线施工的技术难题,填补了国内空白,获得权威检测机构认证。目前机器人拆换线技术已先后在常州、无锡等市应用于拆除跨越京杭大运河、青洋快速路、省道、带电线路及房屋等被跨越物,相关案例被央视、新华社等主流媒体广泛报道。