1.本发明属于脑电数据采集领域,具体涉及一种脑电数据采集系统及方法。
背景技术:
2.脑电波(electroencephalogram,eeg)是一种使用电生理指标记录大脑活动的方法,大脑在活动时,大量神经元同步发生的突触后电位经总和后形成的。它记录大脑活动时的电波变化,是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。
3.脑电波来源于锥体细胞顶端树突的突触后电位。脑电波同步节律的形成还与皮层丘脑非特异性投射系统的活动有关。脑电波是脑科学的基础理论研究,脑电波监测广泛运用于其临床实践应用中。
4.阅读疗法是一种藉由阅读图书或接触其他信息材料,帮助读者纾解负面情绪困扰,进而达到身心平衡之状态。人们在阅读小说的时候,会因为阅读内容的不同,产生不同的生理反应,诸如脑电、心电、呼吸等。即使是同一篇小说,不同的人产生的反应也不一样。
5.因此,为了给每个需要心理治疗的个体提供更精准的阅读疗法,针对阅读疗法进行评估,从而知道不同类型的小说(阅读材料)对某一个人产生的影响,是非常有必要的。
6.针对阅读疗法进行评估的现有技术有以下几种:
7.1)第一种现有技术为申请人为江苏大学且公开号为cn113160940a的专利文件所公开的一种心理问题自动检测与阅疗书方自动匹配推荐的方法与系统,其中公开了根据用户在线填写的各类量表的检测结果进行自动计算,获取用户心理健康状况、心理问题及成因,进行关联存储;设计阅疗模块,根据检测结果自动推送配套书方。该系统能自动检测心理健康问题及其背后复杂成因,并能对症自动匹配和推荐图书阅读,降低人力成本、提高推荐阅读的效率和精准性,并能实现阅疗书方推荐系统的自动完善,且很好地保护用户隐私。该系统可应用于大学生、中小学生、家长、罪犯、吸毒戒毒人员、社会一般人员等的心理问题自动检测与精准阅疗书方推荐,同时适用于戒毒人员心理问题及戒毒效果的自动检测与评价、罪犯心理问题及其治疗效果的自动检测与评价等。
8.然而,上述系统仅仅是采用量表来采集数据,而没有进行生理信号采集,并且没有跟踪阅读的过程,因此其数据的可靠性和精确度有待进一步加强。
9.2)第二种现有技术为申请人为华北理工大学且公开号为cn108389629a的专利文件所公开的一种基于阅读疗法的图书阅读器,其中公开了包括用于对患者进行阅读疗法时使患者进行阅读的电子图书阅读器本体,电子图书阅读器本体包括用于阅读文字的触摸显示屏以及分别位于其左右两端的手持部,电子图书阅读器本体内部还设有电源模块,还包括微处理器、患者身份识别模块、阅读中生理指标采集单元、存储单元、分析对比单元、心理健康判定单元、心理健康状况输出单元以及无线通信模块。本发明能够在患者进行阅读治疗的过程中通过实时监测患者的生理指标状况来判定患者在治疗过程中的疗效的阅读设备,从而根据患者在治疗过程中的表现来随时调整治疗方案,能够及时的提供给患者一个治疗效果参考结论,从而使患者得到更有效的阅读治疗。
10.第二种现有技术的缺点在于跟踪阅读过程过于简单,不能确定患者具体读取到哪个位置,导致生理指标信号与材料不能保证同步记录。
11.3)第三种现有技术为上海交大情感脑电数据集(seed)。seed是由上海交通大学吕宝粮教授2015年10月公开发布的基于62导eeg(脑电图)信号的情感计算数据集(具体参见网站【https://bcmi.sjtu.edu.cn/home/seed/】、文献【zheng w l,lv b l.investigating critical frequency bands and channels for eeg-based emotion recognition with deep neural networks.ieee transactions on autonomous mental development,2015,7(3):162-175】以及文献【zheng wl,liu w,lu y f,lv b l,cichocki a.emotionmeter,a multimodal framework for recognizing human emotions.ieee transactions on cybernetics,2019,49(3):1110-1122】)。目前该seed数据集包括三个子集:seed、seed-iv和seed-vig,其中seed子集是最早发布的三类情绪数据集,seed-iv子集是四类情绪数据集,而seed-vig子集是一个警觉度估计数据集。其中,seed数据集是通过电影视频片段来诱发被试者的不同情绪,它主要由两部分组成,一部分是获取的被试者在实验中的eeg信号,这些eeg信号在采集后进行了降采样、滤波以及伪迹去除等操作,以提高脑电信号的质量(值得指出的是,从信号处理的角度,对采样信号先进行滤波,然后进行降采样处理更利于保留原始信号中包含的信息);另一部分数据是对预处理后的eeg信号进行的特征提取,包括功率谱密度(psd)、微分熵(differential entropy,de)、微分熵的不对称差(differential asymmetry,dasm)、微分熵的不对称商(rational asymmetry,rasm)等多种特征,同时还通过移动平均和线性动态系统(linear dynamic system,lds)对特征进行了平滑。
12.第三种现有技术的缺点在于其需要人工对材料进行切分来确定被试者具体在看到哪一段片段时导致了情绪,而不能自动跟踪影片的阅览过程,因为分段必须人工去做,seed只有6部作品;不能自动确定被试者具体读取到哪个位置,使得信号与材料同步记录需要人工辅助。
13.综上,现有技术的缺点是自动跟踪阅读过程没有或者过于简单,且信号与材料的同步记录不能自动进行。
技术实现要素:
1.本发明的目的是提供一种同步跟踪阅读内容的脑电数据采集系统及方法,从而解决现有技术中信号与材料的同步记录不能自动进行的问题。
2.为了解决上述技术问题,本发明提供一种同步跟踪阅读内容的脑电数据采集系统,包括作为客户端的电子阅读器、脑电记录子系统、以及服务端;所述脑电记录子系统设置为采集脑电数据并将其发送给电子阅读器;所述服务端设置为维护和提供阅读材料、维护阅读者信息、汇总和导出电子阅读器输出的数据;所述电子阅读器设置为在阅读前设置阅读环境和选择阅读材料,在阅读时显示阅读材料并进行实时的阅读跟踪,输出阅读材料的段落id与脑电数据的同步数据,并将输出数据上传至服务端。
3.所述电子阅读器包括屏幕、摄像头和蓝牙,屏幕设置为显示服务端中的阅读材料以及显示一菜单,该菜单具有设置项,以供读者通过设置项来设置参数;摄像头设置为拍摄眼球状态图像,以确定眼球注视的位置以及是否为闭眼状态,进而进行实时的阅读跟踪;所
述蓝牙设置为接受脑电记录子系统发送的脑电数据。
4.另一方面,本发明提供一种同步跟踪阅读内容的脑电数据采集方法,其基于上文所述的同步跟踪阅读内容的脑电数据采集系统,其包括:
5.利用作为客户端的电子阅读器执行如下步骤:
6.步骤s1:进行账号登录,以根据阅读者的账号和登录密码获取阅读者信息;或者进行账号设置,以获取阅读者信息;
7.步骤s2:获取阅读环境设置和阅读材料;
8.步骤s3:在阅读时,显示阅读材料并进行实时的阅读跟踪;
9.步骤s4:输出阅读材料的段落id与脑电数据的同步数据,并将输出数据上传至服务端;
10.且利用服务端执行如下步骤:
11.步骤s1’:维护阅读材料;其中,维护阅读材料是指添加阅读材料和对阅读材料进行自动切分;
12.步骤s2’:维护阅读者信息;
13.步骤s3’:汇总、导出输出数据。
14.所述阅读者信息包括阅读者的账号、登录密码、姓名、年龄、性别、阅读者的眼睛与阅读器的距离、闭眼状态的眼球状态图像和电子阅读器的多个注视位置的眼球状态图像;
15.且所述步骤s2包括:在阅读前,设置阅读环境并选择来自于服务端的阅读材料以进行下载,或者直接读取上一次阅读前所设置的阅读环境和下载的阅读材料。
16.所述电子阅读器包括屏幕,屏幕设置为显示服务端中的阅读材料以及显示一菜单,该菜单具有设置项,以供读者通过设置项来设置参数;
17.在所述步骤s1中,所述账号设置通过屏幕上显示的菜单来进行,包括:通过手工输入设置阅读者的眼睛与阅读器的距离;
18.通过手工输入设置姓名、年龄、性别;
19.通过拍摄闭眼状态的图像设置闭眼状态的眼球状态图像;以及
20.设置电子阅读器的多个注视位置的眼球状态图像。
21.所述注视位置的数量为9个,包括左上,中上,右上,左中,正中,右中,左下,中下和右下;或者,所述注视位置的数量是5个,包括左上,右上,正中,左下和右下;
22.且设置电子阅读器的多个注视位置的眼球状态图像具体通过如下步骤进行:由电子阅读器在屏幕上的多个位置依次显示一个图片,阅读者依次注视每一个位置,并依次按拍摄按钮,以拍摄得到电子阅读器的多个注视位置的眼球状态图像并保存。
23.在步骤s3中,在阅读时,电子阅读器在屏幕上首先显示阅读材料的第一页,且每当阅读者往后或者往前翻一页,电子阅读器便相应刷新其显示内容。
24.所述电子阅读器包括摄像头;
25.所述步骤s3包括:每间隔一第一间隔时间,执行一次如下步骤:
26.步骤s31:电子阅读器利用其摄像头拍摄阅读者的当前的眼球状态图像,并根据当前的眼球状态图像和闭眼状态的眼球状态图像的匹配结果判断眼球是否处于闭眼状态,并利用当前的脑电数据判断是否眨眼;
27.步骤s32:根据判断结果,如果眼球处于眨眼或闭眼状态,则放弃当前的脑电数据;
28.否则,比较当前的眼球状态图像与电子阅读器的多个注视位置的眼球状态图像,计算出眼球注视位置,进而根据阅读材料在每一页的各个位置所显示的段落所各自对应的段落id确定眼球注视位置对应的段落id;随后进入休眠状态;
29.且所述步骤s3还包括:每间隔一第二间隔时间,采集一次脑电数据。
30.所述步骤s3还包括:在阅读时,进行人脸情感识别。
31.所述输出数据包括所述同步数据、阅读时间、阅读者id、阅读材料的文章id以及脑电波类型。
14.本发明的同步跟踪阅读内容的脑电数据采集系统及方法通过阅读材料的段落id与脑电数据的同步数据的同步来确定不同类型的小说(阅读材料)对某一个人产生的影响,从而能够给每个需要心理治疗的个体提供更精准的阅读疗法。本发明通过摄像头来确定阅读材料中的章节和段落,实现了阅读跟踪,并同步记录与之对应的脑电数据,可以帮助我们更深入地了解其中的个体差异与群体共性,为后续开发精准的阅读疗法打好基础。此外,本发明通过服务端实现了同步数据的大数据云存储,便于后续进行数据挖掘。
附图说明
32.图1是本发明的同步跟踪阅读内容的脑电数据采集系统的结构示意图。
具体实施方式
15.以下结合具体实施例,对本发明做进一步说明。应理解,以下实施例仅用于说明本发明而非用于限制本发明的范围。
16.如图1所示,本发明的同步跟踪阅读内容的脑电数据采集系统包括作为客户端的电子阅读器10、脑电记录子系统20、以及服务端30。
17.其中,脑电记录子系统20可以是脑环设备如neurosky、muse、emotive等,其设置为采集脑电数据,通过蓝牙把脑电数据发送给作为客户端的电子阅读器10。neurosky、muse、emotive这些产品都有用于二次开发的sdk,因此实现上述功能并不困难。
18.在本实施例中,脑电数据为eeg(脑电图),但是在其他实施中,脑电数据不限于eeg,可以推广到各种脑电采集方法。
19.服务端30设置为维护和提供阅读材料、维护阅读者信息、汇总和导出电子阅读器10输出的数据。
20.电子阅读器10设置为在阅读前设置阅读环境和选择阅读材料,在阅读时显示阅读材料并进行实时的阅读跟踪,输出阅读材料的段落id与脑电数据的同步数据,并将输出数据上传至服务端30。所述输出数据除了包括阅读材料的段落id与脑电数据,还包括:阅读时间、阅读者id、阅读材料的文章id以及脑电波类型。其中,脑电波类型为α、β、γ、δ、θ中的一种。
21.电子阅读器10包括屏幕11、摄像头12和蓝牙13等;屏幕11设置为显示服务端30中的阅读材料;摄像头12设置为拍摄眼球状态图像,以确定眼球注视的位置以及是否为闭眼状态,进而进行实时的阅读跟踪。蓝牙13设置为接受脑电记录子系统20发送的脑电数据。屏幕11还可以设置为显示一菜单,该菜单具有设置项,以供读者通过设置项来设置参数。
22.电子阅读器10可以是电脑版的、或者是安装于手机上的手机app等。
23.基于上文所述的本发明的同步跟踪阅读内容的脑电数据采集系统,所实现的同步跟踪阅读内容的脑电数据采集方法,包括以下步骤:
24.(1)利用作为客户端的电子阅读器10执行如下步骤:
25.步骤s1:进行账号登录,以根据阅读者的账号和登录密码获取阅读者信息;或者进行账号设置,以获取阅读者信息;
26.其中,阅读者信息包括阅读者的账号、登录密码、姓名、年龄、性别、阅读者的眼睛与阅读器的距离、闭眼状态的眼球状态图像、电子阅读器10的多个注视位置的眼球状态图像等。
27.所述账号设置通过屏幕11上显示的菜单来进行,包括:
28.(通过手工输入)设置阅读者的眼睛与阅读器的距离;
29.(通过手工输入)设置姓名、年龄、性别;
30.(通过拍摄闭眼状态的图像)设置闭眼状态的眼球状态图像;以及
31.设置电子阅读器10的多个注视位置的眼球状态图像。在本实施例中,所述注视位置的数量为9个,包括左上,中上,右上,左中,正中,右中,左下,中下,右下;在其他实施例中,考虑到屏幕11可能比较小,因此所述注视位置的数量也可以是5个,包括左上,右上,正中,左下,右下。
32.设置电子阅读器10的多个注视位置的眼球状态图像具体通过如下步骤进行:
33.由电子阅读器10在屏幕11上的多个位置依次显示一个图片(除了屏幕11的下方还有一个拍摄按钮,其他区域没有除了该图片外的任何显示),阅读者依次注视每一个位置,并依次按拍摄按钮,以拍摄得到电子阅读器10的多个注视位置的眼球状态图像并保存。
34.此外,在一些实施例中,在电子阅读器10的多个注视位置的眼球状态图像都拍摄完毕后,电子阅读器10会计算眼球状态图像是否有问题,如果有问题,会要求重新拍摄注视电子阅读器10的某些注视位置时的眼球状态图像。
35.步骤s2:获取阅读环境设置和阅读材料;
36.其中,所述步骤s2包括:在阅读前,设置阅读环境并选择来自于服务端(30)的阅读材料以进行下载,或者直接读取上一次阅读前所设置的阅读环境和下载的阅读材料
37.步骤s3:在阅读时,显示阅读材料并进行实时的阅读跟踪;
38.阅读者在步骤s2选择阅读材料后,在步骤s3中,在阅读时,电子阅读器10在屏幕11上首先显示阅读材料的第一页,且每当阅读者往后或者往前翻一页,电子阅读器10便相应刷新其显示内容。
39.需要说明的是,阅读材料会事先在服务端30自动切分好,阅读材料的自动切分是在服务端30完成的,因此所有阅读者看到的文字段落在屏幕上的显示位置都一样,且电子阅读器10知晓阅读材料在每一页的各个位置所显示的段落所各自对应的段落id。
40.其中,所述步骤s3的作用是判断眼球状态,根据眼球状态获取电子阅读器10的注视位置的内容,以及可选地进行人脸情感识别。
41.因此,所述步骤s3包括:
42.每间隔一第一间隔时间,执行一次如下步骤(第一间隔时间可以设置为5秒钟,最短1秒,最长10秒):
43.步骤s31:电子阅读器10利用其摄像头12拍摄阅读者的当前的眼球状态图像,并根
据当前的眼球状态图像和闭眼状态的眼球状态图像的匹配结果判断眼球是否处于闭眼状态,并利用当前的脑电数据判断是否眨眼;
44.其中,闭眼是阅读者主动采取的行为,一般会持续至少几秒钟;眨眼是眼睛的正常行为,只需要0.1秒左右的时间,是无意识完成的,正常人每隔几秒到十几秒会眨眼一次。
45.步骤s32:根据判断结果,如果眼球处于眨眼或闭眼状态,则放弃当前的脑电数据,以直接进入休眠状态,等待下一次从步骤s31开始执行;闭眼时是无法计算读者的注视区的,所以需要直接等待下一次执行。
46.否则,说明眼球不是处于眨眼或闭眼状态,比较当前的眼球状态图像与电子阅读器10的多个注视位置的眼球状态图像,计算出眼球注视位置,进而根据阅读材料在每一页的各个位置所显示的段落所各自对应的段落id确定眼球注视位置对应的段落id;随后进入休眠状态,以等待下一次从步骤s31开始执行。
47.其中,眼球注视位置通过比较当前的眼球状态图像与电子阅读器10的多个注视位置的眼球状态图像并利用插值法对眼球状态进行推导来得到。
48.由此,本发明的系统每间隔一第一间隔时间获得一次当前阅读的段落id(或者由于处于眨眼或闭眼状态而进入休眠状态)。
49.所述步骤s3还包括:每间隔一第二间隔时间,采集一次脑电数据。在本实施例中,第二间隔时间为1秒。
50.所述步骤s3还可以包括:在阅读时,进行人脸情感识别。其中,人脸情感识别采用通用的、流行的算法即可,从而可以统计阅读材料与情感的关系,可以比较基于脑电的情感计算与基于人脸的情感计算的一致性。
51.所述步骤s3还可以包括:在阅读时,根据阅读历史记录,提醒阅读者已经阅读过。另外,还可以包括其他非核心功能,例如包括:提醒阅读时间过长等。
52.步骤s4:输出阅读材料的段落id与脑电数据的同步数据,并将输出数据上传至服务端30。
53.其中,所述输出数据除了包括同步数据(阅读材料的段落id与脑电数据),还包括:阅读时间、阅读者id、阅读材料的文章id以及脑电波类型。其中,脑电波类型为α、β、γ、δ、θ中的一种。
54.在本实施例中,由于本发明的系统每间隔一第一间隔时间(为5秒钟)获得一次当前阅读的段落id(或者由于处于眨眼或闭眼状态而进入休眠状态),而脑电记录子系统20每隔1秒钟就会向电子阅读器10发送1次脑电信号,5秒钟就获得5批数据,因此,阅读材料的段落id与脑电信号的同步数据包括一个段落id及其对应的五批脑电数据。
55.在其他实施例中,同步输出的同步数据根据第一间隔时间和第二间隔时间的比值来决定。如果第二间隔时间是1秒且第一间隔时间是1秒钟,同步输出的同步数据就是一个段落id和一批脑电信号数据。如果第二间隔时间是1秒而第一间隔时间是10秒,同步输出的同步数据就是一个段落id和十批脑电信号数据。
56.由此,脑电数据可以与阅读材料的段落id同步对应。
57.(2)且利用服务端30执行如下步骤:
58.步骤s1’:维护阅读材料;
59.其中,维护阅读材料,是指系统管理员添加阅读材料、对阅读材料进行自动切分
等。
60.其中,在添加阅读材料时,选择比较著名的文学作品(名著)作为添加的阅读材料,例如微型小说(1页,2分钟可以读完)和短篇小说(10页内,5000字以内,10分钟内可以读完)。
61.对阅读材料进行自动切分是利用自然语言处理工具来进行的,根据切分结果设置每一篇阅读材料的文章id和段落id作为阅读材料id,最终得到带有阅读材料id的阅读材料,并由此确定阅读材料在每一页的各个位置所显示的段落所各自对应的段落id,以用于之后的同步跟踪。其中,文章id由7个字符组成,段落id由3个数字组成(001-999)。
62.在本实施例中,阅读材料是文学作品,然而在其他实施例中,阅读材料可以推广到所有文字材料。本发明是针对切分后的阅读材料进一步利用眼球的方向来进行同步跟踪,更具体更准确。
63.步骤s2’:维护阅读者信息;
64.其中,阅读者信息包括阅读者的账号、登录密码、姓名、年龄、性别、阅读者的眼睛与阅读器的距离、闭眼状态的眼球状态图像、电子阅读器10的多个注视位置的眼球状态图像等。维护阅读者信息是指在服务端30上进行数据备份等。
65.步骤s3’:汇总、导出输出数据。
66.其中,所述输出数据除了包括同步数据(阅读材料的段落id与脑电数据),还包括:阅读时间、阅读者id、阅读材料的文章id以及脑电波类型。其中,脑电波类型为α、β、γ、δ、θ中的一种。
67.服务端30在客户端执行前就开启了,客户端的登录同步到服务端,服务端就知道当前是哪个客户登录了,(1)服务端保存了客户的账号设置信息,(2)服务端保存了可供下载阅读的文章,(3)服务端接受客户端阅读结束上传的输出数据,所述输出数据包括:阅读时间、阅读者id、阅读材料id(包括文章id和段落id)以及脑电波类型。
68.比较结果:
69.如前所述有3种与本发明最相似的现有技术或者方案,本发明与三种现有技术的比较结果如下表所示。
70.表1 四种方法比较
71.可以看到,上海交通大学提供的上海交大情感脑电数据集(seed)是最接近的现有技术。与上海交通大学的seed技术相比,本发明有以下优点:
72.1)因为分段必须人工去做,seed只有6部作品;本发明对刺激材料事先进行自动切分,可以提供海量的阅读材料;
73.2)除了脑电,本发明还通过拍摄眼球状态,精确地跟踪阅读材料的内容,seed没有;
74.3)本发明自动完成脑电数据与阅读材料的同步数据,而seed需要人工辅助完成;
75.4)本发明将同步数据上传到服务端,以作为后续的大数据挖掘的准备工作,seed没有这个功能。
76.本发明的同步跟踪阅读内容的脑电数据采集系统及方法通过阅读材料的段落id与脑电数据的同步数据的同步来确定不同类型的小说(阅读材料)对某一个人产生的影响,从而能够给每个需要心理治疗的个体提供更精准的阅读疗法。本发明通过摄像头来确定阅读材料中的章节和段落,实现了阅读跟踪,并同步记录与之对应的脑电数据,可以帮助我们更深入地了解其中的个体差异与群体共性,为后续开发精准的阅读疗法打好基础。此外,本发明通过服务端实现了同步数据的大数据云存储,便于后续进行数据挖掘。
77.以上所述的,仅为本发明的较佳实施例,并非用以限定本发明的范围,本发明的上述实施例还可以做出各种变化。凡是依据本发明申请的权利要求书及说明书内容所作的简单、等效变化与修饰,皆落入本发明专利的权利要求保护范围。本发明未详尽描述的均为常规技术内容。
技术特征:
1.一种同步跟踪阅读内容的脑电数据采集系统,其特征在于,包括作为客户端的电子阅读器(10)、脑电记录子系统(20)、以及服务端(30);所述脑电记录子系统(20)设置为采集脑电数据并将其发送给电子阅读器(10);所述服务端(30)设置为维护和提供阅读材料、维护阅读者信息、汇总和导出电子阅读器(10)输出的数据;所述电子阅读器(10)设置为在阅读前设置阅读环境和选择阅读材料,在阅读时显示阅读材料并进行实时的阅读跟踪,输出阅读材料的段落id与脑电数据的同步数据,并将输出数据上传至服务端(30)。2.根据权利要求1所述的同步跟踪阅读内容的脑电数据采集系统,其特征在于,所述电子阅读器(10)包括屏幕(11)、摄像头(12)和蓝牙(13),屏幕(11)设置为显示服务端(30)中的阅读材料以及显示一菜单,该菜单具有设置项,以供读者通过设置项来设置参数;摄像头(12)设置为拍摄眼球状态图像,以确定眼球注视的位置以及是否为闭眼状态,进而进行实时的阅读跟踪;所述蓝牙(13)设置为接受脑电记录子系统(20)发送的脑电数据。3.一种同步跟踪阅读内容的脑电数据采集方法,其特征在于,其基于根据权利要求1或2所述的同步跟踪阅读内容的脑电数据采集系统,其包括:利用作为客户端的电子阅读器(10)执行如下步骤:步骤s1:进行账号登录,以根据阅读者的账号和登录密码获取阅读者信息;或者进行账号设置,以获取阅读者信息;步骤s2:获取阅读环境设置和阅读材料;步骤s3:在阅读时,显示阅读材料并进行实时的阅读跟踪;步骤s4:输出阅读材料的段落id与脑电数据的同步数据,并将输出数据上传至服务端(30);且利用服务端(30)执行如下步骤:步骤s1’:维护阅读材料;其中,维护阅读材料是指添加阅读材料和对阅读材料进行自动切分;步骤s2’:维护阅读者信息;步骤s3’:汇总、导出输出数据。4.根据权利要求3所述的同步跟踪阅读内容的脑电数据采集方法,其特征在于,所述阅读者信息包括阅读者的账号、登录密码、姓名、年龄、性别、阅读者的眼睛与阅读器的距离、闭眼状态的眼球状态图像和电子阅读器(10)的多个注视位置的眼球状态图像;且所述步骤s2包括:在阅读前,设置阅读环境并选择来自于服务端(30)的阅读材料以进行下载,或者直接读取上一次阅读前所设置的阅读环境和下载的阅读材料。5.根据权利要求4所述的同步跟踪阅读内容的脑电数据采集方法,其特征在于,所述电子阅读器(10)包括屏幕(11),屏幕(11)设置为显示服务端(30)中的阅读材料以及显示一菜单,该菜单具有设置项,以供读者通过设置项来设置参数;在所述步骤s1中,所述账号设置通过屏幕(11)上显示的菜单来进行,包括:通过手工输入设置阅读者的眼睛与阅读器的距离;通过手工输入设置姓名、年龄、性别;通过拍摄闭眼状态的图像设置闭眼状态的眼球状态图像;以及设置电子阅读器(10)的多个注视位置的眼球状态图像。6.根据权利要求5所述的同步跟踪阅读内容的脑电数据采集方法,其特征在于,所述注
视位置的数量为9个,包括左上,中上,右上,左中,正中,右中,左下,中下和右下;或者,所述注视位置的数量是5个,包括左上,右上,正中,左下和右下;且设置电子阅读器(10)的多个注视位置的眼球状态图像具体通过如下步骤进行:由电子阅读器(10)在屏幕(11)上的多个位置依次显示一个图片,阅读者依次注视每一个位置,并依次按拍摄按钮,以拍摄得到电子阅读器(10)的多个注视位置的眼球状态图像并保存。7.根据权利要求5所述的同步跟踪阅读内容的脑电数据采集方法,其特征在于,在步骤s3中,在阅读时,电子阅读器(10)在屏幕(11)上首先显示阅读材料的第一页,且每当阅读者往后或者往前翻一页,电子阅读器(10)便相应刷新其显示内容。8.根据权利要求3所述的同步跟踪阅读内容的脑电数据采集方法,其特征在于,所述电子阅读器(10)包括摄像头(12);所述步骤s3包括:每间隔一第一间隔时间,执行一次如下步骤:步骤s31:电子阅读器(10)利用其摄像头(12)拍摄阅读者的当前的眼球状态图像,并根据当前的眼球状态图像和闭眼状态的眼球状态图像的匹配结果判断眼球是否处于闭眼状态,并利用当前的脑电数据判断是否眨眼;步骤s32:根据判断结果,如果眼球处于眨眼或闭眼状态,则放弃当前的脑电数据;否则,比较当前的眼球状态图像与电子阅读器(10)的多个注视位置的眼球状态图像,计算出眼球注视位置,进而根据阅读材料在每一页的各个位置所显示的段落所各自对应的段落id确定眼球注视位置对应的段落id;随后进入休眠状态;且所述步骤s3还包括:每间隔一第二间隔时间,采集一次脑电数据。9.根据权利要求3所述的同步跟踪阅读内容的脑电数据采集方法,其特征在于,所述步骤s3还包括:在阅读时,进行人脸情感识别。10.根据权利要求3所述的同步跟踪阅读内容的脑电数据采集方法,其特征在于,所述输出数据包括所述同步数据、阅读时间、阅读者id、阅读材料的文章id以及脑电波类型。
技术总结
本发明提供一种同步跟踪阅读内容的脑电数据采集系统,包括作为客户端的电子阅读器、脑电记录子系统、服务端;脑电记录子系统采集脑电数据并将其发送给电子阅读器;服务端维护和提供阅读材料;电子阅读器在阅读前设置阅读环境和选择阅读材料,在阅读时显示阅读材料并进行实时的阅读跟踪,输出阅读材料的段落ID与脑电数据的同步数据,并将输出数据上传至服务端。本发明还提供了相应的方法。本发明的系统及方法通过阅读材料的段落ID与脑电数据的同步数据的同步来确定阅读材料对某一个人产生的影响,从而能够给每个需要心理治疗的个体提供更精准的阅读疗法。供更精准的阅读疗法。供更精准的阅读疗法。
技术研发人员:何熲 高军晖
受保护的技术使用者:上海暖禾脑科学技术有限公司
技术研发日:2022.02.14
技术公布日:2022/5/25
转载请注明原文地址:https://tc.8miu.com/read-15433.html