本公开涉及一种用于确定心跳特征(诸如心跳率)的方法和系统。
背景技术：
1、心跳特征是人类生理和心理信息的来源。如心跳率、心跳率变异性和心跳间间隔的参数可指示人的健康和幸福。可使用与用户皮肤接触的传感器来测量此类参数。一个示例是心电图，其中使用放置在用户的皮肤上的电极来测量心脏的电活动。
2、测量心跳特征的另一种方法是光电体积描记法(ppg)。ppg是一种基于皮肤表面的测量来检测血液体积变化的光学方法。常见的ppg方法通常需要与人体皮肤(例如耳朵、手指)进行某种形式的接触。
3、一种特定形式的ppg是远程ppg(rppg)。rppg是一种基于非接触视频的方法，其通过捕获皮肤图像中的像素强度变化来监测血容量的变化。rppg可在其中用户至少暂时静止的并且可通过相机监控的环境中使用。车辆内部就是一个这种环境。测量车辆驾驶员的心跳特征允许检测可能对驾驶员驾驶能力有害的状况，例如压力和疲劳。
4、然而，在车辆内部，rppg的准确性是一个问题。这可能是由光线条件变化引起的。例如，车辆可在白天或夜晚以及在不同条件(阳光、雨天、隧道内等)下使用。另外，车辆内的光源可能活动或可能不活动。因此，驾驶员皮肤的可用于rppg的部分可能会暴露于不可预测且不断变化的光线条件下。
5、本公开旨在解决这些问题和其他问题。
技术实现思路
1、本公开提供了一种用于使用rppg来确定心跳特征(诸如心率)的方法和系统。所述方法和系统旨在通过在对用户面部中的特定区域执行rppg时标识所述区域并且对所述区域进行照明来提高rppg的准确性。所述方法和系统在光线条件不可预测且多变的环境中(诸如在车辆中)特别有用。
2、为了实现这些和其他期望效果，根据本公开的一个方面，提供了一种方法，其包括：捕获第一组图像帧，其中第一组图像帧包括用户面部的表示；标识在第一组帧中表示的用户面部的至少一个皮肤贴片；确定光源配置并且将光源配置传输到第一光源；由第一光源根据光源配置对至少一个皮肤贴片进行照明；捕获第二组图像帧，其中第二组图像帧包括由第一光源根据光源配置照明的至少一个皮肤贴片的表示；以及使用远程光电体积描记法rppg来处理第二组图像帧中的一个或多个图像帧。
3、初始，所述方法可标识用户面部的皮肤贴片。本文使用术语“皮肤贴片”来指称用户面部中可适合于rppg的区域。此类区域可位于用户面部中皮肤相对平坦的区域中，例如前额或脸颊的区域中。可基于皮肤贴片相对于面部特征(诸如用户眼睛)的已知相对位置来标识皮肤贴片的位置。可使用已知的特征检测方法来标识此类面部特征。因此，通过首先检测第一组图像帧中表示面部特征的像素，可以标识表示适合于rppg的皮肤贴片的像素，如下文将更详细地解释。
4、在后续步骤中，所述方法可确定光源配置并且使用根据所确定的光源配置配置的光源来对所标识的皮肤贴片进行照明。可确定光源配置以便将从光源发射的光聚焦到皮肤贴片上。另外，可确定光源配置以便避免对用户面部过于靠近用户眼睛的区域进行照明，从而避免任何干扰或刺激。
5、光源配置可涉及光源的不同可配置参数，包括但不限于发射光束的角度、方向、直径、光强度、波长和持续时间。光源配置还可考虑现有的环境光(例如，日光、车辆内的背景照明)。另外，光源配置可动态地适应环境光的变化。
6、可设置参数以便基于从皮肤贴片反射的光来优化rppg的结果。为此，所述方法可包括捕获包括所照明的皮肤贴片的表示的第二组图像帧。因此，根据本公开的方法可通过基于从用户面部的选定照明区域反射的光来使得能够执行rppg来提供改进的rppg结果。
7、在多个实施方案中的一个实施方案中，第一组图像帧和第二组图像帧的捕获由单个相机执行。因此，所述方法可用相对少的组件来实现，使其特别适合于空间有限的环境，诸如车辆或汽车的内部。
8、相机可包括红绿蓝(rgb)传感器，其中第一组图像帧和第二组图像帧的捕获包括使用rgb传感器来在可见光光谱中捕获图像。在替代实施方案中，相机可包括近红外nir传感器和rgb传感器，其中第一组图像帧的捕获包括使用nir传感器来在nir光谱中捕获图像，并且其中第二组图像帧的捕获包括使用rgb传感器来在可见光光谱中捕获图像。使用附加的nir传感器可提高标识适合于rppg的皮肤贴片的准确性。
9、在另一实施方案中，第一组图像帧的捕获由第一相机执行，并且第二组图像帧的捕获由第二相机执行。使用两个独立的相机可提高皮肤贴片检测和rppg的准确性。例如，第一相机可布置在特别适合于皮肤贴片标识的位置处，而第二相机可布置在特别适合于rppg的位置处。替代地，第一相机和第二相机可彼此相邻布置，并且包括在单个外壳中以获得紧凑的尺寸。
10、第一相机可包括nir传感器以在nir光谱中捕获第一组图像帧。第二相机可包括rgb传感器以在可见光光谱中捕获第二组图像帧。带有nir传感器的相机和带有rgb传感器的相机的组合提供了高度准确的rppg结果。
11、虽然使用nir传感器本身可能已经改善了适合于rppg的皮肤贴片的标识，但所述方法还可包括利用nir光源对用户面部进行照明。使用nir光源来对用户面部进行照明并且在nir光谱中标识皮肤贴片可减少或者甚至消除来自环境光的任何干扰。另外，nir光还具有肉眼不可见的优点。另外，nir光不太可能干扰可存在(例如，存在于车辆中)的其他光敏系统。
12、尽管所描述的一些实施方案包括用于在nir光谱中捕获图像的nir传感器或nir光源，但本公开不限于此。可使用其他波长，具体地其他红外波长以及对应传感器和光源。
13、在一个实施方案中，标识至少一个皮肤贴片包括检测在第一组图像帧中表示的一个或多个面部特征，并且基于所检测的一个或多个面部特征的位置来标识至少一个皮肤贴片。检测面部特征的存在和位置可便于皮肤贴片的标识。例如，如果认为前额区域特别适合于rppg，则可通过它们相对于眼睛的相对位置来标识此类区域。第一组图像帧中的面部特征的检测可采用已知的特征检测方法来实现。
14、另外，所述方法可包括标识两个或更多个皮肤贴片，并且选择它们中的一者或多者用于rppg。换句话讲，可标识rppg的“候选”皮肤贴片，并且选择最适合于rppg的皮肤贴片。选择可基于参数诸如候选皮肤贴片的位置或大小或信噪比，所述参数可从表示皮肤贴片的图像帧中导出。
15、另外，所述方法可包括选择第二组图像帧中的至少一些图像帧以进行rppg处理。选择可基于一个或多个质量标准，例如信噪比。通过在执行rppg之前执行基于质量的图像帧选择，rppg处理的结果可得到进一步改进。
16、所述方法还可包括基于rppg处理的结果来确定一个或多个心跳参数，并且基于一个或多个心跳参数来生成控制信号以发起与一个或多个心跳参数相关联的动作。因此，所述方法使得能够基于心跳参数来确定用户的不同生理或心理状态，并且采取适当的动作。例如，用户可以是汽车的驾驶员，并且心跳参数可指示疲劳状态。因此，所述方法可用于向驾驶员生成警告信号，提醒驾驶员休息一会，或者甚至主动干预，例如通过降低车速。
17、根据本公开的另一方面，提供了一种系统，其被配置为执行根据本公开的方法的任何步骤。具体地，提供了一种系统，其包括：至少一个相机，所述至少一个相机用于捕获第一组图像帧，其中第一组图像帧包括用户面部的表示；面部特征检测器，所述面部特征检测器用于标识在第一组图像帧中表示的用户面部的至少一个皮肤贴片；光源配置器，所述光源配置器用于确定光源配置；以及第一光源，所述第一光源用于根据光源配置对至少一个皮肤贴片进行照明；其中至少一个相机被配置为捕获第二组图像帧，其中第二组图像帧包括由第一光源根据光源配置照明的至少一个皮肤贴片的表示，并且其中所述系统还包括远程光电体积描记法rppg系统，所述rppg系统用于使用rppg来处理第二组图像帧中的一个或多个图像帧。
18、在一个实施方案中，至少一个相机可包括用于捕获第一组图像帧和第二组图像帧的rgb传感器。替代地，至少一个相机包括用于在nir光谱中捕获第一组图像帧的nir传感器以及用于在可见光光谱中捕获第二组图像帧的rgb传感器。
19、在另一实施方案中，至少一个相机包括用于捕获第一组图像帧的第一相机以及用于捕获第二组图像帧的第二相机。第一相机可包括用于在nir光谱中捕获第一组图像帧的nir传感器，并且第二相机可包括用于在可见光光谱中捕获第二组图像帧的rgb传感器。
20、第一光源可包括一个或多个发光二极管(led)。led消耗的能量和空间相对少，并且因此非常适合集成到车载系统中。替代地，第一光源可包括液晶显示器(lcd)投影仪、数字光处理(dlp)投影仪或电荷耦合装置(ccd)投影仪。来自此类投影仪的光可精确聚焦到所标识的皮肤贴片上。
21、第一光源可通过电子、机电和/或机械方式配置。第一光源可配置为调整其投影场以便包括用户面部并且具体地至少一个皮肤贴片。
22、在又一实施方案中，第一光源可包括位于不同位置的多个光发射源，从而改进皮肤贴片的照明。不同位置存在多个光发射源还提供了冗余度，并且如果光发射源中的一个光发射源发生故障或暂时受阻，则使得能够维持皮肤贴片的照明。
23、在包括带有nir传感器的相机的一些实施方案中，系统可包括用于利用nir光对用户面部进行照明的附加光源。
24、在实施方案中，第一光源可控制以单独地和/或彼此独立地对用户面部上的两个或更多个皮肤贴片进行照明。为此，第一光源可包括多个发光源。发光源可彼此相邻布置，布置在单个装置中，或者布置在不同位置处。因此，可以标识两个或更多个皮肤贴片，并且将单独的光束聚焦到皮肤贴片上。可控制发光源以同时、连续或交替地对皮肤贴片进行照明。通过捕获从如此照明的皮肤贴片反射的光，可获得更多用于rppg处理的数据，从而进一步提高rppg准确性。
25、另外，对两个或更多个皮肤贴片进行标识和照明的分析减少了对可例如由于用户的移动、衣服(例如，帽子)或环境光照的突然变化(例如，阴影)而阻碍给定皮肤贴片的外部条件的脆弱性。
26、多个光发射源中的一些或全部光发射源可以是可单独配置的。例如，可控制多个光发射源中的一些光发射源以利用第一强度或波长对一个皮肤贴片进行照明，而可控制多个光发射源中的其他光发射源以利用第二(不同)强度或波长对另一皮肤贴片进行照明。这使得能够单独补偿每个皮肤贴片处的不同光线条件，从而获得更高质量的皮肤贴片图像并且提高rppg准确性。
27、至少一个相机和第一光源可彼此相距一定距离布置，例如布置在车辆中的合适位置处。光源配置器可被配置为在确定光源配置时考虑第一光源和至少一个相机的相对位置，以确保从至少一个光源发射的光精确地引导到皮肤贴片上。
28、至少一个相机可以是可调整的。具体地，至少一个相机可以是可调整的以在捕获第二组图像帧时聚焦到至少一个皮肤贴片上。类似地，在带有第一相机和第二相机的实施方案中，第二相机可以是可调整的以例如在捕获第二组图像帧时聚焦到至少一个皮肤贴片上。
29、所述系统可安装在车辆内。因此，本公开中对“用户”的任何提及都旨在包括车辆中的驾驶员或乘客。例如，所述系统可连接到车载驾驶辅助系统或集成到其中。另外，所述系统可被配置为提供指示rppg结果、相关联的心跳特征或相关联的状况的输出信号。输出信号可由车载驾驶辅助系统接收和处理，例如向驾驶员生成警告或者控制车辆。
30、根据本公开的另一方面，提供了一种计算机程序产品，其包括计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令在由处理器执行时使处理器使用如本公开所述的系统来执行如本公开所述的方法。
1.一种方法(400)，其包括：
2.如权利要求1所述的方法(400)，其中所述第一组图像帧和所述第二组图像帧的所述捕获(402、410)由单个相机(102)执行。
3.如权利要求2所述的方法(400)，其中所述相机(102)包括红绿蓝rgb传感器，并且其中所述第一组图像帧和所述第二组图像帧的所述捕获(402、410)包括使用所述rgb传感器来在可见光光谱中捕获图像。
4.如权利要求2所述的方法(400)，其中所述相机(102)包括近红外nir传感器和rgb传感器，其中所述第一组图像帧的所述捕获(402)包括使用所述nir传感器来在nir光谱中捕获图像，并且其中所述第二组图像帧的所述捕获(410)包括使用所述rgb传感器来在所述可见光光谱中捕获图像。
5.如权利要求1所述的方法(400)，其中所述第一组图像帧的所述捕获(402)由第一相机(202)执行，并且其中所述第二组图像帧的所述捕获(410)由第二相机(208)执行。
6.如权利要求5所述的方法(400)，其中所述第一相机(202)包括nir传感器并且所述第一组图像帧是在所述nir光谱中捕获的，并且其中所述第二相机(208)包括rgb传感器并且所述第二组图像帧是在所述可见光光谱中捕获的。
7.如权利要求4或6所述的方法(400)，其还包括：
8.如前述权利要求中任一项所述的方法(400)，其还包括：
9.如前述权利要求中任一项所述的方法(400)，其中标识(404)所述至少一个皮肤贴片(110、100a)包括：
10.如前述权利要求中任一项所述的方法(400)，其还包括：
11.一种系统(100、200)，其包括：
12.如权利要求11所述的系统(100、200)，其中所述至少一个相机(102、202、208)包括用于捕获所述第一组图像帧和所述第二组图像帧的红绿蓝rgb传感器。
13.如权利要求11所述的系统(100、200)，其中所述至少一个相机(102、202、208)包括用于在近红外nir光谱中捕获所述第一组图像帧的nir传感器和用于在可见光光谱中捕获所述第二组图像帧的rgb传感器。
14.如权利要求11所述的系统(100、200)，其中所述至少一个相机(102、202、208)包括用于捕获所述第一组图像帧的第一相机(202)和用于捕获所述第二组图像帧的第二相机(208)。
15.如权利要求14所述的系统(100、200)，其中所述第一相机(202)包括用于在所述nir光谱中捕获所述第一组图像帧的nir传感器，并且其中所述第二相机(208)包括用于在所述可见光光谱中捕获所述第二组图像帧的rgb传感器。
16.如权利要求13或15所述的系统(100、200)，其还包括：
17.如权利要求11至16中任一项所述的系统(100、200)，其中所述第一光源(106、206)能够控制以单独地和/或彼此独立地对所述用户面部(108)上的多于一个皮肤贴片(110、110a)进行照明。
18.如权利要求11至17中任一项所述的系统(100、200)，其中所述第一光源(106、206)包括多个光发射源，例如多个发光二极管led，其中所述多个光发射源中的一些或全部光发射源是可单独配置的。
19.如权利要求11至17中任一项所述的系统(100、200)，其中所述第一光源(106、206)包括液晶显示器lcd投影仪或数字光处理dlp投影仪。
20.一种计算机程序产品，其包括计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令在由处理器执行时使所述处理器使用如权利要求11至19中任一项所述的系统(100、200)来执行如权利要求1至10中任一项所述的方法(400)。
