本技术涉及饮食管理及数据采集，具体而言，涉及一种基于物联网的糖尿病患者饮食数据采集方法及系统。
背景技术：
1、糖尿病患者在日常饮食中必须特别注意控制糖分的摄入量，同时也要关注进食的总量和营养的均衡性。为了保持健康，糖尿病患者应当尽量选择清淡的食物，避免摄入过多的高脂肪食品。因此，对于糖尿病患者而言，严格监控饮食数据显得尤为重要。
2、在现实生活中，糖尿病患者通常会采用手动记录的方式来追踪他们的饮食数据。例如，他们可能会通过笔记的方式详细记录下每一种食物的类型以及相应的数量。然而，这种手动记录的方法不仅过程繁琐，而且容易出现各种问题。例如，患者可能会因为各种原因忘记记录某些食物的摄入量，或者在记录过程中出现笔误，甚至在估算食物数量时产生偏差。这些问题都会导致饮食数据的不准确，进而影响到糖尿病患者的健康管理。
3、基于此，有必要研究一种更加科学、简便的饮食数据采集方法及系统，以监控糖尿病患者的饮食情况。
技术实现思路
1、为解决上述问题，本技术实施例的一个方面提供一种基于物联网的糖尿病患者饮食数据采集方法，该方法包括：
2、获取目标食物的重量数据，以及所述目标食物对应的待识别食物图像；
3、利用特征识别模型中的第一特征提取网络对所述目标食物对应的待识别食物图像进行表层特征提取处理，得到表层图像特征；
4、通过所述特征识别模型中的第二特征提取网络对所述表层图像特征进行第一深度特征提取处理，得到第一深度图像特征，并通过所述特征识别模型中的第三特征提取网络对所述表层图像特征进行第二深度特征提取处理，得到第二深度图像特征；其中，所述第一深度特征提取处理侧重于对分区食物图像进行特征提取，所述第二深度特征提取处理侧重于对混合食物图像进行特征提取；
5、利用所述特征识别模型中的自适应网络，根据所述表层图像特征确定所述第一深度图像特征和所述第二深度图像特征分别对应的特征权重；
6、根据所述第一深度图像特征、所述第二深度图像特征、以及所述第一深度图像特征和所述第二深度图像特征分别对应的特征权重，确定所述待识别食物图像反映出来的饮食数据特征；
7、基于所述重量数据以及所述饮食数据特征执行饮食数据采集任务。
8、在一些实施例中，所述目标食物的重量数据包括食用前的第一重量数据和食用后的第二重量数据，所述目标食物对应的待识别食物图像包括食用前采集的至少一张第一状态图像和食用后采集的至少一张第二状态图像；
9、所述待识别食物图像反映出来的饮食数据特征包括所述至少一张第一状态图像反映出来的第一饮食数据特征和所述至少一张第二状态图像反映出来的第二饮食数据特征；
10、所述基于所述重量数据以及所述饮食数据特征执行饮食数据采集任务，包括：基于所述第一重量数据与所述第二重量数据的差异，以及所述第一饮食数据特征与所述第二饮食数据特征的差异执行所述饮食数据采集任务。
11、在一些实施例中，在未采集到所述第二重量数据和/或所述第二状态图像时，基于预设的第二重量数据和/或预设的第二饮食数据特征执行所述饮食数据采集任务。
12、在一些实施例中，所述基于所述第一重量数据与所述第二重量数据的差异，以及所述第一饮食数据特征与所述第二饮食数据特征的差异执行所述饮食数据采集任务，包括：
13、基于所述第一重量数据与所述第二重量数据的差异得到第一特征向量，基于所述第一饮食数据特征与所述第二饮食数据特征的差异得到第二特征向量；
14、对所述第一特征向量和所述第二特征向量进行融合，得到融合特征向量；
15、将所述融合特征向量输入训练好的饮食数据识别模型进行处理，得到目标饮食数据，其中，所述目标饮食数据包括至少一种摄入食物类型及其对应的数量。
16、在一些实施例中，所述饮食数据识别模型基于如下方式训练得到：
17、获取样本融合特征向量以及所述样本融合特征向量对应的标签信息，其中，所述标签信息包括所述样本融合特征向量对应的食物类型及食物数量；
18、将所述样本融合特征向量输入初始饮食数据识别模型，得到初始预测结果；
19、计算所述初始预测结果与所述标签信息之间的差异，得到误差信号，并根据所述误差信号调整所述初始饮食数据识别模型的参数，以减小所述误差信号；
20、当所述误差信号小于预设阈值时，得到训练好的饮食数据识别模型。
21、在一些实施例中，所述第一特征提取网络基于第一样本集训练得到，所述第一样本集包括分区食物图像和混合食物图像，所述第一特征提取网络用于对所述分区食物图像和/或混合食物图像进行表层特征提取处理，得到表层训练图像特征；
22、所述第二特征提取网络基于第二样本集训练得到，所述第二样本集包括分区食物图像，所述第二特征提取网络用于对所述第一特征提取网络输出的表层训练图像特征进行深度特征提取处理，得到第一深度训练图像特征；
23、所述第三特征提取网络基于第三样本集训练得到，所述第三样本集至少包括混合食物图像，所述第三特征提取网络用于对所述第一特征提取网络输出的表层训练图像特征进行深度特征提取处理，得到第二深度训练图像特征；
24、所述自适应网络用于根据所述第一特征提取网络输出的表层训练图像特征，确定所述第二特征提取网络输出的第一深度训练图像特征和所述第三特征提取网络输出的第二深度训练图像特征分别对应的特征权重；
25、所述特征识别模型基于所述第一特征提取网络、所述第二特征提取网络、所述第三特征提取网络以及所述自适应网络构建得到。
26、在一些实施例中，所述特征识别模型与所述饮食数据识别模型通过协同训练得到，所述协同训练过程包括：根据所述误差信号调整所述特征识别模型及所述初始饮食数据识别模型的参数，以减小所述误差信号。
27、在一些实施例中，所述特征识别模型中包括m个第三特征提取网络，m为大于或等于1的整数；当m大于1时，所述m个第三特征提取网络分别侧重于不同混合方式的混合食物图像的特征提取，所述m个第三特征提取网络基于大量具有不同混合方式的混合食物图像训练得到；
28、所述利用所述特征识别模型中的自适应网络，根据所述表层图像特征确定所述第一深度图像特征和所述第二深度图像特征分别对应的特征权重，包括：
29、通过所述自适应网络，根据所述表层图像特征确定多维特征权重，其中，所述多维特征权重中包括所述第一深度图像特征对应的特征权重和m个所述第二深度图像特征分别对应的特征权重，m个所述第二深度图像特征通过m个所述第三特征提取网络进行特征提取得到。
30、本技术实施例的另一个方面还提供一种基于物联网的糖尿病患者饮食数据采集系统，该系统包括：
31、获取模块，用于获取目标食物的重量数据，以及所述目标食物对应的待识别食物图像；
32、表层特征提取模块，用于利用特征识别模型中的第一特征提取网络对所述目标食物对应的待识别食物图像进行表层特征提取处理，得到表层图像特征；
33、深度特征提取模块，用于通过所述特征识别模型中的第二特征提取网络对所述表层图像特征进行第一深度特征提取处理，得到第一深度图像特征，并通过所述特征识别模型中的第三特征提取网络对所述表层图像特征进行第二深度特征提取处理，得到第二深度图像特征；其中，所述第一深度特征提取处理侧重于对分区食物图像进行特征提取，所述第二深度特征提取处理侧重于对混合食物图像进行特征提取；
34、特征权重确定模块，用于利用所述特征识别模型中的自适应网络，根据所述表层图像特征确定所述第一深度图像特征和所述第二深度图像特征分别对应的特征权重；
35、饮食数据特征确定模块，用于根据所述第一深度图像特征、所述第二深度图像特征、以及所述第一深度图像特征和所述第二深度图像特征分别对应的特征权重，确定所述待识别食物图像反映出来的饮食数据特征；
36、饮食数据采集模块，用于基于所述重量数据以及所述饮食数据特征执行饮食数据采集任务。
37、在一些实施例中，所述目标食物的重量数据包括食用前的第一重量数据和食用后的第二重量数据，所述目标食物对应的待识别食物图像包括食用前采集的至少一张第一状态图像和食用后采集的至少一张第二状态图像；
38、所述待识别食物图像反映出来的饮食数据特征包括所述至少一张第一状态图像反映出来的第一饮食数据特征和所述至少一张第二状态图像反映出来的第二饮食数据特征；
39、所述饮食数据采集模块具体用于：
40、基于所述第一重量数据与所述第二重量数据的差异得到第一特征向量，基于所述第一饮食数据特征与所述第二饮食数据特征的差异得到第二特征向量；
41、对所述第一特征向量和所述第二特征向量进行融合，得到融合特征向量；
42、将所述融合特征向量输入训练好的饮食数据识别模型进行处理，得到目标饮食数据，其中，所述目标饮食数据包括至少一种摄入食物类型及其对应的数量。
43、本技术实施例所提供的基于物联网的糖尿病患者饮食数据采集方法及系统可能带来的有益效果至少包括：
44、（1）通过结合目标食物对应的重量数据以及基于该目标食物对应的待识别食物图像确定的饮食数据特征来执行饮食数据采集任务，可以在图像识别的基础上融合目标食物的重量数据，并将其作为模型识别过程的一个约束条件，从而提高饮食数据识别模型的识别结果的准确性和可靠性；
45、（2）通过食用前的第一重量数据、第一状态图像以及食用后的第二重量数据、第二状态图像对用户的饮食数据进行采集，可以进一步提高饮食数据采集的准确性和可靠性；
46、（3）通过第二特征提取网络来对分区食物图像的表层图像特征进行第一深度特征提取处理，通过第三特征提取网络来对混合食物图像的表层图像特征进行第二深度特征提取处理，可以使得该特征识别模型既能准确地提取分区食物图像的深度特征，又能够准确地提取混合食物图像的深度特征；
47、（4）通过分区食物图像以及混合食物图像所对应的表层训练图像特征一同对第三特征提取网络进行训练，可以使得第三特征提取网络在学习到混合食物图像的深度图像特征的同时，通过学习分区食物图像的深度特征来丰富该第三特征提取网络对于混合食物图像的深度特征提取能力，从而提升第三特征提取网络对于混合食物图像的深度特征提取效果。
48、附加的特征将在下面的描述中部分地阐述。对于本领域技术人员来说，通过查阅以下内容和附图将变得显而易见，或者可以通过实例的产生或操作来了解。本说明书的特征可以通过实践或使用以下详细实例中阐述的方法、工具和组合的各个方面来实现和获得。
1.一种基于物联网的糖尿病患者饮食数据采集方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述目标食物的重量数据包括食用前的第一重量数据和食用后的第二重量数据，所述目标食物对应的待识别食物图像包括食用前采集的至少一张第一状态图像和食用后采集的至少一张第二状态图像；
3.如权利要求2所述的方法，其特征在于，在未采集到所述第二重量数据和/或所述第二状态图像时，基于预设的第二重量数据和/或预设的第二饮食数据特征执行所述饮食数据采集任务。
4.如权利要求2所述的方法，其特征在于，所述基于所述第一重量数据与所述第二重量数据的差异，以及所述第一饮食数据特征与所述第二饮食数据特征的差异执行所述饮食数据采集任务，包括：
5.如权利要求4所述的方法，其特征在于，所述饮食数据识别模型基于如下方式训练得到：
6.如权利要求5所述的方法，其特征在于，所述第一特征提取网络基于第一样本集训练得到，所述第一样本集包括分区食物图像和混合食物图像，所述第一特征提取网络用于对所述分区食物图像和/或混合食物图像进行表层特征提取处理，得到表层训练图像特征；
7.如权利要求6所述的方法，其特征在于，所述特征识别模型与所述饮食数据识别模型通过协同训练得到，所述协同训练过程包括：根据所述误差信号调整所述特征识别模型及所述初始饮食数据识别模型的参数，以减小所述误差信号。
8.如权利要求7所述的方法，其特征在于，所述特征识别模型中包括m个第三特征提取网络，m为大于或等于1的整数；当m大于1时，所述m个第三特征提取网络分别侧重于不同混合方式的混合食物图像的特征提取，所述m个第三特征提取网络基于大量具有不同混合方式的混合食物图像训练得到；
9.一种基于物联网的糖尿病患者饮食数据采集系统，其特征在于，包括：
10.如权利要求9所述的系统，其特征在于，所述目标食物的重量数据包括食用前的第一重量数据和食用后的第二重量数据，所述目标食物对应的待识别食物图像包括食用前采集的至少一张第一状态图像和食用后采集的至少一张第二状态图像；
