用于验证仿真模型的方法与流程

1.本公开涉及一种用于验证（validieren）技术系统的仿真模型的仿真数据的以计算机实现的方法。
2.其他实施方式涉及一种用于执行该方法的计算机程序。
3.其他实施方式涉及所述计算机程序和/或所述以计算机实现的方法尤其是在技术系统的开发中的用于验证技术系统、尤其是软件、硬件或嵌入式系统的仿真模型的用途。


背景技术：

4.为了验证仿真模型，通常在仿真模型的参数空间中的特定点、即所谓的验证点收集参考数据。这些参考数据通常源自真实的验证实验或来自高精度参考模型的仿真过程（simulationsl
ä
ufen）。在验证点处计算所谓的模型误差、即真实的标量参量（skalare gr
öß
e），所述真实的标量参量显示仿真模型与参考之间的偏差。
5.为了验证标量信号，例如基于所谓的面积验证度量（area validation metric）的验证框架是已知的，所述验证框架例如在oberkampf, william l. and christopher j. roy. verification and validation in scientific computing. cambridge university press, 2010中得以描述。通常，仿真结果以及参考测量都被理解为从两个不同随机分布中抽签（ziehungen），其中所述参考测量理想地是真实实验。也就是说，不仅针对仿真而且针对参考而由数据创建（经验）分布函数（英语：cumulative distribution function（累积分布函数）, cdf）。然后将这些分布函数与针对分布函数的度量（metrik）（例如面积验证度量）相互比较。在所述面积验证度量的情况下，这两个分布函数之间的面积被考虑用作针对这两个分布的不一致性的量度（ma
ß
）。
6.然而，已知的面积验证度量在其中所记录的信号是层面中的点这种更简单的情况下就已经碰到其极限。在已知的验证框架中，缺乏以统计学的方式将仿真和参考进行比较的可能性。如果针对仿真和参考分别已经记录了多个数据点，在最佳的情况下已经记录了非常多的数据点，则迄今为止不存在如下可能性：将这两个数据组作为整体进行比较并且计算不一致性的客观值。
7.此外，已知的面积验证度量不能容易地被扩展到多维信号并且因此也不能扩展到时间序列信号，其中在所述时间序列信号的情况下，记录信号的每个时间点都被视为单个信号，并且具有n个时间点的时间序列的记录被表示为n维信号。
8.在文献中，例如在muskulus, m., & verduyn-lunel, s. (2011), wasserstein distances in the analysis of time series and dynamical systems. physica d: nonlinear phenomena, 240(1), 45-58中可以找到wasserstein度量在时间序列（zeitreihen）上的应用。然而，在这里焦点在于信号的长期行为。此外，在应用wasserstein度量之前必须进行降维。
9.因此，本公开所基于的任务是提供一种用于确定时间序列的距离的替代方法，利用所述方法可以克服从现有技术中已知的缺点。


技术实现要素：

10.一种实施方式涉及一种用于验证技术系统的仿真模型的仿真数据的以计算机实现的方法；所述方法包括以下步骤：提供包括数量n个仿真时间序列的仿真数据并且提供包括数量m个参考时间序列的参考数据，在使用时间扭曲编辑距离（time-warp-edit-distance）、即twed距离量度的情况下确定在相应仿真时间序列和相应参考时间序列之间的相应距离；以及在使用wasserstein度量的情况下基于相应仿真时间序列和相应参考时间序列之间的距离确定所述仿真数据和所述参考数据之间的总距离。
11.在处理时间序列时的典型问题例如是：确定时间序列彼此间的相似性，例如在聚类或分类的范畴内的相似性。时间扭曲编辑距离（twed）是针对离散时间序列之间的距离的距离量度。由所谓的编辑距离和动态时间扭曲dtw的元素开发了twed，对此也参见marteau, p. f. (2008). time warp edit distance with stiffness adjustment for time series matching. ieee transactions on pattern analysis and machine intelligence, 31(2), 306-318。因为尤其是满足三角形公理，所以与其他距离量度（诸如dtw）相比，twed是数学意义上的度量。
12.在twed的情况下，将既定成本分配给特定的操作，所述操作将这两个时间序列、即仿真时间序列和参考时间序列相互转化。twed提供以最少耗费将时间序列相互转化的操作的成本。
13.随后使用wasserstein度量来确定仿真数据和参考数据之间的总距离。所寻求的总距离在此是包括仿真数据sd的第一概率分布与包括参考数据rd的第二概率分布之间的wasserstein距离。
14.例如，参考数据的参考时间序列源自真实测量或源自参考模型，并且因此通常具有自然可变性（nat
ü
rliche variabilit
ä
t）。例如，不同的参数可以在不同的测量过程（durchlauf）中变化。与如何好地试图控制（kontrollieren）测量的所有参数无关地，所述参数中的一些参数将在每个测量过程中变化。如果从确定性仿真模型出发，则所述仿真在固定的参数情况下总是会提供相同的结果。因此，在仿真中对实验重新进行建模，其方式是随机地改变参数中的一些参数并且记录结果。如果这些被称为随机（aleatorisch）参数的参数以正确的方式分布，则只要仿真模型正确地再现相关效应，仿真数据的仿真时间序列就将与分别对应的参考时间序列非常相似。从数学的角度来看，仿真和参考之间的比较因此对应于两个概率分布之间的距离的计算。wasserstein度量适用于这种比较。
15.根据一种实施方式规定，所述仿真时间序列中的至少一个仿真时间序列和所述参考时间序列中的至少一个参考时间序列在以下特性中的至少一个特性方面彼此不同：-采样频率和/或-时间轴和/或-拉伸（streckung）和/或压缩（stauchung）。
16.不同的采样频率意味着：两个时间序列的信号并非在等距采样时间点存在。
17.不同的时间轴意味着两个时间序列的时间轴相互偏移（verschieben）。
18.不同的拉伸和/或压缩直观地（anschaulich）意味着：由两个时间序列的信号得出
的曲线虽然在其形状方面相似，但是其中一个曲线相对于其中另一个曲线而言是被压缩或拉伸的。
19.在刚性（starr）距离量度、例如欧几里得距离情况下，尤其是隐含地以如下为前提：以相同的采样频率记录两个要相互比较的时间序列。刚性距离量度可使得仅由关于时间轴拉伸或偏移得出的在时间序列之间的差异不被忽视，这指的是：沿着时间线（zeitstrahl）相应时间序列在每个时间点的数据点均以分别另一时间序列中在相同时间点的数据点为前提来计算距离。如果时间序列之一应该被压缩，则这些刚性距离量度不适用于计算距离。
20.twed可以被应用为具有所述差异的时间序列的弹性距离量度。在应用twed时，执行操作，例如删除（删除操作）或一致（匹配操作），以便使来自时间序列之一的信号尤其是逐个分段地（abschnittsweise）与来自分别另一时间序列的信号相适应（angleichen）。用于执行操作的成本越高，或者沿着时间轴测量的假定合适的数据点离得越远，时间序列就越不相似。在刚性距离量度的情况下为了使沿时间线的不同长度的时间序列相适应也可以使用如重采样（re-sampling）之类的技术，而在使用弹性距离量度的情况下则取消这种附加的工作耗费。
21.根据一种实施方式，该方法此外包括：基于仿真时间序列和参考时间序列之间的相应距离创建成本矩阵。
22.根据一种实施方式，该方法此外包括：基于成本矩阵推导最优运输计划（transportplan）。
23.根据一种实施方式，该方法此外包括：在使用wasserstein度量的情况下计算最优运输计划的成本。
24.其他实施方式涉及一种用于验证仿真模型的数据的计算机程序，其中所述计算机程序包括计算机可读指令，在通过计算机执行所述计算机可读指令时，执行根据所述实施方式的以计算机实现的方法。
25.其他实施方式涉及根据所述实施方式的以计算机实现的方法和/或根据所述实施方式的计算机程序尤其是在技术系统的开发中的用于验证技术系统、尤其是软件、硬件或嵌入式系统的仿真模型的用途。
26.仿真模型例如是hil、即硬件在环（hardware in the loop）仿真模型或sil、即软件在环（software in the loop）仿真模型。在这种情况下，仿真模型用作技术系统的真实环境的模拟（nachbildung）。hil和sil是用于测试硬件和嵌入式系统或软件的方法，例如用于在开发期间进行支持以及用于提前调试（vorzeitige inbetriebnahme）。利用所述方法尤其是在技术系统的开发中的用于验证技术系统、尤其是软件、硬件或嵌入式系统的仿真模型的用途，例如可以支持基于仿真的释放（freigabe）。
27.技术系统例如是软件、硬件或嵌入式系统。技术系统尤其是用于机动车辆、尤其是用于自主或部分自主机动车辆的技术系统，例如控制设备或用于控制设备的软件。尤其是在机动车辆领域中，仿真模型、尤其是行驶动力学模型通常包括时间序列信号。
28.每当将两组时间序列信号、例如包括仿真时间序列的仿真数据和包括参考时间序列的参考数据相互比较时，都可以应用所提出的方法。尤其是在评价行驶动力学模型的领域中，rmse度量已经被归类为不充分的。因此在这里可以有利地应用所提出的方法。
附图说明
29.从对在附图的图中所示的本发明实施例的以下描述中得出本发明的其他特征、应用可能性和优点。在此，所描述或示出的所有特征本身或以任意组合的方式构成本发明的主题，而与其在专利权利要求中的组成或其引用无关以及与其在说明书或附图中的措辞或表示无关。
30.在附图中：图1以示意图示出以计算机实现的方法的方面；图2以示意图示出以计算机实现的方法的其他方面，以及图3a至3c以示意图示出图1的以计算机实现的方法的用途的方面。
具体实施方式
31.在图1中，示意性地示出了用于验证技术系统的仿真模型的仿真数据的以计算机实现的方法100的步骤。
32.方法100包括用于提供包括数量n个仿真时间序列的仿真数据sd的步骤110和用于提供包括数量m个参考时间序列的参考数据rd的步骤，其中n》1和m》1。在此，数量n和m可以是不同的。
33.仿真时间序列和参考时间序列可以如下地彼此不同，即仿真时间序列中的至少一个仿真时间序列和参考时间序列中的至少一个参考时间序列在以下特性中的至少一个特性方面彼此不同：-采样频率和/或-时间轴和/或-拉伸和/或压缩。
34.不同的采样频率意味着：两个时间序列的信号并非在等距采样时间点存在。不同的时间轴意味着两个时间序列的时间轴相互偏移。不同的拉伸和/或压缩直观地意味着由两个时间序列的信号得出的曲线虽然在其形状方面相似，但是其中一个曲线相对于其中另一个曲线而言是被压缩或拉伸的。
35.在刚性距离量度、例如欧几里得距离情况下，尤其是隐含地以如下为前提：以相同的采样频率记录两个要相互比较的时间序列。刚性距离量度可使得仅由关于时间轴拉伸或偏移得出的在时间序列之间的差异不被忽视，这指的是：沿着时间线相应时间序列在每个时间点的数据点均以分别另一时间序列中在相同时间点的数据点为前提来计算距离。如果时间序列之一应该被压缩，则这些刚性距离量度不适用于计算距离。
36.根据所示的实施方式，方法100此外包括用于在应用时间扭曲编辑距离、即twed距离量度的情况下确定相应仿真时间序列和相应参考时间序列之间的相应距离的步骤120。
37.twed可以被应用为具有所述差异的时间序列的弹性距离量度。在应用twed时，执行操作，例如删除（删除操作）或一致（匹配操作），以便使来自时间序列之一的信号尤其是逐个分段地与来自分别另一时间序列的信号相适应。用于执行操作的成本越高，或者沿着时间轴测量的假定合适的数据点离得越远，时间序列就越不相似。在刚性距离量度的情况下为了使沿时间线的不同长度的时间序列相适应也可以使用如重采样之类的技术，而在使用弹性距离量度的情况下则取消这种附加的工作耗费。
38.根据所示的实施方式，该方法此外包括步骤130，所述步骤130用于：在使用wasserstein度量的情况下基于相应仿真时间序列和相应参考时间序列之间的距离来确定在包括仿真时间序列的仿真数据和包括参考时间序列的参考数据之间的总距离。
39.根据所示的实施方式，该方法此外包括用于基于仿真时间序列和参考时间序列之间的相应距离来创建成本矩阵的步骤120a。
40.根据所示的实施方式，成本矩阵是m
×
n或n
×
m矩阵。成本矩阵的创建120a基于用于确定相应仿真时间序列距相应参考时间序列的距离的步骤120。在此，将每个仿真时间序列与每个参考时间序列进行比较。矩阵的第i-j项是第i个仿真时间序列距第j个参考时间序列的距离，其中且。
41.根据所示的实施方式，该方法此外包括用于基于成本矩阵推导最优运输计划的步骤120b。例如在使用基于所谓的“匈牙利法（ungarischen methode）”的求解算法的情况下基于成本矩阵推导120b最优运输计划。在经验数据的情况下，运输计划同样是与成本矩阵相同维度的矩阵。
42.根据所示出的实施方式，该方法此外包括用于在使用wasserstein度量的情况下计算最优运输计划的成本的步骤130a。最优运输计划的成本是在包括仿真数据sd的第一概率分布和包括参考数据rd的第二概率分布之间的所寻求的wasserstein距离。
43.例如，参考数据的参考时间序列源自真实测量或源自参考模型，并且因此通常具有自然可变性。例如，不同的参数可以在不同的测量过程中变化。与如何好地试图控制测量的所有参数无关地，所述参数中的一些参数将在每个测量过程中变化。如果从确定性仿真模型出发，则所述仿真在固定的参数情况下总是会提供相同的结果。因此，在仿真中对实验重新进行建模，其方式是随机地改变参数中的一些参数并且记录结果。如果这些被称为随机参数的参数以正确的方式分布，则只要仿真模型正确地再现相关效应，仿真数据的仿真时间序列就将与分别对应的参考时间序列非常相似。从数学的角度来看，仿真和参考之间的比较因此对应于两个概率分布之间的距离的计算。wasserstein度量适用于这种比较。
44.用于推导120b最优运输计划和计算130a最优运输计划的成本的算法例如从https://pythonot.github.io/auto_examples/plot_ot_2d_samples.html#sphx-glr-auto-examples-plot-ot-2d-samples-py中已知。
45.其他实施方式涉及所述方法100尤其是在技术系统的开发中的用于验证技术系统、尤其是软件、硬件或嵌入式系统的仿真模型的用途。
46.图2示出方法100在验证框架中的用途。
47.仿真数据sd和参考数据rd是仿真时间序列和参考时间序列。在时间序列的情况下，记录信号的每个时间点都被视为单个信号。具有n个时间点的时间序列的记录因此被表示为n维信号。
48.通过执行方法100，尤其是通过在计算单元300上执行计算机程序prg1，对仿真模型进行验证。
49.其他实施方式涉及根据所述实施方式的以计算机实现的方法和/或根据所述实施方式的计算机程序尤其是在技术系统的开发中的用于验证技术系统、尤其是软件、硬件或嵌入式系统的仿真模型的用途。
50.仿真模型例如是hil、即硬件在环仿真模型或sil、即软件在环仿真模型。在这种情
况下，仿真模型用作技术系统的真实环境的模拟。hil和sil是用于测试硬件和嵌入式系统或软件的方法，例如用于在开发期间进行支持以及用于提前调试。利用所述方法100尤其是在技术系统的开发中的用于验证技术系统、尤其是软件、硬件或嵌入式系统的仿真模型的用途，例如可以支持基于仿真的释放。此外，通过使用方法100，可以提供用于开发和/或验证技术系统的改善的仿真模型，并且因此可以有利地提供其他正面效果、例如经提高的安全性。
51.技术系统例如是软件、硬件或嵌入式系统。技术系统尤其是用于机动车辆、尤其是用于自主或部分自主机动车辆的技术系统，例如控制设备或用于控制设备的软件。尤其是，所述技术系统也可以是安全相关的技术系统。
52.尤其是在机动车辆领域中，仿真模型、尤其是行驶动力学模型通常包括时间序列信号。
53.每当将两组时间序列信号、例如包括仿真时间序列的仿真数据和包括参考时间序列的参考数据相互比较时，都可以应用所提出的方法。尤其是在评价行驶动力学模型的领域中，rmse度量已经被归类为不充分的。因此在这里可以有利地应用所提出的方法。
54.最后，图3a至3b示意性地示出twed的不同操作。
55.示例性地分别示出两个时间序列a、b。时间序列a例如是仿真时间序列。时间序列b例如是参考时间序列。
56.左面的图示出执行相应操作之前的时间序列，其中对于每个时间序列分别示意性地示出三个采样时间点。右面的图示出分别在执行相应操作之后的时间序列。
57.在图3a中示出匹配操作。在该操作中，时间序列a的分段被偏移，使得该分段与时间序列b的分段一致。
58.在图3b中示出删除a操作。在该操作中，从时间序列a中移除信号。
59.在图3b中示出删除b操作。在该操作中，从时间序列b中移除信号。

技术特征：
1.一种用于验证技术系统的仿真模型的仿真数据（sd）的以计算机实现的方法（100）；所述方法（100）包括以下步骤：提供（110）包括数量n个仿真时间序列的仿真数据（sd）并且提供（110）包括数量m个参考时间序列的参考数据（rd），在使用时间扭曲编辑距离、即twed距离量度的情况下确定（120）在相应仿真时间序列和相应参考时间序列之间的相应距离；以及在使用wasserstein度量的情况下基于相应仿真时间序列和相应参考时间序列之间的距离确定（130）所述仿真数据（sd）和所述参考数据（rd）之间的总距离。2.根据权利要求1所述的以计算机实现的方法（100），其中所述仿真时间序列中的至少一个仿真时间序列和所述参考时间序列中的至少一个参考时间序列在以下特性中的至少一个特性方面彼此不同：-采样频率和/或-时间轴和/或-拉伸和/或压缩。3.根据前述权利要求中至少一项所述的以计算机实现的方法（100），其中所述方法此外包括：基于所述仿真时间序列和所述参考时间序列之间的相应距离创建（120a）成本矩阵。4.根据前述权利要求中至少一项所述的以计算机实现的方法（100），其中所述方法此外包括：基于所述成本矩阵推导（120b）最优运输计划。5.根据前述权利要求中至少一项所述的以计算机实现的方法（100），其中所述方法此外包括：在使用所述wasserstein度量的情况下计算（130a）所述最优运输计划的成本。6.一种用于验证仿真模型的数据的计算机程序（prg1），其中所述计算机程序（prg1）包括计算机可读指令，在通过计算机执行所述计算机可读指令时，执行根据权利要求1至5中至少一项所述的以计算机实现的方法（100）。7.一种根据权利要求1至5中任一项所述的以计算机实现的方法（100）和/或根据权利要求6所述的计算机程序（prg1）尤其是在技术系统的开发中的用于验证技术系统、尤其是软件、硬件或嵌入式系统的仿真模型的用途。

技术总结
一种用于验证技术系统的仿真模型的仿真数据（SD）的以计算机实现的方法（100）；所述方法（100）包括以下步骤：提供（110）包括数量n个仿真时间序列的仿真数据（SD）并且提供（110）包括数量m个参考时间序列的参考数据（RD），在使用时间扭曲编辑距离、即TWED距离量度的情况下确定（120）在相应仿真时间序列和相应参考时间序列之间的相应距离；以及在使用Wasserstein度量的情况下基于相应仿真时间序列和相应参考时间序列之间的距离确定（130）所述仿真数据（SD）和所述参考数据（RD）之间的总距离。（SD）和所述参考数据（RD）之间的总距离。（SD）和所述参考数据（RD）之间的总距离。


技术研发人员：J
受保护的技术使用者：罗伯特
技术研发日：2021.11.04
技术公布日：2022/5/25