背景技术：
1、人工智能的广泛采用已对许多行业带来显著价值，从而导致恶意实体利用人工智能的动机增加。例如，人工智能系统，尤其是托管在云中的人工智能系统(即，托管人工智能系统)，可以被算法攻击作为目标。算法攻击是根据算法(例如，手动或自动)执行的攻击。例如，算法攻击可以是规避攻击、逆推攻击或提取攻击。规避攻击是被配置为破坏、混淆或规避人工智能系统的算法攻击。逆推攻击是被配置为利用策略性选择的查询来发现用于训练人工智能系统的私有训练数据的算法攻击。提取攻击是被配置为窃取人工智能系统的算法攻击。托管人工智能系统传统上对这种算法攻击几乎没有保护。
技术实现思路
1、本文描述了用于基于(例如，至少部分地基于)托管人工智能系统的输入和输出来检测针对托管人工智能系统的算法攻击等的各种方法。因此，检测可以基于托管人工智能系统的行为。人工智能模拟(多个)处理系统中的智能行为。例如，人工智能可以被配置为感知或推断信息并且将信息应用于环境或上下文内的(多个)自适应行为。人工智能系统是实现人工智能的系统。托管人工智能系统是托管在云中的人工智能系统。因此，托管人工智能系统可以被称为基于云的人工智能系统。
2、算法攻击是根据算法(例如，手动或自动)执行的攻击。例如，该算法可以是用于执行攻击的明确定义的指令的有限序列。根据该示例，可以迭代地执行算法的至少一些指令以实现攻击的目标。
3、在第一示例方法中，与已知类型的算法攻击相关联的特征从由托管人工智能系统接收的相应查询的数值表示和由托管人工智能系统对相应查询的处理得到的输出得出。通过将所得出的特征作为输入提供给基于特征的分类器模型，基于特征的分类器模型用于生成分类得分，分类得分指示查询的至少一部分对应于已知类型的算法攻击的可能性。将分类得分与得分阈值进行比较，得分阈值与已知类型的算法攻击相关联。至少部分地基于分类得分大于或等于得分阈值，来检测算法攻击，得分阈值与已知类型的算法攻击相关联。
4、在第二示例方法中，通过提供多变量时间序列作为基于变换器的模型的输入，基于变换器的模型用于生成向量，向量总结由托管人工智能系统接收的多个查询和由托管人工智能系统处理多个相应查询得到的多个输出。多变量时间序列包括多个元素。每个元素至少部分地基于多个查询中的相应查询的数值表示与时间上在相应查询之前的先前查询的数值表示之间的成对距离，并且还至少部分地基于处理相应查询得到的输出的一个或多个属性。确定向量与对应于参考向量的点之间的距离是否小于或等于距离阈值，参考向量与已知类型的算法攻击相关联。至少部分地基于向量与点之间的距离小于或等于距离阈值来检测算法攻击。
5、提供本
技术实现要素：
是为了以简化的形式介绍将在下面的具体实现方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。此外，应注意，本发明不限于具体实现方式中描述的具体实施例和/或本文档的其他部分。本文仅出于说明性目的呈现此类实施例。基于本文所包含的教导，附加实施例对于(多个)相关领域的技术人员将是显而易见的。
1.一种用于检测针对托管人工智能系统的算法攻击的系统，所述系统包括：
2.根据权利要求1所述的系统，其中所述处理系统被配置为：
3.根据权利要求1至2中任一项所述的系统，其中所述处理系统被配置为：
4.根据权利要求1至3中任一项所述的系统，其中所述处理系统被配置为：
5.根据权利要求1至4中任一项所述的系统，其中所述处理系统被配置为：
6.根据权利要求1至5中任一项所述的系统，其中所述处理系统被配置为：
7.根据权利要求1至6中任一项所述的系统，其中所述处理系统被配置为：
8.根据权利要求1至7中任一项所述的系统，其中所述处理系统被配置为：
9.根据权利要求1至8中任一项所述的系统，其中所述处理系统被配置为：
10.根据权利要求1至9中任一项所述的系统，其中所述处理系统被配置为：
11.一种检测针对托管人工智能系统的算法攻击的方法，所述方法由计算系统实施，所述方法包括：
12.根据权利要求11所述的方法，其中每个输出的所述一个或多个属性包括与相应多个潜在输出的分布相关联的标准偏差，所述相应多个潜在输出与所述相应查询相关联，所述相应输出从所述相应查询被选择。
13.根据权利要求11至12中任一项所述的方法，其中每个元素至少部分地基于所述多个查询中的所述相应查询的所述数值表示与最近在时间上在所述相应查询之前的先前查询的数值表示之间的第一成对距离，并且还至少部分地基于所述相应查询的所述数值表示与作为由所述多个查询定义的用户会话中的时间上的第一查询的先前查询的数值表示之间的第二成对距离。
14.根据权利要求11至13中任一项所述的方法，其中确定所述向量与所述点之间的所述距离是否小于或等于所述距离阈值包括：
15.一种计算机程序产品，包括其上记录有指令的计算机可读存储介质，所述指令用于使基于处理器的系统能够通过执行操作来检测针对托管人工智能系统的算法攻击，所述操作包括：
