本发明涉及深度网络异常检测,具体涉及基于离群点暴露的时尚品异常检测方法。
背景技术:
1、异常时尚品检测(ad)的目标是识别出时尚品测试集中偏离预定正常时尚品样本的所有异常时尚品样本。以前的机器学习方法依赖于手工制作的特征和正常类样本的估计概率分布,利用这些概率来检测异常值。一些研究使用分类器从正常类别的样本中区分异常值。另一种方法是在正常类别的样本上训练一小组模型,然后使用预测类别模型之间的相似性分数来检测异常。常用的浅层单类分类方法有单类支持向量机(one-class supportvector machine,ocsvm)、核密度估计、支持向量数据描述(supportvector datadescription,svdd)等。在浅层学习模型中,svdd及其改进模型是近年来异常检测领域中的一个研究热点。然而,随着数据规模和维度的不断增长,面临大规模数据集时,由于内核矩阵的构造有限,容易出现计算可扩展性差和维数灾难等问题。传统的检测算法由于种种局限性已经不能满足当下的异常检测需求。
2、传统的异常检测(ad)方法旨在以无监督的方式学习数据的简明表示,假设大多数样本是正态的。但是正态数据样本与异常数据样本的分离非常困难,因为所利用特征尺寸的维数可能很高,这使得正态数据分布的近似成为一项具有挑战性的任务。近年来,深度神经网络(deep neural networks,dnns)的出现为异常检测提供了新的思路和方法,深度神经网络可以直接从原始数据中自主学习高级抽象特征表示。目前大多数深度异常检测方法的思路是通过构建模型来学习正常数据的分布特征,并将偏离该分布的样本判定为异常。如深度支持向量数据描述(dsvdd)、整体正则化(hrn)以及最近的深度自动编码支持向量数据描述(dasvdd)等算法各有优缺点,随后,其分支和扩展在异常检测领域表现出良好的性能,这些算法具有更广泛的应用适用性。然而,仅用正类样本驱动,有异常样本特征落入正常样本特征领域的风险。特别是异常样本分布与正常样本分布有重叠时,该风险更大。文献中很少有研究关注异常样本分布与正常样本分布重叠区域的一般方法。
3、为了进一步提高基于异常框架的泛化性能,构建负样本集合的想法越来越受到关注。目前已有许多学者在该方面进行了研究,主要考虑使用额外的辅助样本作为负样本来构建融合模型或优化其参数,通常使用ae和基于gan的对抗训练来获得特定数据类的可能表示。一般来说,基于ae的ad方法要么使用传统异常检测技术中的潜在表示输入,如高斯混合模型(gmm)或一类支持向量机(ocsvm),要么直接利用重建误差,如(deepoc)。但糟糕的是,基于自编码器(ae)的异常检测技术通常无法访问所有异常类,这导致ae很难在网络中找到最佳“瓶颈”。而基于生成对抗网络(gan)的ad算法目标是训练生成器网络的潜在表示,以便它捕获正常数据的底层模式,例如anogan、egbad和fastanogan等方法将生成的样本和输入之间的残差用作异常度量。但相关方法大多存在较多的假设性和随机性,在高维空间中不一定能够获得理想的紧致决策面,存在时间效率低下、训练过程中无法收敛和模式崩溃等问题,同时限制了模型对未见过的异常样本的泛化能力。
4、为此,本发明旨在提供基于离群点暴露的时尚品异常检测方法,以解决上述问题。
技术实现思路
1、本发明的目的是解决上述问题,提供基于离群点暴露的时尚品异常检测方法,该方法旨在最小化包含时尚品正类样本特征区域的封闭超球体,同时把优化的异常时尚品暴露集特征控制在封闭超球体之外;与现有的神经网络算法相比,本发明提出的方法能够通过类接受区域的刻画更好地评估自身局限性并有针对性地进行模型优化,具有更优越的时尚品分类性能,可广泛应用于各类开放图像数据集。
2、为了达到上述目的,本发明的技术方案如下:
3、本发明提供了基于离群点暴露的时尚品异常检测方法,所述方法为具有异常时尚品暴露oe的深度支持向量数据描述异常时尚品检测方法dsvdd-oe,所述dsvdd-oe为利用神经网络来学习正常时尚品和暴露数据集的分布变化,提取时尚品图像特征,同时最小化网络包含所有时尚品样本的超球表示的体积;任何落在估计边界超球之外的样本都被认为是异常时尚品;
4、在输入空间χ∈rd上给定训练正态训练时尚品数据din={x1,…,xm},dout={x1,…,xn},其中,m和n分别表示正常时尚品和离群暴露样本的数量,输出空间χ∈rd,连接权值为w={w1,w2,...,wl};φ(x;w)表示网络提供参数的映射数据;方法目标可以表述如下式所示
5、
6、其中v和μ为系数;
7、优化函数的主要目标是最小化超球的半径r,而第二项是考虑正常类落入超球外的样本损失,从而平衡体积和边界损失;
8、第三项是异常类落入超球内的样本损失;
9、初始化网络权值w后,将超球中心c固定为训练数据初始前向传输得到的网络表示的均值,通过反向传播算法优化更新;
10、此外,引入了一个带超参数λ>0的正则化项来控制网络权值w的衰减;
11、与dsvdd类似,将异常分数定义为使用参数进行函数映射后从超球半径到超球中心的距离的组合,形式上给定一个样本,异常分数可表示为:
12、s(x)=r2-||φ(xi;w)-c||2
13、与dsvdd算法不同,提出的模型找到最优决策阈值s(x)≥δ,若δ大于则视为正常数据,反之则为异常数据,任何落在这个估计的边界超球之外的样本都被认为是异常;
14、将离群暴露时尚品样本纳入损失函数,从而防止了dsvdd遇到的超球坍缩,对于目标函数优化中使用的反向传播算法,可以将深度网络架构设置为前馈神经网络,给定一组正态样本(xi,y+),≤i≤m,一组负态样本(xj,y-),≤j≤n,使用前馈神经网络的输出目标为φ(xi;w),优化公式如下:
15、
16、用下面的公式定义j1,j2,j3,其中
17、
18、
19、令lin(w,r,c)=||φ(xi;w)||2-r2,可得:
20、
21、其中,m1,m2,…,mm是使函数lin(w,r,c,x,y+)>0的m个正样本的索引,n1,n2,...,nm是使函数lin(w,r,c,x,y-)<0的m′个负样本的索引;
22、为了最小化目标函数,使用梯度下降方法,具体参数更新如下所示
23、同理可得:
24、
25、其中,α是模型的学习率,由于参数r和c都是仅出现在最后一层的叶子节点,因此只需对进行链式求导,该模型的前馈神经网络的信息传播公式为:zl=wl.al-1,al=fl(zl),对于第l层,我们定义一个误差项为总目标函数关于第l层神经元zl的偏导数,来表示第l层神经元对最终误差的影响,因此,第l层误差项计算公式为:
26、
27、与现有技术相比,本方案的有益效果:
28、1.本发明使用数据增强构造和优选了合适异常时尚品暴露集参与异常时尚品检测建模,充分利用了时尚品负类样本点在建模中的作用,大大缩小现有异常时尚品检测方法把异常时尚品样本特征映射入正常时尚品样本特征领域的风险,提高了异常时尚品检测正确率;
29、2.本发明通过提出新的决策规则,使目标函数和异常时尚品检测决策规则明显不同于已有异常检测方法中损失函数和决策规则,避免了已有异常检测方法的天然风险;
30、3.本发明使用超球半径和超球中心作为目标函数的参数,并根据变化的时尚品类样本特征在训练过程中进行更新优化,避免超球塌陷问题;
31、4.本发明通过在各种数据集(包括时尚品数据集)上综合评估模型,仿真结果表明,在基准数据集上,与对比算法相比,该算法具有更好的性能。
1.基于离群点暴露的时尚品异常检测方法,其特征是:所述方法为具有时尚品异常暴露oe的深度支持向量数据描述时尚品异常检测方法dsvdd-oe,所述dsvdd-oe为利用神经网络来学习正常时尚品和暴露数据集的分布变化,提取时尚品图像特征,同时最小化网络包含所有时尚品样本的超球表示的体积;任何落在估计边界超球之外的样本都被认为是异常时尚品;
2.如权利要求1所述的基于离群点暴露的时尚品异常检测方法,其特征是:所述深度支持向量时尚品数据描述deep svdd的目标是通过联合训练深度神经网络与svdd,在特征空间中找到一个包含全部或大部分时尚品数据的最小超球,并通过深度神经网络将数据映射到超球内;给定