一种基于GAN网络的光学赤足迹图像轮廓提取方法

一种基于gan网络的光学赤足迹图像轮廓提取方法
技术领域
1.本发明涉图像处理和轮廓提取技术领域，尤其是一种基于gan网络的光学 赤足迹图像轮廓提取方法。


背景技术：

2.对于足迹的研究不仅局限于刑侦领域，也涉及到我们生活中的各个方面。 比如通过研究人体在进行不同运动时的足迹差异，提高制鞋技术，研发适合不 同运动的高科技含量的运动鞋，在运动时更好地保护我们的身体。在医学领域， 医学专家可以通过研究一些特定的疾病对病人行走过程中产生的足迹的影响， 来探索足迹与该种疾病的关系，并以此预测病人的疾病种类和阶段，提高诊断 速度等。
[0003][0004]
光学赤足迹图像轮廓的形态学特征是赤足迹研究中的一个十分重要的特 征。在现阶段的研究过程中，从赤足迹图像中提取轮廓通常采用先中值滤波后 二值化的方式，该方式通常被称为传统方法。中值滤波将图像每一个像素点的 灰度值处理成该像素点一个邻域窗口内的所有像素点灰度值的中值，从而消除 孤立的噪声点，抹除光学赤足迹内部的纹理信息。二值化将图像上的像素点的 灰度值设置为0或255，将整个图像呈现出明显的黑白效果，以此减少图像中 的数据量，凸显图像中赤足迹的轮廓信息。但是传统方法对于原始光学赤足迹 图像的质量要求较高，对于原始图像中存在较大面积的块状噪声或脚印足弓区 存在断裂的情况，则无法使用传统方法提取出可信度高的轮廓图像，然而，在 犯罪现场获取到的足迹图像质量往往都不高。


技术实现要素：

[0005]
本发明的目的在于提供一种能够处理原始图像中的块状噪声，补全原始图 像中足迹的残缺，更加灵活地生成可信度较高的轮廓图像的基于gan网络的光 学赤足迹图像轮廓提取方法。
[0006]
为实现上述目的，本发明采用了以下技术方案：一种基于gan网络的光学 赤足迹图像轮廓提取方法，该方法包括下列顺序的步骤：
[0007]
(1)通过光学足迹采集仪采集原始光学赤足迹图像；
[0008]
(2)制作训练集和测试集；
[0009]
(3)通过残差网络构建生成器；
[0010]
(4)通过patchgan马尔可夫判别器构建鉴别器；
[0011]
(5)将生成器和鉴别器组成cyclegan循环生成对抗网络，将cyclegan 循环生成对抗网络作为训练网络；
[0012]
(6)将训练集送入训练网络中进行训练；
[0013]
(7)使用训练后的生成器作为轮廓提取测试网络，输入测试集的源域数 据，得到光学赤足迹图像轮廓。
[0014]
所述步骤(2)具体包括以下步骤：
[0015]
(2a)将所有原始光学赤足迹图像统一为右脚图像，并擦除图像中的标尺；
[0016]
(2b)从原始光学赤足迹图像中随机抽取图像作为训练集和测试集的源域 数据，再随机抽取图像经处理后作为训练集的目标域数据。
[0017]
所述步骤(3)具体包括以下步骤：
[0018]
(3a)所述生成器为具有9个残差块的残差网络结构，用c7s1_k表示一个 含有k个滤波器，卷积核大小为7*7，步长为1的下采样层；用dk表示一个含 有k个滤波器，卷积核大小为3*3，步长为2的下采样层；用rk表示一个包含 两个含有k个滤波器，卷积核大小为3*3的卷积层的残差块；用uk表示一个含 有k个滤波器，卷积核大小为3*3，步长为1/2的上采样层；生成器的结构表 示为：c7s1_64，d128，d256，r256，r256，r256，r256，r256，r256，r256，r256，r256，u128，u64，c7s1_3；
[0019]
在生成器的最后一个残差块的两个卷积层之后加入自注意力模块，对得到 的特征进行重标定，公式如下：
[0020][0021][0022]
其中：e(xi)是空间e中的特征图e(x)中的第i行，g(xj)表示空间g中的 特征图g(x)中的第j行，s
i，j
表示二维矩阵s中的第i行第j列元素，β
i，j
是二 维矩阵β第i行第j列的元素，i表示的是行数，n表示i的最大取值范围， h(xi)是空间h中的特征图h(x)中的第i行；公式(1)为注意力掩膜计算公式， 公式(2)为特征重标定计算公式；
[0023]
(3b)在生成器中每一个卷积层之后进行谱归一化操作：
[0024]fw
(x)＝wx＝u∑vx
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0025]
其中，u表示一个m*m的正交矩阵，∑是一个m*n的对角矩阵，对角线 上的数为权重矩阵w的奇异值，v为一个n*n的正交矩阵，x为变量。
[0026]
所述步骤(5)具体包括以下步骤：
[0027]
用ai和bi分别表示源域和目标域中的一个样本，则cyclegan循环生成对抗 网络表示如下：
[0028]ai
→
g_a(ai)
→
g_b(g_a(ai))
[0029]bi
→
g_b(bi)
→
g_a(g_b(bi))
[0030]
源域a中的一个样本ai经过生成器g_a转变到目标域中，标记为g_a(ai)， 然后g_a(ai)又经过生成器g_b转变到源域中，标记为g_b(g_a(ai))；
[0031]
目标域b中的一个样本bi经过生成器g_b转变到源域中，标记为g_b(bi)， 然后g_b(bi)又经过生成器g_a转变到目标域中，标记为g_a(g_b(bi))；
[0032]
g_a(ai)和g_b(bi)均为生成样本，g_b(g_a(ai))和g_a(g_b(bi))均为循环 生成样本；
[0033]
(5a)使用wasserstein距离代替传统的以交叉熵为基准的对抗损失， wasserstein距离的计算公式如下：
[0034]
[0035]
式中，π(pr，pg)表示真实分布pr与生成分布pg组合的所有联合分布的集合， γ表示联合分布的集合中的任一分布，变量x表示γ中的一个真实样本，变量y表 示γ中的一个生成样本，e
(x，y)～γ
[||x-y||]表示γ对x与y距离的期望，计算出联 合分布的集合中，该期望的下边界
[0036]
为将wasserstein距离加入到cyclegan循环生成对抗网络的训练过程中， 将公式(4)变形为公式(5)：
[0037][0038]
式中，||f||
l≤k
表示函数f在k上是李普希茨连续的，即f的导函数绝对值小 于k，k≥0，sup表示对满足情况的函数f取上边界；
[0039]
在cyclegan循环生成对抗网络的训练过程中，将函数f(x)定义成一个包含 权重w的目标函数进行求解，即将公式(5)转换为公式(6)：
[0040][0041]
优化目标函数fw(x)即找到使fw(x)的值最优的权重w值，就是求w的最优 解，将函数f(x)定义成一个包含权重w的目标函数fw(x)，由于fw(x)＝wx， w是权重矩阵，w是权重；||fw||
l≤k
表示函数fw在k上是李普希茨连续的，即fw的 导函数绝对值小于k；e表示期望，pr表示真实分布，x～pr表示样本x来自真 实分布，pg表示生成分布，x～pg表示样本x来自生成分布，表示 样本x来自真实分布pr时fw(x)值的期望，表示样本x来自生成分 布pg时fw(x)值的期望；
[0042]
根据公式(6)，重新构造cyclegan循环生成对抗网络中判别器的目标函 数为公式(7)，在保证函数fw(x)具有李普希茨连续的前提下，此时优化判别 器等价于优化真实分布以及生成分布之间的wasserstein距离：
[0043][0044]
d(x)是判别器的目标函数，这个函数等于真实分布以及生成分布之间的 wasserstein距离；
[0045]
引入wasserstein距离后，生成器的对抗损失如公式(8)所示，鉴别器的 对抗损失如公式(9)所示：
[0046][0047][0048]
式中，g表示生成器，d表示鉴别器，n表示i的最大取值范围，ai表示n对样 本中的一个源域样本，bi表示一个目标域样本；
[0049]
(5b)引入循环一致损失来限定原始图像与轮廓图像的一一对应关系，循 环一致损失如下式所示：
[0050]
[0051]
其中，||g_b(g_a(ai))-ai||1为求g_b(g_a(ai))和ai的曼哈顿距离；ai表示 一个源域样本，经过生成器g_a再经过生成器g_b，得到一张源域中新的图像 g_b(g_a(ai))；bi表示一个目标域样本，g_a(g_b(bi))表示bi经过两次生成器 得到的新图像。
[0052]
所述步骤(6)具体包括以下步骤：
[0053]
(6a)设置网络超参数，分别从训练集的源域和目标域中取出一个样本， 经过cyclegan循环生成对抗网络生成对应的生成样本和循环生成样本；
[0054]
(6b)计算鉴别器的对抗损失lossd_a，lossd_b；
[0055]
(6c)计算生成器的对抗损失lossg_a，lossg_b和循环一致损失lossc，即 生成器总损失如下所示：
[0056]
lossg
total
＝lossg_a lossg_b lossc
[0057]
(6d)选择rmsprop优化器，设置优化器参数，训练并保存cyclegan循 环生成对抗网络。
[0058]
由上述技术方案可知，本发明的有益效果为：第一，本发明可以直接在经 过简单预处理的原始光学赤足迹图像上进行一套统一流程的操作提取轮廓图 像，简化轮廓提取的流程；第二，本发明可以忽略不同原始图像之间的差异， 使用相同参数的网络处理同一批次的数据，减少轮廓提取的计算量；第三，本 发明使用了更加灵活的gan网络算法，可以减弱原始图像与轮廓图像中同一位 置像素点的像素值之间的对应关系，忽略原始图像中的瑕疵，处理一些传统方 法无法处理的情况；第四，本发明在cyclegan结构中加入了自注意力机制， 可以使整个网络根据图像中结构之间的联系学习到完整的结构信息，主导学习 的方向，提高轮廓提取的效果；第五，本发明在cyclegan结构中增加了谱归 一化操作，同时使用wasserstein距离代替了传统的以交叉熵为基准的对抗损 失，可以有效避免gan网络在训练过程中出现梯度消失的问题，使gan网络的 训练更加稳定。
附图说明
[0059]
图1为本发明的方法流程图；
[0060]
图2为第四代光学足迹采集仪的示意图；
[0061]
图3为原始图像；
[0062]
图4为预处理后的图像；
[0063]
图5为轮廓图像；
[0064]
图6为自注意力机制结构示意图；
[0065]
图7为cyclegan结构示意图；
[0066]
图8为循环一致损失示意图。
具体实施方式
[0067]
如图1所示，一种基于gan网络的光学赤足迹图像轮廓提取方法，该方法 包括下列顺序的步骤：
[0068]
(1)通过光学足迹采集仪采集原始光学赤足迹图像；
[0069]
(2)制作训练集和测试集；
[0070]
(3)通过残差网络构建生成器；
[0071]
(4)通过patchgan马尔可夫判别器构建鉴别器；
[0072]
(5)将生成器和鉴别器组成cyclegan循环生成对抗网络，将cyclegan 循环生成对抗网络作为训练网络；
[0073]
(6)将训练集送入训练网络中进行训练；
[0074]
(7)使用训练后的生成器作为轮廓提取测试网络，输入测试集的源域数 据，得到光学赤足迹图像轮廓。
[0075]
所述步骤(2)具体包括以下步骤：
[0076]
(2a)将所有原始光学赤足迹图像统一为右脚图像，并擦除图像中的标尺；
[0077]
(2b)从原始光学赤足迹图像中随机抽取图像作为训练集和测试集的源域 数据，再随机抽取图像经处理后作为训练集的目标域数据。
[0078]
所述步骤(3)具体包括以下步骤：
[0079]
(3a)所述生成器为具有9个残差块的残差网络结构，用c7s1_k表示一个 含有k个滤波器，卷积核大小为7*7，步长为1的下采样层；用dk表示一个含 有k个滤波器，卷积核大小为3*3，步长为2的下采样层；用rk表示一个包含 两个含有k个滤波器，卷积核大小为3*3的卷积层的残差块；用uk表示一个含 有k个滤波器，卷积核大小为3*3，步长为1/2的上采样层；生成器的结构表 示为：c7s1_64，d128，d256，r256，r256，r256，r256，r256，r256， r256，r256，r256，u128，u64，c7s1_3；
[0080]
在生成器的最后一个残差块的两个卷积层之后加入自注意力模块，对得到 的特征进行重标定，公式如下：
[0081][0082][0083]
其中：e(xi)是空间e中的特征图e(x)中的第i行，g(xj)表示空间g中的 特征图g(x)中的第j行，s
i，j
表示二维矩阵s中的第i行第j列元素，β
i，j
是二 维矩阵β第i行第j列的元素，i表示的是行数，n表示i的最大取值范围， h(xi)是空间h中的特征图h(x)中的第i行；公式(1)为注意力掩膜计算公式， 公式(2)为特征重标定计算公式；
[0084]
(3b)在生成器中每一个卷积层之后进行谱归一化操作：
[0085]fw
(x)＝wx＝u∑vx
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0086]
其中，u表示一个m*m的正交矩阵，∑是一个m*n的对角矩阵，对角线 上的数为权重矩阵w的奇异值，v为一个n*n的正交矩阵，x为变量。
[0087]
所述步骤(5)具体包括以下步骤：
[0088]
用ai和bi分别表示源域和目标域中的一个样本，则cyclegan循环生成对抗 网络表示如下：
[0089]ai
→
g_a(ai)
→
g_b(g_a(ai))
[0090]bi
→
g_b(bi)
→
g_a(g_b(bi))
[0091]
源域a中的一个样本ai经过生成器g_a转变到目标域中，标记为g_a(ai)， 然后g_a(ai)又经过生成器g_b转变到源域中，标记为g_b(g_a(ai))；
[0092]
目标域b中的一个样本bi经过生成器g_b转变到源域中，标记为g_b(bi)， 然后g_b(bi)又经过生成器g_a转变到目标域中，标记为g_a(g_b(bi))；
[0093]
g_a(ai)和g_b(bi)均为生成样本，g_b(g_a(ai))和g_a(g_b(bi))均为循环 生成样本；
[0094]
(5a)使用wasserstein距离代替传统的以交叉熵为基准的对抗损失， wasserstein距离的计算公式如下：
[0095][0096]
式中，π(pr，pg)表示真实分布pr与生成分布pg组合的所有联合分布的集合， γ表示联合分布的集合中的任一分布，变量x表示γ中的一个真实样本，变量y表 示γ中的一个生成样本，e
(x，y)～γ
[||x-y||]表示γ对x与y距离的期望，计算出联 合分布的集合中，该期望的下边界
[0097]
为将wasserstein距离加入到cyclegan循环生成对抗网络的训练过程中， 将公式(4)变形为公式(5)：
[0098][0099]
式中，||f||
l≤k
表示函数f在k上是李普希茨连续的，即f的导函数绝对值小 于k，k≥0，sup表示对满足情况的函数f取上边界；
[0100]
在cyclegan循环生成对抗网络的训练过程中，将函数f(x)定义成一个包含 权重w的目标函数进行求解，即将公式(5)转换为公式(6)：
[0101][0102]
优化目标函数fw(x)即找到使fw(x)的值最优的权重w值，就是求w的最优 解，将函数f(x)定义成一个包含权重w的目标函数fw(x)，由于fw(x)＝wx， w是权重矩阵，w是权重；||fw||
l≤k
表示函数fw在k上是李普希茨连续的，即fw的 导函数绝对值小于k；e表示期望，pr表示真实分布，x～pr表示样本x来自真 实分布，pg表示生成分布，x～pg表示样本x来自生成分布，表示 样本x来自真实分布pr时fw(x)值的期望，表示样本x来自生成分 布pg时fw(x)值的期望；
[0103]
根据公式(6)，重新构造cyclegan循环生成对抗网络中判别器的目标函 数为公式(7)，在保证函数fw(x)具有李普希茨连续的前提下，此时优化判别 器等价于优化真实分布以及生成分布之间的wasserstein距离：
[0104][0105]
d(x)是判别器的目标函数，这个函数等于真实分布以及生成分布之间的 wasserstein距离；
[0106]
引入wasserstein距离后，生成器的对抗损失如公式(8)所示，鉴别器的 对抗损失如公式(9)所示：
[0107][0108]
[0109]
式中，g表示生成器，d表示鉴别器，n表示i的最大取值范围，ai表示n对样 本中的一个源域样本，bi表示一个目标域样本；
[0110]
(5b)引入循环一致损失来限定原始图像与轮廓图像的一一对应关系，循 环一致损失如下式所示：
[0111][0112]
其中，||g_b(g_a(ai))-ai||1为求g_b(g_a(ai))和ai的曼哈顿距离；ai表示 一个源域样本，经过生成器g_a再经过生成器g_b，得到一张源域中新的图像 g_b(g_a(ai))；bi表示一个目标域样本，g_a(g_b(bi))表示bi经过两次生成器 得到的新图像。
[0113]
所述步骤(6)具体包括以下步骤：
[0114]
(6a)设置网络超参数，分别从训练集的源域和目标域中取出一个样本， 经过cyclegan循环生成对抗网络生成对应的生成样本和循环生成样本；
[0115]
(6b)计算鉴别器的对抗损失lossd_a，lossd_b；
[0116]
(6c)计算生成器的对抗损失lossg_a，lossg_b和循环一致损失lossc，即 生成器总损失如下所示：
[0117]
lossg
total
＝lossg_a lossg_b lossc
[0118]
(6d)选择rmsprop优化器，设置优化器参数，训练并保存cyclegan循 环生成对抗网络。
[0119]
实施例一
[0120]
步骤1：通过光学足迹采集仪采集光学赤足迹图像；
[0121]
使用由杭州创恒电子技术开发有限公司所研发的第四代光学足迹采集仪 (fmc500iv)采集光学赤足迹图像，如图2所示，该设备的有效采集区域为 仪器正面的黑色部分，将仪器左右两侧分布的电源接口、usb接口按照说明书 接好，并在电脑上安装相应的驱动、电脑软件即可进行采集。当足迹与采集面 相接触时，设备采集面下方的三棱镜会发生全反射，将捕捉到的图像传至电脑 软件界面并保存到电脑本地。该设备每次可以采集一张左脚或右脚光学赤足迹 图像，按照统一命名规范对采集到的图像数据进行存储，其存储到的图像数据 分辨率为325*670。
[0122]
步骤2：对采集到的光学赤足迹图像进行预处理并制作数据集。步骤1中 共采集了300个不同id的光学赤足迹图像，每个id包含10张左脚图像和10 张右脚图像，共6000张图像，原始图像如图3所示。
[0123]
由于采集仪器的设置，原始光学赤足迹图像中，在脚印的大拇指侧，有用 来标记长度的标尺，如图3所示。通过检测图像中标尺的方向，先将所有的左 脚图像转换成右脚图像，再将图像左侧大小为35个像素点的部分像素值全部 设置为255以此擦除标尺，最后将图像黑白颜色转换，得到处理后的图像数据 如图4所示。
[0124]
从中随机挑选出450张不同的图像，分为3组，每组150张。第一组定义 为训练集的源域数据，第二组定义为测试集的源域数据，第三组使用photoshops 软件手动处理成目标域数据(即光学赤足迹轮廓图像，如图5所示)，定义为 训练集的目标域数据。
[0125]
步骤3：定义生成器，本发明使用的生成器基本结构是具有9个残差块的 resnet结构，resnet结构通过短路机制加入了残差单元，能够很好的解决深 度网络的退化问题。本
发明的生成器基本结构可以表示为：c7s1_64，d128， d256，r256，r256，r256，r256，r256，r256，r256，r256，r256，u128，u64， c7s1_3。
[0126]
为了使网络能够关注赤足迹结构之间的关联性，提升生成轮廓的质量，本 发明在生成器最后一个残差块的两个convolution层之后加入自注意力模块， 对得到的特征进行重标定。
[0127]
自注意力模块可以关注特征图中点与点之间的关联性，即计算其他点对当 前点的影响，进而获得图像的结构特征，提升网络对图像细节的刻画能力。自 注意力模块的详细结构图如图6所示。为了降低网络的运算量，首先将特征图 x(维度为h*w*c)分别经过3个1*1卷积得到3个特征空间e，g及h，其次 将e，g与h空间的特征图展开成hw*c，展开后的特征图行表示展开前某一位 置下所有的通道信息，列表示展开前某一通道下所有的位置信息，将空间e中 的特征图转置后与空间g中的特征图相乘并经过softmax层归一化后得到注意 力掩膜，如公式(1)所示，式中β
i，j
表示图中生成第j个位置对于第i个位置的 影响程度。最后将空间h的特征图与注意力掩膜相乘，如公式(2)所示，从而 增大重点区域的响应，减少其他区域的相应，之后恢复尺寸得到输出特征图y (维度为h*w*c)。自注意力模块可以使整个网络根据图像中结构之间的联 系学习到完整的结构信息，即从局部信息学习到全局信息，避免网络盲目学习， 主导学习的方向，提高网络性能。
[0128]
为了解决cyclegan循环生成对抗网络在训练时不稳定、容易出现梯度消 失的问题，本发明后续引入wasserstein距离替代传统的以交叉熵为基准的对抗 损失。因此，本发明在生成器中每一个convolution层之后(涉及到自注意力 模块时在自注意力模块之前)进行谱归一化操作来提供wasserstein距离成立的 条件，即函数满足1-lipschitz李普希茨连续，1-lipschitz连续是说该函数任意 点的最大梯度为1。
[0129]
谱归一化操作可以将fw(x)的权重限制在某个范围内，以此保证函数fw(x) 满足1-lipschitz连续。如公式(3)所示，对函数fw(x)的权重矩阵w
m*n
进行奇 异值(svd)分解。式中将权重矩阵w分解后，u表示一个m*m的正交矩阵， ∑是一个m*n的对角矩阵，对角线上的数为权重矩阵w的奇异值，v为一个 n*n的正交矩阵。通过svd分解，可以将复杂的矩阵拆解为3个简单矩阵相 乘，3个矩阵分别代表w的3个矩阵变换，其中u和v表示旋转变换，∑表示拉 伸变换。只有拉伸过程会改变向量的模长，所以函数fw(x)的1-lipschitz连续 只与∑相关。定义矩阵svd分解后求得的最大奇异值为该矩阵的谱系数，则在 训练的过程中，每次卷积操作后使权重矩阵w均除以其谱系数，保证svd分 解后的拉伸矩阵∑均小于1，即保证了函数fw(x)满足1-lipschitz连续。上述过 程即对权重矩阵w的谱归一化操作。
[0130]
步骤4：定义鉴别器，本发明使用的鉴别器基本结构是patchgan，这个 结构用来判断图像覆盖的一定大小的补丁是否来自原图，与全局鉴别器相比， 这样的补丁层级的鉴别器有更少的参数，并且可以以完全卷积的方式处理任何 尺寸的图像。如果用cxsi_k表示一个含有k个滤波器，卷积核大小为x*x，步 长为i的convolution-leakyrelu层；cksi表示一个含有k个滤波器，卷积核大 小为4*4，步长为i的convolution-instancenorm-leakyrelu层，其中 leakyrelu的斜率为0.2。本发明的鉴别器基本结构可以表示为：c4s2_64， c128s2，c256s2，c512s1，c4s1_1。最后一层删去leakyrelu层。
[0131]
基于步骤3.1与步骤3.2中的相同原因，在鉴别器中每一个convolution 层之后进行谱归一化操作，在c512s1中的convolution层后加入自注意力模块 (谱归一化操作之
后)。
[0132]
步骤5：搭建训练网络，本发明的训练网络模型参考cyclegan结构，如 图7所示，这种结构可以在缺少成对数据集的情况下，很好地完成图像翻译工 作。其中a代表训练集源域，即光学赤足迹图像数据集，b代表训练集目标域， 即轮廓数据集；g_a和g_b为步骤3中定义的生成器结构，g_a用来由源域中的 图像生成目标域中的图像，g_b用来由目标域中的图像生成源域中的图像；d_a 和d_b为步骤4中定义的鉴别器结构，d_a用来判断图像是否为目标域中的真 实图像，d_b用来判断图像是否为源域中的图像；g_a和d_a组成一个正向gan 网络，g_b和d_b组成一个反向gan网络。正向gan网络和对抗损失可以保 证生成足够逼真的目标域图像；再加入反向gan网络和循环一致损失用来限 定在图像翻译的过程中源域图像经过翻译得到的目标域图像与源于图像存在 严格的一一对应的关系。
[0133]
由于传统gan网络中以交叉熵为基准的对抗损失存在一定的缺陷，在训 练的过程中会出现梯度消失、模式崩溃的问题，本发明使用wasserstein距离代 替了传统的以交叉熵为基准的对抗损失，在保证稳定训练的同时，简化了损失 函数的结构。
[0134]
相比于以交叉熵为基准的对抗损失，wasserstein距离不会因为分布之间不 存在交集而出现模式崩溃现象。当两个分布不存在交集时，以交叉熵为基准的 对抗损失是突变的，无法提供梯度信息，而wasserstein距离是平滑的，可以提 供梯度信息。为了将wasserstein距离加入到gan的训练过程中，首先将公式 (4)变形为公式(5)，式中||f||
l≤k
表示函数f在k上是lipschitz连续的，即 导函数f的绝对值不超过k(k≥0)，sup表示对满足情况的函数f取上边界。
[0135]
在cyclegan循环生成对抗网络的训练过程中，将函数f(x)定义成一个包含 权重w的目标函数进行求解，即将公式(5)转换为公式(6)。由于公式(6) 的成立必须保证函数fw(x)在k上是1-lipschitz连续的，所以需要在训练过程中 使用谱归一化操作限制fw(x)中的权重w在某个范围内，此时fw(x)关于x的导函 数才会被限制在某个范围内。
[0136]
根据公式(6)，可以重新构造cyclegan循环生成对抗网络中判别器的目 标函数为公式(7)，在保证函数fw(x)具有lipschitz连续的前提下，此时优化 判别器等价于优化真实分布以及生成分布之间的wasserstein距离。所以不会出 现梯度消失的问题。
[0137]
引入wasserstein距离后，本发明生成器的对抗损失如公式(8)所示，鉴 别器的对抗损失如公式(9)所示。式中g表示生成器，d表示鉴别器，n表示 一轮训练中的样本数，ai表示n个样本中的一个源域样本，bi表示一个目标域 样本。
[0138]
cyclegan结构认为，学习到的函数应该具有循环一致性，如图8所示， 数据域a中的每一张图像a在循环翻译中，应该可以让a回到翻译的原点，这样 才能保证图像翻译的结果与原图像存在一一对应的关系，反之亦然，换言之：
[0139]ai
→
g_a(ai)
→
g_b(g_a(ai))≈ai[0140]bi
→
g_b(bi)
→
g_a(g_b(bi))≈bi[0141]
如是引入了循环一致损失，如公式(6)所示。
[0142]
步骤6：将步骤2.2中所制作的数据集送入搭建好的训练网络中进行训练。
[0143]
设置网络训练epoch数为200，batchsize＝1，源域和源域样本分别用a和a表 示，目标域和目标域样本用b和b表示，即一个样本两次翻译的过程如下所示：
[0144]
real_a
→
fake_b
→
rec_a
[0145]
real_b
→
fake_a
→
rec_b
[0146]
分别从源域和目标域中取出一个样本real_a和real_b，real_a经过生成器 g_a生成目标域中的生成样本fake_b，再将fake_b经过生成器g_b生成源域中 的生成样本rec_a；real_b
→
fake_a
→
rec_b的生成过程以此类推。
[0147]
根据公式(9)，由real_a和fake_a计算鉴别器d_b的损失为lossd_b；由 real_b和fake_b计算鉴别器d_a的损失为lossd_a。
[0148]
根据公式(8)，由fake_b计算出生成器g_a的损失为lossg_a；由fake_a计 算生成器g_b的损失为lossg_b。根据公式(10)，由real_a，rec_a，real_b， rec_b计算循环一致损失为lossc。即生成器的总损失为：
[0149]
lossg
total
＝lossg_a lossg_b lossc
[0150]
设置初始学习率为0.002，前100个epoch中使用固定的学习率，后100 个epoch中将学习率线性衰减到0。使用rmsprop优化器，根据lossd_a优化 鉴别器d_a参数，根据lossd_b优化鉴别器d_b参数，根据lossg
total
优化生成器g_a和g_b参数，保存训练后的网络。
[0151]
步骤7：使用训练后的生成器g_a搭建轮廓提取测试网络，输入测试数据 集的源域数据，输出得到的目标域数据，测试网络。
[0152]
综上所述，本发明可以直接在经过简单预处理的原始光学赤足迹图像上进 行一套统一流程的操作提取轮廓图像，简化轮廓提取的流程；本发明可以忽略 不同原始图像之间的差异，使用相同参数的网络处理同一批次的数据，减少轮 廓提取的计算量；本发明使用了更加灵活的gan网络算法，可以减弱原始图像 与轮廓图像中同一位置像素点的像素值之间的对应关系，忽略原始图像中的瑕 疵，处理一些传统方法无法处理的情况。