本发明属于无约束优化算法领域，具体涉及一种三项最小化子空间共轭梯度优化方法，在sk，yk，yk-1张成的子空间ωk+1中构造出一种满足充分下降条件和dai-liao共轭条件的新搜索方向，达到了更快的收敛速度和更低的误差。
背景技术：
1、共轭梯度法(cg)是最常用的优化算法之一，在应用中收敛速度快。到目前为止，已经开发了许多cg方法来提高计算性能，并广泛应用于解决现实世界中的问题。然而，一般共轭梯度法常常频繁使用负梯度为重启方向，大大降低了共轭梯度法的效率。为克服这一缺点，beale首先提出了三项共轭梯度方法。相比传统的共轭梯度法，三项共轭梯度方法能够更快地收敛于最优解，有效提高了优化算法的效率。
2、然而，在三项共轭梯度法中，gk+1，sk，yk等向量前的系数都是固定的，这些固定的系数常常不能很好地适应优化问题复杂度的上升和求解规模的扩大所带来的挑战。为了迎接这些挑战，一些学者借助信赖域方法的思想，在由gk+1，sk，yk等向量张成的子空间中求解子优化问题来确定搜索方向，由此衍生出smcg算法、stt算法和tts算法等，其数值结果显示它们都要优于一些经典共轭梯度法。
3、三项最小化子空间共轭梯度法在解决大规模无约束优化问题中往往表现出更快的收敛速度和更强的鲁棒性。因此，越来越多的学者在最小化子空间共轭梯度法上做了有意义的探索。
技术实现思路
1、由于三项最小化子空间共轭梯度法往往表现出更快的收敛速度和更强的鲁棒性，本发明提出一种三项最小化子空间共轭梯度优化方法(记为ours)，在由sk，yk，yk-1张成的子空间ωk+1中构造出一种满足充分下降条件和dai-liao共轭条件的新搜索方向，在解决无约束优化问题中达到了比现有的三项最小化子空间共轭梯度法更快的收敛速度和更低的误差。
2、本发明一种三项最小化子空间共轭梯度优化方法，包括以下步骤：
3、s1：取初始迭代点x0，初始迭代次数记为0，计算函数f(x)的初始梯度并确定初始搜索方向d0＝-g0；
4、s2：若函数f(x)的函数值或梯度满足himmeblau终止条件，或迭代次数达到epoch，则迭代终止，返回决策变量，否则执行下一步；
5、s3：基于wolfe线搜索准则确定搜索步长；
6、s4：基于搜索方向及步骤s3中的搜索步长判断是否实行andrei加速策略，并更新决策变量；
7、s5：计算三项子空间的维数；
8、s6：基于步骤s5中的三项子空间的维数，计算下一轮迭代的搜索方向；
9、s7：执行负梯度重启策略；
10、s8：迭代次数累加1，返回步骤s2。
11、进一步地，所述步骤s2包括以下子步骤：
12、s21：令其中，xk为第k步的迭代点；
13、s22：记第k步迭代中的梯度若δ＜∈1或||gk||∞≤∈3或迭代次数达到epoch，则迭代终止，返回决策变量(即xk)，否则执行下一步。其中，∈1，∈2，∈3为himmeblau终止条件的三个参数。
14、进一步地，所述步骤s3具体为基于步骤s1中的梯度和搜索方向计算搜索步长αk以满足其中，sk＝xk+1-xk，dk为第k步的搜索方向，ρ、σ为wolfe线搜索准则的两个参数，且0＜ρ≤σ＜1。
15、进一步地，所述步骤s4包括以下子步骤：
16、s41：计算其中yk＝gk+1-gk；
17、s42：若则实行andrei加速策略，计算加速参数并更新决策变量，即令xk+1＝xk+ζkαkdk，否则xk+1＝xk+αkdk。
18、进一步地，所述步骤s5中三项子空间是由sk＝xk+1-xk、yk＝gk+1-gk和yk-1＝gk-gk-1张成的线性子空间ωk+1，且该子空间的维数可能有三种情况，即dimωk+1＝3，2或1。
19、进一步地，所述步骤s6包括以下子步骤：
20、s61：假设dk+1＝μksk+vkyk+τkyk-1，其中系数待定；
21、s62：将dk+1＝μksk+vkyk+τkyk-1，代入最小化问题中，解出μk，vk，τk；其中bk+1是函数f(x)在xk+1的hessian矩阵的近似，假设bk+1是对称正定并且满足拟牛顿条件的，即bk+1sk＝yk。
22、s63：若dimωk+1＝1，则dk+1＝-gk+1；
23、若dimωk+1＝2且sk与yk线性无关，则dk+1＝μksk+vkyk，其中
24、
25、若dimωk+1＝2且sk与yk-1线性无关，则dk+1＝μksk+τkyk-1，其中
26、
27、若dimωk+1＝3，则dk+1＝μksk+vkyk+τkyk-1，其中
28、
29、更进一步地，所述步骤s63中，若dimωk+1＝2且sk与yk线性无关，为保证ak正定，取故
30、
31、若dimωk+1＝2且sk与yk-1线性无关，为保证正定，取故
32、
33、若dimωk+1＝3，为保证正定，取其中ξ为大于1的常数，故
34、
35、
36、进一步地，所述步骤s7中负梯度重启策略为：若则将dk+1重置为-gk+1后执行步骤s8，否则直接执行步骤s8。
37、与现有技术相比，本发明的有益效果如下：
38、1.本发明选择了不同于经典三项共轭梯度法的新向量组合：sk，yk，yk-1，通过在该向量组合张成的子空间ωk+1中求解子优化问题来确定新搜索方向，并且该搜索方向满足充分下降条件和dai-liao共轭条件，使本发明在优化过程中减少了对目标函数进行求值的次数，从而降低了实际应用中的计算成本，为解决复杂的优化问题提供了更为可行和实用的解决方案。同时，在合理假设下证明了新的搜索方向具有全局收敛性，以更少的迭代次数达到收敛，其快速收敛和高效率的特点使得该算法在大规模优化问题的求解中具有巨大的潜力。
39、2.本发明在求解子优化问题确定搜索方向的过程中，通过对近似hessian矩阵bk+1与向量sk，yk，yk-1构成的所有二次型项进行估计，从而确保该子优化问题具有唯一解，并得到了更简洁、更准确的参数表达式，使本发明在优化问题上具有更高的效率和速度，同时在性能优化的过程中更具稳健性。
1.一种三项最小化子空间共轭梯度优化方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的一种三项最小化子空间共轭梯度优化方法，其特征在于：所述步骤s2包括以下子步骤：
3.根据权利要求1所述的一种三项最小化子空间共轭梯度优化方法，其特征在于：所述步骤s3具体为基于步骤s1中的梯度和搜索方向计算搜索步长αk以满足其中，sk＝xk+1-xk，dk为第k步的搜索方向，ρ、σ为wolfe线搜索准则的两个参数，且0<ρ≤σ＜1。
4.根据权利要求1所述的一种三项最小化子空间共轭梯度优化方法，其特征在于：所述步骤s4包括以下子步骤：
5.根据权利要求1所述的一种三项最小化子空间共轭梯度优化方法，其特征在于：所述步骤s5中三项子空间是由sk＝xk+1-xk、yk＝gk+1-gk和yk-1＝gk-gk-1张成的线性子空间ωk+1，且该子空间的维数dimωk+1＝3，2或1。
6.根据权利要求1所述的一种三项最小化子空间共轭梯度优化方法，其特征在于：所述步骤s6包括以下子步骤：
7.根据权利要求6所述的一种三项最小化子空间共轭梯度优化方法，其特征在于：所述步骤s63中，若dimωk+1＝2且sk与yk线性无关，为保证ak正定，取故
8.根据权利要求1所述的一种三项最小化子空间共轭梯度优化方法，其特征在于：所述步骤s7中负梯度重启策略为：若则将dk+1重置为-gk+1后执行步骤s8，否则直接执行步骤s8。
