本技术涉及网络安全侦查领域，主要涉及一种基于多维动态隐匿聚合的网络安全侦查调查装置。
背景技术：
1、随着互联网的快速发展和智能化的兴起，网络安全威胁呈现出日益复杂和隐蔽化的特点，传统的安全防护手段已经无法满足对新型威胁的检测需求，各种类型的网络攻击频繁发生，网络安全威胁检测是信息安全领域的一个重要研究方向，网络安全威胁检测技术成为了当前研究的热点之一。
2、在宏观技术背景中，典型的网络安全威胁检测方案包括基于规则、基于特征和基于机器学习的方法。基于规则的方法通过定义规则来识别已知的威胁行为，但难以应对未知威胁和变异攻击。基于特征的方法通过提取网络流量数据的特征信息，并使用分类算法进行威胁判断，但对于复杂的数据形式和多任务情况下的分类准确率较低。基于机器学习的方法通过训练模型来学习网络流量数据的特征，并进行威胁检测，但需要大量的标注数据和专业知识，且无法处理多源异构数据。
3、微观技术背景下，与本发明最接近的现有技术是深度学习方法在网络安全威胁检测中的应用。深度学习方法通过多层神经网络的学习来提取数据的特征信息，并进行分类判断。卷积神经网络(cnn)、循环神经网络(rnn)和深度置信网络(dbn)是常用的深度学习模型。它们广泛应用于图像识别、自然语言处理等领域，并在网络安全威胁检测中也取得了一定的成果。
4、现有的网络安全威胁检测技术可以分为传统方法和深度学习方法两种。传统方法包括基于规则、基于特征和基于机器学习等。其中，基于规则的方法通过事先定义一系列规则来检测威胁行为，但存在无法涵盖所有情况的缺点。基于特征的方法通过提取数据的特征信息进行分类判断，但对于复杂的数据形式和多任务情况下，准确率较低。基于机器学习的方法通过训练模型进行分类判断，但需要大量的标注数据和专业知识，且无法处理多源异构数据。
5、深度学习方法包括卷积神经网络(cnn)、循环神经网络(rnn)和深度置信网络(dbn)等。这些方法通过多层神经网络的学习来提取数据的特征信息，并进行分类判断。相较于传统方法，深度学习方法具有更高的准确性和鲁棒性。然而，这些方法仍然存在着以下不足：
6、(1)单一任务：大多数深度学习方法仅关注单一任务，无法充分利用多个任务之间的相关信息。
7、(2)数据不平衡：网络安全威胁检测中的数据通常不平衡，缺乏正常样本或威胁样本，导致模型的训练和泛化能力不足。
8、(3)对抗攻击：恶意攻击者可以通过改变数据来欺骗深度学习模型，从而降低威胁检测的准确性。
9、(4)可解释性差：深度学习模型的黑盒特性限制了其解释性，无法提供详细的判断依据和威胁分析。
技术实现思路
1、针对现有技术中的多任务、数据不平衡、对抗攻击和可解释性等方面存在的不足的技术问题，本发明涉及一种网络安全侦查调查装置，该装置包括数据收集模块、隐匿聚合模块、动态调整模块、网络安全分析模块和结果输出模块，其中，隐匿聚合模块采用了基于聚合加权多任务学习(aggregated weighted multi-task learning,awmtl)算法，动态调整模块采用了自适应学习率调整算法(adaptive learning rate adjustmentalgorithm)，网络安全分析模块能够对聚合结果进行网络攻击检测和安全分析。
2、根据本发明的一方面，提出了一种基于多维动态隐匿聚合的网络安全侦查调查装置，包括：数据收集模块、隐匿聚合模块、动态调整模块、网络安全分析模块和结果输出模块，其中：
3、数据收集模块，配置用于收集多维网络数据，采用数据收集技术，对所述多维网络数据进行识别、收集和初始化；
4、隐匿聚合模块，配置用于采用聚合加权多任务学习算法将多维网络数据进行聚合和隐匿处理；
5、动态调整模块，配置用于采用自适应学习率调整算法调整隐匿聚合模块以适应不同的网络安全侦查调查场景；
6、网络安全分析模块，配置用于对网络中的数据、流量和行为进行监测、收集、分析和解释，以识别安全威胁和攻击行为，对隐匿聚合的结果进行网络攻击检测和安全分析，识别和分析网络攻击行为，并提供安全决策和措施；
7、结果输出模块，配置用于将网络安全分析的结果输出给用户，用户利用获取到网络安全数据作出相应的网络安全防护措施。
8、进一步的，所述多维网络数据表示不同类型的网络数据，具体包括但不限于：网络流量数据、日志数据和攻击事件数据。
9、所述网络流量数据包括：pcap(packet capture)文件，捕获网络中传输的所有原始数据包，包含了ip/tcp/udp等协议头信息，可用于深度分析网络通信行为，检测潜在的恶意活动，如dos攻击、端口扫描、恶意软件通信等。
10、所述日志数据包括：系统和应用程序日志数据，系统日志(system logs)：包括操作系统产生的日志，如windows event log、linux syslog等，记录了系统启动、关闭、用户登录、系统错误、程序执行等信息。应用程序日志：特定应用程序和服务生成的日志，如web服务器(apache/nginx)访问日志、数据库操作日志、防火墙规则变更日志等。
11、所述攻击事件数据包括：如sdee(security device event exchange)事件，snmp(simple network management protocol)陷阱等。
12、其他网络数据还包括：威胁情报数据、用户行为数据、文件完整性监控数据、性能指标数据等。
13、进一步的，所述聚合加权多任务学习算法具体步骤如下：
14、构建特征矩阵x，其中每一行表示一个网络数据样本，每一列表示一个特征；
15、初始化权重矩阵w，其中每一列表示一个任务；
16、利用最小化加权损失函数学习任务权重和所述权重矩阵w；
17、利用学习得到的任务权重和权重矩阵w进行对所述特征矩阵x进行预测得到预测结果，根据所述任务权重将各个预测结果加权平均，得到最终的聚合结果。
18、聚合加权多任务学习是机器学习方法，允许模型同时学习并优化多个相关的学习任务。在这样的框架下，模型不仅共享部分结构以利用不同任务之间的共性，而且还会对每个任务的损失函数进行加权，以反映它们在总学习目标中的相对重要性或者考虑它们在训练过程中的难度差异。
19、若有三个网络安全任务：恶意软件检测、入侵检测和异常行为检测。每个任务都需要从网络数据中提取特征并进行分类。
20、恶意软件检测任务：该任务旨在识别潜在的恶意软件文件或进程。它可能使用静态分析和动态行为分析等技术提取特征，并将样本分类为正常或恶意。
21、入侵检测任务：该任务的目标是检测网络中的入侵行为，如端口扫描、暴力破解等。它可能使用流量分析和行为模式识别等技术来提取特征，并将网络流量分类为正常或可疑。
22、异常行为检测任务：该任务旨在捕获网络中的异常行为，例如大规模数据传输、未知协议的使用等。它可能使用统计分析和机器学习方法提取特征，并将网络行为分类为正常或异常。
23、在聚合加权多任务学习算法中，将这三个任务视为需要同时学习和聚合的任务。
24、通过使用聚合加权多任务学习算法，可以充分利用不同网络安全任务之间的相互关系和信息交互，提高整体的网络安全检测能力。该算法能够自适应地学习任务权重，以适应不同任务的重要性和数据特点。从而提高网络安全的准确性和鲁棒性。
25、进一步的，所述自适应学习率调整算法基于隐匿聚合模块的收敛情况和性能表现，动态地调整学习率的大小，具体步骤如下：
26、初始化学习率：初始化初始学习率和一个常数值，所述常数值为数值极小的数，用于防止除零错误；
27、初始化梯度累积变量：为每个参数w初始化累积平方梯度变量r，所述变量r初始值为0；
28、迭代更新：每次迭代计算当前步骤的梯度g，将所述梯度的平方逐元素相加到所述累积平方梯度变量r中；
29、学习率调整：根据所述累积平方梯度变量r来调整学习率；
30、参数更新：利用调整后的学习率对所述参数w进行更新。
31、所述根据所述累积平方梯度变量r来调整学习率，调整后的学习率为：
32、ir_adjusted＝ir/sqrt(r+epsilon)
33、其中，ir表示初始学习率，sqrt表示开根号，r表示累积平方梯度变量，epsilon表示于防止除零错误的常数值。
34、所述利用调整后的学习率对所述参数w进行更新，具体公式如下：
35、w_adjusted＝w-ir_adjusted*g
36、其中，w表示每个任务参数，ir_adjusted表示调整后的学习率，g表示梯度。
37、自适应学习率调整算法是在训练神经网络和其他机器学习模型时用来动态调整学习率的方法。在传统的梯度下降或随机梯度下降优化过程中，学习率是一个固定的超参数，决定着每一步迭代中参数更新的步伐。然而，固定的全局学习率可能会限制训练效率，因为它无法很好地应对模型参数空间中各维度梯度的异质性，即某些参数可能需要更快的更新速度，而其他参数则需要更慢的速度才能达到最优解。
38、本发明采用的自适应学习率算法为adagrad(adaptive gradient)：它为每个参数单独维护了一个学习率，根据历史梯度的平方累积和调整每个参数的学习率，使高频出现的大梯度对应的参数得到较小的学习率，而低频的小梯度对应的参数则获得较大的学习率。
39、自适应学习率算法的核心思想是在训练过程中自动调整每个参数的学习率，使得模型能够更加高效地探索损失函数的复杂地形，从而加速训练进程并提高模型性能。
40、进一步的，所述网络安全分析模块具体步骤如下：
41、数据预处理：对收集到的日志数据、流量数据和事件原始数据进行预处理，包括数据清洗、去重和格式转换。
42、数据分析：利用数据挖掘和机器学习技术，对预处理后的数据进行分析，包括异常检测、行为分析、关联分析和时间序列分析；
43、威胁识别：通过对分析结果的研究，识别出安全威胁和攻击行为，包括识别已知的攻击模式、检测未知的新型攻击、分析攻击者的手段和目的；
44、安全决策和措施：基于威胁识别的结果，网络安全分析模块提供相应的安全决策和措施，包括阻断攻击流量、更新安全策略、通知安全管理员或用户。
45、网络安全分析的目标是及时发现和防止网络攻击，保护网络系统的安全性和完整性。
46、网络安全分析模块在实际应用中可能会根据具体需求和场景进行调整和优化。网络安全分析的关键在于收集到大量准确的数据，并采用有效的分析技术和策略，以快速发现和应对不断变化的网络威胁。
47、本技术实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：
48、(1)提升网络安全威胁检测的准确性；
49、通过聚合多个任务的学习和预测结果，该方案能够充分利用不同任务之间的信息交互和相互补充，提高整体的威胁检测能力。通过权衡不同任务的权重，系统可以更好地适应各个任务的需求，从而提高威胁检测的准确性。
50、(2)强化对网络安全威胁的综合分析能力；
51、通过结合多个任务的特征矩阵和权重向量，该方案可以综合分析不同任务中的特征信息，形成全局特征矩阵，并通过最小化损失函数来学习任务权重和权重矩阵。这样可以使系统具备更强的综合分析能力，更全面地评估网络数据是否存在潜在的威胁或攻击行为。
52、(3)自适应学习任务权重；
53、该方案通过学习任务权重，能够根据任务的重要性和数据特点动态调整权重。这意味着系统可以自适应地优化任务的权重，更好地适应不同任务的需求。这样可以使系统具备更好的灵活性和适应性，提高网络安全威胁检测的效果。
1.一种基于多维动态隐匿聚合的网络安全侦查调查装置，其特征在于，包括数据收集模块、隐匿聚合模块、动态调整模块、网络安全分析模块和结果输出模块，其中：
2.根据权利要求1所述的网络安全侦查调查装置，其特征在于：所述多维网络数据表示不同类型的网络数据，具体包括：网络流量数据、日志数据和攻击事件数据。
3.根据权利要求1所述的网络安全侦查调查装置，其特征在于：所述聚合加权多任务学习算法具体步骤如下：
4.根据权利要求1所述的网络安全侦查调查装置，其特征在于：所述自适应学习率调整算法基于隐匿聚合模块的收敛情况和性能表现，动态地调整学习率的大小，具体步骤如下：
5.根据权利要求4所述的网络安全侦查调查装置，其特征在于：所述根据所述累积平方梯度变量r来调整学习率，调整后的学习率为：
6.根据权利要求4所述的网络安全侦查调查装置，其特征在于：所述利用调整后的学习率对所述参数w进行更新，具体公式如下：
7.根据权利要求1所述的网络安全侦查调查装置，其特征在于：利用所述网络安全分析模块执行的步骤具体包括：
8.一种计算机可读介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实施如权利要求1-7中任一项所述的装置。
9.一种计算系统，包括处理器和存储器，所述处理器被配置为执行如权利要求1-7中任一项所述的装置。
