本技术涉及数据处理领域及信息安全领域，具体而言，涉及一种日志的过滤方法、装置及电子设备。
背景技术：
1、在主机的安全防护场景中，对主机日志的筛查是检测潜在威胁的关键步骤。由于主机系统和应用程序产生的日志数量庞大，并且日志中包含大量重复或高度相似的信息，直接使用主机日志威胁检测方法对日志进行分析会导致处理效率低下以及资源的浪费。
2、相关技术中在对日志进行威胁检测前对日志进行过滤主要是采用预设规则过滤方法，然而该方法在不同的主机环境下，需要采用人工方式不断更新和维护过滤规则以适应新的主机场景，从而导致投入更多资源。
技术实现思路
1、本技术实施例提供了一种日志的过滤方法、装置及电子设备。
2、根据本技术实施例的一个方面，提供了一种日志的过滤方法，包括：确定待过滤日志中除预设字段之外的所有字段，得到第一字段集合；根据待过滤日志的日志类型，将第一字段集合的字段与目标数据库中的字段进行对比，得到对比结果，其中，目标数据库存储有多个日志类型、按照各日志类型从多个历史日志中提取的字段以及各字段的字段值的统计信息；在对比结果表示第一字段集合中每个字段的字段值在目标数据库中均具有统计信息的情况下，基于第一字段集合中每个字段的字段值的统计信息，获取每个字段的风险值；在第一字段集合中所有字段的风险值均小于或等于风险阈值的情况下，过滤掉待过滤日志。
3、进一步地，字段的字段值的统计信息包括字段的字段值的出现频次和风险频次；根据待过滤日志的日志类型，将第一字段集合的字段与目标数据库中的字段进行对比，得到对比结果包括：将第一字段集合中的每个字段均作为目标字段，判断目标数据库是否存在目标字段；在目标数据库存在目标字段的情况下，针对目标字段的每一个字段值，确定目标数据库中目标字段的字段值的出现频次和风险频次，其中，针对任意一个日志类型，出现频次为目标字段的字段值在日志类型下的多个历史日志中出现的总次数，风险频次为包含目标字段的字段值的历史日志中存在风险的日志的总数量；基于第一字段集合中每个字段的字段值的统计信息，获取每个字段的风险值，包括：针对第一字段集合中每一个字段，计算字段的每种字段值的风险频次与出现频次之间的比值，得到字段的每种字段值的风险值。
4、进一步地，目标数据库由以下方式构建：获取预设周期内的所有日志，根据每个日志的日志类型，将预设周期内的所有日志划分为多个日志集合，其中，不同日志集合对应不同日志类型；对于每个日志集合，提取日志集合中所有日志的字段，得到第二字段集合，将预设字段从第二字段集合中剔除，得到第三字段集合；对于第三字段集合中的每个字段，确定字段的每种字段值的数量，得到每个字段的每种字段值的出现频次；确定字段的每种字段值所属的日志为风险日志的日志数量，得到每个字段的每种字段值的风险频次；根据每个日志集合的第三字段集合中所有字段的字段值的出现频次和风险频次，构建目标数据库。
5、进一步地，该方法还包括：在第一字段集合的至少一个字段未包含在目标数据库中，或者第一字段集合中字段的至少一个字段值未包含在目标数据库中，或者第一字段集合中存在风险值大于风险阈值的字段的情况下，通过预设风险检测方法检测待过滤日志，得到检测结果；在检测结果表征待过滤日志为风险日志的情况下，根据待过滤日志的第一字段集合中的字段，更新目标数据库。
6、进一步地，在检测结果表征待过滤日志为风险日志的情况下，根据待过滤日志的第一字段集合中的字段，更新目标数据库，包括：将第一字段集合中的每个字段均作为目标字段，并确定每个目标字段的每种字段值；对于每一个目标字段，判断目标数据库中是否存在目标字段的各个字段值；在目标数据库中存在目标字段的目标字段值的情况下，基于待过滤日志中目标字段的目标字段值的数量，在目标数据库中更新目标字段的目标字段值的出现频次和风险频次；在目标数据库中不存在目标字段的目标字段值的情况下，将待过滤日志中目标字段的目标字段值的数量作为目标字段的目标字段值的出现频次和风险频次添加至目标数据库。
7、进一步地，基于待过滤日志中目标字段的目标字段值的数量，在目标数据库中更新目标字段的目标字段值的出现频次和风险频次包括：计算待过滤日志中目标字段的目标字段值的数量与目标数据库中目标字段的目标字段值的出现频次的和，得到更新后的出现频次；计算待过滤日志中目标字段的目标字段值的数量与目标数据库中目标字段的目标字段值的风险频次的和，得到更新后的风险频次。
8、进一步地，该方法还包括：针对目标数据库中任意一个字段，执行以下操作：确定所述目标数据库中每个字段包含的不同字段值的种类的数量，得到每个字段值的字段值种类数量；在所述字段的字段值种类数量大于等于数量阈值的情况下，清空所述目标数据库中所述字段的各个字段值的统计信息。
9、进一步地，该方法还包括：针对目标数据库中任意一个字段，执行以下操作：根据当前时间距离字段的各个字段值的统计信息的上一次更新时间的时长，得到各个字段值对应的当前时长；判断当前时长是否大于等于时长阈值；在字段的字段值中存在当前时长大于等于时长阈值的目标字段值时，清空目标数据库中所述字段的目标字段值的统计信息。
10、根据本技术实施例的另一方面，还提供了一种日志的过滤装置，包括：确定单元，用于确定待过滤日志中除预设字段之外的所有字段，得到第一字段集合；对比单元，用于根据待过滤日志的日志类型，将第一字段集合的字段与目标数据库中的字段进行对比，得到对比结果，其中，目标数据库存储有多个日志类型、按照各日志类型从多个历史日志中提取的字段以及各字段的字段值的统计信息；获取单元，用于在对比结果表示第一字段集合中每个字段的字段值在目标数据库中均具有统计信息的情况下，基于第一字段集合中每个字段的字段值的统计信息，获取每个字段的风险值；剔除单元，用于在第一字段集合中所有字段的风险值均小于或等于风险阈值的情况下，过滤掉待过滤日志。
11、根据本技术实施例的另一方面，还提供了一种电子设备，该电子设备包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现用于运行程序，其中，程序被设置为运行时执行上述的日志的过滤方法。
12、在本技术中，采用确定待过滤日志中除预设字段之外的所有字段，得到第一字段集合；根据待过滤日志的日志类型，将第一字段集合的字段与目标数据库中的字段进行对比，得到对比结果，其中，目标数据库存储有多个日志类型、按照各日志类型从多个历史日志中提取的字段以及各字段的字段值的统计信息；在对比结果表示第一字段集合中每个字段的字段值在目标数据库中均具有统计信息的情况下，基于第一字段集合中每个字段的字段值的统计信息，获取每个字段的风险值；在第一字段集合中所有字段的风险值均小于或等于风险阈值的情况下，过滤掉待过滤日志的方法。
13、由上述内容可知，本技术提出的日志的过滤方法，通过将待过滤日志的字段与目标数据库中的字段进行比对与统计分析，能够快速识别和过滤出风险评估值小于等于风险评估值阈值的待过滤字段，得到目标日志，通过目标日志进行安全威胁检测，节省了计算资源。相比于采用人工方式不断更新和维护过滤规则为适应新的主机场景下的威胁检测需要投入更多资源，本技术实施例能够降低对日志进行威胁检测时适应新的主机场景的资源投入，同时能够避免后续直接对所有日志应用进行威胁检测而导致资源的巨大浪费。提高了系统对新的安全威胁的响应能力和更高的预警准确性。占用尽可能低的计算资源及时间的前提下极大减少无威胁主机日志的上报，提升主机威胁检测能力，有效降低误报和漏报情况的发生。
14、由此可见，本技术的技术方案达到了过滤出风险值小于等于风险阈值的待过滤日志的目的，能够有效提高日志过滤的准确性，进而解决了直接对所有日志应用进行威胁检测导致的资源浪费的技术问题。
1.一种日志的过滤方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述字段的字段值的统计信息包括所述字段的字段值的出现频次和风险频次；根据所述待过滤日志的日志类型，将所述第一字段集合的字段与目标数据库中的字段进行对比，得到对比结果包括：
3.根据权利要求1所述的方法，其特征在于，所述目标数据库由以下方式构建：
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述在所述检测结果表征所述待过滤日志为风险日志的情况下，根据所述待过滤日志的第一字段集合中的字段，更新所述目标数据库，包括：
6.根据权利要求5所述的方法，其特征在于，基于所述待过滤日志中所述目标字段的目标字段值的数量，在所述目标数据库中更新所述目标字段的目标字段值的出现频次和风险频次包括：
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
9.一种日志的过滤装置，其特征在于，包括：
10.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现用于运行程序，其中，所述程序被设置为运行时执行权利要求1至8任一项中所述的日志的过滤方法。
