慢查询风险管控方法、电子设备、存储介质及程序产品与流程

    专利查询2025-06-01  88


    本发明实施例涉及计算机,尤其涉及一种慢查询风险管控方法、电子设备、存储介质及程序产品。


    背景技术:

    1、分布式搜索和分析引擎(如elasticsearch,简称es),会记录慢查询日志,并采集日志到对应的日志集群中。慢查询对于分布式搜索和分析引擎具有潜在风险,现有技术只是进行了慢查询日志的记录,无法实现对于慢查询进行风险管控。


    技术实现思路

    1、为解决现有技术中的问题,本发明实施例提供一种慢查询风险管控方法、电子设备、存储介质及程序产品。

    2、本发明实施例提供一种慢查询风险管控方法,包括:基于采集的慢查询日志获取慢查询语句;将所述慢查询语句转化为json树;其中,所述json树包括预设多种查询类型对应的json节点;根据所述慢查询语句中的所述查询类型,进行对应的分析得到分析结果,响应于所述分析结果命中对应的告警规则,则生成对应的告警信息;根据预设的告警方式将所述告警信息发送给预设的告警接收方。

    3、根据本发明实施例提供的一种慢查询风险管控方法,所述根据所述慢查询语句中的所述查询类型,进行对应的分析得到分析结果,包括:从所述json树的common查询对应的json节点获取common查询语句;基于所述common查询语句判断索引文档数量是否超过预设数量和/或索引文档大小是否超过预设大小,得到分析结果。

    4、根据本发明实施例提供的一种慢查询风险管控方法,所述根据所述慢查询语句中的所述查询类型,进行对应的分析得到分析结果,包括:从所述json树的模糊匹配查询对应的json节点获取模糊匹配查询语句;基于所述模糊匹配查询语句进行模糊匹配查询字段是否支持索引、模糊匹配查询字段的字段类型是否为关键字、模糊匹配查询字段的字段类型是否为数字、模糊匹配查询语句的文本长度是否超过预设长度阈值、模糊匹配查询语句的个数是否超过预设个数、模糊匹配查询语句的模糊度是否超过预设模糊度阈值、模糊匹配查询语句是否包含评分中的至少一种的分析,得到分析结果。

    5、根据本发明实施例提供的一种慢查询风险管控方法,所述根据所述慢查询语句中的所述查询类型,进行对应的分析得到分析结果,包括:从所述json树的精确匹配查询对应的json节点获取精确匹配查询语句; 基于所述精确匹配查询语句进行精确匹配查询字段是否支持索引、所述精确匹配查询字段的字段类型是否为文本、所述精确匹配查询字段的字段类型是否为数字中的至少一种的分析,得到分析结果。

    6、根据本发明实施例提供的一种慢查询风险管控方法,所述根据所述慢查询语句中的所述查询类型,进行对应的分析得到分析结果,包括:从所述json树的terms查询对应的json节点获取terms查询语句;其中,所述terms查询语句包括多个精确匹配查询语句;基于所述terms查询语句进行所述精确匹配查询语句的精确匹配查询字段是否支持索引、所述精确匹配查询字段的字段类型是否为文本、所述精确匹配查询字段的字段类型是否为数字、所述terms查询语句中的所述精确匹配查询语句的数量是否超过预设数量中的至少一种的分析,得到分析结果。

    7、根据本发明实施例提供的一种慢查询风险管控方法,所述根据所述慢查询语句中的所述查询类型,进行对应的分析得到分析结果,包括:从所述json树的范围查询对应的json节点获取范围查询语句;基于所述范围查询语句进行范围查询字段是否支持索引、范围查询字段的字段类型是否为数值型、日期类型或经纬度坐标类型中的至少一种的分析,得到分析结果。

    8、根据本发明实施例提供的一种慢查询风险管控方法,所述根据所述慢查询语句中的所述查询类型,进行对应的分析得到分析结果,包括:从所述json树的排序查询对应的json节点获取排序查询语句;基于所述排序查询语句进行排序查询字段是否支持索引且为列式存储、排序查询字段是否为分词字段、排序字段的数量是否超过预设数量中的至少一种的分析,得到分析结果。

    9、根据本发明实施例提供的一种慢查询风险管控方法,所述根据所述慢查询语句中的所述查询类型,进行对应的分析得到分析结果,包括:从所述json树的聚合查询对应的json节点获取聚合查询语句;基于所述聚合查询语句进行聚合查询字段是否支持索引、所述聚合查询字段的字段类型是否适用相应的聚合操作、聚合层数是否超过预设层数、聚合结果数量是否超过预设数量中的至少一种的分析,得到分析结果。

    10、根据本发明实施例提供的一种慢查询风险管控方法,所述方法还包括:对应预设的查询类型,将所述分析结果中的至少之一作为展示信息与所述告警信息一同发送给所述预设的告警接收方。

    11、根据本发明实施例提供的一种慢查询风险管控方法,在所述根据所述慢查询语句中的所述查询类型,进行对应的分析得到分析结果之前,所述方法还包括:获取所述慢查询语句的索引信息;其中,所述索引信息包括索引映射、索引状态、索引文档数量及索引文档大小,所述索引映射包括字段类型、字段是否支持索引及字段是否为列式存储的信息。

    12、根据本发明实施例提供的一种慢查询风险管控方法,所述基于采集的慢查询日志获取慢查询语句,包括:离线采集慢查询日志并进行规则过滤,得到慢查询日志集;基于所述慢查询日志集获取所述慢查询语句。

    13、根据本发明实施例提供的一种慢查询风险管控方法,在所述根据预设的告警方式将所述告警信息发送给预设的告警接收方之前,所述方法还包括:获取所述慢查询语句涉及的服务节点的监控数据,并在所述监控数据触发对应的告警规则时,生成对应的告警信息;其中,所述服务节点的监控数据包括节点名称、虚拟机堆内存占用百分比、物理机内存占用百分比、节点角色、硬盘使用百分比、cpu使用百分比、负载情况中的至少一种。

    14、根据本发明实施例提供的一种慢查询风险管控方法,在所述根据预设的告警方式将所述告警信息发送给预设的告警接收方之前,所述方法还包括:获取所述慢查询语句涉及的服务节点集群的线程池信息,并在所述线程池信息触发对应的告警规则时,生成对应的告警信息。

    15、根据本发明实施例提供的一种慢查询风险管控方法,所述告警信息中包括用于查询慢查询语句的链接和/或用于查询耗时信息的链接。

    16、根据本发明实施例提供的一种慢查询风险管控方法,所述方法还包括:对所述慢查询日志的总数量、所述慢查询日志中各个索引的出现次数、慢查询告警类型的分布、慢查询耗时的分布中的至少一种进行数据统计,得到统计结果。

    17、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述慢查询风险管控方法。

    18、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述慢查询风险管控方法。

    19、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述慢查询风险管控方法。

    20、本发明提供的慢查询风险管控方法、电子设备、存储介质及程序产品,通过基于采集的慢查询日志获取慢查询语句,将慢查询语句转化为json树,json树包括预设多种查询类型对应的json节点,根据慢查询语句中的查询类型,进行对应的分析得到分析结果,响应于分析结果命中对应的告警规则,则生成对应的告警信息,根据预设的告警方式将告警信息发送给预设的告警接收方,实现了慢查询风险的及时发现及告警处理,以便进行对应的处理消除或减小风险,实现了慢查询的风险管控。


    技术特征:

    1.一种慢查询风险管控方法,其特征在于,包括:

    2.根据权利要求1所述的慢查询风险管控方法,其特征在于,所述根据所述慢查询语句中的所述查询类型,进行对应的分析得到分析结果,包括:

    3.根据权利要求1所述的慢查询风险管控方法,其特征在于,所述根据所述慢查询语句中的所述查询类型,进行对应的分析得到分析结果,包括:

    4.根据权利要求1所述的慢查询风险管控方法,其特征在于,所述根据所述慢查询语句中的所述查询类型,进行对应的分析得到分析结果,包括:

    5.根据权利要求1所述的慢查询风险管控方法,其特征在于,所述根据所述慢查询语句中的所述查询类型,进行对应的分析得到分析结果,包括:

    6.根据权利要求1所述的慢查询风险管控方法,其特征在于,所述根据所述慢查询语句中的所述查询类型,进行对应的分析得到分析结果,包括:

    7.根据权利要求1所述的慢查询风险管控方法,其特征在于,所述根据所述慢查询语句中的所述查询类型,进行对应的分析得到分析结果,包括:

    8.根据权利要求1所述的慢查询风险管控方法,其特征在于,所述根据所述慢查询语句中的所述查询类型,进行对应的分析得到分析结果,包括:

    9.根据权利要求1所述的慢查询风险管控方法,其特征在于,所述方法还包括:

    10.根据权利要求1所述的慢查询风险管控方法,其特征在于,在所述根据所述慢查询语句中的所述查询类型,进行对应的分析得到分析结果之前,所述方法还包括:

    11.根据权利要求1所述的慢查询风险管控方法,其特征在于,所述基于采集的慢查询日志获取慢查询语句,包括:

    12.根据权利要求1所述的慢查询风险管控方法,其特征在于,在所述根据预设的告警方式将所述告警信息发送给预设的告警接收方之前,所述方法还包括:

    13.根据权利要求1所述的慢查询风险管控方法,其特征在于,在所述根据预设的告警方式将所述告警信息发送给预设的告警接收方之前,所述方法还包括:

    14.根据权利要求1所述的慢查询风险管控方法,其特征在于,所述告警信息中包括用于查询慢查询语句的链接和/或用于查询耗时信息的链接。

    15.根据权利要求1所述的慢查询风险管控方法,其特征在于,所述方法还包括:

    16.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至15任一项所述慢查询风险管控方法。

    17.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至15任一项所述慢查询风险管控方法。

    18.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至15任一项所述慢查询风险管控方法。


    技术总结
    本发明实施例提供一种慢查询风险管控方法、电子设备、存储介质及程序产品,该方法包括:基于采集的慢查询日志获取慢查询语句;将慢查询语句转化为Json树;其中,Json树包括预设多种查询类型对应的Json节点;根据慢查询语句中的查询类型,进行对应的分析得到分析结果,响应于分析结果命中对应的告警规则,则生成对应的告警信息;根据预设的告警方式将告警信息发送给预设的告警接收方。本发明实施例提供的慢查询风险管控方法、电子设备、存储介质及程序产品,实现了慢查询风险的及时发现及告警处理,以便进行对应的处理消除或减小风险,实现了慢查询的风险管控。

    技术研发人员:李通
    受保护的技术使用者:贝壳找房(北京)科技有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-28951.html

    最新回复(0)