一种面向失信主体行为的信用风险监测方法与流程

1.本发明涉及信用风险监测技术领域，特别涉及一种面向失信主体行为的信用风险监测方法。


背景技术：

2.互联网信用信息获取和分析是近几年随着数据库和网络的发展而发展起来的一个研究领域，主要包括信用信息的获取，存储，清洗和分析。而失信舆情作为政府监管部门对失信风险判断的重要依据，需要尽可能广泛的获取特定领域，特定行业，特定地区的信用主体有关的失信舆情信息，进而作出相应的处理。失信舆情信息的处理包括：相关舆情信息的失信领域类别，地域，情感分析，关键词，摘要，传播路径，传播媒体等信息。
3.目前对于失信舆情的信息抓取，多采用传统舆情抓取的方法，利用领域专家提供的舆情关键词进行信息爬取，然后存入数据库，并进行舆情信息清洗，然后进行情感分析。而针对失信舆情信息，由于专家提供的领域关键词往往十分有限，导致抓取的信息不准确。而且，简单的情感分析不足以满足信用监管部门对失信舆情的要求。
4.因此，如何有效、快速、准确的抓取特定的失信舆情新闻事件，如何快速生成情感、领域、地域、新闻摘要、关键词等信息，是该领域亟待解决的问题。


技术实现要素：

5.本发明实施例提供了一种面向失信主体行为的信用风险监测方法，用以解决现有技术中失信舆情信息抓取不准确，同时对失信舆情信息的分析不足以满足监管需求的问题。
6.一方面，本发明实施例提供了一种面向失信主体行为的信用风险监测方法，包括：
7.获取失信事件数据；
8.根据失信事件数据聚类获得失信事件基本类型；
9.根据失信事件基本类型确定失信舆情的类别标签和相应的关键词语料库；
10.利用关键词语料库中的关键词进行lda主题模型训练，以扩充关键词语料库；
11.对关键词语料库中的关键词进行处理，存入数据库中；
12.将数据库中的失信舆情信息导入数据质量处理平台，由数据质量处理平台对失信舆情信息进行清洗；
13.对清洗后失信舆情信息进行自然语言处理，生成智能标签。
14.本发明中的一种面向失信主体行为的信用风险监测方法，具有以下优点：
15.应用构建的信用关键词库和机器学习爬虫智能爬取相关失信舆情信息，提高了失信舆情信息爬取的精度和广度。利用数据质量平台对舆情信息进行清洗，并利用nlp文本处理技术对清洗后的信息生成各种舆情所需的智能标签，达到了失信舆情信息的快速、准确的分析。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明实施例提供的一种面向失信主体行为的信用风险监测方法的流程图。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.图1为本发明实施例提供的一种面向失信主体行为的信用风险监测方法的流程。本发明实施例提供了一种面向失信主体行为的信用风险监测方法，包括：
20.s100、获取失信事件数据。
21.示例性地，可以从信用中国的失信事件数据库中获取失信事件数据，其中，失信事件数据库中记录了各类失信事件，包括失信处罚主体、处罚依据、处罚结果、处罚事件等信息。
22.s110、根据失信事件数据聚类获得失信事件基本类型。
23.示例性地，可以采用jieba和k-means算法聚类得到失信事件基本类型。
24.s120、根据失信事件基本类型确定失信舆情的类别标签和相应的关键词语料库。
25.示例性地，确定的类别标签应满足以下要求：尽可能覆盖各种处罚依据，类别标签之间有良好的区分度，且每个类别标签均对应一个类别的关键词语料库。初始状态下，可以采用人工方式，根据处罚的具体文本信息提炼得到类别标签，例如欠薪、欠税等类别标签。
26.s130、利用关键词语料库中的关键词进行lda主题模型训练，以扩充关键词语料库。
27.示例性地，lda是latent dirichletallocation的简称，全称隐含狄利克雷分布，是一种主题模型，用于将文档的主题按照概率分布的形式给出。
28.s130具体包括：利用关键词语料库中的关键词，结合爬虫工具爬取相关的网页；提取网页中的正文或摘要；将提取的正文或摘要作为lda的新关键词语料库，结合原有的关键词语料库更新主题。
29.在获得网页中的正文或摘要后，可以利用语义相似度计算模型确定网页中短文本的语义相似度，进而指导爬虫工具提升爬取数据的覆盖范围，同时兼顾数据爬取的准确度和效率。利用爬虫工具爬取的网页通常具有主题偏向性，因此基于爬取的网页扩充的关键词语料库也会呈现出偏向某个主题，而采用本发明中的lda主题模型训练后，可以使主题文档回避原有的主题，在颗粒度和覆盖率上更优。
30.s140、对关键词语料库中的关键词进行处理，存入数据库中。
31.示例性地，对关键词的处理包括：将关键词的格式转换为特定格式，该特定格式包
括：设定字段、id、标题、内容、时间、来源等。处理后的数据可以存入mysql数据库中。
32.s150、将数据库中的失信舆情信息导入数据质量处理平台，由数据质量处理平台对失信舆情信息进行清洗。
33.示例性地，数据质量处理平台对失信舆情信息的清洗包括：对失信舆情信息进行url去重处理、日期格式化处理、信息拆分、信息合并、空值过滤、类型转化和字段映射处理。
34.s160、对清洗后失信舆情信息进行自然语言处理，生成智能标签。
35.示例性地，智能标签包括地域标签、领域标签、情感标签、关键词云标签和摘要标签等。
36.具体地，可以将清洗后的失信舆情信息输入标签提取模型，获得地域标签。可以利用fasttext模型和已经标注类别的关键词语料库对清洗后的失信舆情信息进行训练，获得领域标签。同时，也可以利用情感分析模型对清洗后的失信舆情信息中的文档进行情感分析、关键词云提取和摘要生成处理，获得情感标签、关键词云标签和摘要标签。
37.上述标签提取模型可以基于rnn(recurrent neural network，循环神经网络)和crf(conditional random field，条件随机场)模型建立，而情感分析模型可以使用snownlp模型，snownlp是一个中文的自然语言处理(natural language processing，nlp)的python库，支持包括中文分词、词性标注、情感分类和文本分类在内的中文自然语言处理操作。
38.s170、对清洗后的失信舆情信息进行聚类处理，根据聚类结果进行时间演化分析和媒体热度分析。
39.示例性地，根据聚类结果进行时间演化分析和媒体热度分析，包括：对同一类别的失信舆情信息，按照报道时间、报道媒体、报道次数等信息进行统计，生成相应的统计图表。
40.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
41.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。