数据处理方法、装置、电子设备和存储介质与流程

1.本技术实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备和存储介质。


背景技术：

2.随着社会的进步，信息化时代的到来，越来越多的行业加入到智能化的运营中，通过自动化的计算机系统对各种数据进行处理。在日常的数据处理中，主要分为批量数据处理和联机数据处理。
3.现有技术在白天进行联机数据处理，夜晚进行批量数据处理，同时关闭联机处理功能，这就导致了夜晚不能处理临时的联机数据。但是随着交易的时效性要求越来越高，夜间进行批量处理的同时也需要对联机数据进行处理，此时现有技术无法满足同步处理的要求，无法保证交易处理的时效性。


技术实现要素：

4.本技术实施例提供一种数据处理方法、装置、电子设备和存储介质。以实现对批量数据和联机数据的同步处理，提高交易处理的时效性。
5.第一方面，本技术实施例提供了一种数据处理方法，包括：
6.对待处理任务中的批量任务进行处理；
7.根据批量任务的处理结果，更新系统逻辑日；其中，系统逻辑日包括联机逻辑日和批量逻辑日；
8.根据批量逻辑日，基于上日余额数据对批量任务进行处理；以及，
9.根据联机逻辑日，基于实时余额数据对待处理任务中的联机任务进行处理。
10.第二方面，本技术实施例还提供了一种数据处理装置，包括：
11.任务处理模块，用于对待处理任务中的批量任务进行处理；
12.系统逻辑日更新模块，用于根据批量任务的处理结果，更新系统逻辑日；其中，系统逻辑日包括联机逻辑日和批量逻辑日；
13.批量任务处理模块，用于根据批量逻辑日，基于上日余额数据对批量任务进行处理；以及，
14.联机任务处理模块，用于根据联机逻辑日，基于实时余额数据对待处理任务中的联机任务进行处理。
15.第三方面，本技术实施例还提供了一种电子设备，包括：
16.一个或多个处理器；
17.存储器，用于存储一个或多个程序；
18.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本技术任意实施例提供的数据处理方法。
19.第四方面，本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机
程序，该程序被处理器执行时实现如本技术任意实施例提供的数据处理方法。
20.本技术实施例的技术方案，根据待处理任务的不同，将系统逻辑日拆分为批量逻辑日和联机逻辑日，由此可以分别根据批量逻辑日和联机逻辑日对批量任务和联机任务进行同步处理，解决了现有技术中夜间无法同时处理批量任务和联机任务的缺陷，大大提高了数据处理的时效性和处理效率。
附图说明
21.图1是本技术实施例一提供的数据处理方法的流程图；
22.图2是本技术实施例二提供的数据处理方法的流程图；
23.图3是本技术实施例三提供的数据处理方法的示意图；
24.图4是本技术实施例四提供的数据处理数据的结构图；
25.图5是本技术实施例五提供的一种电子设备的结构图。
具体实施方式
26.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本技术，而非对本技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术相关的部分而非全部结构。
27.实施例一
28.图1是本技术实施例一提供的数据处理方法的流程图。本技术实施例可适用于同时对批量任务和联机任务进行处理的情况，该方法可以由数据处理装置来执行，该装置可以采用软件和/或硬件实现，并具体配置于电子设备中。
29.参考图1所示的数据处理方法，具体包括如下步骤：
30.s110、对待处理任务中的批量任务进行处理。
31.其中，待处理任务可以包括但不限于批量任务和联机任务。批量任务可以是按照预设规则进行的必要数据的自动化处理。以银行运营过程中的数据处理为例，批量任务可以包括但不限于产品业务到期处理、日切余额处理、计提结息、会计核算、生成报表等；联机任务可以是由用户向银行发起请求，通过各种渠道与银行进行的数据交互，例如可以包括但不限于柜台业务、atm机业务、银行卡业务、移动支付业务等。
32.示例性的，在银行的运行中，在白天的营业结束以后，在夜间进行数据的处理、整理等工作，批量任务即可以在夜间进行。需要说明的是批量任务的处理是由相关人员预先设定的必要的处理过程，在夜间开始进行批量任务处理时，还可能出现一些联机任务，比如有用户在夜晚使用了银行卡或移动支付，此时产生的数据可以被定义为联机任务进行处理。
33.s120、根据批量任务的处理结果，更新系统逻辑日；其中，系统逻辑日包括联机逻辑日和批量逻辑日。
34.其中，系统逻辑日可以是数据处理装置固有的时间逻辑，用于区分时间，例如内存中的计时器。并且，在每项数据处理时可以根据系统逻辑日对处理过的数据赋予时间标志，从而便于后续对数据的处理时间进行检查。联机逻辑日可以是对于联机任务处理的过程中的系统逻辑日；批量逻辑日可以是对于批量任务处理过程中的批量逻辑日。联机逻辑日和
批量逻辑日均可以根据实际的自然时间进行设定，也可以根据技术人员的经验进行人工设定，也可以根据数据处理的情况进行自动化的调整，本技术实施例对此不作限定。
35.具体的，根据批量任务处理的情况，对系统逻辑日进行更新，例如可以在所有批量任务处理完成后进行系统逻辑日的更新，也可以根据批量任务中不同种类任务的各自完成情况，分别进行系统逻辑日的更新，本技术实施例对此不作限定。
36.在一种可选实施方式中，所述批量任务包括日切批量任务和日初批量任务；
37.相应的，所述根据各批量任务的处理结果，更新系统逻辑日，可以包括：根据日切批量任务的完成情况，更新联机逻辑日；以及，根据日初批量任务的完成情况，更新批量逻辑日。
38.其中，日切标志着联机逻辑日的切换，表示联机任务从当前逻辑日切换到了下一个逻辑日，比如从今日切换到明日。因此，日切批量任务可以是对联机逻辑日切换的数据处理任务。日初标志着批量逻辑日的切换，表示批量任务从当前逻辑日切换到下一个逻辑日，比如从今日切换到明日。因此，日初批量任务可以是对批量逻辑日切换的数据处理任务。可以理解的是，切换系统逻辑日也是一种数据处理过程，当然可以被作为批量任务进行处理。
39.具体的，通过日切批量任务的相关数据处理，对联机任务中各数据的联机逻辑日进行更新；同理，通过日初批量任务的相关数据处理，对各批量任务的各数据的批量逻辑日进行更新。
40.上述实施方式的技术方案，根据日切批量任务更新联机逻辑日；根据日初批量任务更新批量逻辑日。这样做的好处是可以将现有技术中原有的系统逻辑日拆分为两种单独计算的逻辑日，联机逻辑日对应联机任务，批量逻辑日对应批量任务，使得联机任务和批量任务可以各自单独处理，创造了同步处理的机制，为提高数据处理效率提供基础。
41.在一种可选实施方式中，所述根据日切批量任务的完成情况，更新联机逻辑日，可以包括：将联机逻辑日由上日更新为当日；以及，所述根据日初批量任务的完成情况，更新批量逻辑日，可以包括：将批量逻辑日由上日更新为当日。
42.具体的，在更新联机逻辑日时，上一天对应的逻辑日切换到当前对应的逻辑日，以对不同时间响应的联机任务进行区分；同理，在更新批量逻辑日时，上一天对应的逻辑日切换到当前对应的逻辑日，以对不同时间响应的批量任务进行区分。需要说明的是，在更新联机逻辑日和批量逻辑日时可以对数据进行更新日期的记录或更新，以便识别该数据所处理的日期。例如，可以对上日余额数据的日期更新记录为“上日余额更新时间”，对实时余额数据的日期更新记录为“实时余额更新时间”。
43.s130、根据批量逻辑日，基于上日余额数据对批量任务进行处理。
44.其中，余额是在某特定时间用户的账户中的可用金额。上日余额是批量逻辑日更新时的账户实时余额，在更新批量逻辑日时，该时刻账户中的实时余额为上一天最终的余额，即上日余额，那么可以理解的是批量任务中的数据处理，应当根据上一天最终的余额进行计算或统计等数据处理操作。
45.s140、根据联机逻辑日，基于实时余额数据对待处理任务中的联机任务进行处理。
46.其中，由于联机任务均为临时响应的用户请求，则联机任务需要以实时余额数据为基础进行数据的计算或统计等数据处理操作。
47.需要说明的是，s130和s140可以同时执行，上述步骤仅作说明，不可以理解为对
s130和s140的执行顺序的限定。
48.在一种可选实施方式中，所述根据批量逻辑日，基于上日余额数据对批量任务进行处理，可以包括：若批量逻辑日为上日，则根据上日余额数据进行批量任务处理；以及，所述根据联机逻辑日，基于实时余额数据对联机任务进行处理，可以包括：若联机逻辑日为当日，则根据实时余额数据进行联机任务处理。
49.具体的，如果当前批量任务的数据记录的批量逻辑日是上日，那么则以上日余额数据为基础对批量任务进行相应处理。若当前联机任务的数据记录的联机逻辑日是当日，则以实时余额数据为基础对联机任务进行相应处理。
50.上述实施方式，根据批量逻辑日和联机逻辑日的区别，将上日余额和实时余额分别处理，这样可以使批量任务和连接任务得以同步处理，互不影响，提高了数据处理的效率。
51.本技术实施例的技术方案，根据待处理任务的不同，将系统逻辑日拆分为批量逻辑日和联机逻辑日，由此可以分别根据批量逻辑日和联机逻辑日对批量任务和联机任务进行同步处理，解决了现有技术中夜间无法同时处理批量任务和联机任务的缺陷，大大提高了数据处理的时效性和处理效率。
52.实施例二
53.图2为本技术实施例二提供的数据处理方法的流程图。本技术实施例是在前述实施例各技术方案的基础上，对批量任务处理过程中的联机任务请求的响应操作进行了补充，以同步处理批量任务和联机任务，提高数据处理效率。
54.参考图2所示的数据处理方法，具体包括如下步骤：
55.s210、对待处理任务中的批量任务进行处理。
56.s220、根据批量任务的处理结果，更新系统逻辑日；其中，系统逻辑日包括联机逻辑日和批量逻辑日。
57.s230、根据批量逻辑日，基于上日余额数据对批量任务进行处理。
58.s240、根据联机逻辑日，基于实时余额数据对待处理任务中的联机任务进行处理。
59.需要说明的是，s230和s240可以同时执行，上述步骤仅作说明，不可以理解为对s230和s240的执行顺序的限定。
60.s250、响应于批量任务处理过程中的联机任务请求，根据上日余额更新时间，对该联机任务请求进行处理。
61.具体的，在进行批量任务处理的过程中，用户通过各联机方式向银行发出了临时的联机任务请求。通过对上日余额更新时间的判断，对该联机任务请求进行响应，并处理该联机任务对应的相关数据。
62.在一种可选实施方式中，所述根据上日余额更新时间，对该联机任务请求进行处理，可以包括：若该联机任务请求对应的上日余额更新时间为上日，则根据该联机任务的实时余额数据，更新该联机任务的上日余额数据。
63.具体的，如果该联机任务请求对应数据的上日余额更新时间是“上日”，也即在批量任务还未全部处理完时，该联机任务对应的数据还处于前一天的状态，则可以将该联机任务对应的实时余额，添加至当前批量任务所对应的上日余额中，从而更新上日余额数据。可以理解的是，如果临时联机任务在批量任务处理过程中进行响应，那么由于联机任务的
实时余额会影响批量任务的上日余额，所以将这种情况下的联机任务对应的实时余额加入上日余额中，以更新上日余额，从而防止后续批量任务处理结果不准确。
64.上述实施方式中，在批量任务的处理过程中，将临时响应的联机任务对应的实时余额数据，更新至批量任务对应的上日余额数据，可以对上日余额进行及时的更新，防止后续对批量任务继续处理时发生统计错误等问题。
65.在一种可选实施方式中，所述数据处理方法，还可以包括：根据更新后的上日余额数据，对批量任务进行处理。
66.具体的，在前述实施方式更新了上日余额后，根据更新后的上日余额继续对批量任务进行处理。
67.本技术实施例的技术方案，在批量任务处理过程中，对联机任务的实时余额更新上日余额的情况进行了补充，使得上日余额数据在未进行逻辑日的更新前，用实时余额更新上日余额，保证了后续批量任务处理的准确性。
68.实施例三
69.图3为本技术实施例三提供的数据处理方法的示意图。本技术实施例是在前述各实施例的基础上提供的一种优选实施例，以银行的数据处理为例，参考图3所示的数据处理方法，具体如下：
70.银行在上一天的营业结束后，开始进行批量处理，此时批量逻辑日和联机逻辑日均为t日(即上一天)。在批量二任务(即日切批量)处理时，首先更新联机逻辑日，将联机逻辑日更新为t 1日，此时刻后响应的联机任务对应数据的联机逻辑日均被更新为t 1日，也即此时刻后响应的联机任务对应数据，不参与批量逻辑日为t日的批量任务的处理。
71.夜间处理完批量任务后，在当日营业开始前进行最后的日初批量的处理，此时更新批量逻辑日，将批量逻辑日更新为t 1日，此时刻后处理的批量任务的数据应为t 1日的余额数据。
72.需要说明的是，首先，在银行的运营中，用户的账户对应有账户表，可以将账户表中的余额字段拆分为上日余额和实时余额，增加上日余额更新日期字段，银行系统可以每天更新上日余额和上日余额更新日期两个字段。另外账户表中存在实体号标识，系统根据实体号来判断哪个实体正在进行批量处理，仅对当前进行批量的实体做更新上日余额处理，不会对其它实体余额使用造成影响。其中，实体可以理解为一家银行的不同分行。
73.其次，上日余额字段使用场景都在批量二的日切批量处理之后，因此在批量一完成后，进入批量二时，就开始更新上日余额字段，为避免长时间锁表，导致联机长时间等待掉线，此处可以采用逐个账户处理方式对批量任务进行处理(也可以采用其他方式，仅作举例说明)，用账户实时余额字段更新上日余额字段，用联机逻辑日更新上日余额更新日期。
74.最后，由于批量任务处理过程中，需要确保用户可以通过联机正常接入，为避免上日余额更新时间较长，此处可以采用批量和联机同步更新账户上日余额策略。若在批量逐笔处理账户上日余额时，用户通过联机提出交易请求，根据交易账户上日余额更新日期进行判断，若批量任务中尚未处理此账户上日余额，那么联机任务交易结束时直接使用此账户实时余额更新账户上日余额，并更新上日余额更新日期。
75.实施例四
76.图4是本技术实施例四提供的数据处理装置的结构图，本技术实施例可适用于同
时对批量任务和联机任务进行处理的情况，该装置可以由软件和/或硬件的方式来实现，可配置于电子设备中。如图4所示，该数据处理装置400可以包括：任务处理模块410、系统逻辑日更新模块420、批量任务处理模块430和联机任务处理模块440，其中，
77.任务处理模块410，用于对待处理任务中的批量任务进行处理；
78.系统逻辑日更新模块420，用于根据批量任务的处理结果，更新系统逻辑日；其中，系统逻辑日包括联机逻辑日和批量逻辑日；
79.批量任务处理模块430，用于根据批量逻辑日，基于上日余额数据对批量任务进行处理；
80.联机任务处理模块440，用于根据联机逻辑日，基于实时余额数据对待处理任务中的联机任务进行处理。
81.本技术实施例的技术方案，根据待处理任务的不同，将系统逻辑日拆分为批量逻辑日和联机逻辑日，由此可以分别根据批量逻辑日和联机逻辑日对批量任务和联机任务进行同步处理，解决了现有技术中夜间无法同时处理批量任务和联机任务的缺陷，大大提高了数据处理的时效性和处理效率。
82.在一种可选实施方式中，所述批量任务包括日切批量任务和日初批量任务；
83.相应的，所述系统逻辑日更新模块420，可以包括：
84.联机逻辑日更新单元，用于根据日切批量任务的完成情况，更新联机逻辑日；以及，
85.批量逻辑日更新单元，用于根据日初批量任务的完成情况，更新批量逻辑日。
86.在一种可选实施方式中，所述联机逻辑日更新单元，可以包括：
87.联机逻辑日更新子单元，用于将联机逻辑日由上日更新为当日；以及
88.所述批量逻辑日更新单元，可以包括：
89.批量逻辑日更新子单元，用于将批量逻辑日由上日更新为当日。
90.在一种可选实施方式中，所述批量任务处理模块430，可以包括：
91.上日余额处理单元，用于若批量逻辑日为上日，则根据上日余额数据进行批量任务处理；
92.以及；
93.所述联机任务处理模块440，可以包括：
94.实时余额处理单元，用于若联机逻辑日为当日，则根据实时余额数据进行联机任务处理。
95.在一种可选实施方式中，所述数据处理装置400还可以包括：
96.同步处理模块，用于响应于批量任务处理过程中的联机任务请求，根据上日余额更新时间，对该联机任务请求进行处理。
97.在一种可选实施方式中，所述同步处理模块可以包括：
98.上日余额更新单元，用于若该联机任务请求对应的上日余额更新时间为上日，则根据该联机任务的实时余额数据，更新该联机任务的上日余额数据。
99.在一种可选实施方式中，所述上日余额更新单元可以包括：
100.批量任务更新子单元，用于根据更新后的上日余额数据，对批量任务进行处理。
101.本技术实施例所提供的数据处理装置可执行本技术任意实施例所提供的数据处
理方法，具备执行各数据处理方法相应的功能模块和有益效果。
102.实施例五
103.图5是本技术实施例五提供的一种电子设备的结构图。图5示出了适于用来实现本技术实施方式的示例性电子设备512的框图。图5展示的电子设备512仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
104.如图5所示，电子设备512以通用计算设备的形式表现。电子设备512的组件可以包括但不限于：一个或者多个处理器或者处理单元516，系统存储器528，连接不同系统组件(包括系统存储器528和处理单元516)的总线518。
105.总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
106.电子设备512典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
107.系统存储器528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)530和/或高速缓存存储器532。电子设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统534可以用于读写不可移动的、非易失性磁介质(图5未展示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本技术各实施例的功能。
108.具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储器528中，这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本技术所描述的实施例中的功能和/或方法。
109.电子设备512也可以与一个或多个外部设备514(例如键盘、指向设备、展示器524等)通信，还可与一个或者多个使得用户能与该电子设备512交互的设备通信，和/或与使得该电子设备512能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口522进行。并且，电子设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线518与电子设备512的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备512使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
110.处理单元516通过运行存储在系统存储器528中的多个程序中其他程序的至少一个，从而执行各种功能应用以及数据处理，例如实现本技术实施例所提供的数据处理方法。
111.实施例六
112.本技术实施例六还提供一种计算机可读存储介质，其上存储有计算机程序(或称为计算机可执行指令)，该程序被处理器执行时用于执行本技术实施例所提供的数据处理方法：对待处理任务中的批量任务进行处理；根据批量任务的处理结果，更新系统逻辑日；其中，系统逻辑日包括联机逻辑日和批量逻辑日；根据批量逻辑日，基于上日余额数据对批量任务进行处理；以及，根据联机逻辑日，基于实时余额数据对待处理任务中的联机任务进行处理。
113.本技术实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
114.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
115.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
116.可以以一种或多种程序设计语言或其组合来编写用于执行本技术实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
117.注意，上述仅为本技术的较佳实施例及所运用技术原理。本领域技术人员会理解，本技术不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本技术的保护范围。因此，虽然通过以上实施例对本技术进行了较为详细的说明，但是本技术不仅仅限于以上实施例，在不脱离本技术构思的情况下，还可以包括更多其他等效实施例，而本技术的范围由所附的权利要求范围决定。