一种基于WebRTC技术的多媒体资源整合调度方法与流程

一种基于webrtc技术的多媒体资源整合调度方法
技术领域
1.本发明涉及通信技术领域，尤其涉及一种基于webrtc技术的多媒体资源整合调度方法。


背景技术：

2.webrtc(webrealtimecommunication，网页实时通信)技术是一种支持网页浏览器进行实时音视频通信的技术，它可以实现不同浏览器与浏览器之间、浏览器与终端之间的音视频通信或多方会议等功能。
3.目前，在基于webrtc的多方会议中，以三个用户为例进行说明，该三个用户分别为用户a，用户b及用户c。当用户a发言时，用户a所使用的终端会实时采集用户a的音视频数据，并将实时采集到的音视频数据发送给用户b及用户c各自的终端，这样用户b及用户c就可以通过各自的终端实时查看用户a的音视频数据。当然，用户b和用户c发言时，情况类似，不再赘述，从而保证该多方会议的顺利进行。
4.然而，现有技术中，用户个人信息的保密度较低。


技术实现要素：

5.本发明提供一种基于webrtc技术的多媒体资源整合调度方法，以提高用户个人信息的保密度。
6.本发明实施例提供一种基于webrtc技术的多媒体资源整合调度方法，包括：
7.获取模块，用于获取第一多媒体数据，所述第一待传输的多媒体数据为所述webrtc系统中的任一用户产生的数据；
8.处理模块，用于对所述第一多媒体数据进行变声处理，生成第二多媒体数据；
9.发送模块，用于发送所述第二多媒体数据到所述webrtc系统中的其他用户的终端设备。
10.作为优选的，所述处理模块还用于对所述第一多媒体数据进行语音识别，生成所述第一多媒体数据对应的文本数据；
11.所述发送模块还用于发送所述文本数据到所述webrtc系统中的其他用户的终端设备。
12.作为优选的，还包括：
13.存储模块，用于存储所述文本数据。
14.作为优选的，所述处理模块还用于对所述第一多媒体数据进行预处理，所述预处理为下述至少一种处理；包括但不限于回音消除、声音降噪以及声音增益自动控制。
15.作为优选的，所述处理模块还用于确定所述webrtc系统开启匿名会议模式。
16.作为优选的，包括：
17.获取第一多媒体数据，所述第一多媒体数据为所述webrtc系统中的任一用户产生的数据；
18.对所述第一多媒体数据进行变声处理，生成第二多媒体数据；
19.发送所述第二多媒体数据到所述webrtc系统中的其他用户的终端设备。
20.作为优选的，还包括：
21.对所述第一多媒体数据进行语音识别，生成所述第一多媒体数据对应的文本数据；
22.发送所述文本数据到所述webrtc系统中的其他用户的终端设备。
23.作为优选的，还包括：
24.存储所述文本数据。
25.作为优选的，所述对所述第一多媒体数据进行变声处理之前，还包括：
26.对所述第一多媒体数据进行预处理，所述预处理为下述至少一种处理：
27.声学回音消除；
28.噪声抑制；
29.自动增益控制。
30.作为优选的，所述获取第一多媒体数据之前，还包括：确定所述webrtc系统开启匿名会议模式。
31.在本发明中，获取第一多媒体数据，第一多媒体数据为webrtc系统中的任一用户产生的数据；对第一多媒体数据进行变声处理，生成第二多媒体数据；再发送第二多媒体数据到webrtc系统中的其他用户的终端设备。由此可见，在webrtc系统会议过程中，将webrtc系统中的任一用户产生的第一多媒体数据发送给webrtc系统中的其他用户的终端设备之前，对该第一多媒体数据进行变声处理，使得经过变声处理后的第二多媒体数据的音调和音色与第一多媒体数据的音调和音色不同，webrtc系统中的其他用户的终端设备在接收到变声处理后的第二多媒体数据进行播放时，因为第二多媒体数据是变声处理之后的数据，因此，无法辨识为哪个用户产生的数据，从而提高了用户个人信息的保密度。
附图说明
32.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
33.图1为本发明基于webrtc的多媒体数据传输方法实施例一的流程图；
34.图2为本发明基于webrtc的多媒体数据传输方法实施例二的流程图；
具体实施方式
35.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理
解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
37.目前，在webrtc系统中，以该webrtc系统中有三个用户为例进行进行说明。当用户a发言时，webrtc系统中的其他用户，如用户b和用户c，可以通过各自的终端设备实时查看该用户a的音视频数据。为了提高该用户a个人信息的保密度，本发明提供的基于webrtc的多媒体数据传输方法，在将该用户a的音频数据发送给其他用户之前，可以先对该用户a的音频数据进行变声处理，之后再将变声处理后的音频数据传输给其他用户的终端设备，以提高用户a个人信息的保密度。可选的，该变声处理可以由该用户a的终端设备执行，也可以通过设置服务器，使得该变声处理由该服务器执行，或者可以在webrtc系统中选择一个用户作为主持人，使得该变声处理由该主持人执行。当然，也可以通过其他方式实现变声处理，本实施例只是以变声处理由用户a的终端设备执行为例进行说明，但并不代表本发明仅局限于此。下面，通过具体实施例，对本技术的技术方案进行详细说明。
38.需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
39.图1为本发明基于webrtc的多媒体数据传输方法实施例一的流程图，该方法可以由基于webrtc的多媒体数据传输装置执行，请参见图1所示，该基于webrtc的多媒体数据传输方法可以包括：
40.s101、获取第一多媒体数据。
41.其中，第一多媒体数据为webrtc系统中的任一用户产生的数据。可选的，该第一多媒体数据可以是音频数据，也可以是音视频数据，在此，对于第一多媒体数据的类型，本发明不做具体限制。本实施例中，以第一多媒体数据为音频数据为例进行说明。
42.s102、对第一多媒体数据进行变声处理，生成第二多媒体数据。
43.其中，对第一多媒体数据进行变声处理，该变声处理可以包括音调处理和音色处理，以使得经过变声处理后的第二多媒体数据的音调和音色与第一多媒体数据的音调和音色不同，即使webrtc系统的其他用户接收到该第二多媒体数据进行播放时，因为第二多媒体数据是变声处理之后的数据，因此，无法辨识为哪个用户产生的数据，从而提高了用户个人信息的保密度。
44.需要说明的是，当第一多媒体数据为音视频数据时，需要对该第一多媒体数据的音频数据部分同样进行变声处理，对于视频数据部分，可以预先存储一些图片，在对音频数据进行变声处理的同时，为了提高用户个人信息的保密度，可以将该预先存储的图片发送至webrtc系统的其他用户的终端设备，这样其他用户的终端设备的屏幕上就会显示该预先存储的图片，而不会显示发言者的图像信息，或者可以直接关闭其他用户的显示屏幕，以提高用户个人信息的保密度。
45.示例的，若第一多媒体数据为webrtc系统中的至少两个用户产生的数据时，可以先对该第一多媒体数据进行变声处理，再对变声处理后的多媒体数据进行混音处理，最后将混音处理之后的多媒体数据发送给webrtc系统中其他用户。可选的，该混音处理可以由
任一用户的终端设备执行，也可以通过设置服务器，使得该混音处理由该服务器执行，或者可以在webrtc系统中选择一个用户作为主持人，使得该混音处理由该主持人执行。当然，也可以通过其他方式实现混音处理。
46.s103、发送第二多媒体数据到webrtc系统中的其他用户的终端设备。
47.在生成第二多媒体数据之后，再将第二多媒体数据发送至webrtc系统中的其他用户，webrtc系统中的其他用户接收到的变声处理后的第二多媒体数据进行播放时，因为第二多媒体数据是变声处理之后的数据，因此，无法辨识为哪个用户产生的数据，从而提高了用户个人信息的保密度。
48.在本发明中，获取第一多媒体数据，第一多媒体数据为webrtc系统中的任一用户产生的数据；对第一多媒体数据进行变声处理，生成第二多媒体数据；再发送第二多媒体数据到webrtc系统中的其他用户的终端设备。由此可见，在webrtc系统会议过程中，将webrtc系统中的任一用户产生的第一多媒体数据发送给webrtc系统中的其他用户的终端设备之前，对该第一多媒体数据进行变声处理，使得经过变声处理后的第二多媒体数据的音调和音色与第一多媒体数据的音调和音色不同，webrtc系统中的其他用户的终端设备在接收到变声处理后的第二多媒体数据进行播放时，因为第二多媒体数据是变声处理之后的数据，因此，无法辨识为哪个用户产生的数据，从而提高了用户个人信息的保密度。
49.基于图1对应的实施例，在图1对应的实施例的基础上，进一步地，本发明实施例还提供了另一种基于webrtc的多媒体数据传输方法，请参见图2所示，图2为本发明基于webrtc的多媒体数据传输方法实施例二的示意图，该基于webrtc的多媒体数据传输方法还包括：
50.可选的，在获取第一多媒体数据之前，还包括步骤：
51.s100、确定webrtc系统开启匿名会议模式。
52.在webrtc系统进行过程中，若需要保护发言者的个人信息时，可以开启匿名会议模式，示例的，当webrtc系统中某用户需要匿名发言时，该用户可以开启匿名会议模式。在匿名会议模式开启之后，webrtc系统中的所有用户只可以接收到其他用户产生的第二多媒体数据，而无法获得该第二多媒体数据对应的用户的个人信息。在本实施例中，假定需要开启匿名会议的某用户为用户a。
53.在匿名会议模式开启之后，用户a就可以通过自己的终端设备采集自己的第一多媒体数据，再将该第一多媒体数据进行变声处理。为了使得用户a产生的第一多媒体数据的语音信号质量较好，可选的，可以在对第一多媒体数据进行变声处理之前，还包括：对第一多媒体数据进行预处理，预处理为下述至少一种处理：声学回音消除；噪声抑制；自动增益控制。
54.示例的，为了得到语音信号质量更好的第一多媒体数据，可以对第一多媒体数据进行预处理，该预处理可以是依次对第一多媒体数据进行声学回音消除；噪声抑制；自动增益控制，也可以只选取一种或者两种处理方式对第一多媒体数据进行预处理，以通过该预处理提高第一多媒体数据的语音信号质量。在此，对于通过何种方式对第一多媒体数据进行预处理，本发明不做进一步地限制。
55.其中，声学回音消除处理是针对终端设备的扬声器所播放的语音和由该语音所产生的多路径的回声并在此基础上建立远端的信号语音的模型，基于该信号语音的模型进行
回声消除，并在回声消除过程中不断修改滤波器的系数，使其更加逼近真实的回声。最后，将该回声从采集到语音信号中除去，从而达到回声消除的目的。
56.噪声抑制处理是对采集到的语音信号进行频谱分析，进而分析出相应的背景噪声的强度和频谱分布，然后在此基础上建立模型，设计合适的滤波器，同时，在用户发言时也进行频谱分析，从而得出发言者的频谱，最后，根据该背景噪声的频谱和发言者的频谱，通过滤波器进行实时动态调整，以阻止噪音信号的频谱通过或者降低其能量来达到降低噪声的目的。
57.自动增益补偿处理可以自动调节终端设备麦克风的音量，使得终端设备的声音输出处在一个比较稳定的水平线上，从而实现发言者的声音在发言者与麦克风距离变化的时候仍然趋于平稳状态。
58.在本发明中，通过对用户a的第一多媒体数据进行预处理，可以进一步提高第一多媒体数据的语音信号质量，以便生成语音质信号量较高的第一多媒体数据。
59.通过本实施例提供的基于webrtc的多媒体数据传输方法，在webrtc系统开启匿名会议之后，用户a通过自己的终端设备采集自己的第一多媒体数据；再对第一多媒体数据进行预处理，使得预处理后的第一多媒体数据的语音质量更好，再对预处理后的第一多媒体数据进行变声处理，使得变声处理后的第一多媒体数据的音调和音色与第一采集到的第一多媒体数据的音调和音色不同，webrtc系统中的用户b和用户c的终端设备在接收到变声处理后的第二多媒体数据进行播放时，因为第二多媒体数据是变声处理之后的数据，因此，无法辨识为哪个用户产生的数据，从而提高了用户个人信息的保密度。
60.进一步地，该基于webrtc的多媒体数据传输方法还可以包括：
61.s104、对第一多媒体数据进行语音识别，生成第一多媒体数据对应的文本数据。
62.值得说明的是，在本发明中，步骤s104对第一多媒体数据进行语音识别和步骤s102对第一多媒体数据进行变声处理之间并无具体的先后顺序，可以先执行步骤s102，再执行步骤s104，也可以先执行步骤s104，再执行步骤s102，当然，也可以同时执行步骤s102和步骤s104。在此，对于步骤s102和步骤s104的执行顺序，本发明不做具体限制。示例的，本实施例中只是以先执行步骤s102，再执行步骤s104为例进行说明，但并不代表本发明仅局限于此。
63.示例的，将第一多媒体数据进行语音识别，其目的在于通过语音识别，可以生成第一多媒体数据对应的文本数据，以便将该文本数据发送至webrtc系统的其他用户的终端设备，使得其他用户通过各自的终端设备的屏幕显示该第一多媒体数据对应的文本数据。可选的，此处的第一多媒体数据可以是终端设备直接采集到的第一多媒体数据，也可以是经过预处理后的第一多媒体数据，当然，也可以是经过变声处理后的第一多媒体数据，即第二多媒体数据，在此，对于第一多媒体数据具体是什么，对本发明不做具体限制。
64.s105、发送文本数据到webrtc系统中的其他用户的终端设备。
65.在生成第一多媒体数据对应的文本数据之后，将该文本数据发送至webrtc系统中的其他用户的终端设备，以便其他用户通过各自的终端设备查看该文本数据。示例的，在终端设备的屏幕显示第一多媒体数据对应的文本数据的过程中，可以预先为每一个用户分配一个代号，这样在用户的终端设备的屏幕显示时，就可以以该发言者的代号和发言内容进行显示。例如用户a对应的代号为“郭靖”，用户b对应的代号为“黄蓉”，用户c对应的代号“杨
过”，当用户a在发言过程中，用户b和用户c不仅可以通过各自的终端设备听到用户a的第一多媒体数据，而且可以通过各自的终端设备的屏幕查看用户a的第一多媒体数据，值得说明的是，用户b和用户c各自的终端设备的屏幕上显示的是郭靖和第一多媒体数据，而不是用户a的真实信息和第一多媒体数据，当然，用户b和用户c发言时，情况类似，不再赘述。通过该方式，可以实现在提高用户个人信息保密度的同时，还可以方便用户实时查看webrtc系统会议的内容。
66.需要说明的是，在本发明中，还可以将第一多媒体数据对应的文本数据存储起来，即存储文本数据。通过存储文本数据，可以使得用户在webrtc系统会议结束之后，随时查看webrtc系统会议的内容。当然，本实施例只是举例说明，但不代表本发明仅限于此。
67.在本发明中，在webrtc系统中的任一用户确定webrtc系统开启匿名会议模式之后，获取第一多媒体数据，并对第一多媒体数据进行预处理，再对预处理后的第一多媒体数据进行变声处理，并生成第二多媒体数据；再将第二多媒体数据发送到webrtc系统中的其他用户的终端设备。由此可见，通过对第一多媒体数据进行预处理，可以提高第一多媒体数据的语音质量，从而得到语音质量较高的第一多媒体数据，再对预处理后的第一多媒体数据进行变声处理，使得经过变声处理后的第二多媒体数据的音调和音色与第一多媒体数据的音调和音色不同，webrtc系统中的其他用户的终端设备在接收到变声处理后的第二多媒体数据进行播放时，因为第二多媒体数据是变声处理之后的数据，因此，无法辨识为哪个用户产生的数据，从而提高了用户个人信息的保密度。
68.webrtc的多媒体数据传输可以包括：
69.获取模块，用于获取第一多媒体数据，第一待传输的多媒体数据为webrtc系统中的任一用户产生的数据。
70.处理模块，用于对第一多媒体数据进行变声处理，生成第二多媒体数据。
71.发送模块，用于发送第二多媒体数据到webrtc系统中的其他用户的终端设备。
72.本实施例的基于webrtc的多媒体数据传输，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
73.可选的，处理模块还用于对第一多媒体数据进行语音识别，生成第一多媒体数据对应的文本数据。
74.发送模块还用于发送文本数据到webrtc系统中的其他用户的终端设备。
75.可选的，该基于webrtc的多媒体数据传输,还包括：
76.存储模块，用于存储文本数据。
77.可选的，处理模块还用于对第一多媒体数据进行预处理，预处理为下述至少一种处理：
78.声学回音消除；
79.噪声抑制；
80.自动增益控制。
81.可选的，处理模块还用于确定webrtc系统开启匿名会议模式。
82.本实施例的基于webrtc的多媒体数据传输装置，可以执行图1～图2中任一方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
83.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通
过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
84.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种基于webrtc技术的多媒体资源整合调度方法，其特征在于，包括：获取模块，用于获取第一多媒体数据，所述第一待传输的多媒体数据为所述webrtc系统中的任一用户产生的数据；处理模块，用于对所述第一多媒体数据进行变声处理，生成第二多媒体数据；发送模块，用于发送所述第二多媒体数据到所述webrtc系统中的其他用户的终端设备。2.根据权利要求1所述的一种基于webrtc技术的多媒体资源整合调度方法，其特征在于，所述处理模块还用于对所述第一多媒体数据进行语音识别，生成所述第一多媒体数据对应的文本数据；所述发送模块还用于发送所述文本数据到所述webrtc系统中的其他用户的终端设备。3.根据权利要求2所述的一种基于webrtc技术的多媒体资源整合调度方法，其特征在于，还包括：存储模块，用于存储所述文本数据。4.根据权利要求1-3任一项所述的一种基于webrtc技术的多媒体资源整合调度方法，其特征在于，所述处理模块还用于对所述第一多媒体数据进行预处理，所述预处理为下述至少一种处理；包括但不限于回音消除、声音降噪以及声音增益自动控制。5.根据权利要求4所述的一种基于webrtc技术的多媒体资源整合调度方法，其特征在于，所述处理模块还用于确定所述webrtc系统开启匿名会议模式。6.根据权利要求1所述的一种基于webrtc技术的多媒体资源整合调度方法，包括：获取第一多媒体数据，所述第一多媒体数据为所述webrtc系统中的任一用户产生的数据；对所述第一多媒体数据进行变声处理，生成第二多媒体数据；发送所述第二多媒体数据到所述webrtc系统中的其他用户的终端设备。7.根据权利要求6所述一种基于webrtc技术的多媒体资源整合调度方法，其特征在于，还包括：对所述第一多媒体数据进行语音识别，生成所述第一多媒体数据对应的文本数据；发送所述文本数据到所述webrtc系统中的其他用户的终端设备。8.根据权利要求7所述一种基于webrtc技术的多媒体资源整合调度方法，其特征在于，还包括：存储所述文本数据。9.根据权利要求6-8任一项所述的一种基于webrtc技术的多媒体资源整合调度方法，其特征在于，所述对所述第一多媒体数据进行变声处理之前，还包括：对所述第一多媒体数据进行预处理，所述预处理为下述至少一种处理：声学回音消除；噪声抑制；自动增益控制。10.根据权利要求9所述的一种基于webrtc技术的多媒体资源整合调度方法，其特征在于，所述获取第一多媒体数据之前，还包括：确定所述webrtc系统开启匿名会议模式。

技术总结
本发明提供一种基于WebRTC技术的多媒体资源整合调度方法，属于通信技术领域。该基于WebRTC的多媒体数据传输方法包括：获取第一多媒体数据，第一多媒体数据为WebRTC系统中的任一用户产生的数据；对第一多媒体数据进行变声处理，生成第二多媒体数据；发送第二多媒体数据到WebRTC系统中的其他用户的终端设备。本发明提供的基于WebRTC的多媒体数据传输方法及装置，提高了用户个人信息的保密度。提高了用户个人信息的保密度。提高了用户个人信息的保密度。


技术研发人员：袁红明
受保护的技术使用者：南京创旅信息科技有限公司
技术研发日：2021.03.15
技术公布日：2022/5/25