动作姿势的指导系统及方法与流程

1.本发明是有关于一种指导系统及方法，且特别是有关于一种动作姿势的指导系统及方法。


背景技术：

2.近年来，由于运动人口增加，人们对于运动教练的需求渐渐增加。此外，由于科技的发展，市面上也出现很多与运动相关的数位影音内容及应用程式，以供使用者可以在家运动及训练。
3.然而，运动及训练最重要的是动作姿势是否正确。而目前市面上与运动相关的数位影音内容及应用程式仅能提供学习的影片内容给使用者观看，并没有针对使用者的动作姿势进行回馈，使用者只能自行观看和学习，无法判断自己的动作是否正确，或者该如何改进。
4.另外，虽有些应用程式能够辨识使用者的动作姿势，然而必须要先针对许多的动作姿势进行建模和训练，建置成本颇高。对于一般运动教练或是在网络上播放数位运动影音内容的人员来说，要自行建立辨识动作模型的成本及难度太高。此外，不同的数位运动影音内容可能都需要分别建立各自的辨识动作模型，而运动教练或播放数位影音内容的人员却需要经常变化运动的内容以吸引使用者，经常产生大量的数位影音内容，要对每一个数位影音内容来制作辨识动作模型，实务上是极难达成。。
5.因此，非常需要一个便利的系统和工具，让运动教练或播放数位影音内容的人员，可以依据标准运动的影片，针对使用者经常需要指导的动作，来编辑动作指导信息。在使用者依据标准运动影片来进行运动及训练的过程中，当判断使用者的动作姿势不正确时，可提供对应的动作指导信息，以提升使用者达到运动及训练的效果，也可让使用者避免因为动作姿势不正确而造成运动伤害。


技术实现要素：

6.本发明系有关于一种动作姿势的指导系统及方法，能够于使用者在运动或训练过程中，根据动作姿势的位置、角度及速度，判断动作姿势是否正确，并提供动作指导信息给使用者，可避免使用者在运动或训练过程中因为动作姿势不正确而未达到运动及训练的效果，或造成运动伤害。
7.根据本发明的一实施例，提出一种动作姿势的指导系统。指导系统包括一第一骨架辨识模型、一编辑器及一储存装置。第一骨架辨识模型用以根据一标准动作影片产生一标准骨架影片。标准骨架影片包含有一人员的一标准特定动作，且标准骨架影片包含有多个标准特定动作骨架图片以对应该标准特定动作。编辑器用以接收一编辑者的一指令产生对应该些标准特定动作骨架图片的一个以上动作指导信息。储存装置用以储存该些标准特定动作骨架图片及其对应的动作指导信息。
8.根据本发明的另一实施例，提出一种动作姿势的指导方法。指导方法包括以下步
骤。根据一标准动作影片产生一标准骨架影片。标准骨架影片包含有一人员的一标准特定动作，且标准骨架影片包含有多个标准特定动作骨架图片以对应该标准特定动作。接收一编辑者的一指令产生对应该些标准特定动作骨架图片的一个以上动作指导信息。储存该些标准特定动作骨架图片及其对应的动作指导信息。
9.为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合所附图式详细说明如下：
附图说明
10.图1绘示根据本发明一实施例的动作姿势的指导系统的方块图；
11.图2绘示根据本发明一实施例的建立指导知识库的流程图；
12.图3绘示根据本发明一实施例的标准动作影片的示意图；
13.图4绘示根据本发明一实施例的标准骨架影片的示意图；
14.图5绘示根据本发明一实施例的编辑器的示意图；
15.图6绘示根据本发明一实施例的动作姿势的指导方法的流程图；
16.图7绘示根据本发明一实施例的使用者动作即时影像流的示意图；
17.图8绘示根据本发明一实施例的使用者动作骨架影片的示意图；
18.图9绘示根据本发明一实施例的比对使用者特定动作骨架图片与标准特定动作骨架图片以产生一比对结果的示意图；及
19.图10绘示根据本发明另一实施例的使用者动作骨架影片的示意图。
20.附图标记说明
21.100:动作姿势的指导系统
22.110:第一骨架辨识模型
23.120:编辑器
24.130:储存装置
25.131:指导知识库
26.140:影像撷取装置
27.150:第二骨架辨识模型
28.160:骨架比对模块
29.170:动作指导模块
30.180:显示器
31.190:运动次数计算模块
32.cmd:指令
33.cr:比对结果
34.gi:动作指导信息
35.oi:操作接口
36.p:人员
37.sk,usk:骨架
38.u:使用者
39.sv:标准动作影片
40.ssv:标准骨架影片
41.ssp,ssp1,ssp2,ssp3,ssp
n-2
,ssp
n-1
,sspn:标准特定动作骨架图片
42.uv:使用者动作即时影像流
43.usv:使用者动作骨架影片
44.usp,usp1,usp2,usp3,usp4,usp5,usp
10
,usp
11
,usp
n-1
,uspn:使用者特定动作骨架图片
45.s110,s120,s130,s210,s220,s230,s240,s250:步骤
46.sp1,sp2,sp3,sp
n-2
,sp
n-1
,spn,up1,up2,up3,up
n-1
,upn:图片
具体实施方式
47.请同时参照第1及2图。图1绘示根据本发明一实施例的动作姿势的指导系统100的方块图。图2绘示根据本发明一实施例的动作姿势的指导方法的流程图。动作姿势的指导系统100包括一第一骨架辨识模型110、一编辑器120及一储存装置130。第一骨架辨识模型110例如是一深度学习模型。编辑器120例如是一编辑软体。储存装置130例如是一传统硬碟(hdd)或一固态硬碟(ssd)。储存装置130包括一指导知识库131。
48.步骤s110，第一骨架辨识模型110根据一标准动作影片sv产生一标准骨架影片ssv。标准动作影片sv包含有一人员的一标准特定动作，且标准骨架影片ssv包含有多个标准特定动作骨架图片ssp以对应该标准特定动作。请参照图3，其绘示根据本发明一实施例的标准动作影片sv的示意图。标准动作影片sv例如为一人员p在运动或训练时的一标准特定动作的影片。标准动作影片sv包含多张图片sp1、sp2、sp3，
…
，sp
n-2
、sp
n-1
、spn。请参照图4，其绘示根据本发明一实施例的标准骨架影片ssv的示意图。标准骨架影片ssv为一已标示骨架sk的影片。标准骨架影片ssv包含多张标准特定动作骨架图片ssp1、ssp2、ssp3，
…
，ssp
n-2
、ssp
n-1
、sspn。标准特定动作骨架图片ssp1、ssp2、ssp3，
…
，ssp
n-2
、ssp
n-1
、sspn对应标准特定动作。在一实施例中，动作姿势的指导系统100更包括一通讯模块(未绘示)，用以接收标准动作影片sv。通讯模块例如为有线或无线通讯接口。
49.步骤s120，编辑器120接收一编辑者的一指令cmd产生对应标准特定动作骨架图片ssp的一个以上动作指导信息gi。每一动作指导信息gi包括一位置指导信息、一角度指导信息、一时间指导信息及一速度指导信息的至少一者，也可以是上述指导信息的任意组合。请参照图5，其绘示根据本发明一实施例的编辑器120的示意图。编辑器120提供一操作接口oi，用以显示标准骨架影片ssv，提供编辑者从标准骨架影片ssv中选择一标准特定动作骨架图片ssp，并于所选择的标准特定动作骨架图片ssp中进行信息标记。标准特定动作骨架图片ssp中的骨架sk包含有多个肢体和多个关节，信息标记可为在该些肢体的任一肢体上的一位置标记或一时间标记、或在该些关节的任一关节及其相连的肢体上的一角度标记。举例来说，编辑器120的操作接口oi显示如图4的标准骨架影片ssv，编辑者从标准骨架影片ssv中选择一标准特定动作骨架图片ssp3，并于标准特定动作骨架图片ssp3中进行信息标记。由于标准特定动作骨架图片ssp3中的动作重点为手臂的位置、手臂动作保持的时间以及肩关节与躯干的角度，因此编辑者所做的信息标记例如包含手臂的位置标记及手臂的时间标记，以及肩关节与躯干的角度标记。接着，操作接口oi更包括用以提供编辑者依据信息标记来编辑动作指导信息gi。举例来说，编辑者依据信息标记来编辑动作指导信息gi的位
置指导信息为「手臂应与地面保持平行」、动作指导信息gi的角度指导信息为「肩关节角度需与躯干保持90度」及动作指导信息gi的时间指导信息为「手臂维持平行的动作保持在2秒」。在另一些实施例中，也可以包含速度指导信息，例如「手臂从垂直到平行的速度为每秒0.5公尺」。
50.步骤s130，储存装置130储存标准特定动作骨架图片ssp及其对应的动作指导信息gi。储存装置130包括一指导知识库131以储存标准特定动作骨架图片ssp及其对应的动作指导信息gi。举例来说，指导知识库131储存标准特定动作骨架图片ssp3，及标准特定动作骨架图片ssp3对应的动作指导信息gi。在一实施例中，指导知识库131可储存多个标准特定动作骨架图片(如ssp1、ssp2及ssp3)，及其个别对应的动作指导信息gi。
51.请参照第1及6图。图6绘示根据本发明一实施例的动作姿势的指导方法的流程图。动作姿势的指导系统100更包括一影像撷取装置140、一第二骨架辨识模型150、一骨架比对模块160、一动作指导模块170、一显示器180。影像撷取装置140例如为一行动装置的网络摄影机(webcam)、一电脑的内建镜头或一健身镜的镜头。第二骨架辨识模型150，可与第一骨架辨识模型110相同或类似。第二骨架辨识模型150例如是深度学习模型。骨架比对模块160及动作指导模块170例如是一处理电路或一处理芯片。显示器180例如为一行动装置的屏幕、一电脑的液晶屏幕或一健身镜的显示器。
52.步骤s210，一影像撷取装置140拍摄一使用者u的一使用者动作以产生一使用者动作即时影像流uv。
53.步骤s220，第二骨架辨识模型150根据使用者动作即时影像流uv产生一使用者动作骨架影片usv。使用者即时影像流uv包含有使用者u的一使用者特定动作，使用者动作骨架影片usv包含有多张使用者特定动作骨架图片usp以对应使用者特定动作。请参照图7，其绘示根据本发明一实施例的使用者动作即时影像流uv的示意图。使用者动作即时影像流uv例如为使用者u在依据前述标准动作影片所进行运动或训练时的一使用者特定动作的影片。使用者动作即时影像流uv包含多张图片up1、up2、up3，
…
，up
n-1
、upn。请参照图8，其绘示根据本发明一实施例的使用者动作骨架影片usv的示意图。使用者动作骨架影片usv为一已标示骨架usk的影片。使用者动作骨架影片usv包含多张使用者特定动作骨架图片usp1、usp2、usp3，
…
，usp
n-1
、uspn。使用者特定动作骨架图片usp1、usp2、usp3，
…
，usp
n-1
、uspn对应标准特定动作。
54.步骤s230，骨架比对模块160比对使用者特定动作骨架图片usp与标准特定动作骨架图片ssp以产生一比对结果cr。比对结果cr包括一位置比对结果、一角度比对结果、一时间比对结果或是一速度比对结果，比对结果cr也可以是上述各项比对结果的任意组合。更进一步来说，骨架比对模块160系比对使用者特定动作骨架图片usp中的骨架usk与标准特定动作骨架图片ssp中的骨架sk之间的位置及角度，以分别得到位置比对结果及角度比对结果。骨架比对模块160也可以在多张使用者特定动作骨架图片中，取得使用者在进行该使用者特定动作的起始和终止时的骨架图片，例如该使用者特定动作为手垂直握哑铃后，平举到手臂与地面平行。usp1即为起始的骨架图片，uspn为终止的骨架图片，依据使用者的影像流uv，可计算出使用者在进行该使用者特定动作的时间，依据usp1和uspn的骨架中手掌的位置可计算手掌移动的距离，因此可以计算出使用者的速度，将使用者的时间、速度，与时间指导信息、速度指导信息比对，就可以得到时间比对结果及速度比对结果。
55.请参照图9，其绘示根据本发明一实施例的比对使用者特定动作骨架图片usp3与标准特定动作骨架图片ssp3以产生一比对结果cr的示意图。为方便说明，以空心圆
○
表示标准特定动作骨架图片ssp3的骨架sk的各关节位置，以实心圆
●
表示使用者特定动作骨架图片usp3中的骨架usk的各关节位置。本实施例在标准特定动作骨架图片ssp3中的动作重点为手臂的位置、以及肩关节与躯干的角度。因此，骨架比对模块160比对使用者特定动作骨架图片usp3中的骨架usk的手臂的位置与标准特定动作骨架图片ssp3中的骨架sk的手臂的位置之间的差异，得到位置比对结果在两个骨架图片中手臂位置的距离差为60像素，图片上的像素可以换算成图片中的距离(例如公分)，可由编辑者事先设定其位置阀值(例如50像素)，以供骨架比对模块160判断此一距离差是否为可容许。骨架比对模块160比对使用者特定动作骨架图片usp3中的骨架usk的肩关节与躯干的角度(60度)与标准特定动作骨架图片ssp3中的骨架sk的肩关节与躯干的角度(90度)之间的差异，得到角度比对结果为30度。同样的，可由编辑者事先设定其角度阀值，例如10度，以供骨架比对模块160判断此一角度误差是否为可容许。
56.请参考图10，其绘示根据本发明另一实施例的使用者动作骨架影片的示意图。图10中，使用者动作骨架影片usv为一已标示骨架usk的影片。使用者动作骨架影片usv包含多张使用者特定动作骨架图片usp3、usp4，
…
，usp
10
、usp
11
。使用者特定动作骨架图片usp3、usp4，
…
，usp
10
、usp
11
对应标准特定动作图片。首先，骨架比对模块160比对在使用者特定动作骨架图片usp3中的骨架usk的手臂的位置是否与标准特定动作骨架图片ssp3中的骨架sk的手臂的位置相同。若是，则骨架比对模块160计算使用者动作骨架影片usv中的骨架usk的手臂于进行使用者特定动作的起始和终止时的骨架图片的时间间隔，以计算出使用者在进行该使用者特定动作的时间。如图10所示，骨架比对模块160在多张使用者特定动作骨架图片usp3、usp4，
…
，usp
10
、usp
11
中取得使用者在进行手臂维持平行的动作的起始的骨架图片usp3和终止的骨架图片usp
10
，并据以计算出使用者在进行手臂维持平行的动作的时间为1秒。骨架比对模块160进而将使用者在进行手臂维持平行的动作的时间与时间指导信息「手臂维持平行的动作保持在2秒」进行比对，以产生时间比对结果为1秒。
57.步骤s240，动作指导模块170根据比对结果cr从指导知识库131中选择多个动作指导信息gi之一。当动作指导模块170判断位置比对结果(60像素)超过位置阀值(例如50像素)，则动作指导模块170从指导知识库131中选择对应标准特定动作骨架图片ssp3的位置指导信息「手臂应与地面保持平行」。当动作指导模块170判断角度比对结果(30度)超过角度阀值(例如5度)，则动作指导模块170从指导知识库131中选择对应标准特定动作骨架图片ssp3的角度指导信息「肩关节角度需与躯干保持90度」。当动作指导模块170判断时间比对结果(例如1秒)超过时间阀值(例如0.5秒)，则动作指导模块170从指导知识库131中选择对应标准特定动作骨架图片ssp3的时间指导信息「手臂维持平行的动作保持在2秒」。当动作指导模块170判断速度比对结果(例如每秒0.5公尺)超过速度阀值(例如每秒0.4公尺之间)，则动作指导模块170从指导知识库131中选择对应标准特定动作骨架图片ssp3的速度指导信息「手臂动作需控制在每秒0.4公尺秒」，更进一步时，可以依据速度过快或过慢，建立对应的回馈信息为「请放慢速度」或「请加快速度」。当动作指导模块170判断位置比对结果未超过位置阀值、角度比对结果未超过角度阀值、时间比对结果未超过时间阀值、且速度比对结果未超过速度阀值，则动作指导模块170不选择动作指导信息gi。须注意的是，本发
明的位置阀值、角度阀值、时间阀值及速度阀值不以上述的数值为限制，可依照不同的动作姿势做不同的设置。
58.在一实施例中，动作姿势的指导系统100更包括一运动次数计算模块190。运动次数计算模块190例如是一处理电路或一处理芯片。运动次数计算模块190当位置比对结果未超过位置阀值及角度比对结果未超过角度阀值，则记录一运动次数。
59.步骤s250，显示器180显示选择的动作指导信息gi。若于步骤s240中，动作指导模块170从指导知识库131中选择的动作指导信息gi为位置指导信息「手臂应与地面保持平行」，则显示器180显示「手臂应与地面保持平行」。若动作指导模块170从指导知识库131中选择的动作指导信息gi为角度指导信息「肩关节角度需与躯干保持90度」，则显示器180显示「肩关节角度需与躯干保持90度」。若动作指导模块170从指导知识库131中选择的动作指导信息gi为速度指导信息「手臂动作需控制在2秒」，则显示器180显示「手臂动作需控制在2秒」。若动作指导模块170未选择动作指导信息gi，则显示器180显示一提示信息「动作完美」，以提示使用者的动作姿势正确。
60.如此一来，根据本发明所提出的动作姿势的指导系统及方法，能够于使用者在运动或训练过程中，根据动作姿势的位置、角度及速度，判断动作姿势是否正确，并提供动作指导信息给使用者，可避免使用者在运动或训练过程中因为动作姿势不正确而未达到运动及训练的效果，或造成运动伤害。
61.综上所述，虽然本发明已以实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视后附的权利要求所界定者为准。

技术特征：
1.一种动作姿势的指导系统，其特征在于，包括：一第一骨架辨识模型，用以根据一标准动作影片产生一标准骨架影片，其中该标准动作影片包含有一人员的一标准特定动作，且该标准骨架影片包含有多个标准特定动作骨架图片以对应该标准特定动作；一编辑器，用以接收一编辑者的一指令产生对应该些标准特定动作骨架图片的一个以上动作指导信息；以及一储存装置，用以储存该些标准特定动作骨架图片及其对应的该一个以上动作指导信息。2.如权利要求1所述的指导系统，其特征在于，更包括：一通讯模块，用以接收该标准动作影片。3.如权利要求1所述的指导系统，其特征在于，该储存装置更包括一指导知识库以储存该些标准特定动作骨架图片及其对应的该一个以上动作指导信息。4.如权利要求3所述的指导系统，其特征在于，更包括：一影像撷取装置，用以拍摄一使用者的一使用者动作以产生一使用者动作即时影像流；一第二骨架辨识模型，用以根据该使用者动作即时影像流产生一使用者动作骨架影片，其中该使用者即时影像流包含有该使用者的一使用者特定动作，该使用者动作骨架影片包含有多个使用者特定动作骨架图片以对应该使用者特定动作；一骨架比对模块，用以比对该使用者特定动作骨架图片与该标准特定动作骨架图片以产生一比对结果；一动作指导模块，用以根据该比对结果从该指导知识库中选择该些动作指导信息的一；以及一显示器，用以显示选择的该动作指导信息。5.如权利要求4所述的指导系统，其特征在于，每一该些动作指导信息包括一位置指导信息、一角度指导信息、时间指导信息及一速度指导信息的至少一者。6.如权利要求4所述的指导系统，其特征在于，该比对结果包括一位置比对结果、一角度比对结果、时间比对结果及一速度比对结果的至少一者。7.如权利要求6所述的指导系统，其特征在于，当该位置比对结果未超过一位置阀值、该角度比对结果未超过一角度阀值、该时间比对结果未超过一时间阀值及该速度比对结果未超过一速度阀值，则该动作指导模块更用以不选择该些动作指导信息之一，以及该显示器更用以显示一提示信息，以提示该使用者的动作姿势正确。8.如权利要求6所述的指导系统，其特征在于，更包括：一运动次数计算模块，用以当每一该位置比对结果未超过一位置阀值及该角度比对结果未超过一角度阀值，则记录一运动次数。9.如权利要求1所述的指导系统，其特征在于，该编辑器更包括提供一操作接口，用以显示该标准骨架影片，提供该编辑者从该标准骨架影片中选择该些标准特定动作骨架图片之一，并于所选择的标准特定动作骨架图片中进行信息标记，其中该标准特定动作骨架图片中的骨架包含有多个肢体和多个关节，该信息标记包含在该些肢体的任一肢体上的一位置标记或一时间标记、或在该些关节的任一关节及其相连的肢体上的一角度标记。
10.如权利要求9所述的指导系统，其特征在于，该操作接口更包括用以提供该编辑者依据该信息标记来编辑该动作指导信息。11.一种动作姿势的指导方法，其特征在于，包括：根据一标准动作影片产生一标准骨架影片，其中该标准动作影片包含有一人员的一标准特定动作，且该标准骨架影片包含有多个标准特定动作骨架图片以对应该标准特定动作；接收一编辑者的一指令产生对应该些标准特定动作骨架图片的一个以上动作指导信息；以及储存该些标准特定动作骨架图片及其对应的该一个以上动作指导信息。12.如权利要求11所述的指导方法，其特征在于，更包括：透过一通讯模块接收该标准动作影片。13.如权利要求11所述的指导方法，其特征在于，更包括：透过一指导知识库以储存该些标准特定动作骨架图片及其对应的该一个以上动作指导信息。14.如权利要求13所述的指导方法，其特征在于，更包括：拍摄一使用者的一使用者动作以产生一使用者动作即时影像流；根据该使用者动作即时影像流产生一使用者动作骨架影片，其中该使用者即时影像流包含有该使用者的一使用者特定动作，该使用者动作骨架影片包含有多个使用者特定动作骨架图片以对应该使用者特定动作；比对该使用者特定动作骨架图片与该标准特定动作骨架图片以产生一比对结果；根据该比对结果从该指导知识库中选择该些动作指导信息之一；以及显示选择的该动作指导信息。15.如权利要求14所述的指导方法，其特征在于，每一该些动作指导信息包括一位置指导信息、一角度指导信息、时间指导信息及一速度指导信息的至少一者。16.如权利要求14所述的指导方法，其特征在于，该比对结果包括一位置比对结果、一角度比对结果、时间比对结果及一速度比对结果的至少一者。17.如权利要求16所述的指导方法，其特征在于，当该位置比对结果未超过一位置阀值、该角度比对结果未超过一角度阀值、该时间比对结果未超过一时间阀值及该速度比对结果未超过一速度阀值，则不选择该些动作指导信息之一，以及显示一提示信息以提示该使用者的动作姿势正确。18.如权利要求16所述的指导方法，其特征在于，更包括：当每一该位置比对结果未超过一位置阀值及该角度比对结果未超过一角度阀值，则记录一运动次数。19.如权利要求11所述的指导方法，其特征在于，更包括：透过一操作接口显示该标准骨架影片，提供该编辑者从该标准骨架影片中选择该些标准特定动作骨架图片之一，并于所选择的标准特定动作骨架图片中进行信息标记；其中该标准特定动作骨架图片中的骨架包含有多个肢体和多个关节，该信息标记包含在该些肢体的任一肢体上的一位置标记或一时间标记、或在该些关节的任一关节及其相连的肢体上的一角度标记。
20.如权利要求19所述的指导方法，其特征在于，该操作接口更包括用以提供该编辑者依据该信息标记来编辑该动作指导信息。

技术总结
一种动作姿势的指导系统及方法。指导系统包括一第一骨架辨识模型、一编辑器及一储存装置。第一骨架辨识模型用以根据一标准动作影片产生一标准骨架影片。标准骨架影片包含有一人员的一标准特定动作，且标准骨架影片包含有多个标准特定动作骨架图片以对应该标准特定动作。编辑器用以接收一编辑者的一指令产生对应该些标准特定动作骨架图片的一个以上动作指导信息。储存装置用以储存些标准特定动作骨架图片及其对应的动作指导信息。图片及其对应的动作指导信息。图片及其对应的动作指导信息。


技术研发人员：陈恒顗 王荣升
受保护的技术使用者：财团法人资讯工业策进会
技术研发日：2020.11.19
技术公布日：2022/5/25