[发明专利]一种虚拟装配操作中脚踏动作识别和评估方法

摘要

本发明属于体感交互领域，具体的说是一种虚拟装配操作中脚踏动作识别和评估方法。该方法包括以下步骤：步骤一、构建脚踏场景；步骤二、脚踏动作识别；步骤三、脚踏动作评估；本发明利用Kinect V2设备采集人体骨骼数据，通过Kinect V2坐标反求脚踏中心点和脚踝落脚点，根据脚部速度、脚踝到脚的向量与XOY平面的夹角和脚与脚踏中心点距离来判断脚踏动作，再根据脚踝所在区域、膝盖到脚踝向量与膝盖到臀向量夹角进行评估，填补了现有市场的空白。

主权项

1.一种虚拟装配操作中脚踏动作识别和评估方法，其特征在于，该方法包括以下步骤：步骤一、构建脚踏场景；11)、将Kinect V2设备水平放置，并在虚拟场景中与地面保持1m的距离；利用Kinect V2采集25个人体骨骼点包括头、颈、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、脊柱、髋关节中心、左臀、左膝盖、左脚踝、左脚、右臀、右膝盖、右脚踝、右脚；其中，A1(x1,i,y1,i,z1,i)表示第i帧的左臀的坐标点，每秒25帧，1帧0.04秒；A2(x2,i,y2,i,z2,i)表示第i帧的左膝盖的坐标点，每秒25帧，1帧0.04秒；A3(x3,i,y3,i,z3,i)表示第i帧的左脚踝的坐标点，每秒25帧，1帧0.04秒；A4(x4,i,y4,i,z4,i)表示第i帧的左脚的坐标点，每秒25帧，1帧0.04秒；A5(x5,i,y5,i,z5,i)表示第i帧的右臀的坐标点，每秒25帧，1帧0.04秒；A6(x6,i,y6,i,z6,i)表示第i帧的右膝盖的坐标点，每秒25帧，1帧0.04秒；A7(x7,i,y7,i,z7,i)表示第i帧的右脚踝的坐标点，每秒25帧，1帧0.04秒；A8(x8,i,y8,i,z8,i)表示第i帧的右脚的坐标点，每秒25帧，1帧0.04秒；12)虚拟场景将以Kinect V2自带的坐标体系构建脚踏场景；以Kinect V2为中心坐标点，将脚踏中心点E₁、E₂分别设在坐标原点O两边，脚踏中心点离XOY平面的距离为1米；首先计算操作人员左臀到右臀的距离左脚踝到左脚的距离定义脚踏中心点坐标E₁(0.75l₁,0.5m,‑1m)，E₂(‑0.75l₁,0.5m,‑1m)；脚踝落脚点坐标E₃(0.75l₁,0.5m+l₂,‑1m)，E₄(‑0.75l₁,0.5m+l₂,‑1m)；区域Ⅰ分别表示距离E₃和E₄长度(0,0.05m)的范围，同时Z轴距离范围在(‑1m,‑0.97m)之内；区域Ⅱ分别表示距离E₃和E₄长度小于(0.05m,0.1m)的范围，同时Z轴距离范围在(‑1m,‑0.97m)之内；步骤二、脚踏动作识别；脚踏动作首先需要判定左脚踝或右脚踝是否落地，再根据左脚或右脚的速度、左脚踝或右脚踝到左脚或右脚的向量与XOY平面所呈现的夹角和左脚或右脚与脚踏的中心点E1或E2来判定是否完成脚踏动作；21)左脚识别；识别准备如下：(1)左脚识别过程需要先计算出左脚的速度左脚踝到左脚的向量为向量与XOY平面夹角为左脚与脚踏中心点E₁的距离(2)在操作人员完成单一脚踏动作时后台需要记录左脚踝的所在区域、左膝盖到左脚踝向量与左膝盖到左臀向量夹角；区域判断需要计算左脚踝与脚踝落脚点E₃的距离当l₄∈(0,0.05m)且z_3,i∈(‑1m,‑0.97m)时，认为在区域Ⅰ；当l₄∈(0.05m,0.1m)且z_3,i∈(‑1m,‑0.97m)时，认为在区域Ⅱ；其它区域不记录；先得到左膝盖到左脚踝向量左膝盖到左臀向量可得向量与向量的夹角具体识别过程如下：判定1：如果左脚踝坐标点z3,i∈(‑1m,‑0.97m)，即为左脚踝落地，转判定过程2；判定2：当l3＜0.05m且θ1∈(20°,45°)，认为准备脚踏动作，标记j＝0，转过程2.1；判定2.1：当V1＞0.3m/s，认为开始正向脚踏动作，转2.2；判定2.2：当V1＜0.2m/s且l3＜0.05m且θ1∈(0°,10°)时，认为完成一次正向脚踏动作，此时z3,i∈(‑1m,‑0.97m)，则认为脚踏动作模特值为F3，反之为W5；同时对活动区域和夹角进行计算，当活动区域为Ⅰ时，Nj＝1；当活动区域为Ⅱ时，Nj＝2；其它区域为Nj＝0；记录此时夹角Mj＝θ2；j＝j+1，转2.3；当l3＞0.05m，转3。；其中，Nj表示j次脚踏动作左脚踝所在区域，Mj表示j次脚踏动作左膝盖到左脚踝向量与左膝盖到左臀向量夹角；判定2.3：当V1＞0.3m/s时，认为开始返向脚踏动作，转2.4；判定2.4：当V1＜0.2m/s且l3＜0.05m且θ1∈(20°,45°)时，认为完成一次返向脚踏动作，此时z3,i∈(‑1m,‑0.97m)，则认为脚踏动作模特值为F3，反之为W5；同时计算活动区域和夹角，当活动区域为Ⅰ时，Nj＝1；当活动区域为Ⅱ时，Nj＝2；其它区域为Nj＝0；记录此时夹角Mj＝θ2；j＝j+1，转2.1。当l3＞0.05m，转判定3；判定3：识别停止，j＝j‑1；22)右脚识别；识别准备如下：(1)右脚识别过程需要先计算出右脚的速度右脚踝到右脚的向量为向量与XOY平面夹角为右脚与脚踏中心点E₂的距离(2)在操作人员完成单一脚踏动作时后台需要记录右脚踝的所在区域、右膝盖到右脚踝向量与右膝盖到右臀向量夹角；区域判断需要计算右脚踝与脚踝落脚点E₄的距离当l₆∈(0,0.05m)且z_7,i∈(‑1m,‑0.97m)，认为在区域Ⅰ；当l₆∈(0.05m,0.1m)且z_7,i∈(‑1m,‑0.97m)，认为在区域Ⅱ；其它区域不记录。先得到右膝盖到右脚踝向量右膝盖到右臀向量可得向量与向量的夹角具体识别过程如下：判定1：如果右脚踝坐标点z7,i∈(‑1m,‑0.97m)，即为右脚踝落地，转判定过程2；判定2：当l5＜0.05m且θ3∈(20°,45°)，认为准备脚踏动作，标记l＝0，转过程2.1；判定2.1：当V2＞0.3m/s时，认为开始正向脚踏动作，转2.2；判定2.2：当V2＜0.2m/s且l5＜0.05m且θ3∈(0°,10°)时，认为完成一次正向脚踏动作，此时z7,i∈(‑1m,‑0.97m)，则认为脚踏动作模特值为F3，反之为W5；同时对活动区域和夹角进行计算，当活动区域为Ⅰ时，Ol＝1；当活动区域为Ⅱ时，Ol＝2；其它区域为Ol＝0；记录此时夹角Pl＝θ4；l＝l+1，转2.3。当l5＞0.05m，转3；其中，Ol表示l次脚踏动作右脚踝所在区域，Pl表示l次脚踏动作右膝盖到右脚踝向量与右膝盖到右臀向量夹角；判定2.3：当V2＞0.3m/s时，认为开始返向脚踏动作，转2.4；判定2.4：当V2＜0.2m/s且l5＜0.05m且θ3∈(20°,45°)时，认为完成一次返向脚踏动作，此时z7,i∈(‑1m,‑0.97m)，则认为脚踏动作模特值为F3，反之为W5；同时计算活动区域和夹角，当活动区域为Ⅰ时，Ol＝1；当活动区域为Ⅱ时，Ol＝2；其它区域为Ol＝0；记录此时夹角Pl＝θ4；l＝l+1，转2.1。当l5＞0.05m，转判定3；判定3：识别停止，l＝l‑1；步骤三、脚踏动作评估；识别结束，对脚踏动作完成后脚踝所在区域进行计分，区域Ⅰ为10分，区域Ⅱ为6分，其它为0分，求得左脚和右脚总得分g₁、g₂，总平均分当总平均分G在(8分,10分]时，认为脚踏动作操作正常；当总平均分G在(6分,8分]时，认为脚踏动作区域存在问题，脚踝落点需要改善；当总平均分G在(0分,6分]时，认为脚踏动作异常，需要立即停止改正；计算膝盖到脚踝向量与膝盖到臀向量夹角的标准差，其中左膝盖的标准差右膝盖的标准差平均标准差当平均标准差H在(0,5]时，认为脚踏动作中膝盖正常；当平均标准差H在(5,10]时，认为脚踏动作中膝盖摆动幅度过大，需要注意操作稳定性；当平均标准差H在(10,∞]时，认为脚踏动作中膝盖异常，需立刻停止。