[发明专利]三维虚拟对象的动作生成方法、装置、设备及存储介质

权利要求书

1.一种三维虚拟对象的动作生成方法，其特征在于，所述方法包括：

获取目标语音数据；

对所述目标语音数据进行音频特征编码，得到第一音频共性特征；其中，音频共性特征是指音频特征中与动作相对应的特征；

获取采样动作特征，所述采样动作特征是通过对动作特有特征集合进行随机采样得到的动作特有特征；

对所述第一音频共性特征和所述采样动作特征进行特征解码，得到所述三维虚拟对象的动作。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标语音数据进行音频特征编码，包括：基于动作生成网络中的音频编码器对所述目标语音数据进行特征编码；

所述对所述第一音频共性特征和所述采样动作特征进行特征解码，包括：基于所述动作生成网络中的动作解码器，对所述第一音频共性特征和所述采样动作特征进行特征解码；

其中，所述音频编码器和所述动作解码器中包括顺次相连的至少两个时序块；对于任意一个时序块，所述时序块中包括一个映射层、至少两个空洞卷积层和至少两个激活函数层，所述映射层由所述时序块的输入端指向所述时序块的最后一个激活函数层。

3.根据权利要求2所述的方法，其特征在于，所述基于动作生成网络中的音频编码器对所述目标语音数据进行特征编码，包括：

将所述目标语音数据输入所述音频编码器的第一个时序块；

对于任意一个时序块，接收上一个时序块的输出，基于所述至少两个空洞卷积层和所述至少两个激活函数层，对所述上一个时序块的输出进行特征编码；

获取所述最后一个激活函数层的输出，将所述最后一个激活函数层的输出和所述映射层的输出传递到下一个时序块；

获取所述音频编码器的最后一个时序块的输出，得到所述第一音频共性特征。

4.根据权利要求1所述的方法，其特征在于，所述动作特有特征集合服从高斯分布，所述获取采样动作特征，包括：

基于随机游走的采样方式对所述高斯分布进行随机采样；

通过映射网络对采样结果进行特征映射，得到所述采样动作特征；

其中，所述动作特有特征集合是在训练阶段通过对训练数据中的样本动作数据进行动作特征编码得到的。

5.根据权利要求4所述的方法，其特征在于，所述采样结果中第i帧的特征是基于第i-1帧的特征和从所述高斯分布采样的随机数得到的，i为不小于2的正整数。

6.根据权利要求1所述的方法，其特征在于，所述三维虚拟对象为三维虚拟人，所述方法还包括：

获取二维人脸图像，所述二维人脸图像中包括目标人脸；

基于所述二维人脸图像的深度信息，对所述二维人脸图像进行三维重建，得到三维人物模型；

基于所述二维人脸图像的纹理信息，对所述三维人物模型进行图形渲染，得到所述目标人脸对应的三维虚拟人。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述获取目标语音数据，包括：

将原始音频作为所述目标语音数据；或，

对所述原始音频进行音频特征提取，得到目标音频特征；将所述目标音频特征作为所述目标语音数据。

8.一种模型训练方法，其特征在于，所述方法包括：

获取训练数据，所述训练数据包括样本语音数据和与所述样本语音数据对应的所述样本动作数据；

基于初始的音频编码器对所述样本语音数据进行音频特征编码，得到音频共性特征集合和音频特有特征集合；

基于初始的动作编码器对所述样本动作数据进行动作特征编码，得到动作共性特征集合和动作特有特征集合；其中，动作共性特征是指动作特征中与音频相对应的特征；

基于所述训练数据、所述音频共性特征集合、所述音频特有特征集合、所述动作共性特征集合和所述动作特有特征集合中的至少两项，构建损失函数；

基于构建的损失函数进行模型训练，得到所述动作生成网络。