[发明专利]重建模型的训练和三维模型重建方法、装置、设备及介质

权利要求书

1.一种重建模型的训练方法，其特征在于，所述重建模型包括特征提取网络、特征解耦网络、特征解码网络和二维图像投影网络，所述方法包括：

获取样本图像和所述样本图像对应的标准三维模型数据和标准投影图像；

基于初始的重建模型，对所述样本图像中的待重建对象进行模型重建，得到重建三维模型数据和重建投影图像；

基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练；

响应于达到预设的收敛条件，输出训练后的重建模型；

其中，所述基于初始的重建模型，对所述样本图像中的待重建对象进行模型重建，得到重建三维模型数据和重建投影图像，包括：

利用所述特征提取网络对样本图像进行特征提取，得到所述样本图像对应的公共特征向量；

通过所述特征解耦网络对所述样本图像对应的公共特征向量进行解耦，得到所述样本图像对应的三维模型特征向量和二维图像特征向量；

通过所述特征解码网络对三维模型特征向量进行解码，得到所述重建三维模型数据；

通过所述二维图像投影网络对二维图像特征向量进行解码，得到所述重建投影图像。

2.根据权利要求1所述的方法，其特征在于，所述三维模型特征向量包括材质特征向量和三维形状特征向量。

3.根据权利要求2所述的方法，其特征在于，所述特征解码网络包括材质解码网络和三维形状解码网络；

所述通过所述特征解码网络对三维模型特征向量进行解码，得到所述重建三维模型数据，包括：

通过所述材质解码网络对所述材质特征向量进行解码，得到所述待重建对象的重建材质数据；

通过所述三维形状解码网络对三维形状特征向量进行解码，得到所述待重建对象对应的重建三维形状数据。

4.根据权利要求1所述的方法，其特征在于，所述基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练，包括：

基于所述标准三维模型数据和所述重建三维模型数据确定三维模型损失值；

基于所述标准投影图像和所述重建投影图像确定投影图像损失值；

基于所述三维模型损失值和所述投影图像损失值确定综合损失值，并基于所述综合损失值对以下网络中至少之一的网络参数进行调整：所述特征解码网络、所述二维图像投影网络、所述特征提取网络和所述特征解耦网络。

5.根据权利要求1所述的方法，其特征在于，所述基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练，包括：

基于所述标准三维模型数据和所述重建三维模型数据确定三维模型损失值，并基于所述三维模型损失值对所述特征解码网络的网络参数进行调整。

6.根据权利要求1所述的方法，其特征在于，所述基于所述标准三维模型数据、所述标准投影图像、所述重建三维模型数据和所述重建投影图像，对所述重建模型进行训练，包括：

基于所述标准投影图像和所述重建投影图像确定投影图像损失值，并基于所述投影图像损失值对所述二维图像投影网络的网络参数进行调整。