[发明专利]基于深度图模型特征学习的人脸画像合成方法

摘要

一种基于深度图模型特征学习的人脸画像合成方法。其步骤为：(1)生成样本集合；(2)生成图像块集合；(3)提取深度特征；(4)求解人脸画像重构块系数；(5)重构人脸画像块；(6)合成人脸画像。本发明使用深度卷积网络提取人脸照片块的深度特征，利用马尔科夫图模型求解深度特征图系数与人脸画像块重构系数，使用人脸画像块重构系数对人脸画像块加权求和得到重构人脸画像块，拼接重构人脸画像块得到合成人脸画像。本发明使用从深度卷积网络中提取的深度特征来代替图像块的原始像素值信息，对光照等环境噪声具有更好的鲁棒性，能合成质量极高的人脸画像。

主权项

一种基于深度图模型特征学习的人脸画像合成方法，包括如下步骤：(1)生成样本集合：(1a)从人脸照片样本集中取出M张人脸照片组成训练人脸照片样本集，2≤M≤U‑1，U表示样本集中人脸照片总数；(1b)将人脸照片样本集中剩余的人脸照片组成测试人脸照片集；(1c)从人脸画像样本集中取出与训练人脸照片样本集的人脸照片一一对应的人脸画像，组成训练人脸画像样本集；(2)生成图像块集合：(2a)从测试人脸照片集中任意选取一张测试人脸照片，将测试人脸照片划分成大小相同，且重叠度相同的照片块，组成测试照片块集合；(2b)将训练人脸照片样本集中的每一张照片，划分成大小相同，且重叠度相同的照片块，组成训练照片样本块集合；(2c)将训练人脸画像样本集中的每一张画像，划分成大小相同，且重叠度相同的画像块，组成训练画像样本块集合；(3)提取深度特征：(3a)将训练照片块集合与测试照片块集合中的所有照片块，输入已经在物体识别数据库ImageNet上训练好的用于物体识别的深度卷积网络VGG中，进行正向传播；(3b)将深度卷积网络VGG的中间层输出的128层特征图作为照片块的深度特征，特征图每层的系数为ui,l，且其中，∑表示求和操作，i表示测试照片块的序号，i＝1，2，...，N，N表示测试照片块的总数，l表示特征图的序号,l＝1,...,128；(4)求解人脸画像块重构系数：(4a)使用K近邻搜索算法，在训练照片样本块集合中找出与每个测试照片块最相似的10个近邻训练照片块，同时从训练画像样本块集合中选出与近邻训练照片块一一对应的10个近邻训练画像块，每个近邻训练图像块的系数为wi,k，其中，k表示训练图像块序号，k＝1,...,10；(4b)使用马尔科夫图模型公式，对所有测试照片块深度特征、所有近邻训练照片块的深度特征、所有近邻训练画像块、深度特征图的系数ui,l、近邻训练图像块的系数wi,k建模；(4c)对马尔科夫图模型公式进行求解，得到人脸画像块重构系数wi,k；(5)重构人脸画像块：将每个测试照片块对应的10个近邻训练画像块与各自系数wi,k相乘，相乘后结果求和，作为每个测试照片块对应的重构人脸画像块；(6)合成人脸画像：拼接所有测试照片块对应的重构人脸画像块，得到合成人脸画像。