[发明专利]一种直播实时人脸替换方法、介质及系统

说明书

本发明提供了一种直播实时人脸替换方法、介质及系统，属于人脸替换技术领域，该直播实时人脸替换方法包括：S10、在直播视频流中得到上一帧和当前帧，并根据上一帧和当前帧得到预测帧；S20、对预测帧进行换脸，即将预测帧中的目标人脸替换为所需人脸，所需人脸来自于预设；S30、在直播视频流中得到下一帧，若下一帧与预测帧的非人脸区域相似度大于相似度阈值，则使用所述预测帧替换所述下一帧；否则，对下一帧进行换脸；S40、重复步骤S10至S30，直到直播结束。该直播实时人脸替换方法、介质及系统能够解决串行的直播换脸操作影响整个直播视频流的实时度和流畅度的技术问题。

技术领域

本发明属于人脸替换技术领域，具体而言，涉及一种直播实时人脸替换方法、介质及系统。

背景技术

换脸技术是一种人工智能图像处理技术，能够将一个人的脸部信息提取出来，然后将其与另一个人的脸部信息进行匹配，从而生成一个新的具有两者特征结合的人脸图像。在近几年，随着深度学习技术的发展，基于神经网络的人脸合成算法已经逐渐成为主流。

公开号为CN110969673A的中国发明专利(申请号CN201811163244.6)公开了一种直播换脸交互实现方法、存储介质、设备及系统，该方法包括基于弹幕投票方式，对多个待选脸部进行投票；选取投票数最多的待选脸部作为目标脸部；基于脸部关键点检测算法，对目标脸部进行脸部关键点检测，并对检测出的关键点进行三角剖分，确定目标脸部的三角形区域；对主播脸部进行脸部关键点检测，确定主播脸部的三角形区域；通过三角形的仿射变换，将目标脸部三角形区域的像素覆盖到主播脸部三角形区域。

上述发明专利提供了直播过程中的换脸，但是，换脸操作和直播流是串行的，会影响整个直播视频流的实时度和流畅度。

发明内容

有鉴于此，本发明提供一种直播实时人脸替换方法、介质及系统，能够解决串行的直播换脸操作影响整个直播视频流的实时度和流畅度的技术问题。

本发明是这样实现的：

本发明的第一方面提供一种直播实时人脸替换方法，其中，包括以下步骤：

S10、在直播视频流中得到上一帧和当前帧，并根据上一帧和当前帧得到预测帧；

S20、对预测帧进行换脸，即将预测帧中的目标人脸替换为所需人脸，所需人脸来自于预设；

S30、在直播视频流中得到下一帧，若下一帧与预测帧的非人脸区域相似度大于相似度阈值，则使用所述预测帧替换所述下一帧；否则，将下一帧中的目标人脸替换为所需人脸；

S40、重复步骤S10至S30，直到直播结束。

在上述技术方案的基础上，本发明的一种直播实时人脸替换方法还可以做如下改进:

其中，所述在直播视频流中得到上一帧和当前帧，并根据上一帧和当前帧得到预测帧的步骤，具体包括：

从直播源获取当前帧和上一帧；

对当前帧和上一帧进行预处理，所述预处理包括去噪、变形纠正、色彩校正、亮度调整、对比度增强，其中，预处理后的上一帧记为第一帧，预处理后的当前帧记为第二帧；

对第一帧和第二帧进行人脸特征提取，得到第一帧的脸特征向量和第二帧的人脸特征向量，其中，将第一帧的人脸特征向量记为第一人脸特征向量，将第二帧的人脸特征向量记为第二人脸特征向量；

根据第一人脸特征向量和上一帧的人脸特征向量计算上一帧到当前帧的变化函数；

利用所述变化函数，根据第二帧得到预测帧。

进一步的，所述对第一帧和第二帧进行人脸特征提取的步骤，具体为：