[发明专利]一种基于人脸检测的直播互动特效实现方法及系统

摘要

本发明公开了一种基于人脸检测的直播互动特效实现方法及系统，涉及直播特效技术领域。该方法包括：主播通过主播端将直播间设置为特效开启状态，用户通过用户端进入特效开启的直播间；当主播开始直播后，主播端启动音视频采样和编码，用户在用户端进行付费特效的购买；直播过程中，主播端进行实时的人脸检测并上报至直播服务器，用户端完成与主播的特效互动并上报至直播服务器；直播服务器根据收到的信息进行整合处理，并将处理后的数据分别发回至主播端、用户端；最后，分别在主播端、用户端的播放器中进行互动特效渲染。本发明能满足用户的多样化互动需求，使得用户体验更好。

主权项

1.一种基于人脸检测的直播互动特效实现方法，其特征在于，该方法包括以下步骤：S1：主播通过主播端将直播间设置为特效开启状态；用户通过用户端进入特效开启的直播间，转入S2；S2：当主播开始直播后，主播端启动音视频采样和编码，用户在用户端进行付费特效的购买操作，转入S3；S3：直播过程中，主播端对主播进行实时的人脸检测，并将人脸检测的数据上报至直播服务器；用户端根据用户选择使用的所述付费特效，完成与主播的特效互动，并将特效互动操作的信息上报至直播服务器，转入S4；S4：直播服务器根据收到的人脸检测的数据以及特效互动操作的信息进行整合处理，将特效添加到人脸检测后的相应部位；并将处理后的数据分别发送至主播端、用户端，转入S5；S5：主播端根据直播服务器整合处理后的数据，在主播端的播放器中进行互动特效的渲染；用户端根据直播服务器整合处理后的数据，在用户端的播放器中进行互动特效的渲染，结束；其中，所述步骤S3中，在对主播进行实时的人脸检测之后还包括人脸关键部位检测操作：利用已经预设好的人脸关键部位的特征映射和线性投影，得到一个更新的关键部位的形状；将关键部位的形状与检测到的人脸进行迭代，直至最终得到人脸关键部位的定位；其中，所述已经预设好的人脸关键部位的特征映射和线性投影是通过对每个关键部位所对应的局部二值化特征离线进行全局回归学习后训练得到的；步骤S2中所述付费特效包括动画特效和文字特效；所述动画特效包括：脸部墨镜特效、脸部腮红特效、变脸特效、头部花环特效，所述文字特效包括：脸部文字特效、额头文字特效、头顶文字特效。