[发明专利]一种多视点视频整帧丢失错误隐藏方法

摘要

本发明公开了一种多视点视频整帧丢失错误隐藏方法，该方法通过预先判断丢失帧中各个图像块在时域与视点间相关性的强弱，以选择合适的参考帧，采用不同的恢复方法恢复丢失帧中的图像块，并对恢复得到的初步恢复帧进行空洞区域填补处理，得到丢失帧的最终恢复帧，优点在于本发明方法有效利用了视点间相关性与时域相关性，对于丢失帧中预先判定为时域相关性较强的图像块，采用时域直接拷贝的方法恢复图像块，不仅可减少计算复杂度，而且能提高所恢复的这部分图像块的主客观质量，而对于丢失帧中预先判定为时域相关性较差的图像块，采用视点间预测恢复的方法恢复图像块，可以有效提高这部分图像块恢复的准确性。

主权项

1.一种多视点视频整帧丢失错误隐藏方法，其特征在于包括以下步骤：①假定多视点视频的第s_c个视点中的第t_c时刻的图像帧为丢失帧，记为f(t_c，s_c)，则将多视点视频的第s_c个视点中已正确解码的时域上先于丢失帧f(t_c，s_c)且离丢失帧f(t_c，s_c)最近的图像帧记为f(t_p，s_c)，将多视点视频的第s_c个视点中已正确解码的时域上后于丢失帧f(t_c，s_c)且离丢失帧f(t_c，s_c)最近的图像帧记为f(t_b，s_c)，令s_l为多视点视频中离第s_c个视点最近的左视点的编号，令s_r为多视点视频中离第s_c个视点最近的右视点的编号，将多视点视频的第s_l个视点中已正确解码的第t_c时刻的图像帧记为f(t_c，s_l)，将多视点视频的第s_r个视点中已正确解码的第t_c时刻的图像帧记为f(t_c，s_r)，将多视点视频的第s_l个视点中已正确解码的第t_p时刻的图像帧记为f(t_p，s_l)，将多视点视频的第s_r个视点中已正确解码的第t_p时刻的图像帧记为f(t_p，s_r)，将多视点视频的第s_l个视点中已正确解码的第t_b时刻的图像帧记为f(t_b，s_l)，将多视点视频的第s_r个视点中已正确解码的第t_b时刻的图像帧记为f(t_b，s_r)，其中，t_p为多视点视频的第s_c个视点中已正确解码的时域上先于丢失帧f(t_c，s_c)且离丢失帧f(t_c，s_c)最近的图像帧f(t_p，s_c)所在的时刻，t_p＜t_c，t_b为多视点视频的第s_c个视点中已正确解码的时域上后于丢失帧f(t_c，s_c)且离丢失帧f(t_c，s_c)最近的图像帧f(t_b，s_c)所在的时刻，t_c＜t_b；②计算f(t_c，s_l)与f(t_c，s_r)的帧差图像，记为f(t_c)，f(t_c)＝|f(t_c，s_l)-f(t_c，s_r)|，同时计算f(t_p，s_l)与f(t_p，s_r)的帧差图像，记为f(t_p)，f(t_p)＝|f(t_p，s_l)-f(t_p，s_r)|，然后计算f(t_c)与f(t_p)的帧差图像，记为f_a，f_a＝|f(t_c)-f(t_p)|，其中，“||”为取绝对值符号；③将f_a分割成个互不重叠的尺寸大小为m×m的第一图像块，统计f_a中的每个第一图像块中像素值大于统计值判断阈值T₀的像素点的个数，并确定f_a中的每个第一图像块的映射状态：对于f_a中的第i个第一图像块，将其记为Blk_i，统计Blk_i中像素值大于统计值判断阈值T₀的像素点的个数，记为N_i，并确定Blk_i的映射状态，记为s(i)，s(i)=1,ifNi>N00,ifNi≤N0,]]>其中，W和H分别表示多视点视频中的图像帧的宽度和高度，N₀为映射状态判断阈值；④将丢失帧f(t_c，s_c)分割成个互不重叠的尺寸大小为m×m的第二图像块，将f(t_p，s_c)分割成个互不重叠的尺寸大小为m×m的第三图像块，将f(t_c，s_l)分割成个互不重叠的尺寸大小为m×m的第四图像块，然后根据f_a中坐标位置与丢失帧f(t_c，s_c)中的第二图像块的坐标位置对应的第一图像块的映射状态，利用f(t_p，s_c)中坐标位置与丢失帧f(t_c，s_c)中的第二图像块的坐标位置对应的第三图像块中各个像素点的像素值或f(t_c，s_l)中坐标位置与丢失帧f(t_c，s_c)中的第二图像块的坐标位置对应的第四图像块中各个像素点的像素值，逐一初步恢复丢失帧f(t_c，s_c)中的各个第二图像块，获得丢失帧f(t_c，s_c)的初步恢复帧，记为f′(t_c，s_c)，具体过程为：④-1、定义丢失帧f(t_c，s_c)中当前待初步恢复的第i个第二图像块为当前第二图像块，记为B_i，令为当前第二图像块B_i的左上角顶点的坐标位置；④-2、判断f_a中左上角顶点的坐标位置与当前第二图像块B_i的左上角顶点的坐标位置对应的第一图像块Blk_i的映射状态s(i)是否为0，如果是，则将f(t_p，s_c)中左上角顶点的坐标位置与当前第二图像块B_i的左上角顶点的坐标位置对应的第三图像块BP_i中各个像素点的像素值复制给当前第二图像块B_i中对应的像素点；否则，通过视差估计方法计算f(t_c，s_l)中左上角顶点的坐标位置与当前第二图像块B_i的左上角顶点的坐标位置对应的第四图像块BL_i在f(t_c，s_r)中的最佳匹配块，并得到相应的视差矢量(dx_i，dy_i)，然后将f(t_c，s_l)中左上角顶点的坐标位置与当前第二图像块B_i的左上角顶点的坐标位置对应的第四图像块BL_i中各个像素点的像素值复制给丢失帧f(t_c，s_c)中左上角顶点的坐标位置为的大小为m×m的图像块中对应的像素点，其中，D_L表示多视点视频的第s_l个视点和第s_c个视点之间的距离，D_R表示多视点视频的第s_r个视点和第s_c个视点之间的距离；④-3、令i′＝i+1，i＝i′，将丢失帧f(t_c，s_c)中下一个待初步恢复的第二图像块作为当前第二图像块B_i，返回步骤④-2继续执行，直至丢失帧f(t_c，s_c)中的所有第二图像块完成初步恢复为止，获得丢失帧f(t_c，s_c)的初步恢复帧f′(t_c，s_c)，其中，i′的初始值为0；⑤对丢失帧f(t_c，s_c)的初步恢复帧f′(t_c，s_c)进行空洞区域填补处理，获得丢失帧f(t_c，s_c)的最终恢复帧。