[发明专利]一种立体图像变焦方法

摘要

本发明公开了一种立体图像变焦方法，其根据用户指定的聚焦深度获得左、右视点图像中的每个四边形网格的期望网格；然后提取左、右视点图像中的所有四边形网格对应的目标四边形网格的边缘弯曲能量、落于用户选择的对象内的所有四边形网格对应的目标四边形网格的坐标偏移能量和立体质量能量、落于背景区域内的所有四边形网格对应的目标四边形网格的背景保持能量，并通过优化使得总能量最小，进而获取立体图像的左视点图像和右视点图像中的每个四边形网格的最佳目标四边形网格，并通过双线性插值得到变焦后的左、右视点图像，这样可使得变焦后的立体图像能够保留精确的对象形状和准确的目标聚焦深度，具有近距离观看的沉浸感、具有较高的深度感。

主权项

1.一种立体图像变焦方法，其特征在于包括以下步骤：步骤一：将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{d_L(x,y)}；其中，1≤x≤W，1≤y≤H，L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值，R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_L(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点的像素值；步骤二：将{L(x,y)}分割成M个互不重叠的尺寸大小为22×22的四边形网格，将{L(x,y)}中的第k个四边形网格记为U_L,k；然后根据{L(x,y)}中的所有四边形网格和{d_L(x,y)}，获取{R(x,y)}中的所有互不重叠的尺寸大小为22×22的四边形网格，将{R(x,y)}中的第k个四边形网格记为U_R,k；其中，符号为向下取整运算符号，k为正整数，1≤k≤M，U_L,k通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示U_L,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，U_R,k通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示U_R,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值；采用尺度不变特征转换提取出{L(x,y)}中的所有特征点，将{L(x,y)}中的第q个特征点记为然后根据{L(x,y)}中的每个特征点和{d_L(x,y)}，获取{R(x,y)}中与{L(x,y)}中的每个特征点匹配的特征点，将{R(x,y)}中与匹配的特征点记为其中，q为正整数，1≤q≤Q，Q表示{L(x,y)}中的特征点的总个数，也表示{R(x,y)}中的特征点的总个数，表示的横坐标位置，表示的纵坐标位置，表示的横坐标位置，表示{d_L(x,y)}中坐标位置为的像素点的像素值，表示的纵坐标位置，步骤三：根据用户指定的聚焦深度偏移量，计算{L(x,y)}中的每个四边形网格的期望网格，将U_L,k的期望网格记为其中，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，也对应表示各自的期望网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，f表示相机的焦距，e表示待处理的立体图像的左视点与右视点之间的水平基线距离，Δz表示用户指定的聚焦深度偏移量；根据用户指定的聚焦深度偏移量，计算{R(x,y)}中的每个四边形网格的期望网格，将U_R,k的期望网格记为其中，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，也对应表示各自的期望网格顶点，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{d_L(x,y)}中坐标位置为的像素点的像素值；步骤四：{L(x,y)}中的每个四边形网格对应有目标四边形网格，将U_L,k对应的目标四边形网格记为同样，{R(x,y)}中的每个四边形网格对应有目标四边形网格，将U_R,k对应的目标四边形网格记为其中，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，也对应表示各自的目标网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，也对应表示各自的目标网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，步骤五：计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的边界弯曲能量，记为E_line；步骤六：用户通过编辑操作手工选择对象，然后根据{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格的期望网格，计算{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的坐标偏移能量，记为E_corr；步骤七：根据{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有特征点，计算{L(x,y)}和{R(x,y)}中落于用户选择的对象内的所有四边形网格对应的目标四边形网格的立体质量能量，记为E_depth；步骤八：根据{L(x,y)}中落于背景区域内的所有四边形网格及其对应的目标四边形网格、{R(x,y)}中落于背景区域内的所有四边形网格及其对应的目标四边形网格，计算{L(x,y)}和{R(x,y)}中落于背景区域内的所有四边形网格对应的目标四边形网格的背景保持能量，记为E_back；步骤九：根据E_line、E_corr、E_depth和E_back，计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的总能量，记为E_total，E_total＝λ₁E_line+λ₂E_corr+λ₃E_depth+λ₄E_back；然后通过最小二乘优化求解得到{L(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合及{R(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合，对应记为及接着计算{L(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵，将U_L,k对应的最佳目标四边形网格的仿射变换矩阵记为并计算{R(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵，将U_R,k对应的最佳目标四边形网格的仿射变换矩阵记为其中，λ₁、λ₂、λ₃、λ₄均为加权参数，min()为取最小值函数，表示{L(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合，表示{R(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合，表示U_L,k对应的最佳目标四边形网格，表示U_R,k对应的最佳目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点，通过其左上、左下、右上和右下4个网格顶点的集合来描述，表示U_R,k对应的最佳目标四边形网格，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点，(A_L,k)^T为A_L,k的转置，((A_L,k)^TA_L,k)^‑1为(A_L,k)^TA_L,k的逆，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(A_R,k)^T为A_R,k的转置，((A_R,k)^TA_R,k)^‑1为(A_R,k)^TA_R,k的逆，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置；步骤十：根据{L(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵，计算{L(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩形变换后的水平坐标位置和垂直坐标位置，将U_L,k中水平坐标位置为x'_L,k和垂直坐标位置为y'_L,k的像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{L(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩形变换后的水平坐标位置和垂直坐标位置，获取变焦后的左视点图像，记为其中，1≤x'_L,k≤W，1≤y'_L,k≤H，1≤x'≤W'，1≤y'≤H，W'表示变焦后的立体图像的宽度，变焦后的立体图像的高度为H，表示中坐标位置为(x',y')的像素点的像素值；同样，根据{R(x,y)}中的每个四边形网格对应的最佳目标四边形网格的仿射变换矩阵，计算{R(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩形变换后的水平坐标位置和垂直坐标位置，将U_R,k中水平坐标位置为x'_R,k和垂直坐标位置为y'_R,k的像素点经仿射变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{R(x,y)}中的每个四边形网格中的每个像素点经仿射变换矩形变换后的水平坐标位置和垂直坐标位置，获取变焦后的右视点图像，记为其中，1≤x'_R,k≤W，1≤y'_R,k≤H，1≤x'≤W'，1≤y'≤H，表示中坐标位置为(x',y')的像素点的像素值。