[发明专利]avs2编码器运动矢量处理系统、方法、装置、设备及介质在审

专利信息
申请号: 202110089571.7 申请日: 2021-01-22
公开(公告)号: CN112911309A 公开(公告)日: 2021-06-04
发明(设计)人: 文湘鄂;向国庆;徐辉;东健慧;王世超;张磊;刘洋;束文韬;宋磊;贾惠柱 申请(专利权)人: 北京博雅慧视智能技术研究院有限公司
主分类号: H04N19/52 分类号: H04N19/52;H04N19/122
代理公司: 北京辰权知识产权代理有限公司 11619 代理人: 刘广达
地址: 100193 北京市海淀区西*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: avs2 编码器 运动 矢量 处理 系统 方法 装置 设备 介质
【说明书】:

本公开涉及图像处理技术领域,具体提供了一种avs2编码器运动矢量处理系统、方法、装置、介质及设备,所述系统包括:一个共享的运动矢量行缓存,用于存储模式单元选择处理完当前编码单元后产生的运动矢量;一个预测运动矢量序号单元,用于存储处理完的运动矢量的序号;一个模式选择单元,用于向所述共享的运动矢量行缓存以及所述预测运动矢量序号单元中写入并处理数据;一个整像素预测单元,用于读取所述共享的运动矢量行缓存以及所述预测运动矢量序号单元中的数据并处理;一个分像素预测单元,用于读取并处理所述整像素预测单元处理完的数据;以及一个算术编码模块,用于对所述模式选择单元处理后的数据进行算术编码。

技术领域

本公开涉及图像处理技术领域,更为具体来说,本公开涉及avs2编码器运动矢量处理系统、方法、装置、设备及介质。

背景技术

avs2硬件编码器的架构包含PREIP(帧内预测),IME(整像素预测),FME(分像素预测),MD(模式抉择),AEC(算术编码)等主要功能模块,为提高硬件利用效率,这些模块被排成流水线运行,具体而言,PREIP与IME被安排在同一级流水,FME,MD,AEC各自占一级流水。同时每幅待编码图片被划分成不超过64x64像素大小的CU(编码单元,不足64x64的按实际尺寸划分),CU按扫描线顺序进入上述流水线,每级流水依次处理每一个CU。

一般而言,流水线中的功能模块对处于其流水线中前一级的功能模块存在数据依赖,比如IME没有完成对第0个CU的处理则FME不可以开始处理第0个CU,反过来看,处于流水线前级的功能模块一般不会对流水线后级的模块有数据依赖。但对于avs2硬件编码器而言,这种流水线范式有个例外,那就是处于流水线后级的MD产生的最优MV(运动矢量)必须回传给处于流水线前级的IME,而且对于小尺寸图片(宽度小于或等于192像素),上述流水线设计会在IME(第一级流水)和MD(第三级流水)间产生一个数据依赖。该依赖产生的机制如下:

IME需要利用到当前帧提供的原始像素和已编码帧提供的参考像素来做整像素运动估计,这两者对其它模块都没有数据依赖,但是在进行运动估计时,还需要当前帧的PMV(Predictive Motion Vector)确定搜索位置的起点,为了得到更准确的搜索起点,PMV需要根据当前帧周边相邻已编码CU的最优MV,包括左边,左上,上方,右上,通过中值预测等其他方式产生最终的PMV,而这些最优MV只有在做完MD(模式抉择)之后才能确定,考虑到编码处理CU的顺序都是扫描线方式,右上CU的MV结果一定是出来得最晚的那个,其带来的影响就是,IME模块中对当前CU的PMV计算依赖于其右上方CU在MD模块中计算出的最优MV值。另外需要指出的是,对于排在第一行的CU,其上方和右上方不存在CU,所以IME计算其PMV时不需要用到上方和右上的MV结果,同样对于排在非第一行但是处于最右边的CU,只存在其上方的CU,不存在其右上方CU,所以IME只需要等待其正上方CU的MV结果。

这个数据依赖对于宽一点的图像(宽度大于192)而言不存在问题,因为MD在流水线中只落后于IME两级,当IME计算PMV的时候其右上方CU的MV已经被计算出来了。但是对于宽度小于等于192像素的图片(比如QCIF格式176x144的图片),每行总共只有3个CU,IME计算第二行第一个CU的时候,MD正在处理第一行第二个CU,而第二行第一个CU需要知道第一行第二个CU的最优MV才能算出其自身的PMV。

发明内容

为解决现有技术不能满足用户的流水线设计高效运行的技术问题。

为实现上述技术目的,本公开提供了一种avs2编码器运动矢量处理系统,包括:

一个共享的运动矢量行缓存,用于存储模式单元选择处理完当前编码单元后产生的运动矢量;

一个预测运动矢量序号单元,用于存储处理完的运动矢量的序号;

一个模式选择单元,用于向所述共享的运动矢量行缓存以及所述预测运动矢量序号单元中写入并处理数据;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京博雅慧视智能技术研究院有限公司,未经北京博雅慧视智能技术研究院有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110089571.7/2.html,转载请声明来源钻瓜专利网。

同类专利
  • 解码装置、编码装置和数据发送装置-202311118952.9
  • 李在镐 - LG电子株式会社
  • 2019-08-06 - 2023-10-20 - H04N19/52
  • 解码装置、编码装置和数据发送装置。根据本发明的由解码装置执行的图像解码方法包括以下步骤:从比特流获得与当前块有关的运动预测信息;生成当前块的仿射MVP候选列表;基于仿射MVP候选列表来推导当前块的CP的CPMVP;基于运动预测信息来推导当前块的CP的CPMVD;基于CPMVP和CPMVD来推导当前块的CP的CPMV;以及基于CPMV来推导当前块的预测样本。
  • 解码方法、编码方法和数据发送方法-202311115264.7
  • 李在镐 - LG电子株式会社
  • 2019-08-06 - 2023-10-20 - H04N19/52
  • 解码方法、编码方法和数据发送方法。根据本发明的由解码装置执行的图像解码方法包括以下步骤:从比特流获得与当前块有关的运动预测信息;生成当前块的仿射MVP候选列表;基于仿射MVP候选列表来推导当前块的CP的CPMVP;基于运动预测信息来推导当前块的CP的CPMVD;基于CPMVP和CPMVD来推导当前块的CP的CPMV;以及基于CPMV来推导当前块的预测样本。
  • 解码方法、编码方法和数据发送方法-202311119548.3
  • 李在镐 - LG电子株式会社
  • 2019-08-06 - 2023-10-20 - H04N19/52
  • 解码方法、编码方法和数据发送方法。根据本发明的由解码装置执行的图像解码方法包括以下步骤:从比特流获得与当前块有关的运动预测信息;生成当前块的仿射MVP候选列表;基于仿射MVP候选列表来推导当前块的CP的CPMVP;基于运动预测信息来推导当前块的CP的CPMVD;基于CPMVP和CPMVD来推导当前块的CP的CPMV;以及基于CPMV来推导当前块的预测样本。
  • 可学习通用视频编码方法、系统、设备及存储介质-202310701644.2
  • 李礼;盛锡华;刘东;李厚强 - 中国科学技术大学
  • 2023-06-14 - 2023-10-20 - H04N19/52
  • 本发明公开了一种可学习通用视频编码方法、系统、设备及存储介质,它们是一一对应的方案,方案中:运动编码时使用上一帧的重建特征作为参考特征,直接进行运动预测,无需获得像素域的参考视频,也即无需额外的运动估计模块,而是直接利用当前视频帧和参考特征进行进行联合运动预测和编码;并且,解码出的视频帧的重建特征可以直接应用于人类视觉任务和机器视觉任务;此外,还可以根据指定任务的类型使用相关的任务网络来进行后续任务处理,无需改变基于特征的视频编码部分。总体而言,本发明实现了高效的视频编码,可以同时取得高人类视觉任务性能和高机器视觉任务性能,不仅节省了编码时间,还节省了面向人类和机器视觉任务时的解码时间。
  • 视频编解码方法、装置、计算机可读介质及电子设备-202210260543.1
  • 王英彬 - 腾讯科技(深圳)有限公司
  • 2022-03-16 - 2023-09-26 - H04N19/52
  • 本申请的实施例提供了一种视频编解码方法、装置、计算机可读介质及电子设备。该视频解码方法包括:根据参考帧为当前帧的已解码块的位移矢量,生成预测矢量候选列表;从所述预测矢量候选列表中选择待解码的当前块的预测矢量;基于所述当前块的预测矢量对所述当前块进行解码处理。本申请实施例的技术方案可以根据参考帧为当前帧的已解码块的位移矢量构建更适合的预测矢量候选列表,以保证从中选择出更为准确的预测矢量,有利于提升编码性能。
  • 视频编解码方法、装置、计算机可读介质及电子设备-202210260545.0
  • 王英彬 - 腾讯科技(深圳)有限公司
  • 2022-03-16 - 2023-09-26 - H04N19/52
  • 本申请的实施例提供了一种视频编解码方法、装置、计算机可读介质及电子设备。该视频解码方法包括:从码流中解码得到参考范围指示信息,所述参考范围指示信息用于指示帧内块复制模式所使用的目标参考范围,所述目标参考范围包括全局参考范围和局部参考范围中的至少一个;根据所述目标参考范围选择待解码的当前块的预测块矢量;基于所述当前块的预测块矢量对所述当前块进行解码处理。本申请实施例的技术方案可以针对不同的参考范围,选择对应的预测块矢量,进而可以提高块矢量预测的准确率,降低块矢量的编码代价,提升编码性能。
  • 使用双向编码单元加权的视频编码方法和装置-202310727831.8
  • 苏郁琪;陈庆晔;林芷仪;庄子德 - 寰发股份有限公司
  • 2019-05-23 - 2023-09-22 - H04N19/52
  • 公开了一种对编解码系统进行编码或解码的方法和装置,其中对编解码系统启用双向CU(编码单元)加权(BCW)以允许使用多对加权。根据该方法,为当前块生成合并候选列表,其中当目标合并候选对应于所选合并候选时,与合并候选列表中的目标合并候选相关联的当前块的双向预测子的当前双向CU加权被设置为预定义加权对。在另一种方法中,当目标合并候选对应于所选择的合并候选时,与合并候选列表中的目标合并候选相关联的双向预测子的当前双向CU加权继承自目标合并候选。
  • 图像编码/解码设备和图像数据发送设备-202310937345.9
  • 朴婡利;南廷学;张炯文 - LG电子株式会社
  • 2019-08-13 - 2023-09-22 - H04N19/52
  • 本申请涉及图像编码/解码设备和图像数据发送设备。根据本发明的图像解码方法包括以下步骤:推导当前块的基于历史的运动向量预测HMVP缓冲器;基于包括在HMVP缓冲器中的HMVP候选来推导当前块的运动信息;基于运动信息来生成当前块的预测样本;以及基于预测样本来生成恢复样本,其中,当处理包括当前块的当前CTU所在的CTU行中的第一CTU时,将HMVP缓冲器初始化。
  • 图像编码/解码设备和图像数据发送设备-202310935098.9
  • 朴婡利;南廷学;张炯文 - LG电子株式会社
  • 2019-08-13 - 2023-09-19 - H04N19/52
  • 本申请涉及图像编码/解码设备和图像数据发送设备。根据本发明的图像解码方法包括以下步骤:推导当前块的基于历史的运动向量预测HMVP缓冲器;基于包括在HMVP缓冲器中的HMVP候选来推导当前块的运动信息;基于运动信息来生成当前块的预测样本;以及基于预测样本来生成恢复样本,其中,当处理包括当前块的当前CTU所在的CTU行中的第一CTU时,将HMVP缓冲器初始化。
  • 图像编码/解码设备和图像数据发送设备-202310910010.8
  • 李在镐 - LG电子株式会社
  • 2019-04-01 - 2023-09-19 - H04N19/52
  • 本申请涉及图像编码/解码设备和图像数据发送设备。根据本发明,一种由解码装置实现的图片解码方法包括以下步骤:从比特流中获取运动预测信息;生成包括针对当前块的仿射MVP候选的仿射MVP候选列表;基于包括在仿射MVP候选列表中的仿射MVP候选中的一个仿射MVP候选推导针对当前块的各个CP的CPMVP;基于包括在所获取的运动预测信息中的关于各个CP的CPMVD的信息推导针对当前块的CP的CPMVD;以及基于CPMVP和CPMVD推导针对当前块的CP的CPMV。
  • 图像编码/解码方法、图像数据发送方法和存储介质-202310931327.X
  • 朴婡利;南廷学;张炯文 - LG电子株式会社
  • 2019-08-13 - 2023-09-19 - H04N19/52
  • 本申请涉及图像编码/解码方法、图像数据发送方法和存储介质。根据本发明的图像解码方法包括以下步骤:推导当前块的基于历史的运动向量预测HMVP缓冲器;基于包括在HMVP缓冲器中的HMVP候选来推导当前块的运动信息;基于运动信息来生成当前块的预测样本;以及基于预测样本来生成恢复样本,其中,当处理包括当前块的当前CTU所在的CTU行中的第一CTU时,将HMVP缓冲器初始化。
  • 视频解码的方法、计算设备和存储介质-202310902795.4
  • 陈漪纹;王祥林 - 北京达佳互联信息技术有限公司
  • 2019-08-29 - 2023-09-15 - H04N19/52
  • 在计算设备处执行解码方法。在对视频比特流中的当前图片进行解码时,计算设备根据在视频比特流中用信号传输的语义元素选择一个参考图片作为当前图片的并置图片,并且根据固定顺序基于当前编码单元(CU)的空间相邻块的运动信息确定并置图片与当前图片之间的时间向量。接下来,计算设备将当前CU分割成多个子块,基于该时间向量和并置图片中与当前图片的子块相对应的子块的运动信息获得每个子块的时间运动向量预测值,并且根据时间运动向量预测值对当前CU进行解码。
  • 视频编码方法及装置、视频解码方法及装置-202310778788.8
  • 简云瑞;黄跃;闻兴 - 北京达佳互联信息技术有限公司
  • 2023-06-28 - 2023-09-05 - H04N19/52
  • 本公开关于一种视频编码方法及装置、视频解码方法及装置。视频编码方法包括:从当前块的运动信息候选列表中,选择出当前块的目标运动信息;在目标运动信息是预定运动信息的情况下,对目标运动信息的相关信息采用等长编码的编码方式进行编码,其中,预定运动信息是运动信息候选列表中前预定数量个运动信息中的一个运动信息,前预定数量个运动信息属于同一类型;在目标运动信息不是预定运动信息的情况下,对目标运动信息的相关信息采用截断一元码的编码方式进行编码。
  • 图像解码方法、图像编码方法、存储介质和发送方法-202310841208.5
  • 李在镐;金昇焕 - LG电子株式会社
  • 2019-09-06 - 2023-08-29 - H04N19/52
  • 图像解码方法、图像编码方法、存储介质和发送方法。根据本文的一种由解码设备执行图像解码的方法包括以下步骤:形成用于推导当前块的子块单元的运动信息的候选列表,其中,所述候选列表包括构造候选;基于所述候选列表来推导所述当前块的控制点CP的控制点运动矢量CPMV;基于所述CPMV来推导所述当前块的预测样本;以及基于推导出的所述预测样本来生成所述当前块的重构图片,其中,基于第一组中的第一邻近块、第二组中的第二邻近块、第三组中的第三邻近块和第四邻近块中的至少两个的组合来推导所述构造候选,并且所述组合中所包括的所述第一邻近块、所述第二邻近块、所述第三邻近块和所述第四邻近块具有相同的参考图片索引。
  • 图像解码方法、图像编码方法、存储介质和发送方法-202310842979.6
  • 李在镐;金昇焕 - LG电子株式会社
  • 2019-09-06 - 2023-08-25 - H04N19/52
  • 图像解码方法、图像编码方法、存储介质和发送方法。根据本文的一种由解码设备执行图像解码的方法包括以下步骤:形成用于推导当前块的子块单元的运动信息的候选列表,其中,所述候选列表包括构造候选;基于所述候选列表来推导所述当前块的控制点CP的控制点运动矢量CPMV;基于所述CPMV来推导所述当前块的预测样本;以及基于推导出的所述预测样本来生成所述当前块的重构图片,其中,基于第一组中的第一邻近块、第二组中的第二邻近块、第三组中的第三邻近块和第四邻近块中的至少两个的组合来推导所述构造候选,并且所述组合中所包括的所述第一邻近块、所述第二邻近块、所述第三邻近块和所述第四邻近块具有相同的参考图片索引。
  • 候选MV列表构建方法和装置-202310665800.4
  • 孟学苇;郑萧桢;王苫社;马思伟 - 北京大学;深圳市大疆创新科技有限公司
  • 2019-01-02 - 2023-08-25 - H04N19/52
  • 本申请实施例提供一种候选MV列表构建方法和装置,包括:在帧间预测模式为第一合并模式时,构建第一合并模式下的当前图像块的第一候选MV列表;在帧间预测模式为第二合并模式时,获取当前图像块的第一候选MV列表,若第一候选MV列表中包括双向MV,则对第一候选MV列表中的MV进行重组,得到第二合并模式下的当前图像块的第二候选MV列表。本申请实施例提供的候选MV列表构建方法和装置,可降低视频编解码装置硬件的复杂度。
  • 图像解码设备、图像编码设备和数据发送设备-202310839109.3
  • 李在镐;金昇焕 - LG电子株式会社
  • 2019-09-06 - 2023-08-25 - H04N19/52
  • 图像解码设备、图像编码设备和数据发送设备。根据本文的一种由解码设备执行图像解码的方法包括以下步骤:形成用于推导当前块的子块单元的运动信息的候选列表,其中,所述候选列表包括构造候选;基于所述候选列表来推导所述当前块的控制点(CP)的控制点运动矢量(CPMV);基于所述CPMV来推导所述当前块的预测样本;以及基于推导出的所述预测样本来生成所述当前块的重构图片,其中,基于第一组中的第一邻近块、第二组中的第二邻近块、第三组中的第三邻近块和第四邻近块中的至少两个的组合来推导所述构造候选,并且所述组合中所包括的所述第一邻近块、所述第二邻近块、所述第三邻近块和所述第四邻近块具有相同的参考图片索引。
  • 候选MV列表构建方法和装置-202310664406.9
  • 孟学苇;郑萧桢;王苫社;马思伟 - 北京大学;深圳市大疆创新科技有限公司
  • 2019-01-02 - 2023-08-22 - H04N19/52
  • 本申请实施例提供一种候选MV列表构建方法和装置,包括:在帧间预测模式为第一合并模式时,构建第一合并模式下的当前图像块的第一候选MV列表;在帧间预测模式为第二合并模式时,获取当前图像块的第一候选MV列表,若第一候选MV列表中包括双向MV,则对第一候选MV列表中的MV进行重组,得到第二合并模式下的当前图像块的第二候选MV列表。本申请实施例提供的候选MV列表构建方法和装置,可降低视频编解码装置硬件的复杂度。
  • 运动矢量预测方法、系统、电子设备及存储介质-202310355296.8
  • 禹治祥;邱军;陈州辉;黄建军 - 湖南国科微电子股份有限公司
  • 2023-04-06 - 2023-08-22 - H04N19/52
  • 本申请公开了一种运动矢量预测方法、系统、电子设备及存储介质,通过获取当前块和参考窗;逐行或逐列读取参考窗的像素点数据,当已读取的像素点的行数达到N或列数达到N列时,基于已读取的像素点数据进行至少一个参考块与当前块的绝对差值和计算,得到至少一个候选绝对差值和计算值;采用蛇形或螺旋搜索方式遍历整个参考窗并读取参考窗的剩余的像素点数据;在遍历参考窗的过程中,基于已读取的像素点数据进行参考窗中剩余参考块与当前块的绝对差值和计算,得到剩余参考块对应的候选绝对差值和计算值;基于全部候选绝对差值和计算值确定运动矢量值。本申请在完成部分参考像素点数据的读取后立即进行绝对差值和计算,有效提升运动矢量的计算效率。
  • 视频图像解码方法、编码方法及装置-202310526825.6
  • 陈旭;郑建铧 - 华为技术有限公司
  • 2019-03-11 - 2023-08-15 - H04N19/52
  • 本申请提供一种视频图像解码方法、编码方法及装置,用以一定程度上解决预测准确度较低的问题。方法包括:当从码流中解析出的第一标识为第一值时,确定当前待处理图像块的第一初始运动矢量预测值、第二初始运动矢量预测值、第一运动矢量差、以及第二运动矢量差;根据第一初始运动矢量预测值、第一运动矢量差确定第一运动矢量预测值,以及根据第二初始运动矢量预测值、第二运动矢量差确定第二运动矢量预测值;根据第一运动矢量预测值、第二运动矢量预测值执行MVR处理得到第一修正运动矢量预测值和第二修正运动矢量预测值;第一修正运动矢量预测值和第二修正运动矢量预测值用于对当前待处理图像块或者子块进行预测,从而预测准确度相对得以提高。
  • 图像的补偿方法、装置、终端设备及计算机存储介质-202310469944.2
  • 李佳明;李国鑫 - 歌尔股份有限公司
  • 2023-04-23 - 2023-08-08 - H04N19/52
  • 本申请公开了一种图像的补偿方法、装置、终端设备及计算机存储介质,涉及图像处理技术领域,应用于配置有图像采集装置的车辆,本申请图像的补偿方法包括:通过所述图像采集装置获取初始图像数据,确定所述初始图像数据对应的延迟时长;基于所述延迟时长确定帧数补偿公式,并通过预设的深度学习模型确定初始像素点对应的速度矢量,其中,所述初始像素点为处于所述初始图像数据内的像素点;根据所述帧数补偿公式和所述速度矢量生成目标图像数据,并基于所述目标图像数据执行插帧操作以进行对初始图像数据的补偿。采用本申请能够实现令车载AR技术能够对复杂场景下的图像数据进行处理从而准确预测像素点对应的运动矢量的技术效果。
  • 媒体文件传输方法、封装方法以及解封装方法-202210068295.0
  • 胡颖 - 腾讯科技(深圳)有限公司
  • 2022-01-20 - 2023-08-01 - H04N19/52
  • 本申请提供了一种媒体文件传输方法、封装方法以及解封装方法。该方法涉及多媒体领域中文件传输技术领域,该包括:获取媒体资源描述文件,该媒体资源描述文件包括多个媒体文件的描述文件;在该多个媒体文件的描述文件中选择目标媒体文件的描述文件;该目标媒体文件包括该目标媒体文件中的目标图像的扩展信息;基于该目标媒体文件的描述文件发送资源请求,该资源请求用于请求该目标媒体文件;接收该目标媒体文件;响应于在该目标图像的目标区域上执行的选择操作,呈现该扩展信息或呈现用于用户对该扩展信息执行操作的控件。本申请提供的媒体文件传输方法能够提升用于的观看体验。
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top