[发明专利]用于多视点降噪和高动态范围的系统和方法有效
| 申请号： | 201680050125.2 | 申请日： | 2016-11-30 |
| 公开（公告）号： | CN107925751B | 公开（公告）日： | 2019-06-04 |
| 发明（设计）人： | 乔纳森·蒂尔顿·巴龙;斯蒂芬·约瑟夫·迪韦尔蒂;瑞安·盖斯 | 申请（专利权）人： | 谷歌有限责任公司 |
| 主分类号： | H04N9/79 | 分类号： | H04N9/79;H04N9/64 |
| 代理公司： | 中原信达知识产权代理有限责任公司 11219 | 代理人： | 李佳;穆德骏 |
| 地址： | 美国加利*** | 国省代码： | 美国;US |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 用于 视点 动态 范围 系统 方法 | ||
本公开涉及可以改进和/或修改通过使用多视点图像捕获系统捕获到的图像的方法和系统。在示例实施例中，经由多视点图像捕获系统来捕获连拍图像数据。所述连拍图像数据可以包括至少一个图像对。基于至少一个纠正单应性函数来使所述至少一个图像对对齐。基于所述图像对的所述相应图像之间的立体视差来使所述至少一个对齐的图像对变形。然后堆叠所述变形和对齐的图像，并且应用去噪算法。可选地，可以将高动态范围算法应用于所述对齐、变形、且去噪的图像中的至少一个输出图像。
相关申请的交叉引用
本申请要求2015年12月7日提交的美国专利申请第14/961,102号的优先权，该案以引用的方式全部并入本文。
背景技术
多视点成像系统可操作以捕获场景的多个图像。在一些情况下，捕获到的图像可以包括如从不同视点、从不同观看角度、和/或在不同时间段内成像的来自场景的公共元素。此外，可以基于来自捕获到的图像的公共元素来将图像校正应用于多个图像中的至少一个图像。
发明内容
本公开中的实施例涉及用于改进立体视觉(并且更普遍地，多视点成像系统)中的图像质量的方法和系统。可以在空间上使来自立体视觉成像系统的图像对对齐并且变形，以校正图像时差。对齐和变形的图像对可以是“堆叠”的。可以将降噪算法应用于堆叠的图像。可以将高动态范围算法应用于一个或者多个去噪图像。
立体视差(将稳健的连拍去噪(robust burst denoising)和HDR处理应用于同时捕获到的图像对)或者图像连拍的快速高分辨率估计的组合可以在比通过使用来自单个相机的连拍而可能的时间更少的时间内提供高分辨率、低噪声图像。
在一个方面中，提供了一种方法。该方法包括：由计算系统接收连拍图像数据，其中，连拍图像数据包括由第一图像捕获系统生成的第一图像数据和由第二图像捕获系统生成的第二图像数据，其中，第一图像捕获系统和第二图像捕获系统的相应光轴隔开了基线距离，其中，第一图像数据和第二图像数据包括至少一个图像对。该方法进一步包括：由计算系统至少基于基线距离来确定连拍图像数据的立体视差，并且根据所确定的立体视差来调整第一图像数据或者第二图像数据中的至少一个以提供变形的图像堆叠。该方法进一步包括：根据连拍去噪算法来生成至少一个输出图像，其中，连拍去噪算法包括：确定变形的图像堆叠的加权平均值。该方法可以可选地包括：由计算系统确定至少一个纠正单应性函数(rectifying homography function)，其中，至少一个纠正单应性函数被配置为使多个图像对中的相应图像对对齐；以及根据至少一个纠正单应性函数来调整第一图像数据和第二图像数据中的至少一个。可选地，使第一图像捕获系统和第二图像捕获系统的相应光轴定向在大体上相同的方向上。
在一个方面中，提供了一种系统。该系统包括多个图像捕获系统，其中，该多个图像捕获系统包括至少第一图像捕获系统和第二图像捕获系统，其中，第一图像捕获系统可操作以捕获第一图像数据，并且第二图像捕获系统可操作以捕获第二图像数据，其中，第一图像捕获系统和第二图像捕获系统的相应光轴隔开了基线距离，其中，第一图像数据和第二图像数据包括连拍图像数据，该连拍图像数据具有至少一个图像对。该系统进一步包括控制器，该控制器包括存储器和处理器，其中，存储器配置为包含指令，并且其中，处理器配置为执行该指令以实施根据提供方法的以上方面的方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司，未经谷歌有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201680050125.2/2.html，转载请声明来源钻瓜专利网。
- 同类专利
- 用于多视点降噪和高动态范围的系统和方法-201680050125.2
- 乔纳森·蒂尔顿·巴龙;斯蒂芬·约瑟夫·迪韦尔蒂;瑞安·盖斯 - 谷歌有限责任公司
- 2016-11-30 - 2019-06-04 - H04N9/79
- 本公开涉及可以改进和/或修改通过使用多视点图像捕获系统捕获到的图像的方法和系统。在示例实施例中，经由多视点图像捕获系统来捕获连拍图像数据。所述连拍图像数据可以包括至少一个图像对。基于至少一个纠正单应性函数来使所述至少一个图像对对齐。基于所述图像对的所述相应图像之间的立体视差来使所述至少一个对齐的图像对变形。然后堆叠所述变形和对齐的图像，并且应用去噪算法。可选地，可以将高动态范围算法应用于所述对齐、变形、且去噪的图像中的至少一个输出图像。
- 具有改进调色板表和索引图编码的先进屏幕内容编码方法-201580028326.8
- 于浩平;马展;王炜;徐猛 - 华为技术有限公司
- 2015-06-25 - 2018-10-30 - H04N9/79
- 一种装置(100)用于执行用于屏幕内容编码的方法(1700)。所述方法包括基于当前编码单元(coding unit，cu)(101、213、401、501)获取(1701)颜色索引图(311、601、1301、1600)。所述方法还包括对所述颜色索引图进行编码(1703)，其中使用第一编码技术来对所述颜色索引图的至少一部分进行编码，第一标识符指示所述第一编码技术的主距离。所述方法还包括合并(1705)所述编码后的颜色索引图和所述第一标识符，以传输给接收器(200)。
- 控制方法、控制装置及电子装置-201611079139.5
- 韦怡 - 广东欧珀移动通信有限公司
- 2016-11-29 - 2018-06-29 - H04N9/79
- 本发明公开一种电子装置的控制方法。首先，控制图像传感器输出同一场景的合并图像和色块图像。其次，将色块图像转化成仿原图像，将仿原图像转化成仿原真彩图像。然后，将合并图像转化成合并真彩图像。接着，判断存储器的剩余容量是否小于或等于预定阈值。最后，在剩余容量小于或等于预定阈值时，根据图像参数保存合并真彩图像或仿原真彩图像，在剩余容量大于预定阈值时，保存合并真彩图像和仿原真彩图像。此外，本发明还公开一种控制装置和电子装置。本发明的控制方法、控制装置及电子装置根据存储器的容量和图像参数保存合并真彩图像和/或仿原真彩图像，避免固定保存其中一种图像或同时保存两种图像带来的盲目性，提高用户满意度。
- 一种图像处理系统、方法及装置-201410064914.4
- 赖钦伟;孔文海 - 炬芯（珠海）科技有限公司
- 2014-02-25 - 2017-07-25 - H04N9/79
- 本发明公开了一种图像处理系统、方法及装置，用以解决现有技术中的ISP架构存在的处理的图像大小兼容性差的问题，即图像传感器，用于获取图像；采样模块，用于根据图像传感器配置的图像分辨率与ISP模块处理的最大行分辨率，对接收的视频图像进行采样；ISP模块，用于接收采样模块传送的视频图像，并对该视频图像进行图像处理，还用于根据ISP模块处理的最大行分辨率，读取存储器中当前存储的静态图像，并对该静态图像进行图像处理，以及将处理后的图像发送至存储器；存储器，用于存储图像。这样，不需要要求ISP模块处理图像的大小的配置，降低了图像处理过程中的行缓存的需求，解决了ISP模块处理的图像大小兼容性差的问题。
- 一种信息处理方法和电子设备-201410508762.2
- 陈文辉;张乃雷 - 联想（北京）有限公司
- 2014-09-28 - 2016-11-30 - H04N9/79
- 本发明提供一种信息处理方法和电子设备，所述方法包括：分别获取第一图像采集单元和第二图像采集单元所采集的视频信息；将第一视频信息添加到第二视频信息的指定区域得到第三视频信息；将第三视频信息进行颜色格式转换得到第四视频信息；将第四视频信息转换为第五视频信息；对第一声音采集单元所采集的音频信息进行采样得到第一音频信息，并在每次采样时制作第一时间戳；对第一音频信息进行语音识别，并将识别出的语音转换为文字；将文字添加到第五视频信息的指定区域得到添加文字的第五视频信息；将添加文字的第五视频信息进行颜色格式转换得到第六视频信息；对第六视频信息、第一音频信息、第一时间戳进行编码得到能够播放的多媒体信息。
- 图像处理方法与模块-201310715054.1
- 侯莅聪;权参 - 瑞昱半导体股份有限公司
- 2013-12-16 - 2015-06-17 - H04N9/79
- 本发明提供一种图像处理方法，且所述图像处理方法包括以下步骤。首先，侦测基于贝尔图的色彩滤光片数组所产生的第一图像是否具有摩尔纹区域。接着，将第一图像进行色域转换，以产生基于红绿蓝色域的第二图像。然后，若第一图像具有摩尔纹区域，则针对第二图像的摩尔纹区域的部份多个子像素进行补偿，以产生第三图像，其中第二图像的摩尔纹区域对应于第一图像的摩尔纹区域。
- 一种彩色数字影像色度校正方法及系统-201410819987.X
- 刘强;万晓霞;滕冲;郝佳;梁金星;李俊锋 - 武汉大学
- 2014-12-25 - 2015-03-11 - H04N9/79
- 一种彩色数字影像色度校正方法及系统，包括构建典型色彩样本光谱反射率数据集，在源光源条件下计算数据集中各色彩样本色度信息并以主波长及色纯度为依据进行样本分组，求解目的光源条件下每组子集中各样本的色度信息；分别以源及目标光源条件下各分组样本子集色度信息为输入输出端，拟合构建神经网络；针对源光源下任一色度信息，通过分组判别方法确定对应神经网络，并依此预测其对应目标光源下色度信息。本发明可保证彩色影像色度信息在不同光照条件下映射的准确性，且实施方便。
- 一种Bayer域图像下采样的方法、装置及摄像设备-201310745128.6
- 田景军;党韩兵;詹进;张磊;孙浩;汪中华 - 上海富瀚微电子有限公司
- 2013-12-30 - 2014-04-09 - H04N9/79
- 本发明公开了一种Bayer域图像下采样方法、装置及摄影设备，下采样方法包括以下步骤：采集一Bayer域图像；对所述Bayer域图像的每一像素点进行插值处理，插值出缺失的另外两通道像素值；对所述插值处理后的Bayer域图像进行下采样处理，得到下采样处理后的Bayer域图像；输出所述下采样处理后的Bayer域图像给后续图像处理单元进行图像处理。通过在图像采集单元与图像处理单元之间设置插值单元和下采样单元，首先利用插值技术，对图像传感器输入的Bayer图像的每一像素点插值出缺失的另外两通道像素值，提高图像采样率；然后对插值的Bayer图像进行下采样，获得目标尺寸的Bayer图像，节省后续图像处理单元的硬件实现成本，同时达到较高的图像质量。
- 记录装置、记录方法、摄像装置、再生装置及视频系统-200780033819.6
- 伊达修;辻井训;山田诚 - 索尼株式会社
- 2007-11-07 - 2009-09-16 - H04N9/79
- 为了可以在再生装置中忠实地再现所记录的视频信号所持有的原来的颜色而将该视频信号记录于记录介质。用户可以指定sRGB颜色空间和扩展sRGB颜色空间中的任一个作为被记录的视频信号的颜色空间。信号处理部(131)生成与指定的颜色空间相对应的视频信号(亮度信号Y以及色差信号Cb/Cr)。编码/解码部(132)以MPEG4-AVC标准对该视频信号进行数据压缩并生成记录于记录介质(135)的压缩视频信号。CPU(121)生成包括表示用户指定的颜色空间的信息的颜色空间标识符并将存储有该颜色空间标识符的SEINAL单元包括在压缩视频信号中的包括SPSNAL单元的存取单元中。记录于记录介质(135)的视频信号被附加有持有该视频信号的颜色空间的信息的颜色空间标识符。
- 在变换的数字媒体内容中保留关于数字媒体权限的信息-200680012462.9
- A·简;B·B·卡特;B·P·依文;C·P·斯通 - 微软公司
- 2006-03-16 - 2009-06-24 - H04N9/79
- 此处所描述的是用于在变换(例如，译码)受DRM保护的数字媒体内容的同时保留相关联的DRM信息(例如，用户许可证及其相关信息)的一个或多个实现。
- 专利分类
