[发明专利]基于深度高斯过程回归的图像编码、解码以及压缩方法

说明书

本发明公开一种基于深度高斯过程回归的图像编码方法，包括：采用编码卷积神经网络得到待编码图像的瓶颈层多通道特征，作为第一特征图；将第一特征图中的每个特征量化为整数，得到第二特征图；基于深度高斯过程回归的自回归模型和超先验模型，对第二特征图的每一个通道，加权组合多个高斯分布的混合高斯分布编码特征，生成特征二进制码流；将超先验模型得到的超先验信息编码为超先验二进制码流；合并超先验二进制码流与特征二进制码流，得到压缩图像的二进制码流。采用非参数化的深度高斯过程回归方法进行自回归建模，将深度高斯过程回归输出的后验分布作为混合高斯模型的均值，可以灵活地获得均值估计的不确定性，从而得到更准确的均值估计。

技术领域

本发明涉及图像压缩领域，具体地，涉及一种基于深度高斯过程回归的图像编码、解码以及压缩方法。

背景技术

近年来，深度神经网络在图像压缩领域中得到广泛应用。在近几年兴起的端到端图像压缩方法中，深度神经网络代替了传统图像压缩方法中的变换、量化和熵编码模块。目前主流的端到端图像压缩方法采用的是变分自编码器的架构。在这种架构中，对瓶颈层特征熵模型建模的准确性因极大影响码率的大小而引起广泛关注。

早期的熵模型假设瓶颈层特征的元素之间是相互独立的。经过对现有技术的文献检索发现，J.Ballé等人在2017年的International Conference on LearningRepresentation会议上发表的“End-to-end Optimized Image Compression”一文中提出了一种非参数化的、可完全分解的熵模型。随后，为了利用瓶颈层特征元素之间的依赖关系，基于上下文的熵模型被提出。现有的基于上下文建立熵模型的方法主要分为两种。第一种是基于三维上下文的熵模型，它同时考虑了瓶颈层特征通道内和通道间元素的相关性。第二种是基于二维上下文的熵模型，由于它只考虑瓶颈层特征通道内元素的相关性，相比于基于三维上下文的熵模型，在编解码时通道之间可以并行，极大减少了计算和时间开销，因此引起了人们广泛的兴趣。

在基于二维上下文的熵模型中，主要有两种方法利用上下文进行建模。第一种是自回归方法，由于因果性，它只能利用瓶颈层特征中已经解码的元素。第二种是J.Ballé等人在2018年的International Conference on Learning Representation会议上发表的“Variational Image Compression With a Scale Hyperprior”一文中提出的超先验模型。它利用卷积神经网络获取全局的上下文信息，但是需要存储额外的码流。目前主流的基于二维上下文的熵模型同时用到了这两种互补的方法，比如Minnen等人在2018年的Conference and Workshop on Neural Information Processing Systems会议上发表的“Joint Autoregressive and Hierarchical Priors for Learned Image Compression”一文中提出的熵模型。然而，现有的基于二维上下文的熵模型都用确定的参数估计瓶颈层特征中元素的分布，比如，混合高斯分布中的均值，即熵模型基于混合高斯分布来估计瓶颈层特征的分布，具体地对于每个特征，将混合高斯分布的均值作为对于其该特征的预测值，并对产生的残差根据均值为零、方差为所估计方差的混合高斯分布来估计用于编码的概率值。因此，当均值的估计并不准确时，会产生更大的残差，从而导致对应概率值变小，码率增大。目前混合高斯分布是基于确定个数的高斯分布均值的线性组合来估计均值，而不是估计该均值的分布，因此更容易受到输入图像的影响，从而对瓶颈层特征的估计值会不准确、产生偏离，使得用于编码的估计概率远离高斯分布的峰值，导致压缩图像的码率增大，使率失真性能变差。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于深度高斯过程回归的图像编码、解码以及压缩方法。

根据本发明的一个方面，提供一种基于深度高斯过程回归的图像编码方法，包括：

采用编码卷积神经网络得到待编码图像的瓶颈层多通道特征，作为第一特征图；