[发明专利]流式计算的增量持久化方法、装置及存储介质有效
| 申请号： | 201811388343.4 | 申请日： | 2018-11-21 |
| 公开（公告）号： | CN111211993B | 公开（公告）日： | 2023-08-11 |
| 发明（设计）人： | 程怡;石然;高伟康 | 申请（专利权）人： | 百度在线网络技术（北京）有限公司 |
| 主分类号： | H04L47/38 | 分类号： | H04L47/38;H04L47/62;H04L47/10;H04L47/41;G06F11/14 |
| 代理公司： | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人： | 宋合成 |
| 地址： | 100085 北京市*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提出一种流式计算的增量持久化方法及其装置、计算机程序产品、存储介质。其中，流式计算由多个节点进行，方法包括：获取当前节点的新增数据，并将新增数据根据操作类型分为多个数据单元，将多个数据单元存入存储系统。根据操作类型对存入存储系统的多个数据单元进行合并，以获得当前节点的持久化数据。由此，本发明实施例实现了在将数据存入存储系统后，将合并后的存储数据作为持久化数据，从而减少了存储系统中持久化数据的数据总量，降低了对系统存储资源的消耗，解决了现有技术中持久化数据总量过大的技术问题。 | ||
| 搜索关键词： | 计算 增量 持久 方法 装置 存储 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于百度在线网络技术（北京）有限公司，未经百度在线网络技术（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811388343.4/，转载请声明来源钻瓜专利网。
- 同类专利
- 压缩方法及装置、电子设备和存储介质-202210387410.0
- 王安宇;王小云 - 清华大学
- 2022-04-13 - 2023-10-27 - H04L47/38
- 本公开涉及一种压缩方法及装置、电子设备和存储介质，所述方法包括：将公钥证书的各信息条目中的预设信息进行提取，获得提取信息以及内容信息；对类型信息和长度信息进行压缩处理，获得第一压缩信息；根据值信息的数据类型，对内容信息进行压缩处理，获得第二压缩信息；根据第一压缩信息和第二压缩信息，获得公钥证书的压缩证书。根据本公开的实施例的压缩方法，可对公钥证书中各条目的类型信息和长度信息提取后的提取信息以及内容信息分别进行压缩，不依赖于字典和压缩软件，不额外占用传输和存储资源，且分别压缩的压缩方式为确定方式，其压缩率可预测，传输压缩证书所需的宽带稳定。
- 流式计算的增量持久化方法、装置及存储介质-201811388343.4
- 程怡;石然;高伟康 - 百度在线网络技术（北京）有限公司
- 2018-11-21 - 2023-08-11 - H04L47/38
- 本发明提出一种流式计算的增量持久化方法及其装置、计算机程序产品、存储介质。其中，流式计算由多个节点进行，方法包括：获取当前节点的新增数据，并将新增数据根据操作类型分为多个数据单元，将多个数据单元存入存储系统。根据操作类型对存入存储系统的多个数据单元进行合并，以获得当前节点的持久化数据。由此，本发明实施例实现了在将数据存入存储系统后，将合并后的存储数据作为持久化数据，从而减少了存储系统中持久化数据的数据总量，降低了对系统存储资源的消耗，解决了现有技术中持久化数据总量过大的技术问题。
- 自适应带宽的模型压缩方法及电子设备-202310082787.X
- 李丹丹;黄小红;张沛;谢坤;颛孙盈 - 北京邮电大学
- 2023-01-19 - 2023-06-09 - H04L47/38
- 本申请提供一种自适应带宽的模型压缩方法及电子设备。该方法基于联邦学习框架实现，包括接收服务器发送的初始化模型，并根据初始化模型，得到目标模型，获取带宽数据，并对带宽数据进行预测，根据预测结果，得到第一哈希矩阵，将所述目标模型压缩至所述第一哈希矩阵，以得到第二哈希矩阵；所述第二哈希矩阵用于被返回至所述服务器以使所述服务器聚合得到压缩后的目标模型。本申请在保证隐私的情况下提高联邦学习中的通信效率。
- 数据压缩方法、数据解压缩方法及电子设备-202211533923.4
- 李远超;蔡权雄;牛昕宇 - 深圳鲲云信息科技有限公司
- 2022-12-01 - 2023-06-06 - H04L47/38
- 本申请涉及一种数据压缩方法、数据解压缩方法及电子设备。方法包括：将待压缩数据中相同数值的数据作为一个索引建立初始查找表，依次对每个索引对应的数值执行编码操作后添加分割符，得到包含目标编码值和目标编码长度的编码列表，将编码列表添加至初始查找表，得到目标查找表，将待解压缩数据平均切分为至少两段码流数据，根据每段码流数据的分割符，获得每段码流数据包含的索引及每段码流数据的位置信息，根据索引及位置信息并行查找目标查找表，得到待解压缩数据的解压结果。本申请可以对压缩的数据进行并行解压缩操作提高解压缩的速度，使得解压缩的速度满足AI引擎对于大数据量的实时读写需求。
- 一种机车信号设备在信号切换时的解码方法-202210859078.3
- 滑福宁;刘立臣;刘书源 - 哈尔滨市科佳通用机电股份有限公司
- 2022-07-20 - 2023-04-11 - H04L47/38
- 一种机车信号设备在信号切换时的解码方法，本发明涉及机车信号设备在信号切换时的解码方法。本发明的目的是为了解决现有在机车轨道信号两种信号切换时，存在一定的时间延迟问题。过程为：一、对M个历史周期的解码结果及信号的强度进行记录，作为历史信号存入历史信号缓冲区；二、若当前周期解出的灯色信号个数大于1，且历史信号中某个灯色信号稳定持续了m个周期，执行三；否则，当前解出的灯色信号作为解码结果；三、分辨出历史信号与新入信号，历史信号存入历史信号缓冲区，新入信号存入各自新的缓冲区；四、从缓冲区中分别选取最新的N个周期进行分析；五、若历史信号强度持续降低且新入信号强度持续增强，则输出新入信号，否则输出历史信号。本发明用于机车信号解码领域。
- 一种基于AXI总线的数据压缩/解压缩方法及装置-202211375654.3
- 钟志亲;孙晗瑜;李南航 - 电子科技大学
- 2022-11-04 - 2023-03-21 - H04L47/38
- 一种基于AXI总线的数据压缩/解压缩方法及装置。本发明属于数字通信集成电路领域，具体涉及一种低功耗的并串转换电路。本发明将传统并串转换电路拆分为驱动电路和输出电路，采用触发器实现，通过调整触发器的连接方式、使能信号和增加三态门，降低了并行数据在转为串行输出时要经过的触发器数量，减小了数据传递出错的概率，从而降低了并串转换电路的功耗；并且提出将三态门和触发器进一步集成的方式，降低整个集成电路的面积，从功耗和面积两方面提高电路的性能。
- 许可码录入方法、装置、设备及存储介质-202211472450.1
- 陈雄;朱鸣 - 茂佳科技（广东）有限公司
- 2022-11-23 - 2023-03-14 - H04L47/38
- 本发明涉及数据处理技术领域，且本发明公开了一种许可码录入方法、装置、设备及存储介质，该方法包括：获取上传的多个许可码；根据打包算法将所述多个许可码打包压缩，生成目标许可码；将所述目标许可码分发到第一终端，以使第一终端对所述目标许可码进行解压，并将解压后的许可码录入第二终端。由于本发明是通过将用户上传的多个许可码根据打包算法进行打包压缩，生成目标许可码，然后将所述目标许可码分发到第一终端，然后第一终端对所述目标许可码进行解压，再将解压后的许可码录入到第二终端，相比于现有技术，本发明减少了将许可码分发到第一终端的传输时间，提高了电视生产效率。
- 一种无人系统群体信息共享还原方法与系统-202211520295.6
- 姜梁;吴国强;黄坤;张文娇;李午申;白超超 - 航天时代飞鸿技术有限公司
- 2022-11-30 - 2023-03-07 - H04L47/38
- 本发明属于无人集群、信息还原领域，涉及一种无人系统群体环境下的信息共享与还原方法与系统。首先对共享图像进行特征提取得到特征图，并对特征图编码压缩，将压缩后的图像特征传输到其他无人节点，在数据接收节点将获得的图像特征进行解码、还原。本发明采用改进的Inception V3网络结构，加入BN有效提升模型的非线性化，加入Dropout提升神经网络的稀疏性，减少每次训练所需参数量，提高模型泛化性；采用消除几何冗余和编码冗余两种冗余结合的无损压缩方式，既满足保真度又可大幅降低图像压缩率。
- 一种基于5G物联网的数据压缩传输方法-202211393523.8
- 李磊;史琳;龚宝;李亮;康文蕾;郭晓冬 - 陕西通信规划设计研究院有限公司
- 2022-11-08 - 2023-03-07 - H04L47/38
- 本发明涉及数据压缩传输技术领域，提出了一种基于5G物联网的数据压缩传输方法，包括：获取工厂的生产设备工况数据；通过生产设备工况数据中不同迭代周期获取其自相关系数，得到相应的最小周期并构建二维矩阵；对数据点分别获取同一周期内的第一异常程度及相邻周期内的第二异常程度，并得到数据点的第三异常程度；再对LOF算法进行修正，获取修正后的局部可达密度及局部离群因子，根据局部离群因子获取最优邻域K值，以最优邻域K值作为自适应分段大小，与之对应的局部可达距离作为自适应分段容差，对二维矩阵设备工况数据进行旋转门算法压缩，得到压缩结果并进行传输。本发明实现了对旋转门压缩算法的自适应获取最优分段以及最优分段容差。
- 基于北斗三代卫星短报文和人工智能的图像传输方法-202210582742.4
- 冯鹏祥;谭晓鹏;王虎;王宏涛;聂敏杰;杨怀斌 - 西安北斗安全技术有限公司
- 2022-05-25 - 2022-09-06 - H04L47/38
- 本发明涉及一种基于北斗三代卫星短报文和人工智能的图像传输方法，其包括以下步骤：1)、发送端选取待发送图像并对其进行压缩，形成原始压缩图像；2)、发送端根据北斗三代卫星短报文长度限制和北斗三代卫星短报文协议，拆分原始压缩图像，形成多个拆分后的原始压缩图像子集；3)、发送端对拆分后的原始压缩图像子集进行组包从而形成多个图像数据包，组包后按顺序对图像数据包进行发送；4)、接收端逐个接收来图像数据包，实行同步应答机制，并按顺序对图像数据包进行还原，形成还原压缩图像；5)、接收端采用人工智能图像增强技术对还原压缩图像进行图像增强处理。其能减少图像整体传输时间，提高传输图像质量，且成本低。
- 用于发送实时媒体流的方法和装置-202080093686.7
- P·威拉斯;P-E·布罗丁 - 瑞典爱立信有限公司
- 2020-11-02 - 2022-09-02 - H04L47/38
- 一种用于在通信网络中发送实时媒体流的方法和装置。该方法包括：在实时媒体流中将媒体流的基本部分与媒体流的非基本部分分离(604)；以及在第一承载上发送(606)媒体流的基本部分，以及在第二承载上发送媒体流的非基本部分。第一承载的优先级高于第二承载的优先级。该方法还包括：响应于第二承载上的流量状况的变化，执行媒体流的基本部分的适配(608)。
- 一种报文解码方法及装置、计算机可读存储介质-202210145393.X
- 周宁;李明兵;范亚林;秦志圣;刘子峰;姜士诚 - 北京和利时系统工程有限公司
- 2022-02-17 - 2022-05-31 - H04L47/38
- 一种报文解码方法及装置、计算机可读存储介质，所述方法包括接收数据位流，所述数据位流包含多包相同或大致相同的数据报文，所述多包大致相同的数据报文为其中至少一包数据报文存在错位、多位或少位中的至少一种传输错误导致；对接收的数据位流进行分段，每段数据位流的范围为N±n位，N为每包数据报文的位数，n为预设查找阈值，n为大于0的整数；对每段数据位流进行分组，对多段数据位流中的对应组数据和所述对应组数据的下一组数据逐个进行比较，根据比较结果对所述对应组数据进行修正并对所述对应组数据的后续组数据进行处理。本公开大大提高了干扰条件下的应答器信息传输单元的解码性能，减少了丢失应答器的概率。
- 数据传输方法、装置、处理设备、存储介质和芯片-202111523575.8
- 龙文洁;蒋廷金 - 杭州安恒信息安全技术有限公司
- 2021-12-14 - 2022-04-29 - H04L47/38
- 本申请提供了一种数据传输方法、装置、处理设备、存储介质和芯片，所述方法包括：获取数据传输请求；基于用户空间与内核空间之间的内存映射关系，将所述数据传输请求所对应的目标数据从原始存储器传输至所述内核空间内；在所述内核空间内对所述目标数据进行压缩；通过所述内核空间与硬件层之间的数据传输通道传输所述压缩后的目标数据。本申请可以对于采集到的数据利用内存映射技术进行数据存储，减少了数据拷贝次数和系统调用次数；并对存储的数据进行压缩，减少了数据占用的内存空间，减少了对内核空间的资源消耗，从而提高了数据采集和数据传输的效率。
- 专利分类
