[发明专利]一种数据并行排序方法和系统在审
| 申请号： | 201310446658.0 | 申请日： | 2013-09-26 |
| 公开（公告）号： | CN103530084A | 公开（公告）日： | 2014-01-22 |
| 发明（设计）人： | 陈建;唐会军;齐路 | 申请（专利权）人： | 北京奇虎科技有限公司;奇智软件（北京）有限公司 |
| 主分类号： | G06F7/24 | 分类号： | G06F7/24;G06F9/38;G06F17/30 |
| 代理公司： | 北京市浩天知识产权代理事务所 11276 | 代理人： | 韩龙;郭群 |
| 地址： | 100088 北京市西城区新*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种数据并行排序方法和系统。该系统包括数据源、通过网络连接数据源的多个并行处理单元、以及通信接口。该方法包括将待排序的数据分成多个数据块，各并行处理单元分别获取数据块并进行采样；第一并行处理单元汇总各并行处理单元的采样数据并进行排序，根据并行处理单元的数量确定全局排序区间序列，将全局排序区间序列中各数据区间与各并行处理单元依次对应；各并行处理单元判断本单元获取的数据块中每个数据所属的数据区间并将该数据分发至对应的并行处理单元；各并行处理单元接收数据并进行局部排序；将各并行处理单元的局部排序结果顺序组合。本发明提高了大规模数据的排序速度，同时对数据量有较高的扩展性。 | ||
| 搜索关键词： | 一种 数据 并行 排序 方法 系统 | ||
【主权项】：
一种数据并行排序方法，包括：将待排序的数据分成多个数据块，各并行处理单元分别获取一数据块并进行采样；第一并行处理单元汇总各并行处理单元采样得到的数据并进行排序，根据并行处理单元的数量确定全局排序区间序列，将全局排序区间序列中各数据区间与各并行处理单元依次对应；各并行处理单元判断本单元获取的数据块中每个数据所属的数据区间并将该数据分发至对应的并行处理单元；各并行处理单元接收数据并对属于本单元对应的数据区间的数据进行局部排序；将各并行处理单元的局部排序结果顺序组合。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司;奇智软件（北京）有限公司，未经北京奇虎科技有限公司;奇智软件（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310446658.0/，转载请声明来源钻瓜专利网。
- 上一篇：一种森林防火预警系统的设计方法
- 下一篇：一种入侵检测监控系统
- 同类专利
- 一种基于归并树的全排序加速器及应用-201611222156.X
- 李丽;陆沛栋;王堃;潘红兵;李伟;汪伟斌 - 南京大学
- 2016-12-27 - 2019-04-23 - G06F7/24
- 本发明的基于归并树的全排序加速器，包括：主控模块，接收运算信号，并根据所述运算信号确定排序、合并的次数、排序点数以及读写地址；输出控制信号，控制合并的开始和结束；运算单元，由若干比较器组成，根据所述运算信号执行比较逻辑运算，输出中间结果；FIFO存储单元，由若干寄存器组成，接收所述中间结果并存储，根据所述传输信号，执行中间结果的读写操作；主控制器与每一比较器、寄存器形成映射形成一个结点，所有结点形成归并树的处理结构。有益效果：资源开销较小使用更加灵活，同时有良好的并行性来满足高吞吐量系统的需求。
- 一种用于数据管理与决策的计算装置-201510058056.7
- 陈冀宽;吴汉铭 - 陈冀宽
- 2015-02-04 - 2018-10-30 - G06F7/24
- 一种用于数据管理与决策的计算装置，计算装置由系统排序单元、子集排序单元、计算单元群组的评价模块、决策模块构成。系统排序单元根据储存在数据源中的至少一笔数据的特征对于对应于至少一笔数据的至少一个以上元素进行排序而得到第一排序；子集排序单元，根据至少一笔数据的特征从具有第一排序的至少一个以上元素中选取子集合，对于子集合中的元素重新排序得到第二排序；计算单元群组计算第一排序与第二排序间的一致性相关程度，根据一致性相关程度以及第一评分计算关联于第一识别信息的第二评分，将第二评分储存在数据源中；决策模块从数据源取出第二评分，根据第二评分决定第一识别信息的级别，根据第一识别信息的级别而存取至少一笔数据。
- 一种基于指针地址偏移的排序方法和设备-201710624603.2
- 辛爱国;杨振江;同理;刘希童 - 北京北信源软件股份有限公司
- 2017-07-27 - 2017-12-12 - G06F7/24
- 本发明提供一种基于指针地址偏移的排序方法和设备用于解决现有技术中排序算法效率低的问题。其中方法包括接收一组不具有重复值的数据；根据该组数据新建指针数组；其中指针数组的大小等于该组数据的最大值和最小值之间的距离；遍历该组数据，根据该组数据中每一数值与最大值之间的距离对应的将指针数组中对应的单元赋值为指向该数值的指针；遍历该指针数组，从而获得按序排列的数据。本发明提高了特定场合下的排序速度。
- 一种适宜于FPGA实现的排序方法-201710659445.4
- 袁东华;王军;刘宝城;卢程程 - 电子科技大学
- 2017-08-04 - 2017-11-28 - G06F7/24
- 本发明属于堆排序领域，尤其涉及一种用于FPGA实现的排序方法。一种适宜于FPGA实现的堆排序方法，通过设计新的数据结构，把现有堆排序算法的二叉树结构修改为2k叉树，k≥2，增加数据比较的并行度，减少树的层数，从而减少对数据的访问次数，同时利用FPGA中RAM一个时钟可以输出多个数据的功能，可在一个时钟把要比较的2k孩子节点都读取出来，减少数据读取时间，使用2k叉树结构，简单地通过对非叶节点地址的移位和相加得到其孩子节点的地址，便于实现中的数据访问，降低实现的复杂度。本发明方法可大大降低排序的时延，提高排序模块的实时性。
- 信息推送方法和装置-201710662039.3
- 宋全旺;宋磊 - 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
- 2017-08-04 - 2017-11-28 - G06F7/24
- 本申请公开了信息推送方法和装置。该方法的一具体实施方式包括响应于接收到终端发送用于查询指标的查询请求，获取用于统计指标的多个时间序列；将多个时间序列聚类生成多个簇，其中，每个簇包括至少两个时间序列；对于每个簇，确定该簇中相关性最高的两个时间序列；向终端推送各个簇中相关性最高的两个时间序列。该实施方式提高了查询相关时间序列的效率。
- 一种高速数据流中top‑n基数数据的估算方法-201610954101.1
- 罗意;王小虎;石涵;王春鹏;赵晨晖 - 成都知道创宇信息技术有限公司
- 2016-10-27 - 2017-03-15 - G06F7/24
- 本发明提供了一种高速数据流中top‑n基数数据的估算方法，包括以下步骤定义“HyperLogLog Sketch矩阵”数据结构，设为S，其宽m高n，每个元素为一个HLL counter，对应的，有n个相互独立且哈希值为1～m的哈希函数，设为f1，f2，…，fn；当新数据D出现时，按业务进行分类，设为类型X；计算出xi＝fi(X)，其中i＝1，2，…，n；在S(1，x1)，S(2，x2)，…，S(n，xn)中的HLL counter中计入D，得到更新后的基数，分别为Y1，Y2，…，Yn，再得到估算基数Y；将数据类型X与估算基数Y更新进top‑n。本发明方法简单并方便由硬件并行实现，可以用来计算数据类型的基数却不保存数据类型本身，具有良好的安全性。
- 一种面向大数据的加速排序装置、方法、芯片、处理器-201610460936.1
- 马丽娜;范东睿;谢向辉;李宏亮;郑方 - 中国科学院计算技术研究所;无锡江南计算技术研究所
- 2016-06-22 - 2016-12-21 - G06F7/24
- 本发明提出一种面向大数据的加速排序装置、方法、芯片、处理器，涉及处理器设计领域，该方法对待排序列数据，每次取连续n位数据，取m组，并存放在所述寄存器组中；分别对m组所述待排序列数据进行排序，生成m组有序序列数据，通过排序算法将所述有序序列数据进行排序。本发明将所有与比较相关的排序算法复杂度降为原来的1/n；同时，这种n单元数据的连续访存，一定程度降低了访存开销，从而大大的提高了排序算法的执行速度，通过本发明，提高了单个节点处理器上针对排序应用的处理效率。
- 确定顶部N个或底部N个数据值-201280049563.9
- 阿贾伊·阿南特·英格尔;贸·曾 - 高通股份有限公司
- 2012-10-18 - 2014-06-18 - G06F7/24
- 一种方法包含在处理器处执行指令，其中执行所述指令包含将多个数据值中的一数据值与存储于存储装置的第一位置处的第一元素相比较。当所述数据值满足与所述第一元素相关的条件时，所述方法包含将所述第一元素移动到所述存储装置的第二位置，及将所述数据值插入到所述存储装置的所述第一位置中。
- 一种数据并行排序方法和系统-201310446658.0
- 陈建;唐会军;齐路 - 北京奇虎科技有限公司;奇智软件（北京）有限公司
- 2013-09-26 - 2014-01-22 - G06F7/24
- 本发明公开了一种数据并行排序方法和系统。该系统包括数据源、通过网络连接数据源的多个并行处理单元、以及通信接口。该方法包括将待排序的数据分成多个数据块，各并行处理单元分别获取数据块并进行采样；第一并行处理单元汇总各并行处理单元的采样数据并进行排序，根据并行处理单元的数量确定全局排序区间序列，将全局排序区间序列中各数据区间与各并行处理单元依次对应；各并行处理单元判断本单元获取的数据块中每个数据所属的数据区间并将该数据分发至对应的并行处理单元；各并行处理单元接收数据并进行局部排序；将各并行处理单元的局部排序结果顺序组合。本发明提高了大规模数据的排序速度，同时对数据量有较高的扩展性。
- 一种实现数据排序的电路和方法-201010138972.9
- 俞尧;唐珏;周凡;李厚刚;孙旭光 - 国际商业机器公司
- 2010-03-31 - 2011-10-05 - G06F7/24
- 本发明公开了一种对长度为N的序列进行排序的电路，包括：N个存储单元，用于存储长度为N的序列，该N个存储单元分为R行和C列，其中，N＝R×C；C个比较器，用于比较输入的新数据和C个存储单元存储的数据，输出比较信号；C个R选1多路开关，第k个R选1多路开关用于选择第k列的某一行的对应的存储单元存储的数据通过，输入给该列的比较器；N个控制信号命令寄存器，与所述N个存储单元对应，分别接收比较器的比较结果，输出的控制信号用于控制所述N个存储单元进行移位/插入/保持操作；流程控制模块，用于控制所述C个R选1多路开关的选通以及每一行的C个控制信号命令寄存器存储比较结果。
- 数据排序方法和装置-201010213299.0
- 洪荣峰 - 华为技术有限公司
- 2010-06-18 - 2010-10-20 - G06F7/24
- 本发明公开了一种数据排序方法和装置，属于数据处理领域。该方法包括：根据多个待处理数据的到达顺序，为该多个待处理数据添加序列号，根据该序列号，为该多个待处理的数据添加有效标记，并且在该序列号达到最大值溢出后，更换该有效标记；处理该多个待处理数据，得到多个处理结果；根据该序列号，并将该处理结果写入该存储器中；根据该有效标记，读取该存储器中的处理结果。还公开了一种数据排序装置。在读取报文处理结果之后，不需要通过删除有效标记的方式来避免报文处理结果被错误的多次读出，节省了有效标记的清除这一步骤，降低了排序RAM的读写次数，节省了芯片的功耗和资源。
- 并行排序装置、方法及程序-200780047646.3
- 枝广正人;山下庆子 - 日本电气株式会社
- 2007-12-04 - 2009-10-28 - G06F7/24
- 提供了一种其排序处理被加速的并行排序装置。基准值计算部件计算用作用于根据值的大小分配输入数据的区间的边界的多个基准值。输入数据聚集部件将输入数据划分为多个输入数据区域，并且通过并行处理计算用于将被划分的输入数据区域中的每一个中的数据分配给具有在由基准值计算部件计算的基准值上的边界的多个区间的映射信息。数据分配部件根据由输入数据聚集部件计算的映射信息通过并行处理将输入数据区域中每一个中的数据分配给多个区间。区间排序部件通过并行处理分别地排序由数据分配部件分配的多个区间中的数据。
- 专利分类
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
