[发明专利]一种考虑任务相关性的Hive优化方法及系统在审
申请号: | 201610607561.7 | 申请日: | 2016-07-28 |
公开(公告)号: | CN106250460A | 公开(公告)日: | 2016-12-21 |
发明(设计)人: | 杨訸;李焕;赵婷;刘贺;高昆仑;袁豪;陈江琦;黄复鹏;梁潇;王宇飞 | 申请(专利权)人: | 全球能源互联网研究院;国网上海市电力公司;国家电网公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京安博达知识产权代理有限公司11271 | 代理人: | 徐国文 |
地址: | 102209 北京市昌平*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种考虑任务相关性的Hive优化方法及系统,所述方法包括:将HQL语句转化为MapReduce物理计划,并获取所述MapReduce物理计划中各MapReduce Job在shuffle阶段用于排序的键shuffle key;根据相关性规则,合并所述各MapReduce Job中相关MapReduce Job;本发明提供的方法及系统,考虑Hive执行过程中,任务之间的相关性,最小化MapReduce Job数量。 | ||
搜索关键词: | 一种 考虑 任务 相关性 hive 优化 方法 系统 | ||
【主权项】:
一种考虑任务相关性的Hive优化方法,其特征在于,所述方法包括:将HQL语句转化为MapReduce物理计划,并获取所述MapReduce物理计划中各MapReduce Job在shuffle阶段用于排序的键shuffle key;根据相关性规则,合并所述各MapReduce Job中相关MapReduce Job。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于全球能源互联网研究院;国网上海市电力公司;国家电网公司,未经全球能源互联网研究院;国网上海市电力公司;国家电网公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201610607561.7/,转载请声明来源钻瓜专利网。