[发明专利]一种针对迭代应用的Spark平台资源动态分配方法及系统有效
| 申请号： | 201710481071.1 | 申请日： | 2017-06-22 |
| 公开（公告）号： | CN107291550B | 公开（公告）日： | 2019-11-12 |
| 发明（设计）人： | 王芳;冯丹;李源 | 申请（专利权）人： | 华中科技大学 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50 |
| 代理公司： | 华中科技大学专利中心 42201 | 代理人： | 廖盈春;李智 |
| 地址： | 430074 湖北*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种针对迭代应用的Spark平台资源动态分配方法及系统，包括：根据Spark集群的硬件信息为Spark集群的任务执行单元分配第一资源以用于任务执行单元执行迭代应用；确定每个监控周期下每个计算节点在执行所述迭代应用时的软件信息；根据每个计算节点在第m个监控周期下和第m+1个监控周期下执行迭代应用时的软件信息确定所述迭代应用对所述第一资源的使用量达到收敛；根据第1至第m+1个监控周期下每个计算节点在执行所述迭代应用时的软件信息为Spark集群的任务执行单元分配第二资源，以用于任务执行单元重新执行所述迭代应用。本发明在保证迭代应用正常而高效运行的同时，可以自动释放其占用的冗余系统资源，提高系统的整体资源利用率与应用的并发度。 | ||
| 搜索关键词： | 一种 针对 应用 spark 平台 资源 动态分配 方法 系统 | ||
【主权项】：
1.一种针对迭代应用的Spark平台资源动态分配方法，其特征在于，包括：根据Spark集群的硬件信息为Spark集群的任务执行单元分配第一资源以用于任务执行单元执行迭代应用，所述Spark集群包括至少一个计算节点，每个计算节点上启动至少一个任务执行单元，所述硬件信息包括每个计算节点的内存总量、可用内存量以及CPU核数，所述第一资源包括的内存量和CPU核数分别小于或等于每个计算节点的可用内存量和CPU核数；确定每个监控周期下每个计算节点在执行所述迭代应用时的软件信息，所述软件信息包括所述迭代应用对所述第一资源的内存使用量和CPU利用率；根据每个计算节点在第m个监控周期下和第m+1个监控周期下执行所述迭代应用时的软件信息确定所述迭代应用对所述第一资源的使用量达到收敛，m为正整数；若每个计算节点从第m个监控周期到第m+1个监控周期执行所述迭代应用时对所述第一资源所包括内存的使用量趋于稳定，则所述迭代应用对所述第一资源的使用量达到收敛；根据第1至第m+1个监控周期下每个计算节点在执行所述迭代应用时的软件信息为Spark集群的任务执行单元分配第二资源，以用于所述任务执行单元重新执行所述迭代应用，所述第二资源包括的内存量和CPU核数分别小于或等于第一资源包括的内存量和CPU核数。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华中科技大学，未经华中科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710481071.1/，转载请声明来源钻瓜专利网。
- 上一篇：一种智能执行检索任务的方法及装置
- 下一篇：一种容器的负载均衡调度方法和装置
