[发明专利]一种大规模数据分发系统运行时自适应优化方法

摘要

本发明公开了一种大规模数据分发系统运行时自适应优化方法，目的是提供一种使得大规模数据分发系统能够稳定运行的优化方法。技术方案是，先构建大规模数据分发系统运行时自适应优化系统，在边缘节点上部署数据分发子系统和监控代理，在中心计算节点上部署数据汇集器和自适应优化系统；通过自适应优化系统的资源分类模块、性能阈值模块和优化策略生成模块，产生优化策略，形成优化策略库；任意边缘节点上数据分发子系统从优化策略库获取优化策略，采用优化策略在本边缘节点上实施优化。采用本发明可生成大规模分发系统故障的优化策略，根据运行时状态采用相应优化策略可以自动修复绝大多数故障，使得大规模数据分发系统稳定运行。

主权项

1.一种大规模数据分发系统运行时自适应优化方法，其特征在于包括以下步骤：第一步，构建大规模数据分发系统运行时自适应优化系统，它由m个数据分发子系统、m个监控代理、一个数据汇集器和一个自适应优化系统组成；数据分发子系统运行在边缘节点上，监控代理运行在安装了数据分发子系统的边缘节点上，数据汇集器和自适应优化系统分别运行在可独立运行的中心计算节点上，运行监控代理和数据分发子系统的边缘节点、数据汇集器和自适应优化系统三者之间通过互联网相互交互；边缘节点、中心计算节点均是服务器或微机，m≥1，m是整数；监控代理是运行在边缘节点上的软件，与数据分发子系统和数据汇集器相连；每个监控代理从本计算机节点的日志中采集CPU利用率、内存利用率、磁盘利用率三种数据，并把采集的数据转给数据汇集器；CPU利用率指数据分发子系统运行时所占用的CPU资源，代表该系统实时的运行情况；内存利用率指数据分发子系统运行时开启的进程所占用的内存；磁盘利用率指数据分发子系统所开销存储磁盘的空间；数据汇集器是运行在中心计算节点上的软件，与m个监控代理和自适应优化系统相连；数据汇集器以监控代理采集数据的命令为标识，汇集CPU利用率、内存利用率、磁盘利用率三类数据，同时分别打上标签，即CPU利用率加上标签class1、内存利用率加上标签class2、磁盘利用率加上标签class3，然后推送给自适应优化系统；自适应优化系统是运行在中心计算节点上的一个软件系统，由资源分类模块、性能阈值模块、优化参数生成模块、优化策略生成模块、优化策略库组成；资源分类模块是由标签过滤器和p个分类器组成的软件模块，所述p≥1，p是整数；标签过滤器对从数据汇集器收到的CPU利用率、内存利用率和磁盘利用率三类数据进行过滤处理，将带标签class1的CPU利用率、带标签class2的内存利用率和带标签class3的磁盘利用率混合数据依次发送给分类器；每个分类器对从标签过滤器接收的带标签class1的CPU利用率、带标签class2的内存利用率和带标签class3的磁盘利用率混合数据，按标签class1、class2、class3进行分离，得到实时CPU利用率、实时内存利用率和实时磁盘利用率，并将实时CPU利用率、实时内存利用率和实时磁盘利用率发送给优化参数生成模块；性能阈值模块是设置实时CPU利用率阈值V_cpu、实时内存利用率阈值V_mem和实时磁盘利用率阈值V_disk的软件模块，并将这3个阈值发送给优化参数生成模块；优化参数生成模块是判断实时CPU利用率、实时内存利用率和实时磁盘利用率是否分别超过V_cpu、V_mem、V_disk的软件模块；如果实时CPU利用率、实时内存利用率和实时磁盘利用率中有任意一个超过其对应阈值，就生成相应的优化参数，并将优化参数推送给优化策略生成模块；CPU利用率不能达标，向优化策略生成模块推送优化CPU参数Index1；如果内存利用率不达标，向优化策略生成模块推送优化内存参数Index2；如果磁盘利用率不达标，向优化策略生成模块推送优化磁盘参数Index3；优化策略生成模块与优化参数生成模块和优化策略库相连，根据待优化参数类型Index1、Index2、Index3分别从并发用户数、响应时间、吞吐率三个方面形成优化策略，并将优化策略推送给优化策略库；并发用户数指在同一时刻，同时访问大规模数据分发系统的用户数；响应时间指用户从向大规模数据分发系统发出业务请求时开始，到得到系统作出相应的结果所消耗的时间；响应时间又分为呈现时间，数据传输时间和系统处理时间三个部分，呈现时间指浏览器对数据的处理展现过程所需时间，数据传输时间包括用户发出业务请求到系统接收到该请求，以及系统处理完后返回结果给用户所需要的时间总和，系统处理时间指系统得到请求后处理完业务请求所需要的时间；吞吐率指大规模数据分发系统在单位时间内处理用户请求的数量；优化策略库与优化策略生成模块和m个数据分发子系统相连，是存储优化策略的数据库，供边缘节点上数据分发子系统访问；第二步，每个边缘节点上的数据分发子系统以日志的形式记录其运行时的相关数据，监控代理采集所属边缘节点上的日志数据，并推送给数据汇集器；数据汇集器汇集m个监控代理传来的日志数据，并推送给自适应优化系统；自适应优化系统生成优化策略，形成优化策略库，具体方法是：2.1每个边缘计算节点上的数据分发子系统启动，初始化时间变量T＝0，初始化分类器编号pp＝1；性能阈值模块把实时CPU利用率阈值V_cpu、实时内存利用率阈值V_mem和实时磁盘利用率阈值V_disk三类阈值推送给优化参数生成模块；2.2每个边缘计算节点上的数据分发子系统向日志文件log.log中写入当前时刻数据分发子系统的状态数据；2.3m个监控代理从所属边缘节点上数据分发子系统生成的日志文件采集CPU利用率、内存利用率、磁盘利用率三种数据，并将这三类数据推送给数据汇集器；2.4数据汇集器从m个监控代理接收CPU利用率、内存利用率、磁盘利用率三类数据，并为CPU利用率数据打上class1标签，为内存利用率数据打上class2标签，为磁盘利用率数据打上class3标签，然后把打上了标签的CPU利用率、内存利用率、磁盘利用率的混合数据推送给自适应优化系统；2.5自适应优化系统接收带标签class1的CPU利用率、带标签class2的内存利用率和带标签的class3的磁盘利用率三类数据，通过资源分类模块、性能阈值模块、优化参数生成模块、优化策略生成模块，产生优化策略，形成优化策略库，具体步骤如下：2.5.1资源分类模块对带标签的CPU利用率、内存利用率、磁盘利用率混合数据进行分类，形成实时CPU利用率、实时内存利用率、实时磁盘利用率三类数据，方法是：2.5.1.1标签过滤器接收带标签的CPU利用率、内存利用率、磁盘利用率混合数据，把混合数据分派给分类器pp；2.5.1.2分类器pp从标签过滤器中接收含有标签的CPU利用率、内存利用率、磁盘利用率混合数据，然后按标签类型输出带class1标签的实时CPU利用率、带class2标签的实时内存利用率、带class3标签的实时磁盘利用率三种类型的数据，并把带class1标签的实时CPU利用率、带class2标签的实时内存利用率、带class3标签的实时磁盘利用率的数据推送给优化参数生成模块；2.5.2优化参数生成模块从分类器pp接收带标签class1的实时CPU利用率、带标签class2的实时内存利用率、带标签class3的实时磁盘利用率，根据从性能阈值模块接收的实时CPU利用率阈值、实时内存利用率阈值和实时磁盘利用率阈值，进行CPU、内存和磁盘利用率阈值的判断，得到需要优化的参数，并把需要优化的参数推送给优化策略生成模块，具体步骤如下：2.5.2.1判断带标签class1的实时CPU利用率是否超过CPU利用率阈值，如果带标签class1的实时CPU利用率超过CPU利用率阈值，则生成优化CPU参数Index1，并把Index1推送给优化策略生成模块，转步骤2.5.3；如果带标签class1的实时CPU利用率没有超过CPU利用率阈值，则执行步骤2.5.2.2；2.5.2.2判断带标签class2的实时内存利用率是否超过内存利用率阈值，如果带标签class2的实时内存利用率超过内存利用率阈值，则生成优化内存参数Index2，并把Index2推送给优化策略生成模块，转步骤2.5.3；如果带标签class2的实时内存利用率没有超过内存利用率阈值，则执行步骤2.5.2.3；2.5.2.3判断带标签class3的实时磁盘利用率是否超过磁盘利用率阈值，如果带标签class3的实时内存利用率超过磁盘利用率阈值，则生成优化磁盘参数Index3，并把Index3推送给优化策略生成模块，转步骤2.5.3；如果带标签class3的实时内存利用率没有超过磁盘利用率阈值，则转步骤2.6；2.5.3优化策略生成模块从优化参数生成模块接收Index1、Index2和Index3，根据优化参数类型，从用户并发数、响应时间、吞吐率三个方面生成优化策略，具体步骤如下：2.5.3.1如果优化参数类型是Index1，则执行步骤2.5.3.1.1；如果优化参数类型是Index2，则执行步骤2.5.3.1.2；如果标签类型是Index3，则执行步骤2.5.3.1.3；2.5.3.1.1从优化参数类型Index1中获取需要优化的边缘节点的IP地址Address1，并向Address1发送优化指令，然后生成CPU利用率优化策略，具体方法是：2.5.3.1.1.1若Address1上数据分发子系统有大量的并发用户数，则生成第一优化策略为：按逐步增加一个节点的原则增加j个边缘节点，且新增的j个边缘计算节点上均安装数据分发子系统，并把address1上用户的请求业务平均分配给新增的j个数据分发子系统，由新增的j个数据分发子系统来处理，降低Address1上数据分发子系统处理的并发业务量，j是正整数，j要满足当添加j个节点后，数据分发子系统运行正常，即Address1节点的CPU利用率不超过阈值；将第一优化策略发送给优化策略库，转2.5.4；2.5.3.1.1.2若Address1上数据分发子系统的响应时间慢，则生成第二优化策略为：把Address1上数据分发子系统正在处理的业务分配到其它数据分发子系统响应快的边缘节点上，由数据分发子系统响应快的边缘节点处理，将第二优化策略发送给优化策略库，转2.5.4；2.5.3.1.1.3若Address1上数据分发子系统吞吐率低，则生成第三优化策略为增大线程数，提高其并发处理业务的能力，将第三优化策略发送给优化策略库，转2.5.4；2.5.3.1.2从优化参数类型Index2中获取需要优化的边缘节点的IP地址Address2，并向Address2发送优化指令，然后生成优化策略，具体方法如下：2.5.3.1.2.1若Address2上数据分发子系统有大量的并发用户数，则生成第四优化策略为动态增加该数据分发子系统能使用的内存，将第四优化策略发送给优化策略库，转2.5.4；2.5.3.1.2.2若Address2上数据分发子系统的响应时间慢，则生成第五优化策略为：把该数据分发子系统正在处理的业务重新分配到其它数据分发子系统响应快的边缘节点上，由数据分发子系统响应快的边缘节点处理，将第五优化策略发送给优化策略库，转2.5.4；2.5.3.1.2.3若Address2上数据分发子系统吞吐率低，则生成第六优化策略为：新增1个边缘节点，把Address2上吞吐率低的数据分发子系统的业务动态转移到新增的边缘节点的数据分发子系统上，由新增的边缘节点的数据分发子系统处理，将第六优化策略发送给优化策略库，转2.5.4；2.5.3.1.3从优化参数类型Index3中获取需要优化的边缘节点的IP地址Address3，并向Address1发送优化指令，具体方法如下：若Address3上数据分发子系统出现大量并发用户数或响应时间慢或吞吐率低，则生成第七优化策略为对该边缘节点增大数据分发子系统所能使用的磁盘容量，将第七优化策略发送给优化策略库，转2.5.4；2.5.4优化策略库从优化策略生成模块接收优化策略，若该种优化策略在数据库中已经存在，直接转2.6；如果该种优化策略在数据库中不存在，把该优化策略存入数据库，供数据分发子系统读取，转2.6；2.6令T＝T+t，t的默认值为10min，通过系统配置文件可以修改，令pp＝pp+1，如果pp>p，则令pp＝1；如果T>TT，TT是生成优化策略的数据提取时限，TT大于等于24*60分钟，转第三步；否则，转2.2，继续生成优化策略；第三步大规模数据分发系统运行时自适应优化系统进行自适应优化，m个边缘节点上的数据分发子系统并行进行自适应优化，当任意边缘节点上数据分发子系统需要优化时，该边缘节点上的数据分发子系统从优化策略库获取优化策略，实现自适应优化，其中第n个边缘节点的数据分发子系统优化实施过程如下，1≤n≤m，n通过IP地址进行区分：3.1初始化第二时间变量T2＝0；3.2第n个边缘节点的数据分发子系统在第n个边缘节点上产生日志数据；3.3第n个边缘节点上的监控代理从第n个边缘节点的日志数据中，采集数据分发系统运行时的状态信息数据，并推送给数据汇集器；3.4数据汇集器接收到第n个监控代理推送的数据后，把数据推送给自适应优化系统；3.5自适应优化系统判定第n个边缘节点的数据分发子系统是否出现CPU利用率超过CPU利用率阈值、内存利用率超过内存利用率阈值或磁盘利用率超过磁盘利用率阈值，如果出现这三种情况中任意一种情况，就向第n个边缘节点发送优化指令，转步骤3.6，如果没有，则不向第n个节点发送优化指令，转步骤3.2；3.6第n个节点的数据分发子系统接收优化指令，向优化策略库发送链接请求，根据优化指令中优化策略类型获取相应优化策略，按照优化策略在第n个节点实施优化；优化完成后，令T2＝T2+t，转步骤3.2。