[发明专利]匹配于高性能计算机结构的多级嵌套数据传输方法与系统

权利要求书

1.一种匹配于高性能计算机结构的多级嵌套数据传输系统，其特征在于，包括：

并行运行于多个计算结点的多个结点通信组件，其中每一结点通信组件运行于一计算结点，每一结点通信组件包括：

通信描述管理模块，用于储存和管理所在计算结点需进行的数据传输操作的描述；

结点间数据传输执行模块，用于管理和执行所在计算结点与其他计算结点间的数据传输请求；

并行运行于所在计算结点的多个CPU的多个数据传输调度模块，其中每一数据传输调度模块运行于一CPU上，用于在所在计算结点内创建、调度和执行通信相关事务。

2.如权利要求1所述的系统，其特征在于，所述数据传输操作的描述包括：待通信数据的源缓冲区、目的缓冲区、身份标签以及传输完成方法；所述传输完成方法包括：在不同计算结点间将源缓冲区中待通信数据打包到指定临时缓冲区的方法、从指定临时缓冲区解包数据到目的缓冲区的方法，在同一计算结点将待通信数据从源缓冲区复制到目的缓冲区的方法，以及数据传输量计算方法。

3.如权利要求1所述的系统，其特征在于，所述结点间数据传输执行模块具体用于：

利用计算结点通信硬件，异步地将指定缓冲区中的数据传输到指定计算结点的指定缓冲区；为每一次数据传输维护一个数据传输状态；

响应数据传输调度模块的结点间数据传输请求和显式推进数据传输请求。

4.如权利要求1所述的系统，其特征在于，所述数据传输调度模块包括：

调度任务管理模块，用于创建通信调度任务，所述通信调度任务包括打包数据到临时缓冲区的数据打包任务、在计算结点内缓冲区间数据复制的复制任务和从临时缓冲区解包数据的数据解包任务；

CPU调度执行模块，用于调度计算结点CPU核，执行打包数据到临时缓冲区、计算结点内缓冲区间数据复制、从临时缓冲区解包数据操作；向结点间数据传输执行模块发起结点间数据传输请求和显式推进数据传输请求。

5.一种权利要求4所述匹配于高性能计算机结构的多级嵌套数据传输系统的数据传输方法，其特征在于，包括：

为每个参与通信的计算结点创建一结点通信组件，包括一通信描述管理模块、一结点间数据传输执行模块、以及与计算结点CPU相同数目的数据传输调度模块；

为每个计算结点的每个数据传输操作生成数据传输操作描述对象，将数据传输操作描述对象移交至通信描述管理模块进行管理；

将计算结点上的数据传输操作分配给CPU对应的数据传输调度模块，数据传输调度模块将数据传输操作聚类并创建相应的通信调度任务；

初始化数据传输调度模块中的CPU调度执行模块，初始化结点间数据传输执行模块；

调度执行通信调度任务，完成数据传输。

6.如权利要求5所述的方法，其特征在于，所述数据传输操作描述对象包括：从本计算结点发送到其他计算结点的数据发送操作描述对象；从本计算结点内不同缓冲区间复制数据的数据复制操作描述对象；接收其他计算结点发送数据的数据接收操作描述对象；

数据传输调度模块将数据传输操作聚类并创建相应的通信调度任务，包括：

数据传输调度模块中的调度任务管理模块对数据发送操作描述对象进行排序，将排序获得的数据发送操作描述对象序列按目的计算结点、目的CPU对分解为多个子序列，对子序列进一步分解，为分解所得每个数据发送操作描述对象序列定义一打包发送任务，并为每个打包发送任务创建一通信任务对象；

数据传输调度模块中的调度任务管理模块对数据接收操作描述对象进行排序，将排序获得的数据接收操作描述对象序列按源计算结点、源CPU对分解为多个子序列，对子序列进一步分解，为分解所得每个数据接收操作描述对象序列定义一接收解包任务，并为每个接收解包任务创建一通信任务对象；

数据传输调度模块中的调度任务管理模块对数据复制操作描述对象进行排序，将排序获得的数据复制操作描述对象序列按源CPU、目的缓冲区对分解为多个子序列，为每个子序列定义一本地复制任务，并为每个本地复制任务创建一通信任务对象。

7.如权利要求6所述的方法，其特征在于，调度任务管理模块对数据发送操作描述对象、数据接收操作描述对象或数据复制操作描述对象进行排序时，对描述了相同的数据传输操作的操作描述对象集合，不同次的排序得到相同的序列；

对子序列进一步分解时，对描述了相同的数据传输操作的操作描述对象序列，不同次的分割的结果相同。