[发明专利]一种处理串行任务的数据处理装置及方法

权利要求书

1.一种处理串行任务的数据处理装置，其特征在于，包括：

任务提取模块，用于获取至少两个MapReduce任务，所述至少两个MapReduce任务按照执行先后顺序串行排列所述至少两个MapReduce任务按照执行先后顺序串行排列；其中，当两个MapReduce任务串行排列时，前一个MapReduce任务被执行后得到的输出值为后一个MapReduce任务的输入值；

合并模块，用于合并所述至少两个MapReduce任务得到目标MapReduce任务；

执行模块，用于执行目标MapReduce任务，并得到所述目标MapReduce任务的输出结果。

2.根据权利要求1所述的处理串行任务的数据处理装置，其特征在于，所述合并模块包括：

分析单元，用于从所述至少两个MapReduce任务中，提取每一个MapReduce任务对应的Map任务；

合并单元，用于合并所述至少两个MapReduce任务中每一个MapReduce任务对应的Map任务的代码，并得到合并后的Map任务的代码，其中，当所述至少两个MapReduce任务存在信息依赖关系时，所述至少两个MapReduce任务按照执行的先后顺序依次排列，并且前一个MapReduce任务对应的Map任务的代码的输出值作为与所述前一个MapReduce任务相邻的后一个MapReduce任务对应的Map任务的代码的输入值；

目标任务生成单元，用于利用所述合并后的Map任务的代码，得到所述目标MapReduce任务。

3.根据权利要求2所述的处理串行任务的数据处理装置，其特征在于，所述执行模块包括：

执行单元，用于执行所述合并后的Map任务；

发送单元，用于将所述合并后的Map任务的执行结果发送至用于执行Reduce任务的设备；

接收单元，用于接收所述用于执行Reduce任务的设备发送的所述输出结果，所述输出结果由所述用于执行Reduce任务的设备根据所述合并后的Map任务的执行结果得到。

4.根据权利要求2或3所述的处理串行任务的数据处理装置，其特征在于，所述合并单元，具体用于：

获取每一个MapReduce任务对应的Map任务的环境准备操作代码、逻辑操作代码和环境清理操作代码；

先编译所获取的每一个MapReduce任务对应的Map任务的环境准备操作代码；再编译所获取的每一个MapReduce任务对应的Map任务的逻辑操作代码；之后编译所获取的每一个MapReduce任务对应的Map任务的环境清理操作代码；最后得到所述合并后的Map任务的代码。

5.一种处理串行任务的数据处理方法，其特征在于，包括：

获取至少两个MapReduce任务，所述至少两个MapReduce任务按照执行先后顺序串行排列；其中，当两个MapReduce任务串行排列时，前一个MapReduce任务被执行后得到的输出值为后一个MapReduce任务的输入值；

合并所述至少两个MapReduce任务得到目标MapReduce任务;

执行目标MapReduce任务，并得到所述目标MapReduce任务的输出结果。

6.根据权利要求5所述的处理串行任务的数据处理方法，其特征在于，所述合并所述至少两个MapReduce任务得到目标MapReduce任务，具体包括：

从所述至少两个MapReduce任务中，提取每一个MapReduce任务对应的Map任务；

合并所述至少两个MapReduce任务中每一个MapReduce任务对应的Map任务的代码，并得到合并后的Map任务的代码，其中，当所述至少两个MapReduce任务存在信息依赖关系时，所述至少两个MapReduce任务按照执行的先后顺序依次排列，并且前一个MapReduce任务对应的Map任务的代码的输出值作为与所述前一个MapReduce任务相邻的后一个MapReduce任务对应的Map任务的代码的输入值；

利用所述合并后的Map任务的代码，得到所述目标MapReduce任务。