[发明专利]元组恢复

说明书

背景技术

数据可以作为数据流而被发送和/或接收。数据流可以包括可逐元组发送的数据的连续流。可以按照特定的次序来处理元组的数据流。

附图说明

图1是根据本公开内容的用于元组恢复的系统的示例的图示。

图2是根据本公开内容的用于元组恢复的流程图的示例的图示。

图3是根据本公开内容的用于元组恢复的流程图的示例的图示。

图4是根据本公开内容的用于元组恢复的处理资源和存储器资源的示例的图示。

图5是根据本公开内容的用于元组恢复的方法的示例的流程图。

图6是根据本公开内容的用于元组恢复的方法的示例的流程图。

具体实施方式

数据系统可以包括数据的连续流（例如，流送（streaming）系统）。示例流送系统可以包括可实施并行处理（例如，同时实施对数据流的各部分的处理）的分布式流送系统。从特定源向特定目的地传送数据流（例如，数据流动（dataflow））的顺序和/或次序可以被表示为具有节点和边的图形结构。节点可以包括能够在流送系统上发送、接收和/或转发数据流的电子设备和/或计算机可读指令。在一些示例中，电子设备可以包括多个节点。

数据流可以包括数据事件（例如元组）的序列。元组可以被按照特定次序从一个节点发送至另一个节点。每个节点可以包括接收和发送元组的任务（例如，实例）。数据流可以包括操作。操作可以包括用于实施特定功能的计算机可读指令。操作的执行可以被划分成多个间隔（例如，状态）。操作可以包括并行地运行以实施功能的多个任务。

任务可以监视节点处元组向任务中和从任务向外的流动。依赖于数据的流动，任务可以是上游的或下游的。例如，第一任务（例如，上游任务）可以接收第一元组。第一任务（例如，上游任务、源任务）可以处理第一元组并将第一元组发送至第二任务（例如，下游任务、目标任务）。第二任务（例如，下游任务、目标任务）然后可以变成处于第二任务下游的第三任务的上游任务。任务可以包括周期，其中每个周期包括多个操作。该操作可以包括接收元组、处理接收到的元组、更新执行状态以及将所得到的元组发射至下游任务。

任务可以逐元组地处理数据流中的元组。元组可能需要被任务处理一次。元组可以被顺序地处理，并且序列中在前的元组可能需要在在后的元组可以被发送至任务之前被任务处理。任务可以保存所接收和发送的元组的记录。一些数据流可以将整个流送过程视作单个操作。该方法可能在故障发生的情况下经历中间结果的丢失。

一些数据流可以使下游任务向上游任务发送元组已被接收的应答。在这样的数据流中，在后的元组可能在应答被接收到之前不被发送。如果第一元组从未被接收到，则可以不发送第二元组。如果应答从未被接收到，则可以不发送第二元组。应答方法可能在数据流中造成等待时间。

相比之下，本公开内容的示例可以包括从上游节点向下游节点发送元组。当元组被发送和/或接收时，节点的状态（例如，已发送和/或接收什么元组）可以被记录（例如，被进行检查点处理（checkpointed））。维持对最后发送和/或接收的元组的记录可以允许在节点故障的情况下以较小的间隔恢复（例如，恢复中间结果而不恢复整个流送过程）。此外，可以将元组从上游节点发送至下游节点，而不等待顺序上在先的元组已在下游节点处被接收的应答。例如，可以将第一元组从上游节点发送至下游节点。可以在上游节点未接收到第一元组在下游节点处被接收的应答的情况下将第二元组从上游节点发送至下游。

数据的流送可以通过在未首先接收到继续进行的应答的情况下发送数据来避免系统中的等待时间。由于故障较不频繁，因此对于每个所发送的元组来说应答不是必要的。当故障确实发生时，请上游节点重新发送缺失元组的过程可以避免最初未接收到的元组的丢失。

图1是根据本公开内容的用于元组恢复的系统100的示例的图示。系统100可以包括在数据通道104上向下游任务106（例如，下游节点）发送数据（例如，元组）的上游任务102（例如，上游节点）。数据通道104可以包括上游节点与下游节点之间的通信链路。数据通道104可以被用来按照顺序的次序发送来自数据流的元组。下游任务106可以包括用于存储从上游任务102接收到的数据的队列108（例如，缓冲器、数据存储装置）。