[发明专利]一种基于Kettle的大数据汇聚集成方法

摘要

本发明涉及一种基于Kettle的大数据汇聚集成方法，包括：数据资源管理，对数据资源的各类信息进行配置和管理，实现各数据库与ETL工具的连接与联动；Kettle流程设计器，通过对kettle各核心组件的封装与二次开发，实现高效数据集成；任务调度管理，提供调度规则的配置和任务的管理；任务监控管理，提供任务执行状态的监控和管理；集群配置管理，对Kettle集群的配置信息进行管理；分布式文件存储，对文件资源进行存储和管理，实现高效的文件存储；文件解析，对文件资源进行高效的解析入库。本发明可提供基于分布式并行架构开发的ETL数据集成功能，具备高吞吐、高可用、高扩展特性。