TongETL是针对企业级用户日益增长的数据采集处理需求,面向数据集成领域的专业ETL工具,广泛用于政府、交通、军工、大型企业等数据仓库、基础库、数据中心等建设领域。
通过TongETL,可以方便地将各个系统中大量的、异构的数据 整合成完整、一致、准确、可集中存取的数据,解决数据准确性与有效性问题,实现数据资源的整合、数据价值的挖掘、数据服务能力的创新,有效促进用户数据资源的开发利用。
高效数据处理
支持异步并行处理、集群部署,在某国产一体机环境下,处理效率达到4.5+万条/秒。
丰富的系统适配
支持与主流数据库、大数据生态圈交互适配,提供丰富的数据文件抽取和加载组件。
灵活的扩展性
提供插件式的组件管理机制,定制开发的转换组件、适配器等纳入统一管理。
良好国产环境适配
支持国产主流操作系统和芯片部署,支持国产主流数据库接入。
ETL引擎
提供任务引擎和转换引擎,支撑各种复杂的数据转换流程、任务调度流程的高效运行,为大块、大批量、异构的数据的整合提供坚实保障。
异常恢复
任务流程提供多种调度机制和异常恢复机制,在异常后,支持自动和手动恢复。异常恢复保证流程从异常点开始重新同步,确保数据的最终完整性和一致性。
数据抽取
支持各种数据抽取模式,如全量同步、增量同步(基于触发器、基于时间戳、全表比对、基于数据库日志分析)、单向同步、双向同步、文件目录同步等。
数据处理
内置大量的任务组件和转换组件,用户可以通过拖拽的方式快速完成各种复杂数据集成需求和集成的调度控制。
监控管理
提供对分布式网络环境中部署的服务器运行实例集中统一管理,允许用户定义自己的功能插件,提供Java、HTTP、REST等多种封装形式的监控管理接口。
TongETL产品由集成开发工具、TongETL服务器、资源库三大核心部分组成。
集成开发工具是一个集开发、调试、配置、部署、执行、监控、日志、管理等功能于一体的工具,实现从数据集成需求到实现的快速转化,并实现对整个生命周期的管理。
服务器是对数据集成流程具有执行能力的运行环境,并通过HTTP协议对外开放对服务器的管理接口。
资源库用于持久化存储TongETL的元数据,包括ETL服务器的配置信息、任务流程信息、转换流程信息、基础资源信息(如数据库连接)等。