相较与2.0ETL数据平台3.0主要完成了技术升级,采用springboot3.3.5、jdk17,dubbo3.0框架整体更加细分,微服务形态更加完善。报表
ods层采用datax,dw层采用insert select、stream-load二选一。 系统整体采用若依未分离版,后端核心技术为springboot、xxl-job、datax。前段为bootstrap。
基于springboot+springbatch实现的ETL链式数据抽取平台,相比kettle,datax等工具,springbatch具有更强的塑造性,外加链式的执行,为数据中台从ods->dw->dm->app的数据流转提供了很大的方便。
封装seatunnel-web为独立可用的ETL管理用具,主要增加定时调度、任务分类、数据库的元数据管理。与公司现有数据平台融合实现ETL处理独立、数仓查询独立、业务拼接独立的三独模式。