基于springboot+springbatch实现的ETL链式数据抽取平台,相比kettle,datax等工具,springbatch具有更强的塑造性,外加链式的执行,为数据中台从ods->dw->dm->app的数据流转提供了很大的方便。
基于springboot+springbatch实现的ETL链式数据抽取平台,相比kettle,datax等工具,springbatch具有更强的塑造性,外加链式的执行,为数据中台从ods->dw->dm->app的数据流转提供了很大的方便。
ods层采用datax,dw层采用insert select、stream-load二选一。 系统整体采用若依未分离版,后端核心技术为springboot、xxl-job、datax。前段为bootstrap。
封装seatunnel-web为独立可用的ETL管理用具,主要增加定时调度、任务分类、数据库的元数据管理。与公司现有数据平台融合实现ETL处理独立、数仓查询独立、业务拼接独立的三独模式。
相较与2.0ETL数据平台3.0主要完成了技术升级,采用springboot3.3.5、jdk17,dubbo3.0框架整体更加细分,微服务形态更加完善。报表
最近一年贡献:46 次
最长连续贡献:2 日
最近连续贡献:1 日
贡献度的统计数据包括代码提交、创建任务 / Pull Request、合并 Pull Request,其中代码提交的次数需本地配置的 git 邮箱是 Gitee 帐号已确认绑定的才会被统计。