# 基于springboot3.x的ETL数据平台+极速报表配置

**Repository Path**: liujl1990/data-platform-3.0

## Basic Information

- **Project Name**: 基于springboot3.x的ETL数据平台+极速报表配置
- **Description**: 相较与2.0ETL数据平台3.0主要完成了技术升级，采用springboot3.3.5、jdk17，dubbo3.0框架整体更加细分，微服务形态更加完善。报表
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-07-10
- **Last Updated**: 2025-07-15

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# ETL数据处理平台

#### 介绍
相比2.0数据平台，3.0主要体现在两个方面，1）技术框架升级为springboot3.x+jdk17,2)产品组件化
- hdp-base       基础模块
- hdp-etl        数据处理模块
- hdp-query      数仓应用模块
- hdp-hos        院端应用模块 
- sql            脚本文件

#### 系列介绍
### 详细可转至CSDN: https://mp.csdn.net/mp_blog/creation/editor/148998684

**系列一：基于springboot2.x+springbatch的ETL数据处理** 
     
- 优点是上手简单，数据流程严谨；缺点是效率不高，适合数据量不大的场景。
- https://gitee.com/liujl1990/etl-platform

 **系列二：基于springboot2.x+datax+insert-select/stream-load/spark的数据抽取** 
     
- 优点是效率高，充分考虑了各层数仓的特殊性采用不同技术方案；缺点是涉及框架多，对新手具有较强挑战性。
- https://gitee.com/liujl1990/data-platform-2.0

 **系列三：springboot3.x+nacos+dubbo的微服务版组件化数据处理** 
     
- 优点是将ETL数据提取、数仓查询、客户端业务组装分开部署，互不影响，可以更大程度兼顾数据提取与数据查询的效率，更好的使用数据仓库，更快速的推进项目交付。
- https://gitee.com/liujl1990/data-platform-3.0

**系列四：AI智能版集成式数据处理** 
- 整体方案同方案三一致，seatunnel替代datax，基于seatunnel-mcp实现AI智能调度
- https://gitee.com/liujl1990/seatunnel-web-ex


#### 安装教程

1.  环境准备
   安装datax、python(2.*)、nacos、redis
2.  nacos配置
   参考配置表config_info
3.  执行sql目录下的所有脚本
4.  启动etl-config/HdpConfigApplication类，启动主程序
   ![输入图片说明](imgimage.png)
   输入用户名 admin 密码 admin123登录
5.  启动etl-executor/HdpExecutorApplication 执行器
6. 参考sql目录下的word文档开始数据提取
![输入图片说明](image.png)
![输入图片说明](sql/image.png)


#### 参考贡献
    感谢若依框架开源者，前段皮肤借用了若依的框架
    若依开源框架: https://gitee.com/y_project/RuoYi?_from=gitee_search
    bootstrap前段框架：https://v4.bootcss.com/docs/getting-started/introduction/
    datax-web: https://gitee.com/WeiYe-Jing/datax-web
#### 完整版方案内容

- 数仓标准接口封装
- 数据标准接口加密发布（含监控，供应第三方）
- 基于echar的自研报表模板
- 基于easy excel的大数据导出
- 流程闭环管理（替代了原有数据权限申请）
- 查询监控（超过1分钟的访问记录日志）
- 数据智能核对
- 数据资产概览
- 行业规则等等
- 一步助力您成为行业数据强者

#### 联系我们
    本项目QQ讨论群：970927379，都是开源框架，详细结构可看相关文档，卡住的地方可发群里，平时上班，下班看到会回复的。
    商务合作：
        仅开源数据提取方案，数据利用方案为公司核心未做开源，，最简单的才用库查询及echars接收也能实现，需要商用微信沟通。
        1）定制各类数据处理方案，费用根据需求协商，可加微bstyl_( **非商业性合作勿加个人微信** ，可QQ群沟通)
        2）想进入医疗行业的，直接提供产品及培训方案。
        3) 承接各类app、海报、后台管理等的开发设计
        4）一对一辅导解加微，300一小时，年包1999。无商务性合作切莫加微。