# PythonETL

**Repository Path**: a727375146/python-etl

## Basic Information

- **Project Name**: PythonETL
- **Description**: 基于python实现的轻量ETL工具，支持sqlalchemy和jdbc驱动，参考了github上的pyetl项目。在此基础上扩展实现了更新，通用的插入更新，Mysql特有的插入更新等操作。
- **Primary Language**: Python
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 5
- **Forks**: 1
- **Created**: 2021-04-23
- **Last Updated**: 2025-03-17

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# PythonETL

#### 介绍
基于python实现的轻量ETL工具，支持sqlalchemy和jdbc驱动，参考了github上的pyetl项目。由于原项目只支持写入操作，在此基础上扩展实现了更新，通用的插入更新，Mysql特有的插入更新等操作。



#### 安装教程

暂无，自己看代码，很简单。有demo

#### 使用说明

注意，需要创建一份配置表，配置字段映射。在SQL文件夹

1.  读取操作，除了原来自带的，继承DatabaseReader，重写get_dataset，可以获得更多的操作方式，如自定义SQL执行
2.  写入操作，除了原来自带方法，继承DatabaseWriter，创建相关方法，在主类重写task方法，调用Extend方法可以获得高度自定义扩展。
3.  由于支持了jdbc和sqlalchemy，理论上，只要支持基本的SQL方法，都可以操作