登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
模力方舟
登录
注册
就在本周六，成都站 Gitee Talk | 模力方舟 AI 应用开发沙龙抢占最后席位！聚焦 AI 开发全链路，结识技术同频人~
代码拉取完成，页面将自动刷新
开源项目
>
数据库相关
&&
捐赠
捐赠前请先登录
取消
前往登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
40
Star
327
Fork
116
dromara
/
dataCompare
代码
Issues
12
Pull Requests
1
Wiki
统计
流水线
服务
JavaDoc
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
SBOM
我知道了，不再自动展开
更新失败，请稍后重试！
移除标识
内容风险标识
本任务被
标识为内容中包含有代码安全 Bug 、隐私泄露等敏感信息，仓库外成员不可访问
交流比对工具想法
待办的
#I8NOW7
记录君
创建于
2023-12-12 14:30
我也做了一个数据库内容对比的demo，使用springboot框架，采用jdbcTemplate实现。我实现的想法是： 数据库中A表和数据库B表进行字段对比： （1）A中独有，记录文件 （2）B中独有，记录文件 （3）A和B中字段差异，记录文件 已实现的功能如下： （1）数据库表可自由配置，可来自不同数据源。如：postgersql 和sqlserver; （2）数据库字段可自由配置，可自定义比对主键。 （3）可以分批次对比，设置最大线程池数量。 （4）定时任务配置。 （5）可以排除不比较字段，或者设置只比较字段。 （6）可以设置文件大小阈值，达到或超过之后，会将内存中存储的比对数据的写入文件中，同时清空内存对比数据，避免内存过大。 （7）可以自定义比对策略，比如有时候数据库中存储的数据为null,有的为空白。某些情况下，可认为他们相等。以及一些比对其他策略。 --------------我的改进想法--------------------- 我的项目目前只支持postgersql 和sqlserver，个人感觉难点在于：不同数据源的sql构建，再加上可以自定义表名，以及一些参数等等。我看了一些方法，感觉calcite在构建sql方面很可以。我看博主做的同源数据库内容比较，不知道做异源数据库内容比较有啥想法没。我最近做着也有点迷茫了，又不想造轮子，但又没找到好的轮子。
我也做了一个数据库内容对比的demo，使用springboot框架，采用jdbcTemplate实现。我实现的想法是： 数据库中A表和数据库B表进行字段对比： （1）A中独有，记录文件 （2）B中独有，记录文件 （3）A和B中字段差异，记录文件 已实现的功能如下： （1）数据库表可自由配置，可来自不同数据源。如：postgersql 和sqlserver; （2）数据库字段可自由配置，可自定义比对主键。 （3）可以分批次对比，设置最大线程池数量。 （4）定时任务配置。 （5）可以排除不比较字段，或者设置只比较字段。 （6）可以设置文件大小阈值，达到或超过之后，会将内存中存储的比对数据的写入文件中，同时清空内存对比数据，避免内存过大。 （7）可以自定义比对策略，比如有时候数据库中存储的数据为null,有的为空白。某些情况下，可认为他们相等。以及一些比对其他策略。 --------------我的改进想法--------------------- 我的项目目前只支持postgersql 和sqlserver，个人感觉难点在于：不同数据源的sql构建，再加上可以自定义表名，以及一些参数等等。我看了一些方法，感觉calcite在构建sql方面很可以。我看博主做的同源数据库内容比较，不知道做异源数据库内容比较有啥想法没。我最近做着也有点迷茫了，又不想造轮子，但又没找到好的轮子。
评论 (
3
)
登录
后才可以发表评论
状态
待办的
待办的
进行中
已完成
已关闭
负责人
未设置
标签
未设置
标签管理
里程碑
未关联里程碑
未关联里程碑
Pull Requests
未关联
未关联
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
未关联
分支 (1)
标签 (2)
master
1.0.1
20221213
开始日期 - 截止日期
-
置顶选项
不置顶
置顶等级：高
置顶等级：中
置顶等级：低
优先级
不指定
严重
主要
次要
不重要
参与者（1）
Java
1
https://gitee.com/dromara/data-compare.git
[email protected]
:dromara/data-compare.git
dromara
data-compare
dataCompare
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
评论
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号，请先登录后再操作。
立即登录
没有帐号，去注册
