Kettle工具使用

最近使用了Kettle这款ETL工具、对于多数据源进行数据之间的同步,迁移,转换,修正等功能进行了解与使用。

kettle-水壶、顾名思义就是把各种数据源中的表数据都当做水流、从多个水流汇总、分流、解析的工具。

无需任何编程、只需要手动拖动配置组件。即可完成复杂的数据处理功能。

数据迁移小例子:

kettle 提供了相当多的组件可以应付不同场景的数据转移,导入,导出,值映射等功能。并可以数据导出excel文件。

表输入:从数据库中执行sql从而查询出导入数据。

表输出:从Kettle中运行得到最终结果集向表中输出数据。

字段名称完善:可赛选数据列,设置列别名等。

排序:可以根据数据字段进行排序。

数据合并:把两个不同来源的数据进行合并、类似于mysql join功能。

值映射:很多数据库状态值1,2,3的状态码 在新数据库中可能为 4,5,6 则可以使用值映射进行值替换。

字段修正:修正数据源的字段名称与数据类型。以方便迁移到新数据源中。

新增、更新:对目标数据源执行新增数据操作。如果已有对应id则进行更新操作。

合理使用Kettle 可以帮助我们简化对数据库的数据管理,在项目进行大版本变更时,数据库结构与新老数据做兼容处理时,Kettle就是不错的工具之一。

Subscribe to 随心笔记

Don’t miss out on the latest issues. Sign up now to get access to the library of members-only issues.
jamie@example.com
Subscribe