Kettle工具使用

技术 Feb 04, 2021

最近使用了Kettle这款ETL工具、对于多数据源进行数据之间的同步,转移,转换等功能进行了解与使用。

kettle 水壶、顾名思义就是把各种数据源中的表数据都当做水流、从多个水流汇总、分流、解析的工具。

无需任何编程、只需要手动拖动配置组件。即可完成复杂的数据处理功能。

数据迁移小例子:

kettle 提供了相当多的组件可以应付不同场景的数据转移,导入,导出,值映射等功能。并可以数据导出excel文件。

表输入:从数据库中执行sql从而查询出导入数据。

表输出:从Kettle中运行得到最终结果集向表中输出数据。

字段名称完善:可赛选数据列,设置列别名等。

排序:可以根据数据字段进行排序。

数据合并:把两个不同来源的数据进行合并、类似于mysql join功能。

值映射:很多数据库状态值1,2,3的状态码 在新数据库中可能为 4,5,6 则可以使用值映射进行值替换。

字段修正:修正数据源的字段名称与数据类型。以方便迁移到新数据源中。

新增、更新:对目标数据源执行新增数据操作。如果已有对应id则进行更新操作。

tanzhuo

专研技术的程序员