大数据.

05 篇文章 — 大数据相关文章

Dinky

Dinky 是一款开源的 Flink 作业管理与开发平台，支持在线编写调试 Flink SQL、整库同步与数据血缘分析。记录一下我对它的了解与使用场景。

Canal 是阿里巴巴开源的基于 MySQL Binlog 的增量订阅与消费组件。本文梳理它的工作原理、与常见 CDC 组件的对比,以及集群高可用部署中的注意事项。

介绍 Flink CDC 的基本概念与内置组件：从变更日志捕获的原理讲起，梳理 Source、Debezium Connector、Sink 等核心模块，以及使用中的常见注意事项。

整理数据湖与数据仓库的差异，介绍开源表格式 Apache Iceberg 的定位与核心能力：版本控制、元数据管理、分区管理与快照，并记录一些选型时的注意点。

记录使用 Kettle 做多数据源同步、迁移与转换的经验：核心概念、常用组件的用途，以及基于查询的 CDC 方式适用的场景与限制。