数据湖 Iceberg
目前比较流行的开源数据湖 Iceberg。
数据湖是一个用于存储结构化和非结构化数据的集中式数据存储库，它可以存储各种类型的数据，包括传统的关系型数据、半结构化数据、非结构化数据等。数据湖的主要特点是具有高度的灵活性和可扩展性，能够方便地进行数据的存储和处理。
相比之下，传统的数据仓库主要用于存储结构化数据，它们通常采用关系型数据库进行存储和管理。数据仓库的主要特点是具有高度的规范化和结构化，能够保证数据的准确性和一致性。但是，数据仓库的缺点在于它们不够灵活，无法存储和处理非结构化或半结构化数据，而且难以进行扩展和升级。
数据湖相比数据仓库的优势主要有以下几点：
- 存储不受限制：数据湖可以存储各种类型的数据，包括传统的结构化数据、半结构化数据、非结构化数据等。这使得数据湖更加灵活，适用于不同类型和规模的数据存储需求。
- 处理速度更快：数据湖通常采用分布式存储和计算技术，能够实现高速数据处理和分析。而传统的数据仓库则往往需要进行多次数据转换和计算，导致处理速度较慢。
- 成本更低：数据湖通常采用开源技术，如Hadoop、Spark等，成本相对较低，而传统的数据仓库则需要采用商业数据库软件，成本较高。
- 更加灵活：数据湖具有更高的灵活性，能够方便地进行数据的存储和处理。而传统的数据仓库则往往需要进行多次数据转换和计算，导致数据处理过程变得复杂和困难。
Apache Iceberg
Iceberg是一个开源的数据表格式和处理库，它旨在解决数据湖中数据表的管理和处理问题。Iceberg是由Netflix开发的，目前已经成为Apache软件基金会的顶级项目之一。
Iceberg解决了传统数据湖中的一些问题，例如数据表的版本控制、数据表的元数据管理、数据分区管理、数据表的快照管理等。Iceberg支持多种数据存储和处理系统，包括Hadoop、Spark、Presto、Flink等。
Iceberg 的主要特点有：
- 数据表版本控制：Iceberg支持数据表版本控制，可以对数据表进行版本管理和控制。用户可以轻松地回滚到历史版本，或者将不同版本的数据表进行合并。
- 数据表元数据管理：Iceberg提供了一种元数据管理机制，可以方便地对数据表进行管理和查询。用户可以通过元数据来了解数据表的结构、分区、数据统计等信息。
- 数据分区管理：Iceberg支持多种分区方式，包括哈希分区、范围分区、哈希范围混合分区等。用户可以根据自己的需求选择不同的分区方式。
- 数据表快照管理：Iceberg支持对数据表进行快照管理，可以轻松地进行数据备份和恢复。