Kafka保留策略与Offset知道吗？

在Kafka中，有两个与消息保留和偏移（Offset）相关的重要概念：保留策略（Retention Policy）和偏移（Offset）。

1. 保留策略（Retention Policy）：

Kafka的消息保留策略定义了消息在主题（Topic）中存储的时间期限。具体而言，它规定了消息在主题中保留的时长，超过这个时长的消息将会被删除。有以下几种常见的保留策略：

• 删除（Delete）： 这是默认的保留策略。根据时间或日志大小，Kafka会删除旧的消息，以便腾出空间给新的消息。
• Compact（压缩）： 这个策略会确保在一个给定的分区中，每个消息的键（Key）都是唯一的。这样可以避免存储相同键的多个消息，只保留最新的消息。

保留策略可以在创建主题时进行配置，也可以在运行时通过修改主题的配置进行调整。

2. 偏移（Offset）：

在Kafka中，每个分区中的每条消息都有一个唯一的偏移量（Offset）。偏移量是一个64位的数字，用于标识分区中消息的位置。生产者生产消息时，每个消息都会被分配一个新的偏移量。

偏移量的主要作用是用于追踪消费者在分区中的读取位置。消费者通过维护偏移量来记录已经消费的消息位置，以便在宕机或重新启动后能够继续从上次的位置读取消息。

总体而言，保留策略决定了消息在主题中的生命周期，而偏移量用于跟踪消费者在主题中的读取位置。这两个概念在Kafka中都是关键的，对于消息的管理和消费者的可靠性具有重要意义。