在 Kafka 集群中，保留期（Retention Period）是指 Kafka 保留消息的时间范围。每个主题（Topic）都可以配置保留期，即消息在主题中存储的时间长度。保留期的设置对消息的存储和清理起着关键的作用，其目的主要有以下几点：
- 限制存储空间： 保留期可以用于限制消息在 Kafka 集群中的存储空间。通过设置保留期，可以确保旧的消息不会无限期地存储在主题中，从而控制主题的存储大小。
- 数据管理和清理： 保留期是一种管理消息历史数据的方式。旧的消息可能不再具有业务价值，而且过多的历史消息会占用磁盘空间，影响性能。通过配置保留期，可以定期清理过期的消息，保持主题中的数据集较小且高效。
- 满足合规性需求： 在一些应用场景中，需要根据法规或合规性需求保留消息的历史数据一定的时间，以便进行审计和查询。通过设置保留期，可以满足这些合规性要求。
- 流数据处理： 在流数据处理中，通常只对最新的数据感兴趣。设置保留期可以确保过时的数据会被自动清理，保持数据的新鲜度。
设置保留期时，可以使用 Kafka 主题的配置参数 retention.ms 或 retention.bytes，分别表示消息的存储时间和存储大小的阈值。消息将在达到其中一个条件时被删除。
例如，在创建主题时设置保留期为一天：
bin/kafka-topics.sh --create --topic my-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1 --config retention.ms=86400000
上述命令中，retention.ms 设置为 86400000 毫秒，即一天。这意味着消息在主题中最多保留一天的时间，超过这个时间的消息将被清理。
总体而言，通过配置保留期，可以灵活控制 Kafka 集群中消息的存储时间，确保数据管理的合理性和效率。
Was this helpful?
0 / 0