1、Kafka创建topic命令很简单，一条命令足矣：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test 。
2.此命令将创建一个名为test的topic，其中有三个分区，每个分区需要分配三个副本。
三。topic创建主要分为两部分：命令行controller逻辑部分。
四。后台逻辑将监听zookeeper下对应的目录节点。一旦启动topic创建命令，它将创建一个新的数据节点并触发后台创建逻辑。
五个。确定分区副本分配方案（即，将每个分区副本分配给哪个代理）；创建zookeeper节点并将此方案写入/brokers/topics/<topic>节点。
五个。确定分区副本分配方案（即每个分区的副本分配给哪个分区）broker上)；创建zookeeper节点，把这个方案写入/brokers/topics/<topic>节点下。
6、Kafka controller这一部分的主要任务是：创建分区；创建副本；为每个分区选择leaderISR；；更新各种缓存。
1、Kafka创建topic命令很简单，一条命令足矣：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test 。
2、这条命令会创建一个名为test的topic，有3个分区，每个分区需分配3个副本。
3、topic创建主要分为两个部分：命令行部分+后台(controller)逻辑部分。
4、后台逻辑会监听zookeeper下对应的目录节点，一旦发起topic创建命令，该命令会创建新的数据节点从而触发后台的创建逻辑。
5、确定分区副本的分配方案(就是每个分区的副本都分配到哪些broker上)；创建zookeeper节点，把这个方案写入/brokers/topics/<topic>节点下。
6、Kafka controller部分主要做下面这些事情：创建分区；创建副本；为每个分区选举leader、ISR；更新各种缓存。
log.retention.minutes=1days
log.cleanup.policy = delete
选项，数据存储的最大时间超过这个时间会根据log.cleanup.policy设置的策略处理数据，也就是消费端能够多久去消费数据。log.retention.bytes和log.retention.minutes任意一个达到要求，都会执行删除。
log.retention.bytes是指定topic每个分区的最大文件大小，一个topic的大小限制 =分区数*log.retention.bytes。-1没有大小限log.retention.bytes和log.retention.minutes任意一个达到要求，都会执行删除。
而且Linux对于磁盘的读写优化也比较多，包括read-ahead和write-behind，磁盘缓存等。如果在内存做这些操作的时候，一个是JAVA对象的内存开销很大，另一个是随着堆内存数据的增多，JAVA的GC时间会变得很长，使用磁盘操作有以下几个好处：
1、磁盘缓存由Linux系统维护，减少了程序员的不少工作。
2、磁盘顺序读写速度超过内存随机读写。
3、JVM的GC效率低，内存占用大。使用磁盘可以避免这一问题。
4、系统冷启动后，磁盘缓存依然可用。
怎么设置kafka topic数据存储时间
1、Kafka创建topic命令很简单，一条命令足矣：bin\/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test 。2.此命令将创建一个名为test的topic，其中有三个分区，每个分区需要分配三个副本。三。topic创建主要分为两部分：命令行controller逻辑部分。
kafka topic可以用数字嘛
不可以。创建topic，指定分片和副本个数Kafka的数据保留的时间，默认是7天
kafka消息持久化到本地磁盘,如何保证消息的读写速率和高吞吐量_百度知...
因为 顺序追加 ，所以Kafka在 设计上是采用时间复杂度O(1)的磁盘结构 ，它提供了常量时间的性能， 即使是存储海量的信息（TB级）也如此，性能和数据的大小关系也不大， 同时Kafka将数据持久化到磁盘上，这样只要磁盘空间足够大数据就可以一直追加，而不会像一般的消息系统在消息被消费后就删除掉，Kafka...
Kafka数据存储
间戳索引文件中包含若干时间戳索引项，每个追加的时间戳索引项中的 timestamp 必须大于之前追加的索引项的 timestamp ，否则不予追加。消息查找过程 Kafka将消息存储在磁盘中，为了控制磁盘占用空间的不断增加就需要对消息做一定的清理操作。Kafka提供了两种日志清理策略。kafka有专门的任务来周期性删除不符合...
如何估算 Kafka 集群规模和配置?
在规划一个Kafka集群时，需要考虑多个因素来估算规模和配置。首先，假设每个消息大小为1KB，日数据量为1亿条，且每个topic平均有3个副本，数据保留周期为7天。单个机器分区的最大数量限制为10个。对于服务器台数的选择，我们采用经验公式：服务器台数 ≈ 2 * (生产者峰值生产速率 * 副本 \/ 100) + ...
kafka查询和修改topic的offset
重启相关的应用程序，就可以从设置的offset开始读数据了。手动更新Kafka存在Zookeeper中的偏移量。我们有时候需要手动将某个主题的偏移量设置成某个值，这时候我们就需要更新Zookeeper中的数据了。Kafka内置为我们提供了修改偏移量的类：kafka.tools.UpdateOffsetsInZK，我们可以通过它修改Zookeeper中某个主题的...
如何为Kafka集群选择合适的Topics\/Partitions数量
分区多需要的打开的文件句柄也多 每个分区都映射到broker上的一个目录，每个log片段都会有两个文件（一个是索引文件，另一个是实际的数据文件）。分区越多所需要的文件句柄也就越多，可以通过配置操作系统的参数增加打开文件句柄数。分区多增加了不可用风险 kafka支持主备复制，...
Kafka 删除一个topic的旧消息
则说明kafka版本过低，这时候可以使用另一种方法。.\/kafka-topics.sh --zookeeper 127.0.0.1:2181 --alter --topic testTopic --config retention.ms=时间（微秒）动态地更新消息保留时间，假如只保留一小时之内的消息 ，60 x 60 x 1000 = 360000 就设置为retention.ms=3600000 然后kafka需要轮询...
如何确定Kafka的分区数,key和consumer线程数
sendPartitionPerTopicCache.put(topic, partitionId) \/\/ 更新缓存以备下一次直接使用 partitionId } } 复制代码 可以看出，Kafka几乎就是随机找一个分区发送无key的消息，然后把这个分区号加入到缓存中以备后面直接使用——当然了，Kafka本身也会清空该缓存（默认每10分钟或每次请求topic元数据时）如何...
Topic与Partition
,因此Kafka提供两种策略删除旧数据,一: 是基于时间 二: 是基于Partition文件大小.例如可以通过配置 KAFKA_HOME\/config\/server.properties，让Kafka删除一周前的数据，也可在Partition文件超过1GB时删除旧数据，配置如下所示。Kafka拓扑结构 1. Producer:消息生产者,发布消息到kafka集群的终端或服务 ...
