2.1解åå°è¯¥è·¯å¾
tar zxvf kafka_2.10-0.8.2.1.tgz
sudo mv kafka /home/chen-pc/kafka
å¯å¨ååæ¢
å¯å¨Zookeeper serverï¼
Shell代ç
bin/zookeeper-server-start.sh config/zookeeper.properties &
å ¶ä¸&æ¯ä¸ºäºè½éåºå½ä»¤è¡
åæ¢Kafka server
Shell代ç
bin/kafka-server-stop.sh
åºç°å¦ä¸ï¼
INFO Shutting down. (kafka.log.LogManager)
INFO Shutdown complete. (kafka.log.LogManager)
INFO Terminate ZkClient event thread. (org.I0Itec.zkclient.ZkEventThread)
INFO Session: 0x154957ee6bc0000 closed (org.apache.zookeeper.ZooKeeper)
INFO EventThread shut down (org.apache.zookeeper.ClientCnxn)
INFO [Kafka Server 0], shut down completed (kafka.server.KafkaServer)
åæ¢Zookeeper server:
Shell代ç
bin/zookeeper-server-stop.sh
åºç°å¦ä¸ï¼
[1]+ Exit 130 bin/zookeeper-server-start.sh config/zookeeper.properties
4.å建å¯å¨ãå ³ékafkaèæ¬
cd /home/chen-pc/kafka
å建å¯å¨èæ¬
vi kafkastart.sh #ç¼è¾ï¼æ·»å 以ä¸ä»£ç
#!/bin/sh
#å¯å¨zookeeper
/home/chen-pc/kafka/bin/zookeeper-server-start.sh /home/chen-pc/kafka/config/zookeeper.properties &
#ç3ç§åæ§è¡
sleep 3
#å¯å¨kafka
/home/chen-pc/kafka/bin/kafka-server-start.sh /home/chen-pc/kafka/config/server.properties &
ä¿åéåº
vi kafkastop.sh #ç¼è¾ï¼æ·»å 以ä¸ä»£ç
#!/bin/sh
#å ³ézookeeper
/home/chen-pc/kafka/bin/zookeeper-server-stop.sh /home/chen-pc/kafka/config/zookeeper.properties &
sleep 3
#å ³ékafka
/home/chen-pc/kafka/bin/kafka-server-stop.sh /home/chen-pc/kafka/config/server.properties &
æ·»å èæ¬æ§è¡æé
chmod +x kafkastart.sh
chmod +x kafkastop.sh
以åå¯å¨kafka
sh /home/chen-pc/kafka/kafkastart.sh
Jpsæ¥çè¿ç¨
å ³ékafka
sh /home/chen-pc/kafka/kafkastop.sh
è³æ¤ï¼Linuxä¸Kafkaåæºå®è£ é ç½®å®æã
4. åèç¹kafka
sh /home/chen-pc/kafka/kafkastart.sh
Kafkaå建topic
cd kafka
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Kafka å é¤topic
bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test
æ¥çtopic
/home/chen-pc/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181
å¯å¨consumer & producerï¼å¹¶å¨producerå¯å¨åçconsoleè¾å ¥ä¸äºä¿¡æ¯
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
Kafkaå®è£ é¨ç½²æå
看这篇 中文翻译的文档 希望能帮到你
Kafka 安装及快速入门
1. 下载Kafka安装包：访问官网kafka.apache.org\/下载最新版本的Kafka安装包。2. 解压文件：将下载的Kafka安装包解压到指定目录。3. 配置文件：修改kafka-server的配置文件，调整监听端口、日志目录等参数。功能验证 1. 启动Zookeeper：使用安装包中的脚本启动单节点Zookeeper实例。2. 启动Kafka服务：使用kafk...
轻松上手 Spring Boot & Kafka 实战!
1、下载包 下载地址： kafka.apache.org\/downlo...2、解压包 tar -zxvf kafka_2.11-1.0.0.tgz mv kafka_2.11-1.0.0 kafka1 mv kafka_2.11-1.0.0 kafka2 mv kafka_2.11-1.0.0 kafka3 3、创建ZK集群 修改ZK配置文件：kafka1-3\/config\/zookeeper.properties分别修改对应的参数。\/u...
Kafka相关内容总结(Kafka集群搭建手记)
kafka安装在目录\/usr\/local\/kafka\/下，下面的说明以10.1.xxx.57为例。最重要的配置文件server.properties，需要配置的信息如下：从上面的配置看到，kafka集群不需要像hadoop集群那样，配置ssh通讯，而且一个kafka服务器（官方文档称之为broker，下面统一使用这个称呼）并不知道其他的kafka服务器的存在，因此...
Mac安装kafka及常用命令
Kafka是Apache软件基金会开发的一个分布式事件流处理平台。在Mac上安装Kafka，可以使用brew工具来完成安装及依赖的安装。Kafka默认安装在\/usr\/local\/Cellar\/kafka\/目录下，其配置文件存放在\/usr\/local\/etc\/kafka\/目录。常见配置参数如s等，具体配置请参照官方文档。为了使用Kafka，首先需要启动其依赖组件zookeep...
为什么搭建Kafka需要zookeeper
kafka 很多说不需要安装zk的是因为他们都使用了kafka自带的zk 至于kafka为什么使用zk，你首先要知道zk的作用, 作为去中心化的集群模式。需要要消费者知道现在那些生产者（对于消费者而言，kafka就是生产者）是可用的。如果没了zk消费者如何知道呢？如果每次消费者在消费之前都去尝试连接生产者测试下是否连接...
kafka-python基本使用
关于Kafka和ZooKeeper的安装步骤，此处不再赘述，请参考Apache Kafka官方文档。2. kafka-python的安装 使用pip3命令安装kafka-python：`pip3 install kafka-python`。3. kafka-python的基本使用 3.1 消费端 3.2 生产端 生产者发送消息使用`producer.send`函数，若需要等待消息发送完成或超时，可以使用`...
kafka权限控制
或者不修改 kafka-server-start.sh 脚本, 而是将下面的内容添加到 ~\/.bashrc 再官方文档中写的是 这里其实没必要写成 SASL_SSL , 我们可以根据自己的需求选择SSL或PLAINTEXT, 我这里选择PLAINTEXT不加密明文传输, 省事, 性能也相对好一些 Kafka所有Broker 先使用kafka-console-producer 和 kafka-...
Python kafka 主流库的使用
在Linux系统中，首先从官方文档的QUICKSTART开始安装Kafka。假设你正在搭建一个由三台服务器组成的本地集群，它们的地址分别为localhost:9092, localhost:9093, localhost:9094。Python客户端库的选择上，confluent-kafka-python由Confluent公司维护，基于librdkafka，提供了高可靠性与性能。它的稳定性和维护性...
【收藏】 Kafka监控组件大全
Confluent Control Center是一个功能齐全的Kafka监控框架，集成了多种监控和管理功能，但需购买Confluent企业版才能使用。官方文档提供了快速启动指南，但安装过程较为繁琐，需要引入特定的Kafka版本及其相关服务。Kafka Monitor和Kafka Offset Monitor被认为是监控组件中的“炮灰”，具体信息不详。综上所述，这些...
kafka是否适合在docker中使用?单机集群是否有意义
其实不然,我在上面已经给出了分析,Yarn是完全可以保证长任务的稳定可靠的运行的。如何基于Yarn开发分布式程序本文不会具体教你如何使用Yarn的API,不过如果你想知道Yarn的API,但是又觉得官方文档太过简略,我这里倒是可以给出两个建议:代码使用范例可以参看SparkYarn相关的代码。算的上是一个非常精简的Yarn的adaptor。买...
