Kafka安装启动以及基本命令

关注

原创最新推荐文章于 2024-08-19 12:56:29 发布 863 阅读 AI 写同款· GEO 优化 ›

最近刚进公司在学spark streaming 相关的知识，所以先把相关的flume、Kafka等学习下，下面给出在安装启动过程中出现的问题以及解决方法。

一、Kafka安装

（1）apache官网可以下载zookeeper和Kafka，然后解压就可以

（2）gedit ./bashrc 命令配置环境变量，执行source ./bashrc 使文件生效

二、启动Kafka

执行语句

$KAFKA_HOME/bin/kafka-server-start.sh config/server.properties

遇到问题及解决方法：

（1）内存报错；

解决办法：修改Kafka-server-start.sh 文件，将Xmx1G-Xms1G修改为Xmx256M-Xms128M

（2) 未知的名称或服务

解决办法：修改config/server.properties文件，host.name改为虚拟机IP地址即可

（3）无法启动：ZKTimeoutException:unable connect to zookeeper server within timeout:6000

解决办法：host.name 改为本机IP

以上是本人在启动Kafka中遇到的问题。

三、Kafka基本命令

（1）、创建topic

Kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic test

（2）、查看所以topic的信息

Kafka-topics.sh --list --zookeeper localhost:2181

（3）、查看指定topic的详细信息

Kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

（4）、生产消息

kafka-console-producer.sh --broker-list localhost:9092 --topic test

（5）、消费消息

kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

收录于

大数据

标签

#kafka

本内容遵循 CC 4.0 BY-SA 版权协议