kafka_2.11 简单使用

AI权益加码!Claude Code、Cursor等20+工具免费用! 购周边限时加赠Coding Plan Lite,畅享主流AI工具!学习进阶更高效! 阅读详情

进过上一篇的引导,相信大家应该都已经安装好了。这次我们就来简单使用一下。

1 创建 topic

像官网上写的那样,我们可以使用 kafka.topics.sh 脚本来创建一个 topic 。不过,前提是我们需要启动zookeeper 和 kafka 服务。
这里写图片描述

那我们就用官网上例子好了:

[root@master config]# kafka-topics.sh --create --zookeeper localhost:2181 --topic first                                      

Missing required argument "[partitions]"

Option                                   Description                            
------                                   -----------                            
--alter                                  Alter the number of partitions,        
                                           replica assignment, and/or           
                                           configuration for the topic.         
--config <name=value>                    A topic configuration override for the 
                                           topic being created or altered.The   
                                           following is a list of valid         
                                           configurations:                      
                                                cleanup.policy                        
                                                compression.type                      
                                                delete.retention.ms                   
                                                file.delete.delay.ms                  
                                                flush.messages                        
                                                flush.ms                              
                                                follower.replication.throttled.       
                                           replicas                             
                                                index.interval.bytes                  
                                                leader.replication.throttled.replicas 
                                                max.message.bytes                     
                                                message.format.version                
                                                message.timestamp.difference.max.ms   
                                                message.timestamp.type                
                                                min.cleanable.dirty.ratio             
                                                min.compaction.lag.ms                 
                                                min.insync.replicas                   
                                                preallocate                           
                                                retention.bytes                       
                                                retention.ms                          
                                                segment.bytes                         
                                                segment.index.bytes                   
                                                segment.jitter.ms                     
                                                segment.ms                            
                                                unclean.leader.election.enable        
                                         See the Kafka documentation for full   
                                           details on the topic configs.        
--create                                 Create a new topic.                    
--delete                                 Delete a topic                         
--delete-config <name>                   A topic configuration override to be   
                                           removed for an existing topic (see   
                                           the list of configurations under the 
                                           --config option).                    
--describe                               List details for the given topics.     
--disable-rack-aware                     Disable rack aware replica assignment  
--force                                  Suppress console prompts               
--help                                   Print usage information.               
--if-exists                              if set when altering or deleting       
                                           topics, the action will only execute 
                                           if the topic exists                  
--if-not-exists                          if set when creating topics, the       
                                           action will only execute if the      
                                           topic does not already exist         
--list                                   List all available topics.             
--partitions <Integer: # of partitions>  The number of partitions for the topic 
                                           being created or altered (WARNING:   
                                           If partitions are increased for a    
                                           topic that has a key, the partition  
                                           logic or ordering of the messages    
                                           will be affected                     
--replica-assignment                     A list
Kafka入门 快速入门KafKa安装配置和运行 阅读详情

相关推荐

Spark Streaming接收Kafka数据进行wordcount

组件环境: Spark 2.4.4 Kafka 2.11-0.11.0.2 JDK 1.8.0_121 Scala 2.11.8 Maven 3.5.0 本地开发在window10,IDEA 2017.2,Spark集群在服务器上。 要提一点Kafka的版本问题,像我这里的Kafka2.11-0.11.0.22.11是Scala版本,0.11.0.2才是Kafka的版本。Spark Strea...

ylqdh的博客 382

CentOS7Kafka出现1、Missing required argument “[bootstrap-server]“错误和2、zookeeper is not a recognized错误

出现1错误是因为缺少一个参数bootstrap-server,加上--bootstrap-server localhost:9092即可: bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic MyTopic --from-beginning 出现2错误是因为kafka的版本问题,低版本可以使用命令: bin/kafka-console-consumer.sh --zookeeper localhost:21

lumo4的博客 2523

org.apache.kafka kafka_2.10 0.10.2.0 的jar包下载

依赖方式     org.apache.kafka     kafka_2.10     0.10.0.0 但是没有被中央仓库的任何jar包依赖!您可以在这里点击下载

kafka命令(较全)

1、脚本命令的使用 创建一个主题topic bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

iris_csdn的博客 1323

Linux下安装Kafka

一、Kafka的下载安装 1.1 Kafka下载 前往官网下载Kafka: https://kafka.apache.org/downloads 点击链接: 进入此页面,复制此链接。 我们会得到一个地址: https://dlcdn.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz 进入Linux中,使用wget命令下载这个文件,我下载在root的家目录下面: wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.13

刘伟佳的博客 1558

Kafka新手入门-001 官网的 QuickStart 踩坑拾遗

跟着卡夫卡官网走 QuickStart 教程,遇到了不少问题,现记录如下: 第一步 第一步没有问题。 第二步 这里第一次可以成功,如果关掉虚拟机重开后,重试这一步会报错,报错信息如下: [2020-01-11 11:12:43,783] ERROR Unexpected exception, exiting abnormally (org.apache.zookeeper.server.ZooKeeperServerMain) java.io.IOException: No snap..

predawnlove的博客 1939

kafka 2.11-0.11集群安装、简单命令使用

安装包下载 http://kafka.apache.org/downloads.html 安装 解压安装包 tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/opt/kafka-0.11/ 修改解压后的文件名称 mv kafka_2.11-0.11.0.0/ kafka 在/opt/module/kafka 目录下创建 logs 文件...

qq_22049773的博客 830

kafka2.11 java 示例_kafka学习(二)---- Kafka简单的Java版本的Hello World实例

kafka学习(二)---- Kafka简单的Java版本的Hello World实例1、开发环境我使用的是官网的kafka_2.11-0.10.0.0版本,最新的是kafka_2.11-0.10.0.1版本,大家自行下载安装配置。点击进入下载地址,点击进入如何win下配置开发环境 ##2、 创建项目 ## 两种方式:(a)普通的方式创建注意:开发时候,需要将下载kafka-2.11-0.10.0...

weixin_28267011的博客 576

kafka——2.11 单机部署 与topic基础简单应用

.使用kafka首先要配置启动好zookeeper 1.在zookeeper的conf目录里 执行: cp zoo_sample.cfg zoo.cfg 2.打开zoo.cfg的文件 命 令 :vi zoo.cfg dataDir=/tmp/zookeeper (虽然给出这个路径给你,但是系统并没有,要你自己创建的,你可以不按这个路径)dataLogDir=...

weixin_34177064的博客 496

Kafka-2.11学习笔记(一)简单介绍

鲁春利的工作笔记,谁说程序员不能有文艺范?下载地址:http://kafka.apache.org/downloads.html当前最新版本:Scala 2.11 -kafka_2.11-0.8.2.1.tgzwgethttp://apache.fayea.com/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgzKafka是一个高性能的分布式消息队...

weixin_33979203的博客 153

Kafka(二)CentOS7.5搭建Kafka2.11-1.1.0集群与简单测试

一、下载 下载地址: http://kafka.apache.org/downloads.html 我这里下载的是Scala 2.11对应的kafka_2.11-1.1.0.tgz 二、kafka安装 集群规划 IP 节点名称 Kafka Zookeeper Jdk Scala 192.168.100.21 node21 Kafk...

dengshuabi6933的博客 325

Ubuntu22.04下安装kafka_2.11-0.10.1.0并运行简单实例

安装Kafka -> 启动Kafka -> 测试Kafka是否正常工作

哇咔咔哇咔的博客 2220

CentOS7.5搭建Kafka2.11-1.1.0集群与简单测试

转载自:https://www.cnblogs.com/frankdeng/p/9403883.html 一、下载 下载地址: http://kafka.apache.org/downloads.html 我这里下载的是Scala 2.11对应的kafka_2.11-1.1.0.tgz 二、kafka安装 集群规划 IP 节点名称 Kafka Zoo...

tyrroo的博客 381

kafka使用_Kafka 安装及简单命令使用

前言上篇文章讲解了 Kafka 的基础概念和架构,了解了基本概念之后,必须得实践一波了,所谓“实践才是检验真理的唯一办法”,后续系列关于 Kafka 的文章都以 kafka_2.11-0.9.0.0 为例;另外为了让大家快速入门,本文只提供单机版的安装实战教程,如果有想尝试集群方案的,后面在出一篇集群安装的教程,废话不多说了,直接开干。安装1. 下载版本号:kafka_2.11-0.9....

weixin_39828331的博客 92

pyspark学习笔记:4- zookeeper3.5.9+kafka2.11-2.4.1单机部署+python api模拟消费者+pyspark结构化流集成kafka简单使用-2023-2-14

报错:java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: Provider org.apache.spark.sql.kafka010.KafkaSourceProvider could not be instantiated 解决:使用kafka2.11版本以及spark-sql-kafka-0-10_2.12-2.4.1.jar

feifeileill的博客 375
上一篇: kafka_2.11 安装配置 (详细图文)
下一篇: flume-1.7.0 安装配置 (详细图文)
M_SIGNALs
博客等级 码龄10年 45粉丝 21原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值