Kafka集群的搭建
一、背景
最近在学习 kafka ,此处记录一下 mac 上 搭建 kafka 集群的步骤。
二、安装软件
由于 kafka 依赖 zookeeper 因此需要安装 zookeeper ,而 kafka 是基于 scala 语言编写, scala 又是基于 jdk 的,因此需要安装 jdk 。
JDK , 推荐在 jdk8 及以上的版Ka本,此处安装 jdk 略。 zookeeper , 在本机搭建一个 3 个节点的 zk 伪集群。 kafka 在本地搭建一个3个节点的 kafka 集群。 三、安装步骤 1、搭建一个 3 个节点的 zk 伪集群
ip客户端连接端口集群选举接口集群原子广播接口server.id中id的值节点名,目前没用到,这个配置到hostfks文件中
注意:
server.id 的中的 id 的配置是在 zoo.cfg 配置文件的 dataDir 配置项指定的目录中 创建 myid 文件指定的。
1、下载 zookeeper 安装包
get https://mirror.bit.edu.cn/apache/zookeeper/zookeea集per-3.6.2/apache-zookeeper-3.6.2-bin.tar.gz
2、解压三份,并放置在 zookeeper 目录中
3、修改 zookeeper 配置文件,此处以 zk01 为例子
修改 conf 目录下的 zoo_sample.cfg 为 zoo.cfg
编辑 zoo.cfg群的 配置文件
注意:
此处拿 zk01 为示例编写,因为是本地上启动多个,所以 需求修改端口 各个服务器上的 myid 文件对应的值 都应该不一样,且唯一。 dataDir 的路径需要修改。 其余的配置可以看着修改,看具体的情况。 启动3个zk节点
分别进入到 zk01/bin , zk02/bin , zk03/bin搭建 目录下执行 如下命令
./zkServer.sh --config ../conf start 连接 zk 集群 ./zkCli.sh -server 127.0.0.1:2181,127.0.0.1:3181,127.0.0.1:Ka4181 2、搭建一个3个节点的 kafka 集群
注意:
broker.id 的值必须唯一,且是数字。
1、下载 kafka
https://www.apache.org/dyn/closer.cgi?path=/kafka/2.6.0/kafka_2.13-2.6.0fk.tgz
2、解压3份,并放置到 kafka 目录中
3、修改 server.properties 文件,此处以 kafka01 为例子
需要修改的属性 ,此处以 kafka01 为示例,不同的接口修改具体的值
4、启动3个kafka节点
依次进入到 kafka01/bin , kafkaa集02/bin , kafka03/bin 目录,执行如下命令
./kafka-server-start.sh ../config/server.properties &
5、kafka测试
此处以 kafka01 作为示例
1、创建一个主题
bin/kafk群的a-topics.sh --create --topic test-001 --replication-factor 1 --partitions 1 --bootstrap-server 搭建;127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094
2、查看主题信息
bin/kafka-topics.sh --describe --bootstrap-server 127.0.0.1:9092,1Ka27.0.0.1:9093,127.0.0.1:9094 --topic test-001
3、往创建的主题中发布一条信息
bin/kafka-console-producer.sh --topic test-001 --fkbootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094
4、读取刚刚往主题中发布的消息
bin/kafka-console-consumer.sh --topic test-00a集1 --from-beginning --bootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094
到此,一个简单的可用的kafka集群就搭建完毕了。
- ·机器学习让骨科图像分析更进一步
- ·加州大学华人博士团队训练AI模仿鸟儿唱歌 实时「意念-语音转换」
- ·标签: 小鹏 Robotaxi 何小鹏 P7
- ·标签: Amkor Giel Rutten Kevin Engel 半导体
- ·参与国家“东数西算”工程,中国电信:将继续加大国家枢纽节点数据中心建设
- ·OpenAI 与 Booking.com 联合推出小企业 ChatGPT 免费培训课程
- ·标签: 福特 F-150 电动皮卡 特朗普关税
- ·Salesforce公司是如何发现人工智能人才以及如何提升人才技能的
- ·腾讯:钱对我来说,就是一堆数字了
- ·AWS和Arm展示在云计算中生产规模电子设计自动化
- ·标签: 睿云联创 智能对讲 港交所上市 AI家居
- ·如何看待Serverless数据库之争?
- ·标签: 歌尔股份 2026年Q1财报 歌尔股份财报 歌尔股份业绩
- ·标签: 明基医院
- ·Twitter鏀惰喘鏂伴椈搴旂敤Brief寮€鍙戝洟闃�
- ·标签: 金山软件 小米 雷军 游戏合作
- ·https://www.shacknews.com/editorial-search?q=谷歌霸屏教学【tg:seogoogle987】,Nr5
- ·https://www.rollingstone.it/?ID=DVMeu3AlmzZE1cuJ2FmgmO5TSCQRb3yh&s=谷歌霸屏教学【tg:seogoogle987】,Upm
- ·https://www.localfootdoc.com/?s=谷歌霸屏教学【tg:seogoogle987】,iu9
- ·https://www.zutari.com/search/谷歌霸屏教学【tg:seogoogle987】,Pzd
- ·https://www.navylookout.com/?ID=nSBR6Ivdu6lZg1yr2SDs30Lo5sTs76yJ&s=谷歌霸屏教学【tg:seogoogle987】,Yux
- ·https://www.hanbat.ac.kr/search/front/Search.jsp?qt=谷歌霸屏教学【tg:seogoogle987】1u9
- ·https://www.madebyoranges.com/nl/search/谷歌霸屏教学【tg:seogoogle987】,Mcf
- ·https://www.roberthalf.com/us/en/jobs/all/谷歌霸屏教学【tg:seogoogle987】LBx
- ·https://www.parl.ca/legisinfo/fr/projets-de-loi?parlsession=all&view=list&keywords=谷歌霸屏教学【tg:seogoogle987】,NKE
- ·https://www.remit.co.jp/en/?s=谷歌霸屏教学【tg:seogoogle987】,nwu
- ·标签: 捷豹路虎 格里·麦戈文 揽胜 Type00
- ·硅基流动上线 DeepSeek-V3.2-Exp,显著降低价格并支持更大上下文
- ·腾讯发布 Youtu-Embedding:助力企业级智能服务
- ·SuperCLUE多模态视觉8月评测榜:Gemini-2.5-Pro位居第一
- ·云安全日报210312:IBM DB2数据库管理系统发现拒绝服务漏洞,需要尽快升级
- ·Facebook推出新功能:创作者可通过电商渠道赚钱
- ·标签: Kimi 月之暗面 张予彤 AI模型
- ·IDC:到 2024 年,云计算可消除十亿公吨的 CO2 排放
- ·标签: 阿里巴巴 嘉兴园区 中金基金 基础设施REIT
- ·标签: Suno AI音乐 Menlo Ventures NVentures
