Kafka之docker部署

万字修行!消息中间件架构体系:Kafka研究,从入门到深入 Kafka 是一款分布式消息发布和订阅系统,具有高性能、高吞吐量的特点而被广泛应用与大数据传输场景。它是由 LinkedIn 公司开发,使用 Scala 语言编写,之后成为 Apache 基金会的一个顶级项目。kafka 提供了类似 JMS 的特性,但是在设计和实现上是完全不同的,而且他也不是 JMS 规范的实现。 阅读详情

一.镜像拉取

docker pull wurstmeister/zookeeper
docker pull wurstmeister/kafka
docker pull sheepkiller/kafka-manager

二.定义docker-compose.yml

version: '3'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
  kafka:
    image: wurstmeister/kafka
    depends_on: [ zookeeper ]
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 192.168.220.150
      KAFKA_MESSAGE_MAX_BYTES: 2000000
      KAFKA_CREATE_TOPICS: "Topic1:1:3,Topic2:1:1:compact"
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /data/product/zj_bigdata/data/kafka/docker.sock:/var/run/docker.sock
  kafka-manager:
    image: sheepkiller/kafka-manager
    ports:
      - 9000:9000
    environment:
      ZK_HOSTS: zookeeper:2181

参数说明:

1.KAFKA_ADVERTISED_HOST_NAME:Docker宿主机IP(如果你要配置多个brokers,就不能设置为 localhost 或 127.0.0.1)
2.KAFKA_MESSAGE_MAX_BYTES:kafka(message.max.bytes) 会接收单个消息size的最大限制,默认值为1000000 , ≈1M
3.KAFKA_CREATE_TOPICS:初始创建的topics,可以不设置
4.环境变量./kafka-logs为防止容器销毁时消息数据丢失。
5.容器kafka-manager为yahoo出可视化kafka WEB管理平台。

三.启动服务

# 启动:
$ docker-compose up -d
 
# 增加更多Broker:
$ docker-compose scale kafka=3
 
# 合并:
$ docker-compose up --scale kafka=3

四.启动测试

记住启动的启动名称,kafka为 kafka_kafka_1 ,zookeeper 为 kafka_zookeeper_1 .
如果docker-compose正常启动,此时docker ps会看到以上两个容器。进入kafka容器

docker exec -it kafka_kafka_1 bash

创建一个topic

$KAFKA_HOME/bin/kafka-topics.sh --create --topic topic --partitions 4 --zookeeper kafka_zookeeper_1:2181 --replication-factor 1 

注意–zookeeper后面的参数为,容器的name

查看刚刚创建的topic

$KAFKA_HOME/bin/kafka-topics.sh --zookeeper kafka_zookeeper_1:2181 --describe --topic test

发布信息

bash-4.4# $KAFKA_HOME/bin/kafka-console-producer.sh --topic=test --broker-list kafka_kafka_1:9092
>ni
>haha

同样注意–broker-list后面的参数
接收消息

bash-4.4# $KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server kafka_kafka_1:9092 --from-beginning --topic test
ni
haha

五.kafka集群管理界面

访问
http://192.168.220.150:9000/
在这里插入图片描述
相关链接
Kafka设计原理

docker安装kafka 1.环境准备 安装有docker的阿里云服务器,或安装有docker的linux虚拟机一台. 2.kafka需要zookeeper管理,所以需要先安装zookeeper。 [root@iZi62729w5du0vZ /]# docker pull wurstmeister/zookeeper Using default tag: latest latest: Pulling from wurstmeister/zookeeper a3ed95caeb02: Pull complete ef38 阅读详情

相关推荐

Kafka集群搭建(Docker方式部署)

2.Zookeeper配置,创建Zookeeper配置文件。3.创建Zookeeper日志配置。4.创建Docker编排文件。

shenaohuoli132的博客 3180

docker部署kafka

镜像拉取 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 定义docker-compose.yml version: '3' services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafk...

vincent_duan的专栏 536

在Docker环境下部署Kafka

1、下载镜像 这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像 docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka 在命令中运行docker images验证两个镜像已经安装完毕 2、启动 1、启动zookeeper docker run

snowcity1231的专栏 3万+

kafka配置项host.name advertised.host.name

遇到的问题: 在本机或者其他机器telnet IP 9092,通,使用域名也通,telnet 127.0.0.1 9092不通 host.name:按配置文件说明,是Kafka绑定的interface。其实这个说明有点误导,下面会见到。 advertised.host.name:是注册到zookeeper,client要访问的broker地址。(可能producer也是拿这个值,...

weixin_30865427的博客 1339

通过 docker-compose 部署 Kafka

在 Kafka 中,由于消息的生产和消费速度可能不一致,导致消息会积压在 Kafka 的分区中,如果这些积压的消息处理不及时,会导致 Kafka 系统的性能下降和可用性降低等问题。可以通过 Kafka 的 offset 操作,重置消费 offset,跳过已经处理过的消息,减少数据积压的问题。:在消费 Kafka 消息时,可以额外执行一些消息清洗处理操作,将无用的数据过滤出去,或者将数据进行清理和格式化处理,减少中间处理环节,提高数据消费的效率和可用性。消费组在 Kafka 消息队列中起到了至关重要的作用。

ststcheung的博客 3267

docker部署kafka监控服务kafka-exporter

1、kafka需要zookeeper管理,所以需要先安装zookeeper。 下载docker pull wurstmeister/zookeeper:latest版本 docker pull wurstmeister/zookeeper 启动镜像生成容器 docker run -d --restart="always" --name zookeeper -p 2181:2...

zchlove137的博客 5081

Docker部署Kafka

为实现备份功能,保证某个节点发生故障时,该节点上的分区(Partition)数据不会丢失,且Kafka集群仍然能够继续工作。Kafka是一个开源的时间流处理平台,由Scala和Java编写,持久化本质是分布式事务日志架构的大规模发布订阅。ADVERTISED_LISTENERS必须设置外部连接Kafka broker的地址,本机开发设置为。Leader副本发生故障时,某个Follower副本会成为新的Leader副本,设置副本数量不能为0,也不能大于节点个数,否则不能创建Topic。

weixin_62799021的博客 5261

docker 离线部署 kafka

docker 离线部署 kafka

ljy啊虎的博客 1799

docker 部署 Kafka 单机和集群

如果未安装,可以访问 Docker 官网下载并安装 Docker Desktop(Windows 和 Mac)或使用包管理器安装(Linux)。

菜鸡的博客 3996

Docker部署Kafka,Kubernetes部署Kafka

而Kubernetes提供了一个强大的容器编排和管理平台,可以自动化部署和管理Kafka集群。无论是使用Docker还是Kubernetes,都能够帮助我们轻松地部署和管理Kafka,使其能够在分布式环境中高效地运行。首先,我们将使用Docker来部署Kafka。你应该能够看到一个名为"kafka"的Pod正在运行,并且有一个名为"kafka"的服务。我们还需要创建一个Kafka的服务文件,用于将外部流量导入到Kafka的Pod。我们将创建一个Kafka的部署文件,描述Kafka的部署配置。

YazIdris的博客 202

自举电容的工作原理-3句话总结

1、一道面试题 照例,先抛出来一道面试题:“Buck电路的SW引脚通常会放置一颗小电容,这颗电容有什么用?”。这个问题问得比较细,非常考验被面试者的硬件基本功。 2、似懂非懂的答案 有小伙伴可能不太清楚这颗电容的作用,回答不上来。也有小伙伴脱口而出:自举电容,用来做升压的。但后面好像说不出来具体逻辑。 没具体了解过,答不上来,也没啥可惜的。但是了解过一点,但又似懂非懂的这种,给出的答案只是轻轻点水或者千篇一律,那无疑是错过了一个加分项。 3、异步Buck的自举环路组成 既然是针对Buck电路讲自举电容,前面

ltqdxl的博客 3万+

【Kafka】docker部署Kafka集群

docker部署Kafka集群

Felier's Blog 3546

Silvaco Atlas(五)——物理模型总结

物理模型总结

qsz1425AWD2121的博客 2156

Docker 部署 Kafka 集群详解教程

Kafka 是一个分布式流处理平台,广泛用于构建实时数据管道和流应用。它能够处理高吞吐量的数据,并支持实时数据的发布和订阅。在本文中,我们将详细介绍如何使用 Docker 来部署 Kafka 集群,包括 Kafka 的选举原理。

广阔天地,大有作为 3368

晶圆测试厂wafer map管理建议

按照Recipe设定bin定义 应有版本管理概念,一般使用最新版本做为活动版本即可 Bin明细中应包含 BinID、BinCode、BinName、BinType、BinColor、Description BinID可使用数字类型 BinCode可参照实际机台的Bin,用于匹配 有些公司也将BinID、BinCode理解为SBin和HBin 即 Software Bin & Hardware Bin 一般也将BinID对应到客户的Bin BinType

凯神做开发 1万+

DGX Spark部署Isaac Sim:Arm架构容器化与机器人仿真避坑指南

机器人仿真平台依赖物理引擎与GPU加速,在Arm架构设备上的部署往往面临兼容性挑战。NVIDIA DGX Spark基于Grace Blackwell统一内存架构,CPU与GPU共享128GB内存,为本地运行大模型与Isaac Sim仿真提供了硬件基础。Isaac Sim作为NVIDIA Omniverse之上的机器人仿真平台,支持合成数据生成、物理仿真与强化学习策略训练,而容器化方案可将复杂依赖封装隔离,arm64镜像选型则成为部署成败的分水岭。本文从系统环境确认、NVIDIA Container Too

weixin_31220401的博客 215

Kafka之Docker部署Kafka kraft集群

使用docker-compose对kafka进行集群大剑,使用3.0版本不需要zookeeper支持,在一台宿主机大剑集群

u010088278的博客 5154

SAP S4HANA F-02报错:更正统一日记账分类账的定制设置

消息号 FINS_ACDOC_CUST201 使用FINS_CUST_CONS_CHK_P去检查公司代码和分类账的设置 提示:过账期间变式为空(分类账 E1/公司代码 7500) 检查了表FINSC_LD_CMP 显示有分类账未分配过账期间变式 解决:后台配置定义分类账和货币类型的设置把过账变式维护下 路径:财务会计→财务会计全局设置→分类账→分类账→定义分类账和货币类型的设置 选中需要维护的分类账双击左侧的“分类账的公司代码设置”,找到对应的公司代码维护上即可。

qq_45068743的博客 6453

Docker-compose部署kafka

一、简写安装 Docker及docker-compose 1. 安装Docker # 安装依赖 sudo yum install -y yum-utils \ device-mapper-persistent-data \ lvm2 # 添加docker下载仓库 sudo yum-config-manager \ --add-repo \ https://download...

MLn Blog 1623

从婴儿学步到工业级应用:VLA的‘隐式标定‘原理通俗图解

本文深入解析VLA(Vision-Language-Action)模型的'隐式标定'原理,通过类比婴儿学习机制,揭示其如何替代传统手眼标定技术。文章对比了工业机器人传统标定与VLA数据驱动方法的差异,并可视化神经网络注意力机制,展示其在空间关系编码上的突破性进展。最后探讨了VLA在工业应用中的优势与混合架构解决方案。

pz890123456的博客 327

20231126-超详细Isaac Gym安装教程(基于双系统版本)

我一开始使用了WSL2虚拟环境试了集群服务器里面的交互式桌面,但是都失败了,WSL2因为没办法调用系统的GPU,应该有办法配置但我放弃了,感兴趣的可以自己探索(图片贴出来了)。服务器上出现的问题是Segmentation fault (core dumped),目前还没解决,有可能是驱动和cuda版本的问题(后面有时间再解决)等上图右边都达到了100%,就创建了一个名为rlgpu的conda环境,然后会出现success。注意安装版本要低于3.9!参考链接:非常详细,大家直接看这个博主的安装就行。

m0_37802038的博客 2万+

kafka | 1.docker部署kafka

docker部署kafka

qq_39449880的博客 3959

【AUTOSAR OS】调度表管理模块深度解析

本文深入解析AUTOSAR OS调度表的实现机制。调度表通过预定义到期点序列控制任务激活时序,支持周期性执行、多核协同和容错处理。核心数据结构包括调度表控制块(STCB)、配置结构和到期点动作。关键函数涵盖初始化、启动、到期点处理及链表管理,采用O(n)时间复杂度。以发动机控制为例展示配置与使用方式,并探讨显式同步、时间容错等高级特性。最后提出EP数量控制、链表优化等性能建议,为汽车ECU时间触发系统开发提供参考。

1611

docker-compose 部署kafka

第一步:安装docker-compose 1.从github上下载docker-compose二进制文件安装 下载最新版的docker-compose文件 $ sudo curl -L https://github.com/docker/compose/releases/download/1.16.1/docker-compose-`uname -s`-`uname -m` -o /usr...

Crystalqy的博客 5816

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

全球国家地区城市数据

MySQL全球国家地区城市数据报。。。。。。。。。。。。

上一篇: Kafka设计原理
下一篇: MySQL存储引擎的介绍
redstone618
博客等级 码龄8年 131粉丝 82原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

redstone618

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址