# kafka_cluster

**Repository Path**: guan_songsong/kafka_cluster

## Basic Information

- **Project Name**: kafka_cluster
- **Description**: 一键部署kafka集群环境，非常适用于学习阶段(因为采用的是单机多容器)
- **Primary Language**: Python
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 3
- **Forks**: 0
- **Created**: 2021-07-20
- **Last Updated**: 2024-12-04

## Categories & Tags

**Categories**: Uncategorized

**Tags**: 容器, Docker, Kafka, Python, kafka-eagle

## README

# 介绍
 - 组成：3zk + 3kafka + kafka-eagle
 - 单台服务利用容器来实现集群效果

# 依赖
 - python3
 - docker
 - docker-compose

# 使用场景
 - 建议在**开发环境**或者**测试环境**或者**个人学习**中使用（生产环境每个broker应在部署在不同服务器上）

# 使用方法
  - 创建集群: `sudo python3 scripts/deploy.py`
  - 浏览器访问： `ip:8048`   （仪表盘）
    - 登录： `admin`  `123456`
  - 登录后，页面上的BROKERS和ZOOKEEPERS如果都为3个，则集群构建成功
![输入图片说明](https://images.gitee.com/uploads/images/2021/1015/012136_093250fe_7844343.png "屏幕截图.png")


# 注意：
 - 重新搭建集群，原有数据会全部删除
 - JMX端口已经被eadge占用了，所以用/opt/kafka/bin/下的命令无法成功(不会影响客户端代码)，解决方法:
        - unset JMX_PORT

# 相关目录结构
 - data: 挂载数据 (服务开启后自动生成)
 - producer_consumer_demo： python 客户端
 - kafka_streams_demo: 流处理，使用的是Faust模块
 - 其他文件/文件夹都是与构建环境有关的
 
 - kafka容器中的目录
    - bin: /opt/kafka/bin
    - data: /kafka/data