一丶Kafka初识与安装

  • Z时代
  • 2024-01-10
  • 分类：综合

编程

1.先安装zookeeper

下载地址：https://zookeeper.apache.org/releases.html#download

## 注意我这里解压到/usr/local下
1.1 进行解压： tar zookeeper-3.4.6.tar.gz
1.2 重命名： mv zookeeper-3.4.6 zookeeper
1.3 修改环境变量： vim /etc/profile 
## 这里要添加zookeeper的全局变量
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=.:$ZOOKEEPER_HOME/bin
1.4 刷新环境变量： source /etc/profile
2.1 到zookeeper下修改配置文件： 
2.2 首先到指定目录： cd /usr/local/zookeeper/conf
2.3 然后复制zoo_sample.cfg文件，复制后为zoo.cfg： mv zoo_sample.cfg zoo.cfg
2.4 然后修改两处地方, 最后保存退出：
进入zookeeper根目录执行 bin/zkServer.sh start

ps -aux | grep "zookeeper"   查询是否启动

 

2.安装kafka 

下载地址 http://kafka.apache.org/downloads.html

## 解压命令：
tar -zxvf kafka_2.12-2.1.0.tgz -C /usr/local/
## 改名命令：
mv kafka_2.12-2.1.0/ kafka_2.12
## 进入解压后的目录，修改server.properties文件：
vim /usr/local/kafka_2.12/config/server.properties
## 修改配置：
broker.id=0
port=9092
host.name=192.168.11.51
advertised.host.name=192.168.11.51
log.dirs=/usr/local/kafka_2.12/kafka-logs
num.partitions=2
zookeeper.connect=192.168.11.111:2181
## 建立日志文件夹：
mkdir /usr/local/kafka_2.12/kafka-logs
##启动kafka：
/usr/local/kafka_2.12/bin/kafka-server-start.sh /usr/local/kafka_2.12/config/server.properties &

 

 

kafka常用命令

我们接下来一起了解几个非常重要的命令，通过这些命令我们对kafka topic partition 进行查看和操作。

  • 常用命令：

    ## 简单操作：
    #（1）创建topic主题命令：（创建名为test的topic， 1个分区分别存放数据，数据备份总共1份）
    kafka-topics.sh --zookeeper 192.168.11.111:2181 --create --topic topic1 --partitions 1  --replication-factor 1  
    ## --zookeeper 为zookeeper服务列表地址配置项，这里任意指定zookeeper其中一个服务列表地址即可
    ## --create 命令后 --topic 为创建topic 并指定 topic name
    ## --partitions 为指定分区数量配置项
    ## --replication-factor 为指定副本集数量配置项
    #（2）查看topic列表命令：
    kafka-topics.sh --zookeeper 192.168.11.111:2181 --list
    #（3）kafka命令发送数据：（然后我们就可以编写数据发送出去了）
    kafka-console-producer.sh --broker-list 192.168.11.51:9092 --topic topic1
    ## --brokerlist kafka服务的broker节点列表
    #（4）kafka命令接受数据：（然后我们就可以看到消费的信息了）
    kafka-console-consumer.sh --bootstrap-server 192.168.11.51:9092 --topic topic1 --from-beginning
    #（5）删除topic命令：
    kafka-topics.sh --zookeeper 192.168.11.111:2181 --delete --topic topic1
    #（6）kafka查看消费进度：（当我们需要查看一个消费者组的消费进度时，则使用下面的命令）
    kafka-consumer-groups.sh --bootstrap-server 192.168.11.51:9092 --describe --group group1
    ## --describe --group 为订阅组， 后面指定 group name

以上是 一丶Kafka初识与安装 的全部内容， 来源链接： utcz.com/z/515932.html

回到顶部