Kafka——一个高吞吐的分布式消息系统

1.SparkStreaming有什么好处？

1）解耦

2）缓冲

2.消息队列常见场景

1）系统之间解耦合

2）峰值压力缓冲

3）异步通信

3.kafka的架构

4.kafka的消息存储和生产消费模型

1）一个topic分成多个partition

2）每个partition内部消息强有序，每个消息都有一个序号叫offset

3）一个partition只对应一个broker，一个broker可以管多个partition

4）消息直接写入文件，而不是存储在内存中

5）根据时间策略（默认一周）删除，而不是消费完就删除

6）producer自己决定往哪个partition写消息，可以是轮询的负载均衡，或者是基于hash的partition策略

7）consumer自己维护消费到哪个offset，每个consumer都有对应的group，group是queue消费模型

8）各个consumer消费不同的partition，一个消息在group内只消费一次，各个group各自独立消费，互不影响

5.kafka的特点

  • 消息系统的特点：生存者消费者模型，FIFO

  • 高性能：单节点支持上千个客户端，百MB/s吞吐

  • 持久性：消息直接持久化在普通磁盘上且性能好

  • 分布式：数据副本冗余、流量负载均衡、可扩展

  • 很灵活：消息长时间持久化+Client维护消费状态

6.kafka与其他消息队列对比

  • RabbitMQ：分布式，支持多种MQ协议，重量级

  • ActiveMQ：与RabbitMQ类似

  • ZeroMQ：以库的形式提供，使用复杂，无持久化

  • radis：单机、纯内存性好，持久化较差

  • kafka：分布式，较长时间持久化，高性能，轻量灵活

7.命令

1.生成topic

cd /usr/local/kafka/bin
./kafka-topics.sh --zookeeper ht-1:2181,ht-2:2181,ht-3:2181 --create --topic t0426 --partitions 3 --replication-factor 3

2.查看生成的topic

./kafka-topics.sh --zookeeper ht-1:2181,ht-2:2181,ht-3:2181 --list

3.控制台当生产者

./kafka-console-producer.sh --topic t0426 --broker-list ht-1:9092,ht-2:9092,ht-3:9092

4.控制台当消费者

./kafka-console-consumer.sh --bootstrap-server ht-1:9092 --topic t0426

5.查看topic的描述信息

./kafka-topics.sh --zookeeper ht-1,ht-2,ht-3 --describe --topic t0426

6.查看producer生产消息的最大位置

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list ht-1:9092 --topic t0427 --time -1

7.删除topic

./kafka-topics.sh --zookeeper ht-1:2181,ht-2:2181,ht-3:2181 --delete --topic t0426

8.kafka的Leader均衡机制

当partition的leader挂掉之后，会按照副本优先原则去寻找新的leader，由新的broker来管理partition，当挂掉的leader重新启动，partition会重新由原来的broker管理

9.删除topic

1.命令删除topic，当前topic被标记删除，默认一周之后被删除

2.清除broker上当前topic的数据目录

3.去zookeeper中删除原数据

4.删除zookeeper中被标记删除的topic信息

10.SparkStreaming + Kafka 的Receiver模式

11.SparkStreaming + Kafka 的Direct模式

以上是 Kafka——一个高吞吐的分布式消息系统 的全部内容， 来源链接： utcz.com/a/25289.html

回到顶部