kafka实战
kafka目录简介 使用场景安装并运行核心概念 Topics和Logs生产者消费者broker分区(partition)和副本(replication)Kafka的保证 数据可靠性保证数据一致性保证配置 Broker配置Topic配置Producer配置Consumer配置常见操作 创建和删除topic修改topicleader 平衡检查消费者位置demo 源码下载简介Kafka...
2024-01-10
kafka安装
1、下载解压https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.12-2.5.0.tgz解压：> tar -xzf kafka_2.12-2.5.0.tgz> cd kafka_2.12-2.5.02、 启动ZooKeeper服务器。因为Kafka 使用了 ZooKeeper，所以需要先启动一个ZooKeeper服务器。 可以单独下载zookeeper安装启动，也可以通过与kafka打包在一起的便捷脚本来快速简单地创建一个单节点Zo...
2024-01-10
kafka随机写
设计目标时间复杂度O(1)的方式提供消息持久化能力的。即使TB级别以上数据也能保证常数时间的访问性能，单机支持每秒100K条消息的传输。特点：高吞吐量。消息持久化。分布式。消费消息采用Pull模式。支持Online和Offine场景，同时支持离线数据处理和实时数据处理。Kafka的基本存储单元是...
2024-01-10
kafka创建命令
kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 3 --partitions 3 --topic topic1 --zookeeper zookeeper地址 --create 创建 --replication-factor 每个分区的副本数量 --partitions 分区数量 --topic topic名字 2.删除 kafka-topics.sh --zookeeper localhost:21...
2024-01-10
kafka获取主题的分区计数
如何从代码中获取任何kafka主题的分区数。我研究了许多链接，但似乎没有一个起作用。提及一些：http://grokbase.com/t/kafka/users/148132gdzk/find-topic-partition-count-through-simpleclient-apihttp://grokbase.com/t/kafka/users/151cv3htga/get-replication-and-partition-count-of-a-topichttp://qnalist.com/que...
2024-01-10
Kafka问题排查命令
kafak的bin目录cd kafka_2.11-1.1.0/bin/1 查看topic./kafka-topics.sh --list --zookeeper 0.0.0.0:2181/kafka 2 创建topic长度./kafka-topics.sh --create --zookeeper 0.0.0.0:2181 --replication-factor 3 --partitions 1 --topic topic1 ./kafka-topics.sh --create --zookeeper ...
2024-01-10
一次kafka消息堆积问题排查
收到某业务组的小伙伴发来的反馈，具体问题如下：项目中某 kafka 消息组消费特别慢，有时候在 kafka-manager 控制台看到有些消费者已被踢出消费组。从服务端日志看到如下信息：该消费组在短时间内重平衡了 600 多次。从 cat 查看得知，每条消息处理都会有 4 次数据库的交互，经过一番沟通之后，发...
2024-01-10
这些经典的kafka面试知识，你都知道吗？
无论是作为面试官，还是应聘者，我都接触过很多 Kafka 面试题。而在最近面试了很多候选人，发现写了熟悉 Kafka，但是对于 Kafka 相关的知识却是只知道大概用处，简单搭建和使用。我想说，虽然我们是 SRE (可靠性工程师)，但不论你是业务层的 SRE 还是基础设施层的 SRE，我们都需要对业务方的使用场...
2024-01-10
kafka消费者偏移量提交
同步提交当前偏移量把auto.commit.offset设为false,方应用程序决定何时提交偏移量,使用commitSync()方法提交偏移量最简单可靠,这个api会提交poll()方法返回的最新偏移量,提交成功后马上返回,如果提交失败,则跑出异常注意: commitSync()方法提交的偏移量是最新的偏移量,需要在处理完所有消息之后再调用代...
2024-01-10
kafka生产实践(详解)
1.引言最近接触到一个APP流量分析的项目，类似于友盟。涉及到几个C端（客户端）高并发的接口，这几个接口主要用于C端数据的提交。在没有任何缓冲的情况下，一个接口涉及到5张表的提交。压测的结果很不理想，主要瓶颈就在与RDS的交互。一台双核，16G机子，单实例，jdbc最大连接数100，吞吐量竟...
2024-01-10
记一次kafka莫名其妙关闭问题排查
LINUX上的部署服务时，如果没有注意文件路径、磁盘大小，简单地按照部署文档，应用崩的时候不要学葫芦娃叫爷爷，丢人！ 现象：FT走着走着，就没了；一检查，发现kafka没了排查：1. 先复现了一次，拿到server.log[2021-09-14 16:53:07,545] ERROR [Kafk...
2024-01-10
PHP处理kafka消息队列
安装PHP—kafka扩展后，就可以开始编写 php 消费消息的脚本了，php-rdkafka 扩展提供了几种消息处理的方式低级方式（Low level）这种方式没有消费组的概念<?php$rk = new RdKafkaConsumer();$rk->setLogLevel(LOG_DEBUG);// 指定 broker 地址,多个地址用"," 分割$rk->addBrokers("192.168.33.1:9092");$topic = $rk->newTopic("test");$topic->c...
2024-01-10
Java集合框架面试问题集锦 - zeef
Java集合框架面试问题集锦 英文原文：java-success，编译：ImportNew - 朱伟杰Java集合框架（例如基本的数据结构）里包含了最常见的Java常见面试问题。很好地理解集合框架，可以帮助你理解和利用Java的一些高级特性。下面是面试Java核心技术的一些很实用的问题。Q：最常见的数据结构...
2024-01-10
这几个kafka工具，值得了解一下
在 Kafka 集群运维过程中，我们通常会借用一些开源工具来完成 kafka 的日常运维需求和相关问题排查，接下来介绍几个常用的 kafka 运维神器。kafka-manager由雅虎开源的 kafka 集群管理工具，不过现在已经改名为 CMAK 了 (说明 kafka 的运维痛点还是蛮多的，项目还可以做更多的事情)，核心功能如下:多集...
2024-01-10
【Java】kafka-eagle监控界面搭建
一、背景在上一节中，我们搭建了一个kafka集群,但是kafka集群在运行的过程中会产生各种数据，比如broker信息、集群信息、主题信息、消费者信息等等，而kafka自身没有提供一个图形化的监控界面，此处我们使用kafka-eagle来搭建一个kafka的管理监控界面。二 、mac上安装kafka-eagle1、安装JDK略2、安装eagle1...
2024-01-10如何获取kafka主题分区的最后/结束偏移量？
我正在kafka使用Java编写使用者。我想保持消息的实时性，因此，如果有太多消息在等待使用，例如1000条或更多，我应该放弃未使用的消息，并从最后一个偏移量开始使用。对于此问题，我尝试比较主题的最后提交的偏移量和主题的结束偏移量（仅1个分区），如果这两个偏移量之间的差大于某个值，则...
2024-01-10Kafka如何存储每个主题的偏移量？
在轮询Kafka时，我已经使用该subscribe()功能订阅了多个主题。现在，我想设置的偏离，我想从每个主题阅读，而无需每次重新订阅后seek()，并poll()从一个话题。seek()，是否可以迭代调用每个主题名称 达到结果？偏移量如何精确存储在Kafka中？我每个主题有一个分区，并且只有一个使用者可以读取所有主...
2024-01-10
一文秒懂 kafka HA（高可用）
目录01名词解释02kafka HA03kafka架构中zookeeper的结构04broker failover05 controller failover我们知道，kafka中每个topic被划分为多个partition，每个partition又有多个副本，那么这些分区副本是怎么均匀的分布在整个kafka集群的broker节点上的？partition副本的leader是通过什么算法选举出来的？partition副本的follower是怎么复制...
2024-01-10
分布式之全面了解Kafka的使用与特性
目录引言1、面试官：可以简述下Kafka架构中比较重要的关键字吗？那我们为什么要选择 Kafka 呢？ 2、面试官：那为什么Kafka的吞吐量远高于其他同类中间件？深入分析Kafka 消息的生产与消费模型Demo附录：消息管理工具总结参考资料不啰嗦，我们直接开始！引言2020年，Kafka 依旧炙手可热，一线大公司...
2024-01-10kafka Avro消息反序列化器，可用于多个主题
我正在尝试使用以下代码以avro格式反序列化kafka消息：[https](https://github.com/ivangfr/springboot-kafka-debezium-ksql/blob/master/kafka-research-consumer/src/main/java/com/mycompany/kafkaresearchconsumer/kafka/ReviewsConsumerConfig.java)//github.com/ivangfr/springboot-kafka-deb...
2024-01-10在Kafka用户中重试用尽时如何设置确认
我有一个重试5次的Kafka使用者，并且我正在使用带有重试模板的SpringKafka。现在，如果所有重试都失败了，那么在这种情况下如何确认工作。另外，如果我将确认模式设置为手动，那么如何确认这些消息消费者@Bean("kafkaListenerContainerFactory")public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContain...
2024-01-10
【go】kafka多个消费者只有一个消费
使用goalng "github.com/Shopify/sarama"这个库我现在有两个消费者，两个topic,kafka分区设定是50个，但是在实际运行过程中只有一个消费者在消费，关闭当前能消费的消费者，另外一个也可以消费，但是同时运行是就不行看网上的文档说的是因为分区不够的原因，但是我现在设定了50个分区，只有两个消费者...
2024-01-10
分布式专题｜最近一直死磕kafka设计原理，都肝吐了
点击上方蓝字关注我们 文末有惊喜kafka架构图 在这里插入图片描述 kafka核心控制器定义在kafka集群中，会选举出一个broker作为控制器(controller)，负责管理集群中所有的分区和副本的状态；职责 监听broker变化，通过监听Zookeeper中的/brokers/ids/ 节点方式来实现 监听topic变化...
2024-01-10
【Java】搞定这24道JVM面试题，要价30k都有底气~
关注“Java后端技术全栈”回复“面试”获取全套面试资料1.什么是JVM?JVM 的全称是 「Java Virtual Machine」，也就是我们耳熟能详的 Java 虚拟机。它能识别 .class后缀的文件，并且能够解析它的指令，最终调用操作系统上的函数，完成我们想要的操作。C++开发出来的程序，编译成二进制文件后，就可以直接...
2024-01-10
kafka消费者的异步提交偏移量方法中，什么时候需要在回调方法中重试提交？场景是什么？
今天正好翻到《Kafka权威指南》第2版中描述consumer异步提交偏移量的一段内容，大概意思是说：consumer同步提交的commitSync()在提交成功之前或碰到无法恢复的错误之前，该方法会一直重试，但异步提交方法commitAsync()不会重试，因为这里有一个提交顺序问题，因为假设有”提交1--偏移量2000“和”提交2--偏移量3000“，那么如果”提交1“因为网络问题而失败，而”...
2024-02-28
