kafka获取主题的分区计数
如何从代码中获取任何kafka主题的分区数。我研究了许多链接，但似乎没有一个起作用。提及一些：http://grokbase.com/t/kafka/users/148132gdzk/find-topic-partition-count-through-simpleclient-apihttp://grokbase.com/t/kafka/users/151cv3htga/get-replication-and-partition-count-of-a-topichttp://qnalist.com/que...
2024-01-10如何获取kafka主题分区的最后/结束偏移量？
我正在kafka使用Java编写使用者。我想保持消息的实时性，因此，如果有太多消息在等待使用，例如1000条或更多，我应该放弃未使用的消息，并从最后一个偏移量开始使用。对于此问题，我尝试比较主题的最后提交的偏移量和主题的结束偏移量（仅1个分区），如果这两个偏移量之间的差大于某个值，则...
2024-01-10Kafka：使用Java更改特定主题的分区数
我是Kafka的新手，正在使用新的KafkaProducer和KafkaConsumer，版本：0.9.0.1在创建特定主题之后，java中是否有任何方法可以更改/更新特定主题的分区数。我没有使用Zookeeper创建主题。当发布请求到达时，我的KafkaProducer会自动创建主题。如果还不够，我还可以提供更多详细信息回答：是的，有可能。您必须...
2024-01-10Kafka如何存储每个主题的偏移量？
在轮询Kafka时，我已经使用该subscribe()功能订阅了多个主题。现在，我想设置的偏离，我想从每个主题阅读，而无需每次重新订阅后seek()，并poll()从一个话题。seek()，是否可以迭代调用每个主题名称 达到结果？偏移量如何精确存储在Kafka中？我每个主题有一个分区，并且只有一个使用者可以读取所有主...
2024-01-10kafka 8和内存-Java运行时环境没有足够的内存来继续
我正在使用具有512兆内存ram的DigiOcean实例，使用kafka出现以下错误。我不是Java熟练的开发人员。如何调整卡夫卡以利用少量的ram。这是一个开发服务器。我不想为一台更大的机器每小时多付钱。## There is insufficient memory for the Java Runtime Environment to continue.# Native memory allocation (malloc) failed to allocate 986513408 ...
2024-01-10Kafka-使用高级使用者的延迟队列实施
想要使用高级消费者API实现延迟的消费者大意：按键生成消息（每个消息包含创建时间戳记），以确保每个分区按生成时间对消息进行排序。auto.commit.enable = false（将在每个消息处理之后显式提交）消费一条消息检查消息时间戳，并检查是否经过了足够的时间处理消息（此操作将永不失败）提交1...
2024-01-10如何在kafka中创建自定义序列化程序？
序列化器很少，例如org.apache.kafka.common.serialization.StringSerializerorg.apache.kafka.common.serialization.StringSerializer我们如何创建自己的自定义序列化程序？回答：在这里，您有一个示例，将自己的序列化器/解串器用于Kafka消息值。对于Kafka消息密钥是同一回事。我们希望将MyMessage的序列化版本作为Kafka值发送...
2024-01-10kafka Avro消息反序列化器，可用于多个主题
我正在尝试使用以下代码以avro格式反序列化kafka消息：[https](https://github.com/ivangfr/springboot-kafka-debezium-ksql/blob/master/kafka-research-consumer/src/main/java/com/mycompany/kafkaresearchconsumer/kafka/ReviewsConsumerConfig.java)//github.com/ivangfr/springboot-kafka-deb...
2024-01-10在Kafka用户中重试用尽时如何设置确认
我有一个重试5次的Kafka使用者，并且我正在使用带有重试模板的SpringKafka。现在，如果所有重试都失败了，那么在这种情况下如何确认工作。另外，如果我将确认模式设置为手动，那么如何确认这些消息消费者@Bean("kafkaListenerContainerFactory")public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContain...
2024-01-10春云流Kafka粘结剂：“尝试从状态IN_TRANSACTION到状态IN_TRANSACTION的无效转换”
我正在尝试使用Spring云流+ Kafka绑定对Apache Kafka进行“恰好一个交付”概念的一些PoC。春云流Kafka粘结剂：“尝试从状态IN_TRANSACTION到状态IN_TRANSACTION的无效转换”我安装了Apache Kafka“kafka_2.11-1.0.0”，并在生产者中定义了“transactionIdPrefix”，我知道这是我在Spring Kafka中启用事务所需要做的唯一事情，但...
2024-01-10如何在Kafka中使用多个消费者？
我是一名学习Kafka的新学生，在了解多个消费者（到目前为止，文章，文档等对他们没有太大帮助）方面，我遇到了一些基本问题。我尝试做的一件事是编写我自己的高级Kafka生产者和消费者并同时运行它们，将100条简单消息发布到某个主题，然后让消费者检索它们。我已经成功地做到了这一点，但是...
2024-01-10Kafka-经纪人：小组协调员不可用
我有以下结构：zookeeper: 3.4.12kafka: kafka_2.11-1.1.0server1: zookeeper + kafkaserver2: zookeeper + kafkaserver3: zookeeper + kafka通过kafka-topics shell脚本创建了具有复制因子3和分区3的主题。./kafka-topics.sh --create --zookeeper localhost:2181 --topic test-flow --partitions 3 --re...
2024-01-10将自定义Java对象发送到Kafka主题
我有我的自定义Java对象，希望利用JVM的内置序列化将其发送到Kafka主题，但是序列化失败并出现以下错误org.apache.kafka.common.errors.SerializationException：无法将com.spring.kafka.Payload类的值转换为value.serializer中指定的org.apache.kafka.common.serialization.ByteArraySerializer类。public class Payload implements Seri...
2024-01-10Kafka“未在JAAS配置中指定登录模块”
与sasl使用控制台脚本保护的Kafka通信时出现问题。Kafka受保护sasl，监听器受保护SASL_PLAINTEXT，机制由PLAIN。我做了什么：我尝试使用kafka脚本之一列出一些数据：bin/kafka-consumer-groups.sh --bootstrap-server (address) --list但是我明白了WARN Bootstrap broker (address) disconnected (org.apache.kafka.clients.NetworkClient)命令失...
2024-01-10Kafka 0.8.2.2-无法发布消息
我们已经编写了一个Java客户端，用于将消息发布到kafka。代码如下所示Properties props = new Properties();props.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "202.xx.xx.xxx:9092");props.setProperty(ProducerConfig.METADATA_FETCH_TIMEOUT_CONFIG,Integer.toString(5 * 1000));props.put(P...
2024-01-10如何通过Java在Kafka中创建主题
我想通过Java在Kafka（kafka_2.8.0-0.8.1.1）中创建一个主题。如果我在命令提示符下创建一个主题，并且如果我通过javaapi推送消息，它也可以正常工作。但是我想通过java api创建一个主题。经过长时间的搜索，我发现了以下代码，ZkClient zkClient = new ZkClient("localhost:2181", 10000, 10000);AdminUtils.createTopic(zkClient, myTo...
2024-01-10使用Spring Kafka反序列化来自同一Kafka主题的不同JSON有效负载
我正在尝试反序列化来自同一Kafka主题的不同JSON负载。在这里提出的其他问题使我第一次尝试，但是我无法使其运行。正如Gary提到的，有一些提示（JsonSerializer.ADD_TYPE_INFO_HEADERS），但是当我发送和接收这两个消息时，我都会遇到异常。org.springframework.kafka.listener.ListenerExecutionFailedException: Listener method cou...
2024-01-10在kafka集群上启用ssl时，kafka连接无法启动
我正在评估kafka汇合平台4.0版。但是，当我在kafka集群上启用ssl时，kafka连接无法启动。在kafka集群上启用ssl时，kafka连接无法启动详细记录如下：[2017-12-18 04:38:55,747] ERROR Uncaught exception in herder work thread, exiting: (org.apache.kafka.connect.runtime.distributed.DistributedHerder:218) org.apache.kafka.c...
2024-01-10如何为Kafka 2.2实现FlinkKafkaProducer序列化程序
我一直在努力更新从Kafka读取然后写入Kafka的Flink处理器（Flink 1.9版）。我们已经将此处理器编写为可以朝着Kafka0.10.2集群运行，现在我们已经部署了一个运行2.2版的新Kafka集群。因此，我着手更新处理器以使用最新的FlinkKafkaConsumer和FlinkKafkaProducer（由Flink文档建议）。但是我遇到了卡夫卡制片人的一些问...
2024-01-10
2020ipad和2021ipad的区别
品牌型号：ipad系统：macOS12.12020ipad采用的是A12仿生芯片，2021ipad采用的是A13仿生芯片；2021ipad的前置像素由2020的120W提升到1200万；2021ipad存储容量由64GB起步，最高达到256GB，而2020版是以32GB起步，最高只有128GB，容量上翻了一倍。iPad是由苹果公司于2010年开始发布的平板电脑系列，定位介于苹果的智能手机i...
2024-03-09
alpd激光厅和普通激光厅区别
品牌型号：iPhone 14系统：iOS 16.1.2alpd激光厅和普通激光厅区别：ALPD激光厅和普通激光厅的区别在于光源不同。普通厅使用氙灯光源，而ALPD激光厅采用荧光混合多色激光的技术路线，将激光的小光学扩展量、广色域的特点与荧光的高效率、无散斑的特点有机结合，从而同时具有了低成本、高亮度、广色域、无散斑等优点。ALPD激光厅的亮度比普通厅高180%，画面更加清晰，色彩更艳丽，层...
2024-01-24
ipad区别原封和后封的方法
在论坛上随手找了两张 The new iPad 的开箱图，一张是确定后封的，一张是网友在日本苹果店买的，当然也就是原封。后封，就是把机器和盒子分开来过关，然后再到深圳重新封上，所以对于大水货商来说，是不会认真耐心把盒子和机器的序列号一一对应再重新封装的。他们使用的一个技巧，就是假冒一张盒子上的产品标签，把跟机器对应的序列号打印在上面，已达到所谓三码合一，但也就是这张标签，通过认真比较就能发现诸多不...
2024-03-03猫鼬的id和_id有什么区别？
_id和id猫鼬有什么区别？参考哪个更好？回答：从文档中：Mongoose默认情况下为您的每个模式分配一个id虚拟获取器，该获取器将文档_id字段强制转换为字符串，对于ObjectIds，则返回其hexString。因此，基本上，idgetter返回文档的字符串表示形式_id（默认情况下将其添加到所有MongoDB文档中，并且默认类...
2024-01-10返回void和返回Task有什么区别？
在查看各种C＃异步CTP示例时，我看到一些返回的异步函数void，以及其他一些返回非泛型的函数Task。我可以看到为什么Task<MyType>异步操作完成后，返回a有助于将数据返回给调用方，但是我看到的具有返回类型的函数Task从不返回任何数据。为什么不回来void？回答：SLaks和Killercam的答案很好。我以为我...
2024-01-10
hdmi和vga的区别
品牌型号：绿联连接线系统：10107&&116301、主体不同：VGA接口：是IBM于1987年提出的一个使用模拟信号的电脑显示标准。HDMI接口：是一种全数字化视频和声音发送接口。2、接口不同：VGA接口：接口共有15针，分成3排，每排5个孔，显卡上应用最为广泛的接口类型，绝大多数显卡都带有此种接口。HDMI接口：总共有19pin，规格为4.45mm×13.9mm，为最常见的HDMI接头...
2024-01-05
ipad3和ipad2有什么区别?揭秘ipad3和ipad2的8大区别
在电子科技发达的今天，昨天才出的ipad2，今天就出了ipad3，明天就出了个ipad4，在之后就是ipad5、6、7等等，对于ipad2来说，它到底和ipad3有何区别？脚本之家告诉您ipad2与ipad3之间的区别。都说IPAD2就是个过渡时期的产品，苹果每次发新品都不会毫无保留的把技术都用进去的，一般都会留一些加进下次里面，所以即便IPAD3除了应该也会留些让你期待下一代产品，到时候仍然不尽...
2024-02-03
adss光缆和opgw的区别
品牌型号：德力西adss光缆&&opgw光缆adss光缆和opgw的区别：1、结构区别。ADSS光缆结构主要由中心加强件、绞合松套管、阻水材料、芳纶纱和护套组成。ADSS光缆结构分为单护套和双护套两种。OPGW光缆结构主要由光纤单元（不锈钢管、铝包不锈钢管）和金属单丝（铝包钢、铝合金）外围加强筋组成。OPGW 光缆有 4 种类型：ACS（铝包不锈钢管）、绞合管、中心管和 ACP（铝包 PBT...
2024-01-15
i711700k和i711700kf区别
很多用户在使用i711700k和i711700kf这两款处理器的时候，比较好奇这两款处理器之间有什么区别，下面我就来给大家介绍一下这两款处理器之间的对比。 i711700k和i711700kf区别：核显功能不同：i7 11700k是自带核芯显卡的CPU。i7 11700kf是不带核芯显卡的CPU。 核芯显卡是智能图形核心，能在低功耗下...
2024-01-10CSS中的id和class有什么区别，什么时候应该使用它们？
main { background: #000; border: 1px solid #AAAAAA; padding: 10px; color: #fff; width: 100px;}<div id="main"> Welcome</div>在这里，我id对div元素进行了设置，并为其应用了相关的CSS。.main { background: #000; border: 1px solid #AAAAAA; padding: 10px; col...
2024-01-10
