kafka获取主题的分区计数
如何从代码中获取任何kafka主题的分区数。我研究了许多链接，但似乎没有一个起作用。提及一些：http://grokbase.com/t/kafka/users/148132gdzk/find-topic-partition-count-through-simpleclient-apihttp://grokbase.com/t/kafka/users/151cv3htga/get-replication-and-partition-count-of-a-topichttp://qnalist.com/que...
2024-01-10如何在kafka中创建自定义序列化程序？
序列化器很少，例如org.apache.kafka.common.serialization.StringSerializerorg.apache.kafka.common.serialization.StringSerializer我们如何创建自己的自定义序列化程序？回答：在这里，您有一个示例，将自己的序列化器/解串器用于Kafka消息值。对于Kafka消息密钥是同一回事。我们希望将MyMessage的序列化版本作为Kafka值发送...
2024-01-10如何获取kafka主题分区的最后/结束偏移量？
我正在kafka使用Java编写使用者。我想保持消息的实时性，因此，如果有太多消息在等待使用，例如1000条或更多，我应该放弃未使用的消息，并从最后一个偏移量开始使用。对于此问题，我尝试比较主题的最后提交的偏移量和主题的结束偏移量（仅1个分区），如果这两个偏移量之间的差大于某个值，则...
2024-01-10Kafka-使用高级使用者的延迟队列实施
想要使用高级消费者API实现延迟的消费者大意：按键生成消息（每个消息包含创建时间戳记），以确保每个分区按生成时间对消息进行排序。auto.commit.enable = false（将在每个消息处理之后显式提交）消费一条消息检查消息时间戳，并检查是否经过了足够的时间处理消息（此操作将永不失败）提交1...
2024-01-10在Kafka用户中重试用尽时如何设置确认
我有一个重试5次的Kafka使用者，并且我正在使用带有重试模板的SpringKafka。现在，如果所有重试都失败了，那么在这种情况下如何确认工作。另外，如果我将确认模式设置为手动，那么如何确认这些消息消费者@Bean("kafkaListenerContainerFactory")public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContain...
2024-01-10如何通过Java在Kafka中创建主题
我想通过Java在Kafka（kafka_2.8.0-0.8.1.1）中创建一个主题。如果我在命令提示符下创建一个主题，并且如果我通过javaapi推送消息，它也可以正常工作。但是我想通过java api创建一个主题。经过长时间的搜索，我发现了以下代码，ZkClient zkClient = new ZkClient("localhost:2181", 10000, 10000);AdminUtils.createTopic(zkClient, myTo...
2024-01-10Kafka：使用Java更改特定主题的分区数
我是Kafka的新手，正在使用新的KafkaProducer和KafkaConsumer，版本：0.9.0.1在创建特定主题之后，java中是否有任何方法可以更改/更新特定主题的分区数。我没有使用Zookeeper创建主题。当发布请求到达时，我的KafkaProducer会自动创建主题。如果还不够，我还可以提供更多详细信息回答：是的，有可能。您必须...
2024-01-10Kafka如何存储每个主题的偏移量？
在轮询Kafka时，我已经使用该subscribe()功能订阅了多个主题。现在，我想设置的偏离，我想从每个主题阅读，而无需每次重新订阅后seek()，并poll()从一个话题。seek()，是否可以迭代调用每个主题名称 达到结果？偏移量如何精确存储在Kafka中？我每个主题有一个分区，并且只有一个使用者可以读取所有主...
2024-01-10如何为Kafka设置Java选项？
我一直在试验Kafka，并从主站点的文档中看到，您可以为jvm设置不同的选项，例如堆大小和它使用的垃圾收集器：http://kafka.apache.org/documentation.html#java但是，没有说的是如何/在何处设置这些选项。该应用程序带有一个/ config目录，其中包含许多用于配置目的的文件，但没有用于Java的文件。它还带有一个...
2024-01-10如何在Kafka中使用多个消费者？
我是一名学习Kafka的新学生，在了解多个消费者（到目前为止，文章，文档等对他们没有太大帮助）方面，我遇到了一些基本问题。我尝试做的一件事是编写我自己的高级Kafka生产者和消费者并同时运行它们，将100条简单消息发布到某个主题，然后让消费者检索它们。我已经成功地做到了这一点，但是...
2024-01-10Kafka-经纪人：小组协调员不可用
我有以下结构：zookeeper: 3.4.12kafka: kafka_2.11-1.1.0server1: zookeeper + kafkaserver2: zookeeper + kafkaserver3: zookeeper + kafka通过kafka-topics shell脚本创建了具有复制因子3和分区3的主题。./kafka-topics.sh --create --zookeeper localhost:2181 --topic test-flow --partitions 3 --re...
2024-01-10将自定义Java对象发送到Kafka主题
我有我的自定义Java对象，希望利用JVM的内置序列化将其发送到Kafka主题，但是序列化失败并出现以下错误org.apache.kafka.common.errors.SerializationException：无法将com.spring.kafka.Payload类的值转换为value.serializer中指定的org.apache.kafka.common.serialization.ByteArraySerializer类。public class Payload implements Seri...
2024-01-10Kafka“未在JAAS配置中指定登录模块”
与sasl使用控制台脚本保护的Kafka通信时出现问题。Kafka受保护sasl，监听器受保护SASL_PLAINTEXT，机制由PLAIN。我做了什么：我尝试使用kafka脚本之一列出一些数据：bin/kafka-consumer-groups.sh --bootstrap-server (address) --list但是我明白了WARN Bootstrap broker (address) disconnected (org.apache.kafka.clients.NetworkClient)命令失...
2024-01-10kafka Avro消息反序列化器，可用于多个主题
我正在尝试使用以下代码以avro格式反序列化kafka消息：[https](https://github.com/ivangfr/springboot-kafka-debezium-ksql/blob/master/kafka-research-consumer/src/main/java/com/mycompany/kafkaresearchconsumer/kafka/ReviewsConsumerConfig.java)//github.com/ivangfr/springboot-kafka-deb...
2024-01-10春云流Kafka粘结剂：“尝试从状态IN_TRANSACTION到状态IN_TRANSACTION的无效转换”
我正在尝试使用Spring云流+ Kafka绑定对Apache Kafka进行“恰好一个交付”概念的一些PoC。春云流Kafka粘结剂：“尝试从状态IN_TRANSACTION到状态IN_TRANSACTION的无效转换”我安装了Apache Kafka“kafka_2.11-1.0.0”，并在生产者中定义了“transactionIdPrefix”，我知道这是我在Spring Kafka中启用事务所需要做的唯一事情，但...
2024-01-10使用Spring Kafka反序列化来自同一Kafka主题的不同JSON有效负载
我正在尝试反序列化来自同一Kafka主题的不同JSON负载。在这里提出的其他问题使我第一次尝试，但是我无法使其运行。正如Gary提到的，有一些提示（JsonSerializer.ADD_TYPE_INFO_HEADERS），但是当我发送和接收这两个消息时，我都会遇到异常。org.springframework.kafka.listener.ListenerExecutionFailedException: Listener method cou...
2024-01-10Kafka 0.8.2.2-无法发布消息
我们已经编写了一个Java客户端，用于将消息发布到kafka。代码如下所示Properties props = new Properties();props.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "202.xx.xx.xxx:9092");props.setProperty(ProducerConfig.METADATA_FETCH_TIMEOUT_CONFIG,Integer.toString(5 * 1000));props.put(P...
2024-01-10在kafka集群上启用ssl时，kafka连接无法启动
我正在评估kafka汇合平台4.0版。但是，当我在kafka集群上启用ssl时，kafka连接无法启动。在kafka集群上启用ssl时，kafka连接无法启动详细记录如下：[2017-12-18 04:38:55,747] ERROR Uncaught exception in herder work thread, exiting: (org.apache.kafka.connect.runtime.distributed.DistributedHerder:218) org.apache.kafka.c...
2024-01-10如何为Kafka 2.2实现FlinkKafkaProducer序列化程序
我一直在努力更新从Kafka读取然后写入Kafka的Flink处理器（Flink 1.9版）。我们已经将此处理器编写为可以朝着Kafka0.10.2集群运行，现在我们已经部署了一个运行2.2版的新Kafka集群。因此，我着手更新处理器以使用最新的FlinkKafkaConsumer和FlinkKafkaProducer（由Flink文档建议）。但是我遇到了卡夫卡制片人的一些问...
2024-01-10kafka 8和内存-Java运行时环境没有足够的内存来继续
我正在使用具有512兆内存ram的DigiOcean实例，使用kafka出现以下错误。我不是Java熟练的开发人员。如何调整卡夫卡以利用少量的ram。这是一个开发服务器。我不想为一台更大的机器每小时多付钱。## There is insufficient memory for the Java Runtime Environment to continue.# Native memory allocation (malloc) failed to allocate 986513408 ...
2024-01-10
dx12需要自己安装吗
品牌型号：联想拯救者Y9000P系统：Windows11dx12需不需要自己安装是不确定的，要看用户的系统中是否自带dx12。如果系统中有的话，就不需要另外安装了；如果系统中没有的话，需要自行安装。但是用户需要注意，如果想升级到DX12，需要去购买支持DX12的显卡。dx12不需要自己开启，要安装对应的系统版本，不需要打开。要想使用dx12，不仅仅要系统支持，还要硬件支持才行，这个就要看显...
2024-03-08webpack动态模块加载器按需
好的，我已经搜索了高低位，但是无法可靠地确定Webpack是否可行。https://github.com/webpack/webpack/tree/master/examples/require.context似乎表明可以将字符串传递给函数并加载模块…但是我的尝试没有用：webpack.config.js'use strict';let webpack = require('webpack'), jsonLoader = require("json-loader"), path ...
2024-01-10如何在webpack条目中添加通配符映射
我需要将所有js文件打包到web文件夹中。module.exports = { module: { loaders: [ { test: /\.js$/, exclude: /node_modules/, loaders: ["babel-loader"], } ], }, entry: "./src/scripts/*.js", output: { path: './src/build', filename: '...
2024-01-10在webpack中传递环境变量
我正在尝试将有角度的应用程序从gulp转换为webpack。在gulp中，根据NODE_ENV，我使用gulp-preprocess替换html页面中的某些变量（例如，数据库名称）。使用webpack达到类似结果的最佳方法是什么？回答：有两种基本方法可以实现此目的。回答：new webpack.DefinePlugin({ 'process.env.NODE_ENV': JSON.stringify(process.env.NOD...
2024-01-10Webpack输出为空对象
我想构建一个React组件库作为节点模块，然后将其导入到不同的项目中。但是，如果我尝试导入组件，它只会返回一个空对象。button.jsx：import React, {Component} from 'react'export class Button extends Component { render() { return <button className='btn'>Hello Button comp</button> }}export default Buttonindex....
2024-01-10如何在Webpack中以正确的顺序导入样式
我使用bootstrap css和用更少的文字编写的附加模板。我将两者都导入我的react组件的根组件中不幸的是，即使较少的文件是第二个导入的文件，引导程序中的样式也会覆盖较少的样式。有没有办法确保webpack样式的顺序。这是根组件：import React from "react";import Dashboard from "./dashboard";import 'bootstrap/dist/css/bo...
2024-01-10
一加ace3怎么安装高危应用
有些小伙伴在使用一加ace3的时候会发现，我们安装不了高危应用，但是这些高危应用使我们的一些正常软件，被系统误判了，我们就可以在设置中进行调整。一加ace3怎么安装高危应用:1、首先我们找到“手机管家”。 2、然后点击“病毒扫描”。 3、最后点击“允许安装高危软件”即可完成操作。 延伸阅读： ...
2024-02-04在Webpack中加载静态JSON文件
我的代码在构造后的某个地方：var getMenu = function () { return window.fetch("portal/content/json/menu.json").then(function (data) { return data.json(); });};我尝试了webpack.config.js这个：module: { loaders: [ ... { test: /\.json$/, ...
2024-01-10错误下载和安装R封装 - pkbrtest
我尝试安装汽车和EZanova包RStudio，但他们都失败，并给出以下错误：错误下载和安装R封装 - pkbrtestinstall.packages('car') Warning in install.packages : dependency 'pbkrtest' is not available % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100...
2024-01-10如何使用webpack提取多个主题样式表？
我正在尝试使React应用成为主题。目前，主题仅由不同的Sass变量集组成，这些变量定义了不同的标题颜色等。从我目前的理解来看，这ExtractTextPlugin似乎是我最好的选择，因为我不希望我的样式内联，而是每个主题都有单独的文件。因此，我创建了两个主题：src/scss/themes/theme-a.scsssrc/scss/themes/theme-b.scs...
2024-01-10验证ImageMagick安装
我的网络托管人员说ImageMagic已预安装在服务器上。我在phpinfo（）的输出中快速搜索了“ImageMagick”，却一无所获。我无法在服务器中使用SSH，因此PHP中是否可以验证安装？回答：尝试这个：<?php//This function prints a text array as an html list.function alist ($array) { $alist = "<ul>"; for ($i = 0; $i < sizeof($array); $i++...
2024-01-10
