apachepulsar参数配置
BookKeeper
bookiePort bookeeper server监听端口
allowLoopback 是否接受回127.0.0.1地址
listeningInterface 默认网口,比如:eth0
journalDirectory WAL存入目录
ledgerDirectories 帐目快照保存地址,推荐WAL与该目录不同硬盘
ledgerManagerType bookeeper 帐目保存类型
zkLedgersRootPath zookeeper保存的bookeeper数据路径
ledgerStorageClass 帐目存储类
entryLogFilePreallocationEnabled 是否预分配entry logger
minorCompactionThreshold 当entry logger达到阀值将执行minor compaction,0为禁止
minorCompactionInterval 时间控制minor compaction
majorCompactionThreshold 当entry logger达到阀值将执行major compaction,0为禁止
majorCompactionInterval 时间控制major compaction
compactionMaxOutstandingRequests 没有flush的最大entry数,压缩将entry加入entrylog,并且缓存offset,大的值将占用更多 的内存,通常不需要修改。
compactionRate 压缩读取条目的速率
isThrottleByBytes 压缩时是否节流
compactionRateByEntries 压缩读取条目的速率,Entry计数
compactionRateByBytes 压缩读取条目的速率,Byte计数
journalMaxSizeMB journal文件最大值,单位为M,当达到该值,将产生新文件
journalMaxBackups 最大的旧文件数量,方便特定场景下恢复
journalPreAllocSizeMB 每次预分配置的空间大小
journalWriteBufferSizeKB journal 读buffer大小
journalRemoveFromPageCache 当flush后是否回收 page cache
journalAdaptiveGroupWrites 是否journal group读,增加吞吐量
journalMaxGroupWaitMSec 最大小的写延迟,以增加吞吐量
journalAlignmentSize journal日志统一大小
journalBufferedWritesThreshold 写buffer大小,增加写效率
journalFlushWhenQueueEmpty 如果queue 是空将flush
numJournalCallbackThreads 处理日志回调线程数
rereplicationEntryBatchSize 可重新复制的最大entry数量
gcWaitTime 执行gc的时间间隔
gcOverreplicatedLedgerWaitTime overreplicated的gc回收时间间隔,不应太频繁应该会访问zk元数据
flushInterval flush帐目index到disk的间隔,会产大量随时写,将ledger与journal在不同磁盘,将增加效率
bookieDeathWatchInterval 确认bookie 服务停止的最大时间
zkServers zookeeper信息
zkTimeout seession time时间
serverTcpNoDelay 是否使用Nagle算法
openFileLimit ledge 同时打开索引文件的数量,如果超过将swap到磁盘,将会影响性能
pageSize index缓存节的大小,大的缓存叶可以改善写的性能,如果你有少量的ledge并且包括少量的entry,分配小的pagesize将提高内存利用率
pageLimit 用于缓存的page 数量,如果超过将增加内存与磁盘的交互频率,如果-1,将采用1/3 jvm的大小,在少量的ledge并且包括少量的entry情况下,小的pagelimit将增加效率
readOnlyModeEnabled 在ledger目录全部写满时,bookie将为只读模式,否则server将下线
diskUsageThreshold 磁盘空间用量阀值,如果超出切换为readonly模式
diskCheckInterval 磁盘空间用量检查间隔
auditorPeriodicCheckInterval 审计检查全部ledger,会增加集群负载,不推荐太频繁
auditorPeriodicBookieCheckInterval 审计检查全部bookie时间间隔
numAddWorkerThreads 写请求线程数,0代表直接使用netty处理
numReadWorkerThreads 读请求线程数
maxPendingReadRequestsPerThread 最大peding的读请求,防止请求队列无限增涨
readBufferSizeBytes 读缓存大小
writeBufferSizeBytes写缓存大小
useHostNameAsBookieID 由hostname注册bookie标识,否则使用ip
statsProviderClass
prometheusStatsHttpPort prometheus端口
dbStorage_writeCacheMaxSizeMb
dbStorage_writeCacheMaxSizeMb entry写入entrylog缓存大小,利用堆外内存
dbStorage_readAheadCacheMaxSizeMb 读缓存,预分配,利用堆外内存
dbStorage_readAheadCacheBatchSize 每次分配的读缓存大小
dbStorage_rocksDB_blockCacheSize rocketdb缓存块大小
dbStorage_rocksDB_writeBufferSizeMB
dbStorage_rocksDB_sstSizeInMB
dbStorage_rocksDB_blockSize
dbStorage_rocksDB_bloomFilterBitsPerKey
dbStorage_rocksDB_numLevels
dbStorage_rocksDB_numFilesInLevel0
dbStorage_rocksDB_maxSizeInLevel1MB
Broker
enablePersistentTopics 是否持久化topic
enableNonPersistentTopics 是否非持久化topic
functionsWorkerEnabled function work server是否开启
zookeeperServers zookeeper信息
configurationStoreServers 存储连接信息(以逗号分隔)
brokerServicePort broker数据端口
brokerServicePortTls TLS端口
webServicePort http端口
webServicePortTls https端口
webSocketServiceEnabled 开启websocket
bindAddress hostname/ip地址绑定服务地址,默认0.0.0.0
advertisedAddress 对外服务地址,默认InetAddress.getLocalHost().getHostName()
clusterName 集群标识
brokerDeduplicationEnabled 开启去重,可以在namespace重写
brokerDeduplicationMaxNumberOfProducers 保存去重信息的最大的porducer数量
brokerDeduplicationEntriesInterval 去重最大条目阀值
brokerDeduplicationProducerInactivityTimeoutMinutes 当producer断开,去重信息废除时间
zooKeeperSessionTimeoutMillis zookeeper session timeout时间
brokerShutdownTimeoutMs broker优雅关闭时间
backlogQuotaCheckEnabled 开启broker配额
backlogQuotaCheckIntervalInSeconds 配额检查时间
backlogQuotaDefaultLimitGB broker配额积累的最大值
allowAutoTopicCreation 开启自动创建topic
brokerDeleteInactiveTopicsEnabled 开启删除不活动的topic
brokerDeleteInactiveTopicsFrequencySeconds 检查不活动topic时间频率
messageExpiryCheckIntervalInMinutes message过期检查频率
brokerServiceCompactionMonitorIntervalInSeconds minor compaction检查时间
activeConsumerFailoverDelayTimeMillis 确定延时时间执行consumer failover切换
Enable check for minimum allowed client library version 是否最低客户端版本检查
clientLibraryVersionCheckAllowUnversioned 是否接受无版本客户端
statusFilePath 用于文件路径的rotation status检查,在服务发现与健康检查时使用
preferLaterVersions 是否优先使用最新版本
tlsEnabled 开启TLS
tlsCertificateFilePath 证书路径
tlsKeyFilePath 私钥路径
tlsTrustCertsFilePath 可信证书路径
tlsAllowInsecureConnection 接受客户端 不可信证书
tlsProtocols 指定TSL协议,比如:TLS1.0
tlsCiphers 指定加密方法,比如:TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256
tokenSecretKey secret key授权验证token
tokenPublicKey 配置公钥授权验证token
tokenPublicAlg 配置验证token算法
tokenAuthClaim 用于哪个声明完成验证,principal/role,默认sub
maxUnackedMessagesPerConsumer 停止发送数据到consumer当未应答数据达到该值时,0禁止
maxUnackedMessagesPerSubscription 停止发送数据到subscription当未所有subscription未应答数据达到该值
subscriptionRedeliveryTrackerEnabled 开启重新交付跟踪
maxConcurrentLookupRequest 最大的并发lookup request,lookup request查找topic所在的server
maxConcurrentTopicLoadRequest 最大并发topic loading request
authenticationEnabled 开启认证
authenticationProviders 认证实现类
authorizationEnabled 开启授权
superUserRoles 开启超级用户
brokerClientAuthenticationPlugin broker认证配置,用于集群间认证
brokerClientAuthenticationParameters 认证参数
athenzDomainNames Athen认证配置
bookkeeperClientAuthenticationPlugin bookeeper认证plugin
bookkeeperClientAuthenticationParametersName bookeeper认证plugin 参数
bookkeeperClientTimeoutInSeconds bookeeper操作timeout
bookkeeperClientSpeculativeReadTimeoutInMillis bookeeper读操作超时推测,如果在timeout内没有完成,主动重新执行
bookkeeperClientHealthCheckEnabled 开启bookie健康检查
bookkeeperClientHealthCheckIntervalSeconds bookie健康检查频率
bookkeeperClientHealthCheckErrorThresholdPerInterval 健康检查错误阀值
bookkeeperClientHealthCheckQuarantineTimeInSeconds 再指定时间内失败次数认定为不健康
pulsar
ensemble size 即broker size
Quorum write size 即 replica size
Quorum ack size 即 复制应答size
managedLedgerDefaultEnsembleSize 默认ledger保存的ensemble size
managedLedgerDefaultWriteQuorum 默认的 QW 数量
managedLedgerDefaultAckQuorum 默认的QA数量
managedLedgerCacheSizeMB broker上所以有ledger共享缓存,堆外内存
managedLedgerCacheEvictionWatermark 触发清除缓存的阀值
managedLedgerDefaultMarkDeleteRateLimit 消费者确认消费每秒产生的消息速率
managedLedgerMaxEntriesPerLedger ledger最大的entry log数量,达到该值将产生新ledger
managedLedgerMinLedgerRolloverTimeMinutes 最小产生新ledger时间
managedLedgerMaxLedgerRolloverTimeMinutes 最大产生新ledger时间,达到该值将强制产生
managedLedgerCursorMaxEntriesPerLedger cusor ledger保存没个消费者的游标,最大产生新ledger的entry数量
managedLedgerCursorRolloverTimeInSeconds 最大产生新ledger的时间
autoSkipNonRecoverableData 当ledger不能恢复,是否跳过坏数据,保存集群可用性。
loadBalancerEnabled 是否开启load balancer
managedLedgerMaxUnackedRangesToPersist 最大应答holes,由于各种不确定因素会产极少的应答hole,该参数指定最大的hole数量,利用压缩方法持久化,防止回放。
loadBalancerPlacementStrategy loader balance策略
loadBalancerReportUpdateThresholdPercentage load balance 信息更新阀值
loadBalancerReportUpdateMaxIntervalMinutes load balance 信息更新时间间隔
loadBalancerHostUsageCheckIntervalMinutes load balance 信息收集频繁
loadBalancerSheddingIntervalMinutes 检查broker负载时间
loadBalancerSheddingGracePeriodMinutes 防止某些topic频繁转移到其它broker
loadBalancerBrokerMaxTopics 每个broker最大的topic数量
loadBalancerBrokerUnderloadedThresholdPercentage broker负载不足阀值
loadBalancerBrokerOverloadedThresholdPercentage broker 过载阀值
loadBalancerResourceQuotaUpdateIntervalMinutes 理新资源配额时间间隔
loadBalancerBrokerComfortLoadLevelPercentage broker负载正常阀值
loadBalancerAutoBundleSplitEnabled 是否开启namespace级别的负载拆分
loadBalancerNamespaceBundleMaxTopics 一个namspace包括的最大topic数量
loadBalancerNamespaceBundleMaxSessions namespace内producer+ consumer的session最大值,超过将拆分
loadBalancerNamespaceBundleMaxMsgRate namespace内producer+ consumer的数据比率最大值,超过将拆分
loadBalancerNamespaceBundleMaxBandwidthMbytes namespace内producer+ consumer的带宽最大值,超过将拆分
loadBalancerNamespaceMaximumBundles namespace内bundle的最大数量,bundle为一个虚拟的topic group,拥有相同的namespace
replicationMetricsEnabled 是否开启metric复制
replicationConnectionsPerBroker 最大数据的复制连接,用于远程集群复制
replicationProducerQueueSize replication producer队列大小,用于Geo replicator
defaultRetentionTimeInMinutes 默认数据保留时间
defaultRetentionSizeInMB 默认的保留大小,超过该值将清除旧的topic数据
keepAliveIntervalSeconds 检查活动连接时间间隔
brokerServicePurgeInactiveFrequencyInSeconds 检查不活动topic时间间隔
managedLedgerOffloadDriver 分层存储的类型,比如:S3
managedLedgerOffloadMaxThreads 用于保存冷数据的线程数
s3ManagedLedgerOffloadRegion 用于aws region保存冷数据
s3ManagedLedgerOffloadBucket 用于aws bucket保存冷数据
s3ManagedLedgerOffloadServiceEndpoint 用于aws 连接地址,用于测试
s3ManagedLedgerOffloadMaxBlockSizeInBytes aws 最大的block大小
s3ManagedLedgerOffloadReadBufferSizeInBytes aws 读缓存大小
s3ManagedLedgerOffloadRole 分配aws role
s3ManagedLedgerOffloadRoleSessionName 设置aws role的session name
Client
pulsar-client工具
webServiceUrl cluster web url地址
brokerServiceUrl pulsar协议url
authPlugin 认证plugin
authParams 认证parameter,以逗号分隔
useTls 是否开启TLS
Service discovery
zookeeperServers zk信息
configurationStoreServers 存储连接信息
zookeeperSessionTimeoutMs zk session timeout
servicePort 服务binary-proto 请求
servicePortTls 服务 binary-proto-tls请求
webServicePort 服务发现http地址
webServicePortTls https端口
bindOnLocalhost 是否绑定本地地址而不是hostname
authenticationEnabled 是否开启认证
authenticationProviders 认证方法
authorizationEnabled 是否开启授权
superUserRoles 是否开启超级用户
tlsEnabled 是否开启tls
tlsCertificateFilePath 证书路径
tlsKeyFilePath 私钥文件路径
Pulsar proxy
maxConcurrentInboundConnections 最大并发请求连接数,超过将拒绝
maxConcurrentLookupRequests 最大的响应连接数,超过将报错
————————————————
以上是 apachepulsar参数配置 的全部内容, 来源链接: utcz.com/z/518784.html