Flink设置并行度的方式和执行级别

• Z时代
• 2024-01-10
• 分类：综合

Flink设置并行度的几种方式

1. 代码中设置setParallelism()

   • 全局设置：

     env.setParallelism(3);　

   • 算子设置（部分设置）：

     sum(1).setParallelism(3)

2. 客户端CLI设置：

   ./bin/flink run -p 3
   

3.  修改配置文件设置/conf/flink-conf.yaml的parallelism.defaul数值

4. 最大并行度设置

• 全局设置：

  env.setMaxParallelism(n)　

• 算子设置（部分设置）：

  sum(1).setMaxParallelism(n)

  默认的最大并行度是近似于operatorParallelism + (operatorParallelism / 2)，下限是127，上线是32768. 

执行顺序级别：算子>全局env>CLI>配置文件 。

.setParallelism()的并行度需要小于.setMaxParallelism()的最大并行度。

以上是 Flink设置并行度的方式和执行级别 的全部内容， 来源链接： utcz.com/z/532728.html