如何将自定义描述添加到Spark作业以在Spark Web UI中显示

  • Z时代
  • 2024-01-10
  • 分类：问答

当我们向Spark提交应用程序并执行任何操作后，Spark Web UI显示作业和阶段，如count at MyJob.scala:15。但在我的应用程序中有多个count和save操作在那里。所以了解用户界面非常困难。我们可以添加自定义描述来给作业提供更详细的信息，而不是count at MyJob.scala:15。如何将自定义描述添加到Spark作业以在Spark Web UI中显示

虽然谷歌搜索发现https://issues.apache.org/jira/browse/SPARK-3468和https://github.com/apache/spark/pull/2342，作者附带image，详细说明如'计数'，'缓存和计数'，'有延迟的工作'。那么我们可以做到这一点吗我正在使用Spark 2.0.0。

回答：

使用sc.setJobGroup：

实例：
蟒：

In [28]: sc.setJobGroup("my job group id", "job description goes here") 
In [29]: lines = sc.parallelize([1,2,3,4]) 
In [30]: lines.count() 
Out[30]: 4

的Scala：

scala> sc.setJobGroup("my job group id", "job description goes here") 
scala> val lines = sc.parallelize(List(1,2,3,4)) 
scala> lines.count() 
res3: Long = 4

SparkUI：

我希望这是你在找什么。

以上是 如何将自定义描述添加到Spark作业以在Spark Web UI中显示 的全部内容， 来源链接： utcz.com/qa/259511.html

回到顶部