单个JVM中有多个SparkSession

  • Z时代
  • 2024-01-10
  • 分类：问答

我有一个关于在一个JVM中创建多个Spark会话的查询。我已经读过，在早期版本的Spark中不建议创建多个上下文。Spark 2.0中的SparkSession也是如此。

我正在考虑从UI调用Web服务或servlet，然后该服务创建一个spark会话，执行一些操作并返回结果。这将导致为客户端的每个请求创建一个火花会话。是否推荐这种做法？

说我有一个类似的方法：

public void runSpark（）引发异常{
        SparkSession spark = SparkSession
          .builder()
          .master("spark://<masterURL>")
          .appName("JavaWordCount")
          .getOrCreate();

等等....

如果将这种方法放在Web服务中，会不会有JVM问题？因此，我可以从main方法多次调用此方法，但不确定这是否是一种好习惯。

回答：

不支持，也不会。SPARK-2243解决为“无法修复”。

如果您需要多个上下文，那么可以使用不同的项目来帮助您（Mist，Livy）。

以上是 单个JVM中有多个SparkSession 的全部内容， 来源链接： utcz.com/qa/421856.html

回到顶部