gcloud dataproc作业传递属性参数提交pyspark

  • Z时代
  • 2024-01-10
  • 分类：问答

我想通过命令行提交一份pyspark作业到Google云端dataproc 这些是我的论点;gcloud dataproc作业传递属性参数提交pyspark

gcloud dataproc jobs submit pyspark --cluster mongo-load --properties org.mongodb.spark:mongo-spark-connector_2.11:2.2.0 mongo_load.py

我经常收到异常

--properties: Bad syntax for dict arg: [org.mongodb.spark:mongo-spark-connector_2.11:2.2.0]

我尝试了一些从谷歌逃逸选项显示here但似乎没有任何工作。

回答：

想通了，我只需要通过

spark.jars.packages=org.mongodb.spark:mongo-spark-connector_2.11:2.2.0

以上是 gcloud dataproc作业传递属性参数提交pyspark 的全部内容， 来源链接： utcz.com/qa/263484.html

回到顶部