gcloud dataproc作业传递属性参数提交pyspark

我想通过命令行提交一份pyspark作业到Google云端dataproc 这些是我的论点;gcloud dataproc作业传递属性参数提交pyspark

gcloud dataproc jobs submit pyspark --cluster mongo-load --properties org.mongodb.spark:mongo-spark-connector_2.11:2.2.0 mongo_load.py 

我经常收到异常

--properties: Bad syntax for dict arg: [org.mongodb.spark:mongo-spark-connector_2.11:2.2.0] 

我尝试了一些从谷歌逃逸选项显示here但似乎没有任何工作。

回答:

想通了,我只需要通过

spark.jars.packages=org.mongodb.spark:mongo-spark-connector_2.11:2.2.0 

以上是 gcloud dataproc作业传递属性参数提交pyspark 的全部内容, 来源链接: utcz.com/qa/263484.html

回到顶部