使用Java将Spark RDD保存到本地文件系统
我有使用Spark生成的RDD。现在，如果我将此RDD写入csv文件，则可以使用“
saveAsTextFile（）”之类的一些方法，该方法将csv文件输出到HDFS。
我想将文件写入本地文件系统，以便我的SSIS进程可以从系统中选择文件并将它们加载到DB中。
我目前无法使用sqoop。
除了编写Shell脚本之外，Java中是否还有其他地方可以做到这一点？
需要任何清晰度，请告知。
回答：
saveAsTextFile能够采用本地文件系统路径（例如file:///tmp/magic/...）。但是，如果您在分布式集群上运行，则很可能要将collect()数据返回到集群，然后使用标准文件操作将其保存。
以上是 使用Java将Spark RDD保存到本地文件系统 的全部内容， 来源链接： utcz.com/qa/432477.html
