将JSON文件读入Spark时_corrupt_record错误

我有这个JSON文件

{

"a": 1,

"b": 2

}

这是通过Python json.dump方法获得的。现在,我想使用pyspark将此文件读入Spark中的DataFrame中。根据文档,我正在这样做

sc = SparkContext()

sqlc = SQLContext(sc)

df = sqlc.read.json(’my_file.json’)

打印df.show()

print语句虽然说明了这一点:

+---------------+

|_corrupt_record|

+---------------+

| {|

| "a": 1, |

| "b": 2|

| }|

+---------------+

任何人都知道发生了什么事以及为什么它无法正确解释文件?

回答:

您的输入文件中每行需要有一个json对象,请参阅http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrameReader.json

如果您的json文件看起来像这样,它将为您提供预期的数据帧:

{ "a": 1, "b": 2 }

{ "a": 3, "b": 4 }

....

df.show()

+---+---+

| a| b|

+---+---+

| 1| 2|

| 3| 4|

+---+---+

以上是 将JSON文件读入Spark时_corrupt_record错误 的全部内容, 来源链接: utcz.com/qa/422892.html

回到顶部