PySpark：数据帧 - 转换结构数组

• Z时代
• 2024-01-10
• 分类：问答

我有以下结构的数据帧：PySpark：数据帧 - 转换结构数组

root 
|-- index: long (nullable = true) 
|-- text: string (nullable = true) 
|-- topicDistribution: struct (nullable = true) 
| |-- type: long (nullable = true) 
| |-- values: array (nullable = true) 
| | |-- element: double (containsNull = true) 
|-- wiki_index: string (nullable = true) 

我需要将其更改为：

root 
|-- index: long (nullable = true) 
|-- text: string (nullable = true) 
|-- topicDistribution: array (nullable = true) 
| |-- element: double (containsNull = true) 
|-- wiki_index: string (nullable = true) 

请问我该怎么办呢？

非常感谢。

回答：

df.withColumn("topicDistribution", col("topicDistribution").getField("values")) 

以上是 PySpark：数据帧 - 转换结构数组 的全部内容， 来源链接： utcz.com/qa/260035.html