pandas groupby + unstack的使用说明

Z时代
2024-01-10
分类：综合

概述

groupby（）可以根据DataFrame中的某一列或者多列内容进行分组聚合，当DataFrame聚合后为两列索引时，可以使用unstack()将聚合的两列中一列值调整为行索引，另一列的值调整为列索引。

代码说明


test_df = pd.DataFrame({ 'col_1':['a', 'a', 'b', 'a', 'a', 'b', 'c', 'a', 'c'],
                   'col_2':['d', 'd', 'd', 'e', 'f', 'e', 'd', 'f', 'f'],
                   'col_3':[ 1, 2, 3,  1, 4, 5, 6, 4, 5]})

1.仅对数据进行分组聚合


df1=test_df.groupby(['col_1', 'col_2']).count()
df1:
           col_3
col_1   col_2    
  a    d     2
       e     1
       f     2
  b    d     1
       e     1
  c    d     1
       f     1
df.index:
MultiIndex(levels=[['a', 'b', 'c'], ['d', 'e', 'f']],
      labels=[[0, 0, 0, 1, 1, 2, 2], [0, 1, 2, 0, 1, 0, 2]],
      names=['col_1', 'col_2'])
df1.columns:
Index(['col_3'], dtype='object')

2.对分组聚合后的数据进行unstack


df2=test_df.groupby(['col_1', 'col_2']).count().unstack()
df2:
      col_3     
col_2   d  e  f
col_1        
a    2.0 1.0 2.0
b    1.0 1.0 NaN
c    1.0 NaN 1.0
df2.index:
Index(['a', 'b', 'c'], dtype='object', name='col_1')
df2.columns:
MultiIndex(levels=[['col_3'], ['d', 'e', 'f']],
      labels=[[0, 0, 0], [0, 1, 2]],
      names=[None, 'col_2'])

3.对分组聚合后的某列进行unstack


df3=test_df.groupby(['col_1', 'col_2']).count()['col_3'].unstack()
df3:
col_2   d   e    f
col_1        
a     2.0  1.0   2.0
b     1.0  1.0   NaN
c     1.0  NaN   1.0
df.index:
Index(['a', 'b', 'c'], dtype='object', name='col_1')
de.columns:
Index(['d', 'e', 'f'], dtype='object', name='col_2')

补充：pandas中pivot()方法和groupby()方法的说明和对比

pandas中有两个很有用的方法，pivot()或者pivot_table()和groupby()，其中pivot()方法是指定相应的列分别作为行标签和列标签，并指定相应的列作为值，然后重新生成一个新的DataFrame对象，这样的好处是使得数据更加的直观和容易分析，俗称数据透视；而groupby()方法是指定相应的列进行分组，把这列中具有相同值的行分为同一组，这个过程称为分组，返回一个groupby对象，一般的，分组之后会伴有聚合运算，即对每组进行需要的聚合运算（比如求和求积等）。

因此，pivot()方法是为了让数据重新排列组合，使其更直观，数据透视；而groupby()方法则是对数据进行分组聚合运算；两者实际上功能特点很明显，并没有什么可比性，只是在利用这两种方法时，原数据的结构是有些相似的，仅此而已；anyway,本文硬是把两者放在一起比较确实有些牵强的。

但实际上本文的目的是通过使用这两种不同的方法达成一个相同的目的，由此明晰两种方法的用法和优劣势，并由此更好的掌握它们。

首先我们构造一个DataFrame对象，如图。

其中reindex方法是为了调换name和date两列的顺序。

现在我们有一个目标是去计算每个人在所有日期的总的value，对此，我们先用pivot()方法看看如何实现。

如下图，首先对df1利用pivot()方法进行重新排列，具体的参数如图，以name为行标签，date为列标签，values为值，其中在原表中没有对应值，则显示NaN。

经过重新排列，我们可以很直观的看出在原表中name和data两列对应值的对应关系，这更有助于我们分析name、date、values这三列的关系，这才是pivot()方法的主要功能。

当然，对于我们最初的目标，我们可以通过对NaN填充0值，然后再对每列求和即可，即df2.sum(axis=1)。

然后，我们再用groupby()方法来实现我们的目标，具体代码如图。

这里，我们只要对name列进行分组，得到分组后的groupby对象，然后再对values列进行求和，最后就会返回每个名字对应的总的value。

通过以上论述，可知要达成我们的最初的目标，显然groupby()方法要简单的多，这当然是由于pivot()和grouby()的功能特性所决定的，因为这本来就是groupby()所擅长的。

这里用pivot()来实现我们的目标虽然是可以，但是明显大材小用了。