Pandas。在多列上做交叉表,然后做Groupby[英] Pandas: Crosstab on multiple columns then Groupby

本文是小编为大家收集整理的关于Pandas。在多列上做交叉表,然后做Groupby的处理方法,想解了Pandas。在多列上做交叉表,然后做Groupby的问题怎么解决?Pandas。在多列上做交叉表,然后做Groupby问题的解决办法?那么可以参考本文帮助大家快速定位并解决问题。

问题描述

我的数据框看起来像这样.

df

    visit_date sex region status
0   2019-04-01   m     as   pass
1   2019-04-02   m     as   pass
2   2019-04-02   f     na   pass
3   2019-04-03   f     na   fail
4   2019-04-08   f     na   pass
5   2019-04-09   f     as   pass
6   2019-04-09   m     na   pass
7   2019-04-10   m     as   fail
8   2019-04-15   f     as   fail
9   2019-04-15   m     na   pass
10  2019-04-16   f     na   pass
11  2019-04-17   f     na   fail

visit_datedatetime 其余的是 categorical (对象).

我想每周计算每列中的每个值,然后将它们设置为列.

预期结果.

            f  m  as  na  fail  pass
visit_date                          
2019-04-07  2  2   2   2     1     3
2019-04-14  2  2   2   2     1     3
2019-04-21  3  1   1   3     2     2

我使用了 pd.crosstab 和 groupby.

df.visit_date = pd.to_datetime(df.visit_date)

cols = ['sex', 'region', 'status']

df2 = pd.crosstab(df['visit_date'], df[cols[0]])

for i in range(1, len(cols)):
    df2 = df2.join(pd.crosstab(df['visit_date'], df[cols[i]]))

df2.groupby([pd.Grouper(level='visit_date', freq='1W')]).sum()

            f  m  as  na  fail  pass
visit_date                          
2019-04-07  2  2   2   2     1     3
2019-04-14  2  2   2   2     1     3
2019-04-21  3  1   1   3     2     2

问题是我必须再次分组以每周总结它们,而且速度太慢.我的实际数据有约 100 列和约 100 万行.

是否有任何更快的方法可以获得相同的结果?

解决方案

使用DataFrame.meltDataFrameGroupBy.sizeSeries.unstack 用于重塑:

cols = ['sex', 'region', 'status']
df1 = (df.melt(id_vars='visit_date', value_vars=cols)
         .groupby([pd.Grouper(key='visit_date', freq='1W'),'value'])
         .size()
         .unstack(fill_value=0))
print (df1)
value       as  f  fail  m  na  pass
visit_date                          
2019-04-07   2  2     1  2   2     3
2019-04-14   2  2     1  2   2     3
2019-04-21   1  3     2  1   3     2

也可以创建 Multiindex:

cols = ['sex', 'region', 'status']
df2 = (df.melt(id_vars='visit_date', value_vars=cols)
         .groupby([pd.Grouper(key='visit_date', freq='1W'),'variable', 'value'])
         .size()
         .unstack(level=[1,2], fill_value=0))
print (df2)
variable   region    sex    status     
value          as na   f  m   fail pass
visit_date                             
2019-04-07      2  2   2  2      1    3
2019-04-14      2  2   2  2      1    3
2019-04-21      1  3   3  1      2    2

所以可以通过第一级选择:

print (df2['region'])
value       as  na
visit_date        
2019-04-07   2   2
2019-04-14   2   2
2019-04-21   1   3

或展平值:

df2.columns = df2.columns.map('_'.join)
print (df2)
            region_as  region_na  sex_f  sex_m  status_fail  status_pass
visit_date                                                              
2019-04-07          2          2      2      2            1            3
2019-04-14          2          2      2      2            1            3
2019-04-21          1          3      3      1            2            2

本文地址:https://www.itbaoku.cn/post/1727759.html