TOOLS_Pandas groupby 分组聚合常用方法使用示例

• 根据给定列中的不同值对数据点（行）进行分组；
• 分组后的数据可以计算生成组的聚合值；

注意：下文仅是常用的一些示例，实际操作时可组合使用的方式要多得多！

import pandas as pd
df = pd.read_excel("./工作簿1.xlsx")
df.head()

n列分组n特征列n聚合

# 单列分组——所有数值型特征列——单聚合
df.groupby("store").mean() # 单列分组——单特征列——单聚合
df.groupby("store")["price"].mean() # 多列分组——多特征列——多聚合
df.groupby(["store","product_group"])[["cost","price"]].agg(["mean","max"]) 

对聚合结果进行命名

df.groupby("store").agg(mean_price = ("price", "mean"),max_price = ("price", "max"),mean_cost =  ("cost", "mean"),max_cost = ("cost", "max"),
)

as_index 参数

• 如果groupby输出的是DataFrame，可以使用该参数将分组的列（默认会被处理为索引列）加入到结果的DataFrame中（转换为特征列）；

df.groupby("store", as_index=False).agg(mean_price = ("price", "mean"),max_price = ("price", "max"),mean_cost =  ("cost", "mean"),max_cost = ("cost", "max"),
)

dropna 参数

groupby函数默认会忽略分组的缺省值：如果用于分组的列中缺少值，那么它将不被包含到任何组中，也不会单独显示；

使用dropna参数可以改变这一行为；

df.loc[5] = [None, "PG2", 1000,120,60,90,15,50]
df.groupby("store", dropna=False)["price"].mean()

store
Daisy     530.57
Rose      712.41
Violet    712.41
NaN        90.00
Name: price, dtype: float64

排序输出

• 使用sort_values函数根据聚合列多输出进行排序

df.groupby("store", as_index=False).agg(mean_price = ("price", "mean"),max_price = ("price", "max"),mean_cost =  ("cost", "mean"),max_cost = ("cost", "max"),
).sort_values(by="mean_price", ascending=False)

某一列的Top N

• max() 取最大值
• nlargest(N)或nsmallest(N) 取前N个最值

df.groupby("store")["price"].max()
df.groupby("store")["price"].nlargest(2)

store    
Daisy   3    1034.554      26.59
Rose    1     712.41
Violet  2     854.910     569.91
Name: price, dtype: float64

第N个值

• 先排序，再取值

df_sorted = df.sort_values(by=["store","price"], ascending=False, ignore_index=True)
# ignore_index参数，会重置索引# 找到每个分组中的第一个值（按照price倒序，对应的就是每组中price最高的一条记录）
df_sorted.groupby("store", as_index=False).nth(0)# 找到每个分组中的最后一个值（按照price倒序，对应的就是每组中price最低的一条记录）
df_sorted.groupby("store", as_index=False).nth(-1)

唯一值、唯一值的数量

• unique函数 查找每组中的唯一值
• nunique函数 统计每组中唯一值的数量

df.groupby("store", as_index=False).agg(unique_val = ("product_code", "unique")
)

df.groupby("store", as_index=False).agg(number_unique_val = ("product_code", "nunique")
)

组的个数

# 两列的组合数
df.groupby(["store", "product_group"]).ngroups

5

获取特定分组

asign_pg1 = df.groupby(["store", "product_group"]
).get_group(("Daisy", "PG1"))asign_pg1

Lambda

• 在agg函数中使用lambda表达式，自定义聚合操作

df.groupby("store").agg(test_p = ("price", lambda x: round(x.sum()/1000, 1))
)

apply函数

• 使用apply函数将Lambda表达式应用到每个组。
• 例如，我们可以计算每家店利润值；

df.groupby("store").apply(lambda x: (x.price - x.cost).sum()
)

store
Daisy     178.91
Rose      166.77
Violet    363.64
dtype: float64

expanding 函数

import numpy as npdf = pd.DataFrame({"date": pd.date_range(start="2022-08-01", periods=8, freq="D"),"category": list("AAAABBBB"),"value": np.random.randint(10, 30, size=8)}
)
df

# 累计总和
df["cum_sum"] = df.groupby("category")["value"].cumsum()
df

# expanding函数提供展开转换。但是对于展开以后的操作还是需要一个累计函数来堆区操作
df["cum_sum2"] = df.groupby("category")["value"].expanding().sum().values
df