在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

數(shù)據(jù)處理中pandas的groupby小技巧

數(shù)據(jù)分析與開發(fā) ? 來源:Python數(shù)據(jù)科學 ? 作者:東哥起飛 ? 2021-04-09 11:34 ? 次閱讀

pandas的groupby是數(shù)據(jù)處理中一個非常強大的功能。雖然很多同學已已經(jīng)非常熟悉了,但有些小技巧還是要和大家普及一下的。為了給大家演示,我們采用一個公開的數(shù)據(jù)集進行說明。

import pandas as pd

iris = pd.read_csv

隨機采樣5條,數(shù)據(jù)是長這樣子的。

》》》 iris.sample(5)

sepal_length sepal_width petal_length petal_width species

95 5.7 3.0 4.2 1.2 versicolor

71 6.1 2.8 4.0 1.3 versicolor

133 6.3 2.8 5.1 1.5 virginica

4 5.0 3.6 1.4 0.2 setosa

33 5.5 4.2 1.4 0.2 setosa

因為是分組功能,所以被分的對象肯定是類別型的。在這個數(shù)據(jù)里,這里我們就以species進行分組舉例。

首先,以species分組創(chuàng)建一個groupby的object。這里單獨生成groupby對象是因為后面會反復用到,其實用的熟練了直接鏈接起來就可以了。

iris_gb = iris.groupby(‘species’)

一、創(chuàng)建頻率表假如我想知道每個species類中的數(shù)量有多少,那么直接使用groupby的size函數(shù)即可,如下。

》》》 iris_gb.size()

species

setosa 50

versicolor 50

virginica 50

dtype: int64

二、計算常用的描述統(tǒng)計量比如,我想要按組計算均值,那么就用mean()函數(shù)。

》》》 # 計算均值

》》》 iris_gb.mean()

sepal_length sepal_width petal_length petal_width

species

setosa 5.006 3.428 1.462 0.246

versicolor 5.936 2.770 4.260 1.326

virginica 6.588 2.974 5.552 2.026

默認情況下如果沒有限制,那么mean()函數(shù)將對所有變量特征計算均值。如果我希望只計算某一個變量的均值,可以指定該變量,如下所示。

》》》 # 單列

》》》 iris_gb[‘sepal_length’].mean()

species

setosa 5.006

versicolor 5.936

virginica 6.588

Name: sepal_length, dtype: float64

》》》 # 雙列

》》》 iris_gb[[‘sepal_length’, ‘petal_length’]].mean()

sepal_length petal_length

species

setosa 5.006 1.462

versicolor 5.936 4.260

virginica 6.588 5.552

同理,其它描述性統(tǒng)計量min、max()、medianhe和std都是一樣的用法。

三、查找最大值(最小值)索引如果我們要查找每個組的最大值或最小值的索引時,有一個方便的功能可以直接使用。

》》》 iris_gb.idxmax()

sepal_length sepal_width petal_length petal_width

species

setosa 14 15 24 43

versicolor 50 85 83 70

virginica 131 117 118 100

如何應用呢?

比如我們想查找每組sepal_length最大值對應的整條記錄時,就可以這樣用。注意,這里是整條記錄,相當于按sepal_length最大值這個條件進行了篩選。

》》》 sepal_largest = iris.loc[iris_gb[‘sepal_length’].idxmax()]

》》》 sepal_largest

sepal_length sepal_width petal_length petal_width species

14 5.8 4.0 1.2 0.2 setosa

50 7.0 3.2 4.7 1.4 versicolor

131 7.9 3.8 6.4 2.0 virginica

四、Groupby之后重置索引很多時候,我們在groupby處理后還要進行其他操作。也就是說,我們想重置分組索引以使其成為正常的行和列。

第一種方法可能大家常用,就是通過reset_index()讓亂序索引重置。

》》》 iris_gb.max().reset_index()

species sepal_length sepal_width petal_length petal_width

0 setosa 5.8 4.4 1.9 0.6

1 versicolor 7.0 3.4 5.1 1.8

2 virginica 7.9 3.8 6.9 2.5

但其實,還有一個看上去更加友好的用法。可以在groupby的時候就設置as_index參數(shù),也可以達到同樣效果。

》》》 iris.groupby(‘species’, as_index=False).max()

species sepal_length sepal_width petal_length petal_width

0 setosa 5.8 4.4 1.9 0.6

1 versicolor 7.0 3.4 5.1 1.8

2 virginica 7.9 3.8 6.9 2.5

五、多種統(tǒng)計量匯總上面都是單個統(tǒng)計量的操作,那如果我想同時操作好幾個呢?

groupby還有一個超級棒的用法就是和聚合函數(shù)agg連起來使用。

》》》 iris_gb[[‘sepal_length’, ‘petal_length’]].agg([“min”, “mean”])

sepal_length petal_length

min mean min mean

species

setosa 4.3 5.006 1.0 1.462

versicolor 4.9 5.936 3.0 4.260

virginica 4.9 6.588 4.5 5.552

在agg里面,我們只要列出統(tǒng)計量的名稱即可,便可同時對每個列進行多維度統(tǒng)計。

六、特定列的聚合我們也看到了,上面是的多個操作對于每個列都是一樣的。實際使用過程中,我們可能對于每個列的需求都是不一樣的。

所以在這種情況下,我們可以通過為不同的列單獨設置不同的統(tǒng)計量。

》》》 iris_gb.agg({“sepal_length”: [“min”, “max”], “petal_length”: [“mean”, “std”]})

sepal_length petal_length

min max mean std

species

setosa 4.3 5.8 1.462 0.173664

versicolor 4.9 7.0 4.260 0.469911

virginica 4.9 7.9 5.552 0.551895

7、NamedAgg命名統(tǒng)計量現(xiàn)在我又有新的想法了。上面的多級索引看起來有點不太友好,我想把每個列下面的統(tǒng)計量和列名分別合并起來。可以使用NamedAgg來完成列的命名。

》》》 iris_gb.agg(

。。. sepal_min=pd.NamedAgg(column=“sepal_length”, aggfunc=“min”),

。。. sepal_max=pd.NamedAgg(column=“sepal_length”, aggfunc=“max”),

。。. petal_mean=pd.NamedAgg(column=“petal_length”, aggfunc=“mean”),

。。. petal_std=pd.NamedAgg(column=“petal_length”, aggfunc=“std”)

。。. )

sepal_min sepal_max petal_mean petal_std

species

setosa 4.3 5.8 1.462 0.173664

versicolor 4.9 7.0 4.260 0.469911

virginica 4.9 7.9 5.552 0.551895

因為NamedAgg是一個元組,所以我們也可以直接賦值元組給新的命名,效果一樣,但看上去更簡潔。

iris_gb.agg(

sepal_min=(“sepal_length”, “min”),

sepal_max=(“sepal_length”, “max”),

petal_mean=(“petal_length”, “mean”),

petal_std=(“petal_length”, “std”)

八、使用自定義函數(shù)上面agg聚合函數(shù)中我們都是通過添加一個統(tǒng)計量名稱來完成操作的,除此之外我們也可直接給一個功能對象。

》》》 iris_gb.agg(pd.Series.mean)

sepal_length sepal_width petal_length petal_width

species

setosa 5.006 3.428 1.462 0.246

versicolor 5.936 2.770 4.260 1.326

virginica 6.588 2.974 5.552 2.026

不僅如此,名稱和功能對象也可一起使用。

iris_gb.agg([“min”, pd.Series.mean])

更騷的是,我們還可以自定義函數(shù),也都是可以的。

》》》 def double_length(x):

。。. return 2*x.mean()

。。.

》》》 iris_gb.agg(double_length)

sepal_length sepal_width petal_length petal_width

species

setosa 10.012 6.856 2.924 0.492

versicolor 11.872 5.540 8.520 2.652

virginica 13.176 5.948 11.104 4.052

當然如果想更簡潔,也可以使用lambda函數(shù)。總之,用法非常靈活,可以自由組合搭配。

iris_gb.agg(lambda x: x.mean())

以上就是使用groupby過程中可能會用到的8個操作,如果你熟練使用起來會發(fā)現(xiàn)這個功能是真的很強大。

原文標題:Pandas 100 個騷操作:groupby 8 個常用技巧!

文章出處:【微信公眾號:數(shù)據(jù)分析與開發(fā)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

責任編輯:haq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 函數(shù)
    +關(guān)注

    關(guān)注

    3

    文章

    4371

    瀏覽量

    64280
  • 數(shù)據(jù)處理
    +關(guān)注

    關(guān)注

    0

    文章

    626

    瀏覽量

    29052

原文標題:Pandas 100 個騷操作:groupby 8 個常用技巧!

文章出處:【微信號:DBDevs,微信公眾號:數(shù)據(jù)分析與開發(fā)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點推薦

    Hadoop 生態(tài)系統(tǒng)在大數(shù)據(jù)處理的應用與實踐

    隨著數(shù)據(jù)量的爆發(fā)式增長,大數(shù)據(jù)處理技術(shù)成為企業(yè)關(guān)注焦點,Hadoop 生態(tài)系統(tǒng)在其中扮演著核心角色。 Hadoop Distributed File System(HDFS)是其分布式文件存儲
    的頭像 發(fā)表于 01-21 17:48 ?377次閱讀

    康謀分享 | 如何應對ADAS/AD海量數(shù)據(jù)處理挑戰(zhàn)?

    如何有效處理ADAS/AD海量數(shù)據(jù)并從中獲得見解?IVEX數(shù)據(jù)處理流程可自動從原始傳感器數(shù)據(jù)等輸入識別出值得關(guān)注的事件和場景,推動
    的頭像 發(fā)表于 12-25 10:05 ?3911次閱讀
    康謀分享 | 如何應對ADAS/AD海量<b class='flag-5'>數(shù)據(jù)處理</b>挑戰(zhàn)?

    緩存對大數(shù)據(jù)處理的影響分析

    緩存對大數(shù)據(jù)處理的影響顯著且重要,主要體現(xiàn)在以下幾個方面: 一、提高數(shù)據(jù)訪問速度 在大數(shù)據(jù)環(huán)境數(shù)據(jù)存儲通常采用分布式存儲系統(tǒng),
    的頭像 發(fā)表于 12-18 09:45 ?656次閱讀

    cmp在數(shù)據(jù)處理的應用 如何優(yōu)化cmp性能

    CMP在數(shù)據(jù)處理的應用 CMP(并行處理)技術(shù)在數(shù)據(jù)處理領(lǐng)域扮演著越來越重要的角色。隨著數(shù)據(jù)量的爆炸性增長,傳統(tǒng)的串行
    的頭像 發(fā)表于 12-17 09:27 ?973次閱讀

    使用 RISC-V 進行高效數(shù)據(jù)處理的方法

    使用RISC-V進行高效數(shù)據(jù)處理的方法涉及多個方面,包括處理器內(nèi)核與DSA(領(lǐng)域特定加速器)之間的通信優(yōu)化、內(nèi)存管理優(yōu)化、多線程性能提升等。以下是一些具體的方法: 一、處理器內(nèi)核與DSA之間的通信
    的頭像 發(fā)表于 12-11 17:52 ?968次閱讀

    pds在數(shù)據(jù)處理的應用 pds支持的文件格式有哪些

    PDS在數(shù)據(jù)處理中有廣泛的應用,同時它也支持多種文件格式。以下是對這兩個方面的介紹: PDS在數(shù)據(jù)處理的應用 電力系統(tǒng)自動化數(shù)據(jù)交換 : PDS(Power Dispatch Sys
    的頭像 發(fā)表于 12-05 10:43 ?1349次閱讀

    上位機實時數(shù)據(jù)處理技術(shù) 上位機在智能制造的應用

    。這種技術(shù)對于工業(yè)自動化、智能制造等領(lǐng)域至關(guān)重要。 在上位機實時數(shù)據(jù)處理,關(guān)鍵技術(shù)包括數(shù)據(jù)采集、數(shù)據(jù)處理數(shù)據(jù)可視化、
    的頭像 發(fā)表于 12-04 10:29 ?1320次閱讀

    eda中常用的數(shù)據(jù)處理方法

    探索性數(shù)據(jù)分析(EDA)是一種統(tǒng)計方法,用于使用統(tǒng)計圖表、圖形和計算來發(fā)現(xiàn)數(shù)據(jù)的模式、趨勢和異常值。在進行EDA時,數(shù)據(jù)處理是至關(guān)重要的,因為它可以幫助我們更好地理解
    的頭像 發(fā)表于 11-13 10:57 ?815次閱讀

    海量數(shù)據(jù)處理需要多少RAM內(nèi)存

    處理海量數(shù)據(jù)時,內(nèi)存的大小直接影響到數(shù)據(jù)的讀寫速度和整體處理能力。更多的內(nèi)存意味著可以將更多的數(shù)據(jù)緩存到內(nèi)存
    的頭像 發(fā)表于 11-11 09:56 ?1115次閱讀

    ASCII碼在數(shù)據(jù)處理的應用技巧

    ASCII碼作為計算機科學的基石之一,其應用廣泛而深遠。從文本編輯到網(wǎng)絡通信,從數(shù)據(jù)存儲到程序開發(fā),ASCII碼都是不可或缺的。 一、ASCII碼基礎 ASCII碼使用7位(或8位)二進制數(shù)來表示
    的頭像 發(fā)表于 11-10 10:39 ?1602次閱讀

    FPGA在數(shù)據(jù)處理的應用實例

    FPGA(現(xiàn)場可編程門陣列)在數(shù)據(jù)處理領(lǐng)域有著廣泛的應用,其高度的靈活性和并行處理能力使其成為許多高性能數(shù)據(jù)處理系統(tǒng)的核心組件。以下是一些FPGA在數(shù)據(jù)處理
    的頭像 發(fā)表于 10-25 09:21 ?1240次閱讀

    實時數(shù)據(jù)處理的邊緣計算應用

    實時數(shù)據(jù)處理的邊緣計算應用廣泛,涵蓋了多個行業(yè)和領(lǐng)域。以下是一些典型的應用場景: 一、工業(yè)制造 在工業(yè)制造領(lǐng)域,邊緣計算技術(shù)被廣泛應用于生產(chǎn)線上的設備監(jiān)控、數(shù)據(jù)處理和實時控制。通過在生產(chǎn)線上安裝
    的頭像 發(fā)表于 10-24 14:11 ?1005次閱讀

    康謀分享 | ADTF過濾器全面解析:構(gòu)建、配置與數(shù)據(jù)處理應用

    在ADTF(AutomotiveDataandTime-TriggeredFramework),過濾器(Filter)扮演著數(shù)據(jù)處理的核心角色。過濾器是處理數(shù)據(jù)流的基本單元,它們接收
    的頭像 發(fā)表于 09-18 09:42 ?2869次閱讀
    康謀分享 | ADTF過濾器全面解析:構(gòu)建、配置與<b class='flag-5'>數(shù)據(jù)處理</b>應用

    邊緣計算物聯(lián)網(wǎng)關(guān)如何優(yōu)化數(shù)據(jù)處理流程

    在物聯(lián)網(wǎng)技術(shù)日新月異的今天,數(shù)據(jù)的產(chǎn)生、傳輸與處理已成為推動行業(yè)智能化轉(zhuǎn)型的關(guān)鍵。邊緣計算物聯(lián)網(wǎng)關(guān),作為這一生態(tài)系統(tǒng)的核心組件,正以其獨特的優(yōu)勢,在數(shù)據(jù)處理效率、實時性、安全性及成本
    的頭像 發(fā)表于 07-30 17:27 ?768次閱讀
    邊緣計算物聯(lián)網(wǎng)關(guān)如何優(yōu)化<b class='flag-5'>數(shù)據(jù)處理</b>流程
    主站蜘蛛池模板: 黄黄的网站| 丁香5月婷婷 | 天堂资源最新版在线www | 国产精品成人va在线观看入口 | 国产免费一区二区三区在线 | 日本卡一卡2卡3卡4精品卡无人区 | 天天拍天天干 | 黄 色 片 在 线 看 | 午夜一级毛片 | 天天狠天天天天透在线 | 午夜大片在线观看 | 精品免费久久久久久成人影院 | 色婷婷视频在线观看 | 全国男人的天堂天堂网 | 免费观看做网站爱 | 色五月丁香五月综合五月 | 94久久国产乱子伦精品免费 | 国产色产综合色产在线观看视频 | 日日噜噜夜夜狠狠va视频 | 欧美专区一区二区三区 | 亚洲 欧美 另类 综合 日韩 | 直接观看黄网站免费视频 | 特黄特色大片免费视频大全 | 性视频网| 午夜资源站 | 手机看片国产免费现在观看 | 亚洲视频三区 | 亚洲美女爱爱 | 欧美一区二区在线观看视频 | 日韩一级在线观看 | 成年人午夜影院 | 国产免费久久 | 婷婷激情六月 | 日本一二线不卡在线观看 | 日日干夜夜操视频 | 99热久| www.亚洲视频.com | 四虎影院免费视频 | 国产精品免费看久久久 | 在线免费亚洲 | 免费jyzzjyzz在线播放大全 |