最近在知乎上看到這樣一個(gè)問(wèn)題

題主表示pandas用起來(lái)很亂，事實(shí)真的如此嗎？本文就將先如何利用pandas來(lái)行數(shù)據(jù)轉(zhuǎn)換/編碼的十種方案，最后再回答這個(gè)問(wèn)題。

其實(shí)這個(gè)操作在機(jī)器學(xué)習(xí)中十分常見(jiàn)，很多算法都需要我們對(duì)分類特征進(jìn)行轉(zhuǎn)換（編碼），即根據(jù)某一列的值，新增（修改）一列。

為了方便理解，下面創(chuàng)建示例DataFrame

數(shù)值型數(shù)據(jù)

讓我們先來(lái)討論連續(xù)型數(shù)據(jù)的轉(zhuǎn)換，也就是根據(jù)Score列的值，來(lái)新增一列標(biāo)簽，即如果分?jǐn)?shù)大于90，則標(biāo)記為A，分?jǐn)?shù)在80-90標(biāo)記為B，以此類推。

自定義函數(shù) + 循環(huán)遍歷

首先當(dāng)然是最簡(jiǎn)單，最笨的方法，自己寫一個(gè)函數(shù)，并用循環(huán)遍歷，那肯定就是一個(gè)def加一個(gè)for

df1=df.copy()

defmyfun(x):
ifx>90:
return'A'
elifx>=80andx<90:
????????return'B'
elifx>=70andx<80:
????????return'C'
elifx>=60andx<70:
????????return'D'
else:
return'E'

df1['Score_Label']=None
foriinrange(len(df1)):
df1.iloc[i,3]=myfun(df1.iloc[i,2])

這段代碼，相信所有人都能看懂，簡(jiǎn)單好想但比較麻煩

有沒(méi)有更簡(jiǎn)單的辦法呢？pandas當(dāng)然提供了很多高效的操作的函數(shù)，繼續(xù)往下看。

自定義函數(shù) + map

現(xiàn)在，可以使用map來(lái)干掉循環(huán)（雖然本質(zhì)上也是循環(huán)）

df2=df.copy()

defmapfun(x):
ifx>90:
return'A'
elifx>=80andx<90:
????????return'B'
elifx>=70andx<80:
????????return'C'
elifx>=60andx<70:
????????return'D'
else:
return'E'

df2['Score_Label']=df2['Score'].map(mapfun)

結(jié)果是同樣的

自定義函數(shù) + apply

如果還想簡(jiǎn)潔代碼，可以使用自定義函數(shù) + apply來(lái)干掉自定義函數(shù)

df3=df.copy()
df3['Score_Label']=df3['Score'].apply(lambdax:'A'ifx>90else(
'B'if90>x>=80else('C'if80>x>=70else('D'if70>x>=60else'E'))))

結(jié)果和上面是一致的，只不過(guò)這么寫容易被打。

使用 pd.cut

現(xiàn)在，讓我們繼續(xù)了解更高級(jí)的pandas函數(shù)，依舊是對(duì)Score進(jìn)行編碼，使用pd.cut，并指定劃分的區(qū)間后，可以直接幫你分好組

df4=df.copy()
bins=[0,59,70,80,100]
df4['Score_Label']=pd.cut(df4['Score'],bins)

也可以直接使用labels參數(shù)來(lái)修改對(duì)應(yīng)組的名稱，是不是方便多了

df4['Score_Label_new']=pd.cut(df4['Score'],bins,labels=[
'low','middle','good','perfect'])

使用 sklearn 二值化

既然是和機(jī)器學(xué)習(xí)相關(guān)，sklearn肯定跑不掉，如果需要新增一列并判定成績(jī)是否及格，就可以使用Binarizer函數(shù)，代碼也是簡(jiǎn)潔好懂

df5=df.copy()
binerize=Binarizer(threshold=60)
trans=binerize.fit_transform(np.array(df1['Score']).reshape(-1,1))
df5['Score_Label']=trans

文本型數(shù)據(jù)

下面介紹更常見(jiàn)的，對(duì)文本數(shù)據(jù)進(jìn)行轉(zhuǎn)換打標(biāo)簽。例如新增一列，將性別男、女分別標(biāo)記為0、1

使用 replace

首先介紹replace，但要注意的是，上面說(shuō)過(guò)的自定義函數(shù)相關(guān)方法依舊是可行的

df6=df.copy()
df6['Sex_Label']=df6['Sex'].replace(['Male','Female'],[0,1])

上面是對(duì)性別操作，因?yàn)橹挥心信?，所以可以手?dòng)指定0、1，但要是類別很多，也可以使用pd.value_counts()來(lái)自動(dòng)指定標(biāo)簽，例如對(duì)Course Name列分組

df6=df.copy()
value=df6['CourseName'].value_counts()
value_map=dict((v,i)fori,vinenumerate(value.index))
df6['CourseName_Label']=df6.replace({'CourseName':value_map})['CourseName']

使用map

額外強(qiáng)調(diào)的是，新增一列，一定要能夠想到map

df7=df.copy()
Map={elem:indexforindex,eleminenumerate(set(df["CourseName"]))}
df7['CourseName_Label']=df7['CourseName'].map(Map)

使用astype

這個(gè)方法應(yīng)該很多人不知道，這就屬于上面提到的知乎問(wèn)題，能實(shí)現(xiàn)的方法太多了

df8=df.copy()
value=df8['CourseName'].astype('category')
df8['CourseName_Label']=value.cat.codes

使用 sklearn

同數(shù)值型一樣，這種機(jī)器學(xué)習(xí)中的經(jīng)典操作，sklearn一定有辦法，使用LabelEncoder可以對(duì)分類數(shù)據(jù)進(jìn)行編碼

fromsklearn.preprocessingimportLabelEncoder
df9=df.copy()
le=LabelEncoder()
le.fit(df9['Sex'])
df9['Sex_Label']=le.transform(df9['Sex'])
le.fit(df9['CourseName'])
df9['CourseName_Label']=le.transform(df9['CourseName'])

一次性轉(zhuǎn)換兩列也是可以的

df9=df.copy()
le=OrdinalEncoder()
le.fit(df9[['Sex','CourseName']])
df9[['Sex_Label','CourseName_Label']]=le.transform(df9[['Sex','CourseName']])

使用factorize

最后，再介紹一個(gè)小眾但好用的pandas方法，我們需要注意到，在上面的方法中，自動(dòng)生成的Course Name_Label列，雖然一個(gè)數(shù)據(jù)對(duì)應(yīng)一個(gè)語(yǔ)言，因?yàn)楸苊鈱懽远x函數(shù)或者字典，這樣可以自動(dòng)生成，所以大多是無(wú)序的。

如果我們希望它是有序的，也就是Python對(duì)應(yīng)0，Java對(duì)應(yīng)1，除了自己指定，還有什么優(yōu)雅的辦法？這時(shí)可以使用factorize，它會(huì)根據(jù)出現(xiàn)順序進(jìn)行編碼

df10=df.copy()
df10['CourseName_Label']=pd.factorize(df10['CourseName'])[0]

結(jié)合匿名函數(shù)，我們可以做到對(duì)多列進(jìn)行有序編碼轉(zhuǎn)換

df10=df.copy()
cat_columns=df10.select_dtypes(['object']).columns

df10[['Sex_Label','CourseName_Label']]=df10[cat_columns].apply(
lambdax:pd.factorize(x)[0])

總結(jié)

至此，我們要介紹的十種pandas數(shù)據(jù)編碼的方法就分享完畢，代碼拿走修改變量名就能用，關(guān)于這個(gè)問(wèn)題如果你有更多的方法，可以在評(píng)論區(qū)進(jìn)行留言～

現(xiàn)在回到文章開(kāi)頭的問(wèn)題，如果你覺(jué)得pandas用起來(lái)很亂，說(shuō)明你可能還未對(duì)pandas有一個(gè)全面且徹底的了解。

其實(shí)就像本文介紹數(shù)據(jù)編碼轉(zhuǎn)換一樣，確實(shí)有很多方法可以實(shí)現(xiàn)顯得很亂，但學(xué)習(xí)pandas的正確姿勢(shì)就是應(yīng)該把它當(dāng)成字典來(lái)學(xué)，不必記住所有方法與細(xì)節(jié)，你只需知道有這么個(gè)函數(shù)能完成這樣操作，需要用時(shí)能想到，想到再來(lái)查就行。