創(chuàng)建測試集

在這個階段就分割數(shù)據(jù)，聽起來很奇怪。畢竟，你只是簡單快速地查看了數(shù)據(jù)而已，你需要再仔細(xì)調(diào)查下數(shù)據(jù)以決定使用什么算法。這么想是對的，但是人類的大腦是一個神奇的發(fā)現(xiàn)規(guī)律的系統(tǒng)，這意味著大腦非常容易發(fā)生過擬合：如果你查看了測試集，就會不經(jīng)意地按照測試集中的規(guī)律來選擇某個特定的機(jī)器學(xué)習(xí)模型。再當(dāng)你使用測試集來評估誤差率時，就會導(dǎo)致評估過于樂觀，而實(shí)際部署的系統(tǒng)表現(xiàn)就會差。這稱為數(shù)據(jù)透視偏差。

理論上，創(chuàng)建測試集很簡單：只要隨機(jī)挑選一些實(shí)例，一般是數(shù)據(jù)集的 20%，放到一邊：

import numpy as np def split_train_test(data, test_ratio): shuffled_indices = np.random.permutation(len(data)) test_set_size = int(len(data) * test_ratio) test_indices = shuffled_indices[:test_set_size] train_indices = shuffled_indices[test_set_size:] return data.iloc[train_indices], data.iloc[test_indices]

然后可以像下面這樣使用這個函數(shù)：

>>> train_set, test_set = split_train_test(housing, 0.2) >>> print(len(train_set), "train +", len(test_set), "test") 16512 train + 4128 test

這個方法可行，但是并不完美：如果再次運(yùn)行程序，就會產(chǎn)生一個不同的測試集！多次運(yùn)行之后，你（或你的機(jī)器學(xué)習(xí)算法）就會得到整個數(shù)據(jù)集，這是需要避免的。

解決的辦法之一是保存第一次運(yùn)行得到的測試集，并在隨后的過程加載。另一種方法是在調(diào)用np.random.permutation()之前，設(shè)置隨機(jī)數(shù)生成器的種子（比如np.random.seed(42)），以產(chǎn)生總是相同的洗牌指數(shù)（shuffled indices）。

但是如果數(shù)據(jù)集更新，這兩個方法都會失效。一個通常的解決辦法是使用每個實(shí)例的ID來判定這個實(shí)例是否應(yīng)該放入測試集（假設(shè)每個實(shí)例都有唯一并且不變的ID）。例如，你可以計(jì)算出每個實(shí)例ID的哈希值，只保留其最后一個字節(jié)，如果該值小于等于 51（約為 256 的 20%），就將其放入測試集。這樣可以保證在多次運(yùn)行中，測試集保持不變，即使更新了數(shù)據(jù)集。新的測試集會包含新實(shí)例中的 20%，但不會有之前位于訓(xùn)練集的實(shí)例。下面是一種可用的方法：

import hashlib def test_set_check(identifier, test_ratio, hash): return hash(np.int64(identifier)).digest()[-1] < 256 * test_ratio def split_train_test_by_id(data, test_ratio, id_column, hash=hashlib.md5): ? ?ids = data[id_column] ? ?in_test_set = ids.apply(lambda id_: test_set_check(id_, test_ratio, hash)) ? ?return data.loc[~in_test_set], data.loc[in_test_set]

不過，房產(chǎn)數(shù)據(jù)集沒有ID這一列。最簡單的方法是使用行索引作為 ID：

housing_with_id = housing.reset_index() # adds an `index` column train_set, test_set = split_train_test_by_id(housing_with_id, 0.2, "index")

如果使用行索引作為唯一識別碼，你需要保證新數(shù)據(jù)都放到現(xiàn)有數(shù)據(jù)的尾部，且沒有行被刪除。如果做不到，則可以用最穩(wěn)定的特征來創(chuàng)建唯一識別碼。例如，一個區(qū)的維度和經(jīng)度在幾百萬年之內(nèi)是不變的，所以可以將兩者結(jié)合成一個 ID：

housing_with_id["id"] = housing["longitude"] * 1000 + housing["latitude"] train_set, test_set = split_train_test_by_id(housing_with_id, 0.2, "id")

Scikit-Learn 提供了一些函數(shù)，可以用多種方式將數(shù)據(jù)集分割成多個子集。最簡單的函數(shù)是train_test_split，它的作用和之前的函數(shù)split_train_test很像，并帶有其它一些功能。首先，它有一個random_state參數(shù)，可以設(shè)定前面講過的隨機(jī)生成器種子；第二，你可以將種子傳遞給多個行數(shù)相同的數(shù)據(jù)集，可以在相同的索引上分割數(shù)據(jù)集（這個功能非常有用，比如你的標(biāo)簽值是放在另一個DataFrame里的）：

from sklearn.model_selection import train_test_split train_set, test_set = train_test_split(housing, test_size=0.2, random_state=42)

目前為止，我們采用的都是純隨機(jī)的取樣方法。當(dāng)你的數(shù)據(jù)集很大時（尤其是和屬性數(shù)相比），這通常可行；但如果數(shù)據(jù)集不大，就會有采樣偏差的風(fēng)險。當(dāng)一個調(diào)查公司想要對 1000 個人進(jìn)行調(diào)查，它們不是在電話亭里隨機(jī)選 1000 個人出來。調(diào)查公司要保證這 1000 個人對人群整體有代表性。例如，美國人口的 51.3% 是女性，48.7% 是男性。所以在美國，嚴(yán)謹(jǐn)?shù)恼{(diào)查需要保證樣本也是這個比例：513 名女性，487 名男性。這稱作分層采樣（stratified sampling）：將人群分成均勻的子分組，稱為分層，從每個分層去取合適數(shù)量的實(shí)例，以保證測試集對總?cè)藬?shù)有代表性。如果調(diào)查公司采用純隨機(jī)采樣，會有 12% 的概率導(dǎo)致采樣偏差：女性人數(shù)少于 49%，或多于 54%。不管發(fā)生那種情況，調(diào)查結(jié)果都會嚴(yán)重偏差。

假設(shè)專家告訴你，收入中位數(shù)是預(yù)測房價中位數(shù)非常重要的屬性。你可能想要保證測試集可以代表整體數(shù)據(jù)集中的多種收入分類。因?yàn)槭杖胫形粩?shù)是一個連續(xù)的數(shù)值屬性，你首先需要創(chuàng)建一個收入類別屬性。再仔細(xì)地看一下收入中位數(shù)的柱狀圖（圖 2-9）（譯注：該圖是對收入中位數(shù)處理過后的圖）：

圖 2-9 收入分類的柱狀圖

大多數(shù)的收入中位數(shù)的值聚集在 2-5（萬美元），但是一些收入中位數(shù)會超過 6。數(shù)據(jù)集中的每個分層都要有足夠的實(shí)例位于你的數(shù)據(jù)中，這點(diǎn)很重要。否則，對分層重要性的評估就會有偏差。這意味著，你不能有過多的分層，且每個分層都要足夠大。后面的代碼通過將收入中位數(shù)除以 1.5（以限制收入分類的數(shù)量），創(chuàng)建了一個收入類別屬性，用ceil對值舍入（以產(chǎn)生離散的分類），然后將所有大于 5的分類歸入到分類 5：

housing["income_cat"] = np.ceil(housing["median_income"] / 1.5) housing["income_cat"].where(housing["income_cat"] < 5, 5.0, inplace=True)

現(xiàn)在，就可以根據(jù)收入分類，進(jìn)行分層采樣。你可以使用 Scikit-Learn 的StratifiedShuffleSplit類：

from sklearn.model_selection import StratifiedShuffleSplit split = StratifiedShuffleSplit(n_splits=1, test_size=0.2, random_state=42) for train_index, test_index in split.split(housing, housing["income_cat"]): strat_train_set = housing.loc[train_index] strat_test_set = housing.loc[test_index]

檢查下結(jié)果是否符合預(yù)期。你可以在完整的房產(chǎn)數(shù)據(jù)集中查看收入分類比例：

>>> housing["income_cat"].value_counts() / len(housing) 3.0 0.350581 2.0 0.318847 4.0 0.176308 5.0 0.114438 1.0 0.039826 Name: income_cat, dtype: float64

使用相似的代碼，還可以測量測試集中收入分類的比例。圖 2-10 對比了總數(shù)據(jù)集、分層采樣的測試集、純隨機(jī)采樣測試集的收入分類比例。可以看到，分層采樣測試集的收入分類比例與總數(shù)據(jù)集幾乎相同，而隨機(jī)采樣數(shù)據(jù)集偏差嚴(yán)重。

圖 2-10 分層采樣和純隨機(jī)采樣的樣本偏差比較

現(xiàn)在，你需要刪除income_cat屬性，使數(shù)據(jù)回到初始狀態(tài)：

for set in (strat_train_set, strat_test_set): set.drop(["income_cat"], axis=1, inplace=True)

我們用了大量時間來生成測試集的原因是：測試集通常被忽略，但實(shí)際是機(jī)器學(xué)習(xí)非常重要的一部分。還有，生成測試集過程中的許多思路對于后面的交叉驗(yàn)證討論是非常有幫助的。接下來進(jìn)入下一階段：數(shù)據(jù)探索。

數(shù)據(jù)探索和可視化、發(fā)現(xiàn)規(guī)律

目前為止，你只是快速查看了數(shù)據(jù)，對要處理的數(shù)據(jù)有了整體了解。現(xiàn)在的目標(biāo)是更深的探索數(shù)據(jù)。

首先，保證你將測試集放在了一旁，只是研究訓(xùn)練集。另外，如果訓(xùn)練集非常大，你可能需要再采樣一個探索集，保證操作方便快速。在我們的案例中，數(shù)據(jù)集很小，所以可以在全集上直接工作。創(chuàng)建一個副本，以免損傷訓(xùn)練集：

housing = strat_train_set.copy()

地理數(shù)據(jù)可視化

housing.plot(kind="scatter", x="longitude", y="latitude")

因?yàn)榇嬖诘乩?a target="_blank">信息（緯度和經(jīng)度），創(chuàng)建一個所有街區(qū)的散點(diǎn)圖來數(shù)據(jù)可視化是一個不錯的主意（圖 2-11）：

圖 2-11 數(shù)據(jù)的地理信息散點(diǎn)圖

這張圖看起來很像加州，但是看不出什么特別的規(guī)律。將alpha設(shè)為 0.1，可以更容易看出數(shù)據(jù)點(diǎn)的密度（圖 2-12）：

圖 2-12 顯示高密度區(qū)域的散點(diǎn)圖

現(xiàn)在看起來好多了：可以非常清楚地看到高密度區(qū)域，灣區(qū)、洛杉磯和圣迭戈，以及中央谷，特別是從薩克拉門托和弗雷斯諾。

通常來講，人類的大腦非常善于發(fā)現(xiàn)圖片中的規(guī)律，但是需要調(diào)整可視化參數(shù)使規(guī)律顯現(xiàn)出來。

現(xiàn)在來看房價（圖 2-13）。每個圈的半徑表示街區(qū)的人口（選項(xiàng)s），顏色代表價格（選項(xiàng)c）。我們用預(yù)先定義的名為jet的顏色圖（選項(xiàng)cmap），它的范圍是從藍(lán)色（低價）到紅色（高價）：

housing.plot(kind="scatter", x="longitude", y="latitude", alpha=0.4, s=housing["population"]/100, label="population", c="median_house_value", cmap=plt.get_cmap("jet"), colorbar=True, ) plt.legend()

圖 2-13 加州房價

這張圖說明房價和位置（比如，靠海）和人口密度聯(lián)系密切，這點(diǎn)你可能早就知道。可以使用聚類算法來檢測主要的聚集，用一個新的特征值測量聚集中心的距離。盡管北加州海岸區(qū)域的房價不是非常高，但離大海距離屬性也可能很有用，所以這不是用一個簡單的規(guī)則就可以定義的問題。

查找關(guān)聯(lián)

因?yàn)閿?shù)據(jù)集并不是非常大，你可以很容易地使用corr()方法計(jì)算出每對屬性間的標(biāo)準(zhǔn)相關(guān)系數(shù)（standard correlation coefficient，也稱作皮爾遜相關(guān)系數(shù)）：

corr_matrix = housing.corr()

現(xiàn)在來看下每個屬性和房價中位數(shù)的關(guān)聯(lián)度：

>>> corr_matrix["median_house_value"].sort_values(ascending=False) median_house_value 1.000000 median_income 0.687170 total_rooms 0.135231 housing_median_age 0.114220 households 0.064702 total_bedrooms 0.047865 population -0.026699 longitude -0.047279 latitude -0.142826 Name: median_house_value, dtype: float64

相關(guān)系數(shù)的范圍是 -1 到 1。當(dāng)接近 1 時，意味強(qiáng)正相關(guān)；例如，當(dāng)收入中位數(shù)增加時，房價中位數(shù)也會增加。當(dāng)相關(guān)系數(shù)接近 -1 時，意味強(qiáng)負(fù)相關(guān)；你可以看到，緯度和房價中位數(shù)有輕微的負(fù)相關(guān)性（即，越往北，房價越可能降低）。最后，相關(guān)系數(shù)接近 0，意味沒有線性相關(guān)性。圖 2-14 展示了相關(guān)系數(shù)在橫軸和縱軸之間的不同圖形。

圖 2-14 不同數(shù)據(jù)集的標(biāo)準(zhǔn)相關(guān)系數(shù)（來源：Wikipedia；公共領(lǐng)域圖片）

警告：相關(guān)系數(shù)只測量線性關(guān)系（如果x上升，y則上升或下降）。相關(guān)系數(shù)可能會完全忽略非線性關(guān)系（例如，如果x接近 0，則y值會變高）。在上面圖片的最后一行中，他們的相關(guān)系數(shù)都接近于 0，盡管它們的軸并不獨(dú)立：這些就是非線性關(guān)系的例子。另外，第二行的相關(guān)系數(shù)等于 1 或 -1；這和斜率沒有任何關(guān)系。例如，你的身高（單位是英寸）與身高（單位是英尺或納米）的相關(guān)系數(shù)就是 1。

另一種檢測屬性間相關(guān)系數(shù)的方法是使用 Pandas 的scatter_matrix函數(shù)，它能畫出每個數(shù)值屬性對每個其它數(shù)值屬性的圖。因?yàn)楝F(xiàn)在共有 11 個數(shù)值屬性，你可以得到11 ** 2 = 121張圖，在一頁上畫不下，所以只關(guān)注幾個和房價中位數(shù)最有可能相關(guān)的屬性（圖 2-15）：

from pandas.tools.plotting import scatter_matrix attributes = ["median_house_value", "median_income", "total_rooms", "housing_median_age"] scatter_matrix(housing[attributes], figsize=(12, 8))

圖 2-15 散點(diǎn)矩陣

如果 pandas 將每個變量對自己作圖，主對角線（左上到右下）都會是直線圖。所以 Pandas 展示的是每個屬性的柱狀圖（也可以是其它的，請參考 Pandas 文檔）。

最有希望用來預(yù)測房價中位數(shù)的屬性是收入中位數(shù)，因此將這張圖放大（圖 2-16）：

housing.plot(kind="scatter", x="median_income",y="median_house_value", alpha=0.1)

圖 2-16 收入中位數(shù) vs 房價中位數(shù)

這張圖說明了幾點(diǎn)。首先，相關(guān)性非常高；可以清晰地看到向上的趨勢，并且數(shù)據(jù)點(diǎn)不是非常分散。第二，我們之前看到的最高價，清晰地呈現(xiàn)為一條位于 $500000 的水平線。這張圖也呈現(xiàn)了一些不是那么明顯的直線：一條位于 $450000 的直線，一條位于 $350000 的直線，一條在 $280000 的線，和一些更靠下的線。你可能希望去除對應(yīng)的街區(qū)，以防止算法重復(fù)這些巧合。

屬性組合試驗(yàn)

希望前面的一節(jié)能教給你一些探索數(shù)據(jù)、發(fā)現(xiàn)規(guī)律的方法。你發(fā)現(xiàn)了一些數(shù)據(jù)的巧合，需要在給算法提供數(shù)據(jù)之前，將其去除。你還發(fā)現(xiàn)了一些屬性間有趣的關(guān)聯(lián)，特別是目標(biāo)屬性。你還注意到一些屬性具有長尾分布，因此你可能要將其進(jìn)行轉(zhuǎn)換（例如，計(jì)算其log對數(shù)）。當(dāng)然，不同項(xiàng)目的處理方法各不相同，但大體思路是相似的。

給算法準(zhǔn)備數(shù)據(jù)之前，你需要做的最后一件事是嘗試多種屬性組合。例如，如果你不知道某個街區(qū)有多少戶，該街區(qū)的總房間數(shù)就沒什么用。你真正需要的是每戶有幾個房間。相似的，總臥室數(shù)也不重要：你可能需要將其與房間數(shù)進(jìn)行比較。每戶的人口數(shù)也是一個有趣的屬性組合。讓我們來創(chuàng)建這些新的屬性：

housing["rooms_per_household"] = housing["total_rooms"]/housing["households"] housing["bedrooms_per_room"] = housing["total_bedrooms"]/housing["total_rooms"] housing["population_per_household"]=housing["population"]/housing["households"]

現(xiàn)在，再來看相關(guān)矩陣：

>>> corr_matrix = housing.corr() >>> corr_matrix["median_house_value"].sort_values(ascending=False) median_house_value 1.000000 median_income 0.687170 rooms_per_household 0.199343 total_rooms 0.135231 housing_median_age 0.114220 households 0.064702 total_bedrooms 0.047865 population_per_household -0.021984 population -0.026699 longitude -0.047279 latitude -0.142826 bedrooms_per_room -0.260070 Name: median_house_value, dtype: float64

看起來不錯！與總房間數(shù)或臥室數(shù)相比，新的bedrooms_per_room屬性與房價中位數(shù)的關(guān)聯(lián)更強(qiáng)。顯然，臥室數(shù)/總房間數(shù)的比例越低，房價就越高。每戶的房間數(shù)也比街區(qū)的總房間數(shù)的更有信息，很明顯，房屋越大，房價就越高。

這一步的數(shù)據(jù)探索不必非常完備，此處的目的是有一個正確的開始，快速發(fā)現(xiàn)規(guī)律，以得到一個合理的原型。但是這是一個交互過程：一旦你得到了一個原型，并運(yùn)行起來，你就可以分析它的輸出，進(jìn)而發(fā)現(xiàn)更多的規(guī)律，然后再回到數(shù)據(jù)探索這步。