人類一直試圖讓機器具有智能，也就是人工智能（Artificial Intelligence）。從上世紀 50 年代，人工智能的發展經歷了“推理期”，通過賦予機器邏輯推理能力使機器獲得智能，當時的 AI 程序能夠證明一些著名的數學定理，但由于機器缺乏知識，遠不能實現真正的智能。因此，70 年代，人工智能的發展進入“知識期”，即將人類的知識總結出來教給機器，使機器獲得智能。在這一時期，大量的專家系統問世，在很多領域取得大量成果，但由于人類知識量巨大，故出現“知識工程瓶頸”。無論是“推理期”還是“知識期”，機器都是按照人類設定的規則和總結的知識運作，永遠無法超越其創造者，其次人力成本太高。于是，一些學者就想到，如果機器能夠自我學習問題不就迎刃而解了嗎！機器學習（Machine Learning）方法應運而生，人工智能進入“機器學習時期”。“機器學習時期”也分為三個階段，80 年代，連接主義較為流行，代表工作有感知機（Perceptron）和神經網絡（Neural Network）。90 年代，統計學習方法開始占據主流舞臺，代表性方法有支持向量機（Support Vector Machine），進入 21 世紀，深度神經網絡被提出，連接主義卷土從來，隨著數據量和計算能力的不斷提升，以深度學習（Deep Learning）為基礎的諸多 AI 應用逐漸成熟。

　　所以，人工智能是追求目標，機器學習是實現手段，深度學習是其中一種方法。

　　在過去幾年中，深度學習已成為大多數 AI 類型問題的首選技術，掩蓋了經典的機器學習。其中明顯的原因是深度學習已經在包括言語、自然語言、視覺和玩游戲在內的各種各樣的任務中多次表現出優異的表現。然而，盡管深度學習具有如此高的性能，但使用經典的機器學習和一些特定的情況下，使用線性回歸或決策樹而不是大型深度網絡會更好。 我們將比較深度學習與傳統的機器學習技術。在這樣做的過程中，我們將找出兩種技術的優點和缺點，以及它們在哪里，如何獲得最佳的使用。

　　不需要特征工程：經典的 ML 算法通常需要復雜的特征工程。首先在數據集上執行深度探索性數據分析，然后做一個簡單的降低維數的處理。最后，必須仔細選擇最佳功能以傳遞給 ML 算法。當使用深度網絡時，不需要這樣做，因為只需將數據直接傳遞到網絡，通常就可以實現良好的性能。這完全消除了整個過程的大型和具有挑戰性的特征工程階段。適應性強，易于轉換：與傳統的 ML 算法相比，深度學習技術可以更容易地適應不同的領域和應用。首先，遷移學習使得預先訓練的深度網絡適用于同一領域內的不同應用程序是有效的。例如，在計算機視覺中，預先訓練的圖像分類網絡通常用作對象檢測和分割網絡的特征提取前端。將這些預先訓練的網絡用作前端，可以減輕整個模型的訓練，并且通常有助于在更短的時間內實現更高的性能。此外，不同領域使用的深度學習的基本思想和技術往往是相當可轉換的。例如，一旦了解了語音識別領域的基礎深度學習理論，那么學習如何將深度網絡應用于自然語言處理并不是太具有挑戰性，因為基準知識非常相似。對于經典 ML 來說，情況并非如此，因為構建高性能 ML 模型需要特定領域和特定應用的 ML 技術和特征工程。對于不同的領域和應用而言，經典 ML 的知識庫是非常不同的，并且通常需要在每個單獨的區域內進行廣泛的專業研究。

　　經典機器學習》深度學習

　　對小數據更好：為了實現高性能，深層網絡需要非常大的數據集。之前提到的預先訓練過的網絡在 120 萬張圖像上進行了訓練。對于許多應用來說，這樣的大數據集并不容易獲得，并且花費昂貴且耗時。對于較小的數據集，傳統的 ML 算法通常優于深度網絡。財務和計算都便宜：深度網絡需要高端 GPU 在大量數據的合理時間內進行訓練。這些 GPU 非常昂貴，但是如果沒有他們訓練深層網絡來實現高性能，這在實際上并不可行。要有效使用這樣的高端 GPU，還需要快速的 CPU、SSD 存儲以及快速和大容量的 RAM。傳統的 ML 算法只需要一個體面的 CPU 就可以訓練得很好，而不需要最好的硬件。由于它們在計算上并不昂貴，因此可以更快地迭代，并在更短的時間內嘗試許多不同的技術。更容易理解：由于傳統 ML 中涉及直接特征工程，這些算法很容易解釋和理解。此外，調整超參數并更改模型設計更加簡單，因為我們對數據和底層算法都有了更全面的了解。另一方面，深層網絡是“黑匣子”型，即使現在研究人員也不能完全了解深層網絡的“內部”。由于缺乏理論基礎、超參數和網絡設計也是一個相當大的挑戰。