2016年8月30日，OpenAI 研究員在博客發(fā)文，結(jié)合實(shí)例介紹了 OpenAI 進(jìn)行深度學(xué)習(xí)研究時(shí)采用的基礎(chǔ)設(shè)施配置，并且提供了相關(guān)開源代碼。文章激起了很多反響，相對于軟硬件開源，OpenAI 從另一個(gè)側(cè)面，對深度學(xué)習(xí)模型的實(shí)際部署提供了幫助。

3.OpenAI 重磅發(fā)布 AGI 測試訓(xùn)練平臺 Universe

2016年12月4日，在今年 NIPS 大會召開的前一晚，OpenAI 發(fā)布了 Universe，用于訓(xùn)練解決通用問題 AI 的基礎(chǔ)架構(gòu)。據(jù)悉，這是一個(gè)能在幾乎所有環(huán)境中衡量和訓(xùn)練 AI 通用智能水平的開源平臺，目標(biāo)是讓智能體能像人一樣使用計(jì)算機(jī)。目前，Universe 已經(jīng)有1000種訓(xùn)練環(huán)境，由微軟、英偉達(dá)等公司參與建設(shè)。有了 Universe，任何程序都能被接入到 OpenAI Gym 的環(huán)境中。很快，OpenAI 還推出了 Mini World of Bits（MiniWoB），這個(gè)與 OpenAI Universe 配套的環(huán)境基準(zhǔn)可以測試代理與常見網(wǎng)頁瀏覽器元素的交互能力，比如按鈕、文本框、滑塊。

微軟開源：CNTK 升級版

根據(jù) Github 2016年度的《Octoverse 觀察報(bào)告》，微軟不僅是擁有開源項(xiàng)目最多的公司，也是貢獻(xiàn)人數(shù)最多的公司。

在人工智能方面，微軟的開源項(xiàng)目有很多，包括 CNTK計(jì)算網(wǎng)絡(luò)工具包、DMTK分布式機(jī)器學(xué)習(xí)工具包，Send2vec語義相似映射器， 以及 CodaLab 研究平臺（基于Web的開源平臺，旨在通過其在線社區(qū)幫助解決數(shù)據(jù)導(dǎo)向的許多常見問題，從而促進(jìn)機(jī)器學(xué)習(xí)和高性能計(jì)算的研究領(lǐng)域的發(fā)展）。

2016年10月27日，微軟開源深度學(xué)習(xí)認(rèn)知工具包 CNTK 升級版，其中最矚目的功能是增加了 Python 綁定，支持增強(qiáng)學(xué)習(xí)。新版的 CNTK 性能大幅提升，尤其是在多臺機(jī)器上處理較大數(shù)據(jù)集的情況下能高速運(yùn)行，這種類型的大規(guī)模部署對于多GPU上的深度學(xué)習(xí)是不可或缺的，也是開發(fā)消費(fèi)產(chǎn)品和專業(yè)產(chǎn)品的必需。

微軟研究人員表示，在多服務(wù)器間運(yùn)行的能力是一大進(jìn)步。CNTK 升級版還包含了一些算法，用于將大規(guī)模數(shù)據(jù)處理的計(jì)算消耗降到最低。

百度

1.百度開源深度學(xué)習(xí)代碼 Warp-CTC 詳解

2016年1月15日，百度公布了代碼 Warp-CTC，能夠讓 AI 軟件運(yùn)行得更高效。說 Warp-CTC 知道的人可能還少，百度語音識別系統(tǒng) Deep Speech 2就是用它搭建的。百度位于硅谷的 AI 實(shí)驗(yàn)室主管 Adam Coates 在接受 Re-Work 采訪時(shí)表示，他們在構(gòu)建深度語音端對端系統(tǒng)的過程中發(fā)明了Warp-CTC 方法，進(jìn)而使用 CTC 提高模型的可伸縮性。“由于沒有相似的工具，我們決定將其分享給人們。它是一款很實(shí)用的工具，可以用到現(xiàn)有的AI框架中。現(xiàn)在有很多深度學(xué)習(xí)的開源軟件，但是之前用于訓(xùn)練序列數(shù)據(jù)的端對端網(wǎng)絡(luò)一直很慢。我們在Warp-CTC上的投入是對“我們堅(jiān)信深度學(xué)習(xí)與高性能計(jì)算技術(shù)（HPC）的結(jié)合會有巨大潛力”的一種證明。”

2.百度開源分布式深度學(xué)習(xí)平臺，挑戰(zhàn) TensorFlow（附教程）

2016年8月31日，百度宣布開源深度學(xué)習(xí)平臺 PaddlePaddle。實(shí)際上，百度深度學(xué)習(xí)實(shí)驗(yàn)室在幾年前就投入 PaddlePaddle 的開發(fā)，業(yè)內(nèi)對這個(gè)云端托管的分布式深度學(xué)習(xí)平臺贊譽(yù)有加：代碼簡潔、設(shè)計(jì)干凈，沒有太多抽象……PaddlePaddle 對于序列輸入、稀疏輸入和大規(guī)模數(shù)據(jù)的模型訓(xùn)練有著良好的支持，支持GPU運(yùn)算，支持?jǐn)?shù)據(jù)并行和模型并行，僅需少量代碼就能訓(xùn)練深度學(xué)習(xí)模型，大大降低了用戶使用深度學(xué)習(xí)技術(shù)的成本。

3.百度公開硬件基準(zhǔn) DeepBench，推動深度學(xué)習(xí)專用芯片研發(fā)競爭

2016年9月，百度發(fā)表論文，開源 DeepBench 基準(zhǔn)測試，AI研究者和芯片制造商可以用它測試不同的芯片運(yùn)行軟件時(shí)的性能，尤其是哪款硬件加速深度學(xué)習(xí)性能最好。目前 DeepBench 只能測試深度學(xué)習(xí)的訓(xùn)練模型，能提供在三種 Nvidia GPU和一種 Intel Xeon Phi 處理器的基準(zhǔn)化測試結(jié)果，未來還可能測試用于圖像和語音識別之類任務(wù)的“推理”模型。百度希望 DeepBench 能促進(jìn)特定任務(wù)深度學(xué)習(xí)加速器的研發(fā)，“GPU顯然不是終點(diǎn)，我們希望這能鼓勵競爭”。

GitHub 最受歡迎的深度學(xué)習(xí)項(xiàng)目

名稱星數(shù)簡介

TensorFlow

29622

使用數(shù)據(jù)流圖計(jì)算可擴(kuò)展機(jī)器學(xué)習(xí)問題

Caffe

11799

一個(gè)高效的開源深度學(xué)習(xí)框架

Neural Style

10148

由Torch實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)算法

Deep Dream

9042

一款圖像識別工具

Keras

7502

一款由Python實(shí)現(xiàn)的深度學(xué)習(xí)庫，包括卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)等。運(yùn)行在Theano和TensorFlow之上

Roc AlphaGo

7170

由學(xué)生主導(dǎo)的一個(gè)獨(dú)立項(xiàng)目，重新實(shí)現(xiàn)了 DeepMind在2016發(fā)表于Nature論文"Mastering the game of Go with deep neural networks and tree search（用深度神經(jīng)網(wǎng)絡(luò)和樹搜索學(xué)習(xí)圍棋）" (Nature 529, 484-489, 28 Jan 2016)

TensorFlow Models

6671

基于TensorFlow開發(fā)的模型

Neural Doodle

6275

運(yùn)用深度神經(jīng)網(wǎng)絡(luò)將涂鴉變?yōu)閮?yōu)雅的藝術(shù)品，從照片生成無縫紋理，轉(zhuǎn)變圖片風(fēng)格，進(jìn)行基于實(shí)例的提升，等等。（語義風(fēng)格傳遞的實(shí)現(xiàn))

CNTK

5957

微軟的計(jì)算網(wǎng)絡(luò)工具（Computational Network Toolkit，CNTK）

TensorFlow Examples

5872

面向初學(xué)者的TensorFlow教程和代碼示例

ConvNet JS

5231

基于Java的深度學(xué)習(xí)庫。在瀏覽器中訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型（或者普通模型）

Torch

5133

Torch7，深度學(xué)習(xí)庫

OpenFace

4855

基于深度學(xué)習(xí)網(wǎng)絡(luò)的面部識別

MXNet

4685

輕巧、便攜、靈活的分布式/移動深度學(xué)習(xí)框架，支持Python, R, Julia, Scala, Go, Java等等語言

Nupic

4364

智能計(jì)算的Numenta平臺（Numenta Platform for Intelligent Computing，Nupic）：一個(gè)腦啟發(fā)式的計(jì)算智能和機(jī)器智能平臺，基于皮層學(xué)習(xí)算法的生物精確神經(jīng)網(wǎng)絡(luò)模型

Theano

4286

一個(gè) Python 庫，用來定義、優(yōu)化和模擬數(shù)學(xué)表達(dá)式計(jì)算，用于高效解決多維數(shù)組的計(jì)算問題

Leaf

4281

面向黑客的開源機(jī)器智能框架

Char RNN

3820

基于Torch開發(fā)的多層遞歸神經(jīng)網(wǎng)絡(luò)的字符級別語言模型

Neural Talk

3694

一個(gè)Python+numpy項(xiàng)目，用多模式遞歸神經(jīng)網(wǎng)絡(luò)描述圖像

deeplearning4j

3673

基于Hadoop和Spark的Java, Scala & Clojure深度學(xué)習(xí)工具

TFLearn

3368

深度學(xué)習(xí)庫，包括高層次的TensorFlow接口

TensorFlow Playground

3352

神經(jīng)網(wǎng)絡(luò)模型示例

OpenAI Gym

3020

一種用于開發(fā)和比較強(qiáng)化學(xué)習(xí)算法的工具包

Magenta

2914

用機(jī)器智能生成音樂和藝術(shù)

Colornet

2798

用神經(jīng)網(wǎng)絡(luò)模型給灰度圖上色

Synaptic

2666

基于node.js和瀏覽器的免架構(gòu)神經(jīng)網(wǎng)絡(luò)庫

Neural Talk 2

2550

Torch開發(fā)的圖像簡介生成GPU運(yùn)行代碼

Image Analogies

2540

使用神經(jīng)匹配和融合生成相似圖形

TensorFlow Tutorials

2413

Tensorflow的基礎(chǔ)原理到應(yīng)用

Lasagne

2355

基于Theano訓(xùn)練和構(gòu)建神經(jīng)網(wǎng)絡(luò)的輕型函數(shù)庫

PyLearn2

2153

基于Theano的機(jī)器學(xué)習(xí)庫

LISA-lab Deep Learning Tutorials

2134

深度學(xué)習(xí)教程筆記和代碼

Neon

2121

Nervana 開發(fā)的一款快速、可擴(kuò)展、易使用的Python深度學(xué)習(xí)框架

Matlab Deep Learning Toolbox

2032

Matlab/Octave的深度學(xué)習(xí)工具箱。包括深度信念網(wǎng)絡(luò)、自動編碼機(jī)、卷積神經(jīng)網(wǎng)絡(luò)、卷積自動編碼機(jī)和vanilla神經(jīng)網(wǎng)絡(luò)等。每種方法都有入門示例

Deep Learning Flappy Bird

1721

使用深度強(qiáng)化學(xué)習(xí)破解Flappy Bird游戲

Chainer

1573

一款靈活的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)框架

Neural Story Teller

1514

一種根據(jù)圖片生成故事的遞歸神經(jīng)網(wǎng)絡(luò)模型

DIGITS

1353

深度學(xué)習(xí)GPU訓(xùn)練系統(tǒng)

Deep Jazz

1229

基于Keras和Theano生成jazz的深度學(xué)習(xí)模型

Brainstorm

1143

快速、靈活、有趣的神經(jīng)網(wǎng)絡(luò)

Darknet

937

C語言版本的開源神經(jīng)網(wǎng)絡(luò)

Theano Tutorials

904

基于Theano的機(jī)器學(xué)習(xí)入門教程，從線性回歸到卷積神經(jīng)網(wǎng)絡(luò)

RNN Music Composition

904

一款生成古典音樂的遞歸神經(jīng)網(wǎng)絡(luò)工具

Blocks

866

一種用于構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的Theano框架

TDB

860

TensorFlow的交互式、節(jié)點(diǎn)調(diào)試和可視化的工具

Scikit Neural Net

849

深度神經(jīng)網(wǎng)絡(luò)入門工具，類似scikit-learn的分類器和回歸模型。

Veles

760

分布式機(jī)器學(xué)習(xí)平臺（Python, CUDA, OpenCL）

Deep Detect

759

基于C++11的深度學(xué)習(xí)接口和服務(wù)器，與Python綁定并支持Caffe

TensorFlow DeepQ

759

基于Google Tensorflow的deep Q learning演示

Caffe on Spark

724

基于Spark的Caffe

Nolearn

702

神經(jīng)網(wǎng)絡(luò)庫的抽象，著名的Lasagne

DCGAN TensorFlow

568

基于tensorflow實(shí)現(xiàn)的深度卷積生成對抗網(wǎng)絡(luò)

MatConvNet

479

MATLAB卷積神經(jīng)網(wǎng)絡(luò)工具箱，用于計(jì)算機(jī)視覺應(yīng)用

DeepCL

413

用于訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)模型的OpenCL庫

Visual Search Server

304

用Tensorflow Inception 模型和近似最近鄰的視覺搜索