年紀(jì)大了過了能熬夜看 WWDC 的時(shí)代了，但是還是在小小寶的哭鬧和媽媽大人換尿布的催促中起了個(gè)大早。于是算趁著“熱乎”把 WWDC 2017 的 Keynote 看完了。和往年差不多，雖然 WWDC 是一個(gè)開發(fā)者會(huì)議，但是 Keynote 并不是專門針對(duì)我們開發(fā)者的，它還承擔(dān)了公司狀況說明，新品發(fā)布等功能。作為技術(shù)人員，可能接下來的 session 會(huì)更有意義。要用一句話來評(píng)價(jià)今年 Keynote 所展現(xiàn)出來的內(nèi)容的話，就是小步革新。大的技術(shù)方面可以說只有 ARKit 可堪研究，但是我們還是看到了類似跨 app 拖拽，新的 Files 應(yīng)用這樣進(jìn)一步突破 iOS 原有桎梏的更新 （iMessage 轉(zhuǎn)賬什么的就不提了，我大天朝威武，移動(dòng)支付領(lǐng)域領(lǐng)先世界至少三年）。iOS 11，特別是配合新的硬件，相信會(huì)給用戶帶來不錯(cuò)的體驗(yàn)。
作為 iOS 開發(fā)者，和往年一樣，我整理了一下在可能需要關(guān)注的地方。
新增框架
新加入 SDK 的大的框架有兩個(gè)，分別是負(fù)責(zé)簡化和集成機(jī)器學(xué)習(xí)的 Core ML 和用來創(chuàng)建增強(qiáng)現(xiàn)實(shí) （AR） 應(yīng)用的 ARKit。
Core ML
自從 AlphaGo 出現(xiàn)以來，深度學(xué)習(xí)毫無疑問成了行業(yè)熱點(diǎn)。而 Google 也在去年就轉(zhuǎn)變 Mobile-first 到 AI-first 的戰(zhàn)略。可以說一線的互聯(lián)網(wǎng)企業(yè)幾乎都在押寶 AI，目前看來機(jī)器學(xué)習(xí)，特別是深度學(xué)習(xí)是最有希望的一條道路。
如果你不是很熟悉機(jī)器學(xué)習(xí)的話，我想我可以在這里“僭越”地做一些簡介。你可以先把機(jī)器學(xué)習(xí)的模型看作一個(gè)黑盒函數(shù)，你給定一些輸入 （可能是一段文字，或者一張圖片），這個(gè)函數(shù)會(huì)給出特定的輸出 （比如這段文字中的人名地名，或者圖片中出現(xiàn)的商店名牌等）。一開始這個(gè)模型可能非常粗糙，完全不能給出正確的結(jié)果，但是你可以使用大量已有的數(shù)據(jù)和正確的結(jié)果，來對(duì)模型進(jìn)行訓(xùn)練，甚至改進(jìn)。在所使用的模型足夠優(yōu)化，以及訓(xùn)練量足夠大的情況下，這個(gè)黑盒模型將不僅對(duì)訓(xùn)練數(shù)據(jù)有較高的準(zhǔn)確率，也往往能對(duì)未知的實(shí)際輸入給出正確的返回。這樣的模型就是一個(gè)訓(xùn)練好的可以實(shí)際使用的模型。
對(duì)機(jī)器學(xué)習(xí)模型的訓(xùn)練是一項(xiàng)很重的工作，Core ML 所扮演的角色更多的是將已經(jīng)訓(xùn)練好的模型轉(zhuǎn)換為 iOS 可以理解的形式，并且將新的數(shù)據(jù)“喂給”模型，獲取輸出。抽象問題和創(chuàng)建模型雖然并不難，但是對(duì)模型的改進(jìn)和訓(xùn)練可以說是值得研究一輩子的事情，這篇文章的讀者可能也不太會(huì)對(duì)此感冒。好在 Apple 提供了一系列的工具用來將各類機(jī)器學(xué)習(xí)模型轉(zhuǎn)換為 Core ML 可以理解的形式。籍此，你就可以輕松地在你的 iOS app 里使用前人訓(xùn)練出的模型。這在以前可能會(huì)需要你自己去尋找模型，然后寫一些 C++ 的代碼來跨平臺(tái)調(diào)用，而且難以利用 iOS 設(shè)備的 GPU 性能和 Metal （除非你自己寫一些 shader 來進(jìn)行矩陣運(yùn)算）。Core ML 將使用模型的門檻降低了很多。
Core ML 在背后驅(qū)動(dòng)了 iOS 的視覺識(shí)別的 Vision 框架和 Foundation 中的語義分析相關(guān) API。普通開發(fā)者可以從這些高層的 API 中直接獲益，比如人臉圖片或者文字識(shí)別等。這部分內(nèi)容在以前版本的 SDK 中也存在，不過在 iOS 11 SDK 中它們被集中到了新的框架中，并將一些更具體和底層的控制開放出來。比如你可以使用 Vision 中的高層接口，但是同時(shí)指定底層所使用的模型。這給 iOS 的計(jì)算機(jī)視覺帶來了新的可能。
Google 或者 Samsung 在 Android AI 上的努力，大多是在自帶的應(yīng)用中集成服務(wù)。相比起來，Apple 基于對(duì)自己生態(tài)和硬件的控制，將更多的選擇權(quán)交給了第三方開發(fā)者。
ARKit
Keynote 上的 AR 的演示可以說是唯一的亮點(diǎn)了。iOS SDK 11 中 Apple 給開發(fā)者，特別是 AR 相關(guān)的開發(fā)者帶來了一個(gè)很棒的禮物，那就是 ARKit。AR 可以說并非什么新技術(shù)，像是 Pokémon Go 這樣的游戲也驗(yàn)證了 AR 在游戲上的潛力。不過除了 IP 和新鮮感之外，個(gè)人認(rèn)為 Pokémon Go 并沒有資格代表 AR 技術(shù)的潛力。現(xiàn)場的演示像我們展示了一種可能，粗略看來，ARKit 利用單鏡頭和陀螺儀，在對(duì)平面的識(shí)別和虛擬物體的穩(wěn)定上做得相當(dāng)出色。幾乎可以肯定，那么不做最早，只做最好的 Apple 似乎在這一刻回到了舞臺(tái)上
ARKit 極大降低了普通開發(fā)者玩 AR 的門檻，也是 Apple 現(xiàn)階段用來抗衡 VR 的選項(xiàng)。可以暢想一下更多類似 Pokémon Go 的 AR 游戲 （結(jié)合實(shí)境的虛擬寵物什么的大概是最容易想到的） 能在 ARKit 和 SceneKit 的幫助下面世，甚至在 iPad Pro 現(xiàn)有技能上做像是 AR 電影這樣能全方位展示的多媒體可能也不再是單純的夢想。
而與之相應(yīng)的，是一套并不很復(fù)雜的 API。涉及的 View 幾乎是作為 SceneKit 的延伸，再加上在真實(shí)世界的定為也已經(jīng)由系統(tǒng)幫助處理，開發(fā)者需要做的大抵就是將虛擬物體放在屏幕的合適位置，并讓物體之間互動(dòng)。而利用 Core ML 來對(duì)相機(jī)內(nèi)的實(shí)際物體進(jìn)行識(shí)別和交互，可以說也讓各類特效的相機(jī)或者攝影 app 充滿了想像空間。

普通下載普通下載

相關(guān)電子資料下載

• iOS17.1可能明天發(fā)布，iOS17.1主要修復(fù)哪些問題？ 377
• Windows文件系統(tǒng)過濾驅(qū)動(dòng)程序介紹 54
• 基于Ubuntu Server編譯YTM32 SDK工程 68
• window端的sdk_env的構(gòu)建工具使用 90
• RV1103 開發(fā)板+SDK部署 309
• 華為全新鴻蒙蓄勢待發(fā) 僅支持鴻蒙內(nèi)核和鴻蒙系統(tǒng)應(yīng)用 719
• 蘋果手機(jī)系統(tǒng)iOS 17遭用戶質(zhì)疑 731
• iPhone12輻射超標(biāo)？蘋果推送iOS 17.1解決此事 750
• [HPM雜談]你想要了解的先楫hpm_sdk開發(fā)都在這里系列 (二) 173
• 華為云 API 人臉識(shí)別服務(wù) FRS 的感知力—偷偷藏不住的你 109