現(xiàn)在科技進(jìn)步很快，新技術(shù)層出不窮，各種各樣的“黑科技”經(jīng)常蹦出來，我們先來看看下面這兩個。

　　在很多的影視劇作品中，我們都曾看到過這樣的場景：案件調(diào)查人員通過技術(shù)手段，將攝像頭捕捉的模糊圖像放大，形成更為精細(xì)、清晰的圖像，幫助識別嫌疑人。然而遺憾的是，現(xiàn)實(shí)中的技術(shù)還遠(yuǎn)達(dá)不到能夠?qū)⒌头直媛蕡D像“收放自如”形成人眼能夠識別的高清圖像。

　　讓低分辨率圖像精細(xì)化成像

　　但谷歌近日公布的一項(xiàng)研究成果，則可能讓上述那些只存在于影視劇作品中的“神奇”真正成為現(xiàn)實(shí)。谷歌人工智能研究部門谷歌大腦近日發(fā)布了一篇研究文章，再度展示了人工智能技術(shù)的強(qiáng)大功能，通過對深度神經(jīng)網(wǎng)絡(luò)技術(shù)的應(yīng)用，可以將低分辨率的圖像放大成高清晰度、精細(xì)化的人眼可識別圖像。

　　該項(xiàng)研究具體是通過兩個同時運(yùn)行的神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)，一個被稱為“條件網(wǎng)絡(luò)”，另一個被稱為“優(yōu)先網(wǎng)絡(luò)”。“條件網(wǎng)絡(luò)”通過對低分辨率的圖像和相似的高分辨率的圖像進(jìn)行比照，并描繪出粗略的框架。“優(yōu)先網(wǎng)絡(luò)”則用于分析圖像中的像素點(diǎn)，并在低分辨率圖像的基礎(chǔ)上進(jìn)行細(xì)部像素的細(xì)化。簡單來說，兩者是通過在宏觀和微觀上的結(jié)合，來實(shí)現(xiàn)最終結(jié)果的最優(yōu)化。

　　在進(jìn)行該項(xiàng)實(shí)驗(yàn)時，谷歌的研究人員運(yùn)用了包含超過20萬名人頭像的CelebFaces Attributes Dataset數(shù)據(jù)集和超過300萬圖像的“臥室”照片數(shù)據(jù)集，通過這些大量的數(shù)據(jù)，不斷訓(xùn)練模型，使其結(jié)果不斷優(yōu)化。

　　經(jīng)過大量數(shù)據(jù)訓(xùn)練后的模型最終能夠?qū)崿F(xiàn)低分辨率圖像的高清精細(xì)化還原，例如在上圖中，將8×8分辨率的圖像輸入后，模型能夠輸出32×32的圖像。可以看出模型繪制出的較高分辨率的圖像與真實(shí)圖像之間的差異從肉眼來看已經(jīng)很難分辨，很大程度上實(shí)現(xiàn)了將低分辨率圖像高精細(xì)化的目的。

　　作為實(shí)驗(yàn)效果測驗(yàn)的一部分，谷歌研究人員還將真實(shí)圖像和模型繪制出的圖像同時呈現(xiàn)給其他工作人員，讓他們給出哪些是模型繪制圖像，哪些是真實(shí)拍攝的圖像的判斷，測試結(jié)果是50%的參與者認(rèn)為模型繪制出的圖像已經(jīng)很好地模擬了真實(shí)圖像，以至于難以分辨這兩者。

　　研究人員給出的實(shí)驗(yàn)結(jié)論是，在單獨(dú)使用“條件網(wǎng)絡(luò)”進(jìn)行繪制圖像時，效果不如在此基礎(chǔ)上同時運(yùn)用“優(yōu)先網(wǎng)絡(luò)”那么好，“優(yōu)先網(wǎng)絡(luò)”能夠使得“條件網(wǎng)絡(luò)”在無法準(zhǔn)確預(yù)測局部細(xì)節(jié)時，進(jìn)一步優(yōu)化細(xì)節(jié)，產(chǎn)生更為精細(xì)的預(yù)測結(jié)果。

　　毫無疑問，這項(xiàng)技術(shù)在未來一定有著非常廣泛的應(yīng)用前景和實(shí)際價值，但需要指出的是，目前該技術(shù)依然處在非常初期的階段，訓(xùn)練數(shù)據(jù)目前僅限于“人臉”和“臥室”圖像，但這實(shí)際上也是“有監(jiān)督學(xué)習(xí)”的人工智能研究目前普遍所需要面臨的必經(jīng)階段，即任何實(shí)際的人工智能技術(shù)的應(yīng)用，都要基于大量數(shù)據(jù)的訓(xùn)練和模型的不斷優(yōu)化。

　　手機(jī)拍子彈出膛不是夢

　　自從去年2月索尼IMX318發(fā)布后，影像巨頭索尼公司已經(jīng)有一年時間沒有推出令人眼前一亮的感光元件（CMOS）了。即便去年和國內(nèi)少數(shù)手機(jī)廠商合作定制了諸如IMX386和IMX398這樣的CMOS，但終究還是原有在售CMOS基礎(chǔ)上的小改款而已。

　　索尼在其日本官網(wǎng)上發(fā)布消息稱，它們研發(fā)出全球首款三層堆棧式CMOS。這款CMOS相比原有的堆棧式CMOS增加了DRAM層，大幅提高CMOS的數(shù)據(jù)處理能力，令其可以拍攝最高1000fps的超慢速視頻。那么下面就跟大家介紹一下這款索尼最新的CMOS吧，雖然索尼現(xiàn)在還沒給它起好名字。

　　首先用一張列表介紹一下這款全新的索尼CMOS基本參數(shù)：

　　索尼全新三層堆棧式CMOS的主要參數(shù)（來源索尼日本）

　　由于這款新感光元件還在開發(fā)期沒有商用，索尼暫時沒有為其正式命名。從規(guī)格上看，這款CMOS的像素值為2120萬，最高可以拍攝5520*3840分辨率的圖像。CMOS對角線長度7.73mm，尺寸1/2.3英寸，單個像素面積為1.22μm。支持1/120秒內(nèi)讀取1930萬像素圖片并拍攝最高1000fps的超慢速視頻，架構(gòu)為傳統(tǒng)的拜耳陣列。

　　主流索尼Exmor RS堆棧式CMOS的參數(shù)對比

　　從上面的參數(shù)來看這款CMOS將主要發(fā)力點(diǎn)放在了高速處理和視頻拍攝上面。從靜態(tài)圖像參數(shù)上講，2120萬像素的數(shù)字在索尼自家的Exmor RS CMOS中也屬于比較靠前的位次，1/2.3英寸的CMOS面積同樣位次靠前，可以提供相對不錯的畫質(zhì)輸出。單位像素1.22μm不及自家一些1.44μm的產(chǎn)品，與HTC的UltraPixel 2μm相比也有不小差距。拜耳陣列是傳統(tǒng)的RGBG結(jié)構(gòu)，與IMX298和IMX398的RGBW架構(gòu)不同，所以綜合來看在進(jìn)光量上面可能會吃一些虧。

　　背照式CMOS（左）與堆棧式CMOS（右）（圖片來源索尼日本）

　　早在2012年8月索尼就推出了堆棧式CMOS架構(gòu)，它使用有信號處理電路的芯片替代了之前常見的背照式CMOS圖像傳感器中的支持基板，在芯片上重疊形成背照式CMOS元件的像素部分，從而實(shí)現(xiàn)了在較小的芯片尺寸上形成大量像素點(diǎn)的工藝。由于像素部分和電路部分是獨(dú)立設(shè)計(jì)的，因此像素部分可以針對高畫質(zhì)優(yōu)化，電路部分可以針對高性能優(yōu)化。

　　堆棧式CMOS（左）與加入DRAM層的三層堆棧式CMOS（圖片來源索尼日本）

　　這次，索尼將CMOS架構(gòu)做出了調(diào)整，在像素層和電路層之間新加入了DRAM層（動態(tài)隨機(jī)存儲單元），這一部分在整個CMOS模組當(dāng)中充當(dāng)緩存角色，用于存儲像素層獲取到的圖像信息，因此大幅提升了傳感器處理數(shù)據(jù)的速度。根據(jù)索尼方面的數(shù)據(jù)，新CMOS可以在1/120秒內(nèi)讀取1930萬像素的圖片，這個速度比自家的旗艦級CMOS IMX318快上4倍。

　　加入DRAM層的索尼最新三層堆棧式CMOS橫斷面（圖片來源索尼日本）

　　同時，雖然數(shù)據(jù)處理速度大幅提升，但DRAM層的加入并沒有對整個CMOS模組的能耗造成拖累。加上依舊保持堆棧式CMOS體積小的優(yōu)勢，可以被應(yīng)用在某些追求超纖薄的智能手機(jī)上面，符合智能手機(jī)整體纖薄化的發(fā)展趨勢。