在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

微軟亞研院提出用于語義分割的結(jié)構(gòu)化知識蒸餾

電子工程師 ? 來源:lp ? 2019-03-18 10:15 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

今天跟大家分享一篇關(guān)于語義分割的論文,剛剛上傳到arXiv的CVPR 2019接收論文《Structured Knowledge Distillation for Semantic Segmentation》,通訊作者單位為微軟亞洲研究院。

作者信息:

作者分別來自澳大利亞阿德萊德大學(xué)、微軟亞洲研究院、北航、Keep公司、三星中國研究院,該文為第一作者Yifan Liu在微軟亞洲研究院實習(xí)期間的工作。

該文研究了在語義分割模型的知識蒸餾中引入結(jié)構(gòu)化信息的損失函數(shù),在不改變模型計算量的情況下,使用該方法在Cityscapes數(shù)據(jù)集上mIoU精度取得了最高達(dá)15.17%的提升。

什么是知識蒸餾?

顧名思義,知識蒸餾是把知識濃縮到“小”網(wǎng)絡(luò)模型中。一般情況下,在相同的數(shù)據(jù)上訓(xùn)練,模型參數(shù)量較大、計算量大的模型往往精度比較高,而用精度高、模型復(fù)雜度高的模型即Teacher網(wǎng)絡(luò)的輸出訓(xùn)練Student網(wǎng)絡(luò),以期達(dá)到使計算量小參數(shù)少的小網(wǎng)絡(luò)精度提升的方法,就是知識蒸餾。

知識蒸餾的好處是顯而易見的,使用知識蒸餾后的Student網(wǎng)絡(luò)能夠達(dá)到較高的精度,而且更有利于實際應(yīng)用部署,尤其是在移動設(shè)備中。

下面兩幅圖中,作者展示了使用該文提出的結(jié)構(gòu)化知識蒸餾的語義分割模型在計算量和參數(shù)量不變的情況下,精度獲得了大幅提升。

算法原理

知識蒸餾的目標(biāo)是希望對于Teacher網(wǎng)絡(luò)和Student網(wǎng)絡(luò)給定相同的圖像,輸出結(jié)果盡量一樣。

所以,知識蒸餾的關(guān)鍵,是如何衡量Teacher網(wǎng)絡(luò)和Student網(wǎng)絡(luò)輸出結(jié)果的一致性,也就是訓(xùn)練過程中的損失函數(shù)設(shè)計。

該文中作者將語義分割問題看為像素分類問題,所以很自然的可以使用衡量分類差異的逐像素(Pixel-wise)的損失函數(shù)Cross entropy loss,這是在最終的輸出結(jié)果Score map中計算的。

同時作者引入了圖像的結(jié)構(gòu)化信息損失,如下圖所示。

如何理解圖像的結(jié)構(gòu)化信息?一種很顯然的結(jié)構(gòu)化信息即圖像中局部的一致性。在語義分割中,可以簡單理解為,預(yù)測結(jié)果中存在的自相似性,作者衡量這種結(jié)構(gòu)化信息的方式是Teacher預(yù)測的兩像素結(jié)果和Student網(wǎng)絡(luò)預(yù)測的兩像素結(jié)果一致。衡量這種損失,作者稱之為Pair-wise loss(也許可以翻譯為“逐成對像素”損失)。

另一種更高層次的結(jié)構(gòu)化信息是來自對圖像整體結(jié)構(gòu)相似性的度量,作者引入了對抗網(wǎng)絡(luò)的思想,設(shè)計專門的網(wǎng)絡(luò)分支分類Teacher網(wǎng)絡(luò)和Student網(wǎng)絡(luò)預(yù)測的結(jié)果,網(wǎng)絡(luò)收斂的結(jié)果是該網(wǎng)絡(luò)不能再區(qū)分Teacher網(wǎng)絡(luò)和Student網(wǎng)絡(luò)的輸出。作者稱這塊損失函數(shù)為Holistic loss(整體損失)。

仔細(xì)想想,作者設(shè)計的損失函數(shù)的三部分,逐像素的損失(Pixel-wise loss,PI)、逐像素對的損失(Pair-wise loss,PA)、整體損失(Holistic loss,HO)都很有道理,是不是?

作者使用ResNet18網(wǎng)絡(luò)模型在Cityscapes數(shù)據(jù)集上研究了作者提出的損失函數(shù)各部分對結(jié)果的影響。(ImN代表用ImageNet預(yù)訓(xùn)練模型初始化網(wǎng)絡(luò))

結(jié)果如下圖。

可知,作者提出的損失函數(shù)的各個部分都能使得Student網(wǎng)絡(luò)獲得精度增益,最高達(dá)15.17%!CV君發(fā)現(xiàn)逐像素對的損失(Pair-wise loss,PA)獲得的增益最大。

實驗結(jié)果

作者使用多個輕量級網(wǎng)絡(luò)模型,在三個主流語義分割數(shù)據(jù)庫上進(jìn)行了實驗。

下圖為在Cityscapes數(shù)據(jù)集上的結(jié)果,使用該文方法知識蒸餾后Student網(wǎng)絡(luò)精度獲得了大幅提升!

下圖為一些預(yù)測結(jié)果示例,視覺效果上改進(jìn)明顯。

下圖為在CamVid數(shù)據(jù)集上的結(jié)果,同樣改進(jìn)明顯。

CamVid數(shù)據(jù)集上的Student網(wǎng)絡(luò)預(yù)測示例,視覺上也好了很多。

下圖為在ADE20K數(shù)據(jù)集上的實驗結(jié)果,同樣所有網(wǎng)絡(luò)模型的精度都獲得了大幅提升!

目前還未發(fā)現(xiàn)該文作者公布代碼。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 微軟
    +關(guān)注

    關(guān)注

    4

    文章

    6685

    瀏覽量

    105680
  • 函數(shù)
    +關(guān)注

    關(guān)注

    3

    文章

    4379

    瀏覽量

    64750
  • 數(shù)據(jù)集
    +關(guān)注

    關(guān)注

    4

    文章

    1223

    瀏覽量

    25408

原文標(biāo)題:微軟亞研院提出用于語義分割的結(jié)構(gòu)化知識蒸餾 | CVPR 2019

文章出處:【微信號:rgznai100,微信公眾號:rgznai100】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    智能體AI面臨非結(jié)構(gòu)化數(shù)據(jù)難題:IBM推出解決方案

    ,同時提供一個開放的混合數(shù)據(jù)基礎(chǔ)架構(gòu)和企業(yè)級的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)管理。 智能體AI面臨非結(jié)構(gòu)化數(shù)據(jù)難題:IBM推出解決方案 測試結(jié)果顯示,與傳統(tǒng)RAG相比,IBM watsonx.data的AI準(zhǔn)確性
    的頭像 發(fā)表于 07-02 09:40 ?129次閱讀

    從零到一:如何利用非結(jié)構(gòu)化數(shù)據(jù)中臺快速部署AI解決方案

    在企業(yè)數(shù)字轉(zhuǎn)型的浪潮中,AI已從概念走向落地應(yīng)用。然而,真正能高效、安全地部署AI解決方案的企業(yè)仍屬少數(shù),瓶頸往往出在“數(shù)據(jù)”——尤其是非結(jié)構(gòu)化數(shù)據(jù)的管理與應(yīng)用上。文件、音頻、視頻、圖像、郵件
    的頭像 發(fā)表于 04-14 13:50 ?253次閱讀

    AI知識庫的搭建與應(yīng)用:企業(yè)數(shù)字轉(zhuǎn)型的關(guān)鍵步驟

    和應(yīng)用數(shù)據(jù),從而為AI應(yīng)用提供源源不斷的支持,幫助企業(yè)實現(xiàn)全面的數(shù)字轉(zhuǎn)型。 ? AI知識庫的定義與作用 ? AI知識庫是一個由結(jié)構(gòu)化和非結(jié)構(gòu)化
    的頭像 發(fā)表于 03-27 15:18 ?438次閱讀

    VirutualLab Fusion應(yīng)用:結(jié)構(gòu)光照明的顯微鏡系統(tǒng)

    摘要 與阿貝理論預(yù)測的分辨率相比,用于熒光樣品的結(jié)構(gòu)照明顯微鏡系統(tǒng)可以將顯微鏡系統(tǒng)的分辨率提高2倍。 VirutualLab Fusion提供了一種通過入射波屬性來研究結(jié)構(gòu)化照明模式的快速方法
    發(fā)表于 03-21 09:26

    華KB Insight智能知識管理工具加速工業(yè)智能

    為應(yīng)對新型工業(yè)進(jìn)程中“經(jīng)驗未數(shù)字”與“數(shù)據(jù)未業(yè)務(wù)”的雙重困局,華 IoTSuite 工業(yè)物聯(lián)網(wǎng)平臺 & AIoT 數(shù)智應(yīng)用開發(fā)工具包全新發(fā)布又一利器—— KB Insight
    的頭像 發(fā)表于 03-10 10:18 ?558次閱讀

    DeepSeek賦能,華KB Insight引領(lǐng)工業(yè)知識管理革命

    在面對制造業(yè)占比超80%的非結(jié)構(gòu)化數(shù)據(jù)情況下,華KB Insight知識管理平臺借助于DeepSeek多模態(tài)處理技術(shù),搭建核心處理框架,將加速各類知識庫的建設(shè)與完善,為企業(yè)數(shù)字
    的頭像 發(fā)表于 03-07 14:29 ?368次閱讀

    結(jié)構(gòu)化數(shù)據(jù)中臺:企業(yè)AI應(yīng)用安全落地的核心引擎

    在數(shù)字轉(zhuǎn)型浪潮中,非結(jié)構(gòu)化數(shù)據(jù)(如文檔、圖片、音視頻等)已成為企業(yè)核心資產(chǎn),其價值挖掘能力直接影響AI應(yīng)用的效能與安全性。然而,數(shù)據(jù)分散、多模態(tài)處理復(fù)雜、安全合規(guī)風(fēng)險高等問題,嚴(yán)重制約了企業(yè)AI
    的頭像 發(fā)表于 02-27 17:06 ?483次閱讀

    ShiMetaOS | 怎樣免費調(diào)用人臉識別模塊以及視頻結(jié)構(gòu)化分析軟件API

    ShiMetaOS內(nèi)置視美泰自人臉識別模塊及視頻結(jié)構(gòu)化分析軟件API,可在設(shè)備端免費實現(xiàn)本地智能安防服務(wù):涵蓋精準(zhǔn)人臉檢測跟蹤、高速人臉?biāo)阉鞅葘Α⒒铙w及人證精準(zhǔn)比對、人臉屬性精細(xì)識別,能實時預(yù)警
    的頭像 發(fā)表于 02-05 17:09 ?599次閱讀
    ShiMetaOS  | 怎樣免費調(diào)用人臉識別模塊以及視頻<b class='flag-5'>結(jié)構(gòu)化</b>分析軟件API

    大連理工提出基于Wasserstein距離(WD)的知識蒸餾方法

    的機制,應(yīng)用于中間層蒸餾時存在問題,其無法處理不重疊的分布且無法感知底層流形的幾何結(jié)構(gòu)。 為了解決這些問題,大連理工大學(xué)的研究人員提出了一種基于 Wasserstein 距離(WD)的
    的頭像 發(fā)表于 01-21 09:45 ?625次閱讀

    華科技入選信通智能體應(yīng)用案例

    華“智慧工廠精益生產(chǎn)管理智能體”成功入選中國信通智能體應(yīng)用案例,通過零代碼開發(fā)和多模態(tài)分析,助力企業(yè)突破傳統(tǒng)瓶頸,實現(xiàn)生產(chǎn)效率和品質(zhì)管理的顯著提升,為制造業(yè)數(shù)字轉(zhuǎn)型樹立了新標(biāo)桿。
    的頭像 發(fā)表于 01-17 10:06 ?678次閱讀

    結(jié)構(gòu)化布線在AI數(shù)據(jù)中心的關(guān)鍵作用

    AI 正在不斷顛覆各行各業(yè),推動從電影制作到金融行業(yè)等各個領(lǐng)域的創(chuàng)新。而在 AI 系統(tǒng)的背后,隱藏著這樣一位無名英雄:結(jié)構(gòu)化布線。
    的頭像 發(fā)表于 11-21 16:51 ?890次閱讀

    語義分割25種損失函數(shù)綜述和展望

    本綜述提供了對25種用于圖像分割的損失函數(shù)的全面且統(tǒng)一的回顧。我們提供了一種新穎的分類法,并詳細(xì)審查了這些損失函數(shù)如何在圖像分割中被定制和利用,強調(diào)了它們的重要特征和應(yīng)用,并進(jìn)行了系統(tǒng)的分類。摘要
    的頭像 發(fā)表于 10-22 08:04 ?1599次閱讀
    <b class='flag-5'>語義</b><b class='flag-5'>分割</b>25種損失函數(shù)綜述和展望

    基于分布式對象存儲WDS的信托非結(jié)構(gòu)化數(shù)據(jù)整合平臺

    基于分布式對象存儲WDS的信托非結(jié)構(gòu)化數(shù)據(jù)整合平臺
    的頭像 發(fā)表于 08-28 09:56 ?638次閱讀
    基于分布式對象存儲WDS的信托非<b class='flag-5'>結(jié)構(gòu)化</b>數(shù)據(jù)整合平臺

    圖像語義分割的實用性是什么

    圖像語義分割是一種重要的計算機視覺任務(wù),它旨在將圖像中的每個像素分配到相應(yīng)的語義類別中。這項技術(shù)在許多領(lǐng)域都有廣泛的應(yīng)用,如自動駕駛、醫(yī)學(xué)圖像分析、機器人導(dǎo)航等。 一、圖像語義
    的頭像 發(fā)表于 07-17 09:56 ?901次閱讀

    圖像分割語義分割的區(qū)別與聯(lián)系

    圖像分割語義分割是計算機視覺領(lǐng)域中兩個重要的概念,它們在圖像處理和分析中發(fā)揮著關(guān)鍵作用。 1. 圖像分割簡介 圖像分割是將圖像劃分為多個區(qū)
    的頭像 發(fā)表于 07-17 09:55 ?1929次閱讀
    主站蜘蛛池模板: 欧美视频图片 | 特级中国aaa毛片 | 欧美最猛性xxxx高清 | 色综合久久久久久久久久久 | 国产精品福利视频手机免费观看 | 韩国xxxxx视频在线 | 黄色大片网站 | 亚洲第一久久 | 91久久麻豆 | 天堂最新版在线www在线 | 不卡一级毛片免费高清 | 男女视频在线看 | 国产午夜精品理论片免费观看 | 国产精品久久久久久久久齐齐 | 黄网站在线播放 | 欧美.成人.综合在线 | 天天操精品| 午夜影院性 | 一级做a爰片久久毛片人呢 一级做a爰片久久毛片图片 | 亚洲精品久久久久影 | 97综合| 奇米激情 | 狠狠干狠狠干 | 五月激情丁香网 | 夜夜夜精品视频免费 | 天天干视频在线 | 丁香婷婷啪啪 | 色婷婷影院在线视频免费播放 | 老熟女毛片 | 免费观看欧美成人1314w色 | 天堂资源在线官网资源 | 亚洲无线码一区在线观看 | 午夜黄页网站在线播放 | 天天躁日日躁成人字幕aⅴ 天天躁夜夜躁 | 黄 色 免 费 网站在线观看 | 男人操女人免费 | 亚洲大胆精品337p色 | 2018国产大陆天天弄 | 福利片在线观看免费高清 | 免看一级a一片成人123 | 天天玩夜夜操 |