神經(jīng)網(wǎng)絡(luò)超體？新國立LV lab提出全新網(wǎng)絡(luò)克隆技術(shù)
超體網(wǎng)絡(luò)的實(shí)現(xiàn)基礎(chǔ)為迅速擴(kuò)張的 Model Zoo，海量預(yù)訓(xùn)練模型可供使用。因此對(duì)于任意任務(wù) T，我....
AI大模型「量子速讀」，一分鐘抵人類五小時(shí)
Claude 可以完成摘要總結(jié)、搜索、協(xié)助創(chuàng)作、問答、編碼等任務(wù)。根據(jù)用戶反饋，Claude 生成有....
OpenAI用GPT-4解釋了GPT-2三十萬個(gè)神經(jīng)元：智慧原來是這個(gè)樣子
可解釋性研究的一種簡單方法是首先了解 AI 模型各個(gè)組件（神經(jīng)元和注意力頭）在做什么。傳統(tǒng)的方法是需....
蒸餾也能Step-by-Step：新方法讓小模型也能媲美2000倍體量大模型
為了解決大型模型的這個(gè)問題，部署者往往采用小一些的特定模型來替代。這些小一點(diǎn)的模型用常見范式 —— ....
聯(lián)合NeRF與特征網(wǎng)格，實(shí)現(xiàn)超大規(guī)模城市渲染
首先在預(yù)訓(xùn)練階段使用特征網(wǎng)格對(duì)目標(biāo)場景進(jìn)行建模，從而粗糙地捕捉場景的幾何形狀和外觀。然后使用粗特征網(wǎng)....
Segment Anything又能分辨類別了：Meta/UTAustin提出全新開放類分割模型
為了解決這個(gè)問題，研究者建議在一組被掩膜的圖像區(qū)域和它們對(duì)應(yīng)的文本描述的收集的數(shù)據(jù)上對(duì) CLIP 進(jìn)....
正則化方法DropKey: 兩行代碼高效緩解視覺Transformer過擬合
美圖影像研究院（MT Lab）與中國科學(xué)院大學(xué)在 CVPR 2023 上發(fā)表了一篇文章，提出一種新穎....
有哪些省內(nèi)存的大語言模型訓(xùn)練/微調(diào)/推理方法？
首先，我們需要了解如何根據(jù)參數(shù)量估計(jì)模型大致所需的 RAM，這在實(shí)踐中有很重要的參考意義。我們需要通....
重新審視Prompt優(yōu)化問題，預(yù)測(cè)偏差讓語言模型上下文學(xué)習(xí)更強(qiáng)
Prompt tuning 的關(guān)鍵思想是將任務(wù)特定的 embedding 注入隱藏層，然后使用基于梯....
高功率半導(dǎo)體激光器過渡熱沉封裝技術(shù)研究
摘要：近些年，在市場應(yīng)用驅(qū)動(dòng)下，半導(dǎo)體激光器的輸出功率越來越高，器件產(chǎn)生的熱量也在增加，同時(shí)封裝結(jié)構(gòu)....
X射線視覺搭配RFID會(huì)擦除怎樣的火花？
根據(jù)相關(guān)研究人員表示，目前全球的供應(yīng)鏈行業(yè)中，UHF RFID技術(shù)被各個(gè)國家廣泛使用，有研究表明，在....
GPT-3、Stable Diffusion一起助攻，讓模型聽懂甲方修圖需求
這里給模型的輸入描述是「一只坐下的狗」，但是按照人們的日常交流習(xí)慣，最自然的描述應(yīng)該是「讓這只狗坐下....
Stable Diffusion采樣速度翻倍！僅需10到25步的擴(kuò)散模型采樣算法
然而，擴(kuò)散模型在使用上最大的問題就是其極慢的采樣速度。模型采樣需要從純?cè)肼晥D片出發(fā)，一步一步不斷地去....
AI再卷數(shù)學(xué)界，DSP新方法將機(jī)器證明成功率提高一倍
我們以語言模型 Minerva為例。當(dāng)在足夠多的數(shù)據(jù)訓(xùn)練之后，我們發(fā)現(xiàn)它的數(shù)學(xué)能力非常強(qiáng)，可以在高中....
全新科學(xué)問答數(shù)據(jù)集ScienceQA讓深度學(xué)習(xí)模型推理有了思維鏈
在回答復(fù)雜的問題時(shí)，人類可以理解不同模態(tài)的信息，并形成一個(gè)完整的思維鏈（Chain of Thoug....
單激光器實(shí)現(xiàn)最快數(shù)據(jù)傳輸紀(jì)錄
有些時(shí)候，人們形容網(wǎng)絡(luò)的效率「不如卡車運(yùn)硬盤」：亞馬遜 AWS 就有一種名為 snowmobile ....
淺析歸納偏置對(duì)模型縮放的影響
首次推導(dǎo)出不同歸納偏置和模型架構(gòu)的標(biāo)度律。研究者發(fā)現(xiàn)這個(gè)標(biāo)度系數(shù)在不同的模型中有很大的不同，并指出這....
全球首款一站式處理因果學(xué)習(xí)完整流程的開源算法工具包
CausalModel. 確定感興趣的因果量之后，識(shí)別因果圖中的工具變量，操作因果圖，識(shí)別因果效應(yīng)（....
一種適合于工業(yè)-4.0應(yīng)用的解決方案
omlox是用于精確實(shí)時(shí)室內(nèi)定位系統(tǒng)的開放標(biāo)準(zhǔn)。omlox的重點(diǎn)是為可互操作的定位系統(tǒng)定義開放接口。....
微軟亞洲研究院把Transformer深度提升到1000層
本周論文包括尤洋團(tuán)隊(duì)FastFold上線，訓(xùn)練時(shí)間從11天壓縮至67小時(shí);微軟亞洲研究院直接把 Tr....
在機(jī)器學(xué)習(xí)領(lǐng)域,數(shù)據(jù)和模型哪個(gè)更重要
在機(jī)器學(xué)習(xí)領(lǐng)域，數(shù)據(jù)重要還是模型重要?這是一個(gè)很難回答的問題。
做時(shí)間序列預(yù)測(cè)是否有必要用深度學(xué)習(xí)
過去幾年，時(shí)間序列領(lǐng)域的經(jīng)典參數(shù)方法（自回歸）已經(jīng)在很大程度上被復(fù)雜的深度學(xué)習(xí)框架（如 DeepGI....
基于機(jī)器學(xué)習(xí)的效用和理論理解
機(jī)器學(xué)習(xí)領(lǐng)域近年的發(fā)展非常迅速，然而我們對(duì)機(jī)器學(xué)習(xí)理論的理解還很有限，有些模型的實(shí)驗(yàn)效果甚至超出了我....
如何在Colab中使用SQL
如今，編碼測(cè)試在數(shù)據(jù)科學(xué)面試過程中幾乎是標(biāo)準(zhǔn)的。 作為一名數(shù)據(jù)科學(xué)招聘經(jīng)理，我發(fā)現(xiàn)一個(gè)20-30分鐘....
調(diào)試神經(jīng)網(wǎng)絡(luò)的實(shí)用tips請(qǐng)查收
神經(jīng)網(wǎng)絡(luò)的 debug 過程著實(shí)不容易，這里是一些有所幫助的 tips。
簡述北斗衛(wèi)星導(dǎo)航系統(tǒng)建設(shè)與發(fā)展
第一部分：系統(tǒng)情況 目前在軌服務(wù)衛(wèi)星共計(jì)45顆，包括北斗二號(hào)衛(wèi)星15顆，北斗三號(hào)衛(wèi)星30顆，健康狀態(tài)....
為什么十年間北斗/GNSS是全球提供時(shí)空信息服務(wù)的主角？
衛(wèi)星導(dǎo)航，是個(gè)歷久彌新的系統(tǒng)，是個(gè)蓬勃發(fā)展的產(chǎn)業(yè)，是智能信息融合創(chuàng)新體系架構(gòu)的核心與主線。北斗/GN....
智能感知與物聯(lián)網(wǎng)技術(shù)研究所優(yōu)秀畢業(yè)生采訪
簡 介 智能感知與物聯(lián)網(wǎng)技術(shù)研究所隸屬太原理工大學(xué)，成立于2008年，至今已經(jīng)歷了整12年。團(tuán)隊(duì)秉承....
智能感知與物聯(lián)網(wǎng)技術(shù)研究所碩士畢業(yè)生趙曉芳采訪
智能感知與物聯(lián)網(wǎng)技術(shù)研究所隸屬太原理工大學(xué)，成立于2008年，至今已經(jīng)歷了整12年。團(tuán)隊(duì)秉承 “寧靜....
深度分析RNN的模型結(jié)構(gòu)，優(yōu)缺點(diǎn)以及RNN模型的幾種應(yīng)用
神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的載體，而神經(jīng)網(wǎng)絡(luò)模型中，最經(jīng)典非RNN模型所屬，盡管它不完美，但它具有學(xué)習(xí)歷史信....
工商網(wǎng)監(jiān)