完善資料讓更多小伙伴認識你，還能領取20積分哦，立即完善>
標簽 > transformer
文章：139個 瀏覽：6397次 帖子：3個
UniAD 統一自動駕駛關鍵任務，但是端到端的訓練難度極大，對數據的要求和工程能力的要求比常規的技術棧要高，但是由此帶來的全局一致性讓整個系統變得更加簡...
多階段策略在圖像修復任務中被廣泛應用，雖然基于Transformer的方法在單圖像超分辨率任務中表現出高效率，但在立體超分辨率任務中尚未展現出CNN-b...
2023-06-27 標簽：數據變換器Transformer 1371 0
基于Transformer的大型語言模型（LLM）的內部機制
本文旨在更好地理解基于 Transformer 的大型語言模型（LLM）的內部機制，以提高它們的可靠性和可解釋性。 隨著大型語言模型（LLM）在使用和部...
2023-06-25 標簽：存儲語言模型Transformer 1827 0
Transformer在下一個token預測任務上的SGD訓練動態
? 【導讀】 AI理論再進一步，破解ChatGPT指日可待？ Transformer架構已經橫掃了包括自然語言處理、計算機視覺、語音、多模態等多個領域，...
2023-06-12 標簽：Transformer自然語言ChatGPT 1150 0
與基于 RNN 的編碼器-解碼器模型類似，基于 transformer 的編碼器-解碼器模型由一個編碼器和一個解碼器組成，且其編碼器和解碼器均由 殘差注...
2023-06-11 標簽：解碼器編碼器Transformer 2785 0
PyTorch教程-11.9. 使用 Transformer 進行大規模預訓練
11.9. 使用 Transformer 進行大規模預訓練? Colab [火炬]在 Colab 中打開筆記本 Colab [mxnet] Op...
2023-06-05 標簽：Transformerpytorch 1502 0
在之前的內容中，我們已經介紹過流水線并行、數據并行（DP，DDP和ZeRO）。 今天我們將要介紹最重要，也是目前基于Transformer做大模型預訓練...
現在比較先進的目標跟蹤方法采用了“分而治之”的策略，即將跟蹤問題解耦成多個子任務，例如中心點預測、前景/背景二分類、邊界框回歸、角點預測等。盡管在各個跟...
2023-05-16 標簽：建模函數Transformer 1151 0
Thinking Like Transformers 這篇論文中提出了 transformer 類的計算框架，這個框架直接計算和模仿 Transform...
2023-03-08 標簽：Transformer 989 0
Transformer的主要優點是它可以并行地處理輸入序列中的所有位置，因此在訓練和推理時都有著很好的效率。此外，Transformer沒有使用循環結構...
2023-03-08 標簽：TransformernlpChatGPT 1124 0
將模型稱為 “視覺語言” 模型是什么意思？一個結合了視覺和語言模態的模型？但這到底是什么意思呢？
如何讓Transformer在征程5上跑得既快又好？以SwinT部署為例的優化探索
摘要：SwinT是目前視覺transformer模型中的典型代表，在常見視覺任務，如分類、檢測、分割都有非常出色的表現。雖然在相同計算量的模型指標上，S...
2023-03-03 標簽：gpu模型Transformer 1172 0
之前的文章和大家詳細的介紹了靜態的詞向量表示word2vec理論加實戰，但是word2vec存在一個很大的問題，由于是靜態詞向量所以無法表示一詞多義，對...
2023-02-28 標簽：GPTELMOSTransformer 8.2萬 0
ChatGPT 由 GPT-3.5 模型提供支持，與傳統思路不同，它采用了一種半監督式的訓練機器說話。這是它的創新所在，也是它的獨到之處。 GPT...
2023-02-21 標簽：TransformernlpChatGPT 682 0
GPT家族與BERT模型都是知名的NLP模型，都基于Transformer技術。GPT-1只有12個Transformer層，而到了GPT-3，則增加到96層。
2023-02-21 標簽：TransformernlpChatGPT 3149 0
ChatGPT 是一種專注于對話生成的語言模型。它能夠根據用戶的文本輸入，產生相應的智能回答。這個回答可以是簡短的詞語，也可以是長篇大論。其中GPT是G...
2023-02-21 標簽：TransformerOpenAIChatGPT 4678 0
ChatGPT的計算邏輯來自于一個名為transformer的算法，它來源于2017年的一篇科研論文《Attention is all your nee...
2023-02-21 標簽：AITransformerChatGPT 992 0
一般講解transformer都會以機器翻譯任務為例子講解，機器翻譯任務是指將一種語言轉換得到另一種語言，例如英語翻譯為中文任務。
2023-02-09 標簽：計算機視覺cnnTransformer 936 0
利用Transformer和CNN 各自的優勢以獲得更好的分割性能
概述 在這篇論文中，提出了一種新的醫學圖像分割混合架構：PHTrans，它在主要構建塊中并行混合 Transformer 和 CNN，分別從全局和局部特...
2022-11-05 標簽：數據集cnnTransformer 7194 0
如何繼續提升速度？降低計算精度是比較直接的方法。2017 年以來，fp16 混合精度技術 [2] 獲得了廣泛應用。在對模型效果無損的前提下，將模型訓練和...
2022-11-01 標簽：Transformer字節跳動 765 0
換一批
編輯推薦廠商產品技術軟件/工具OS/語言教程專題
| 電機控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動駕駛 | TI | 瑞薩電子 |
| BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
| 無刷電機 | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
| 直流電機 | PID | MOSFET | 傳感器 | 人工智能 | 物聯網 | NXP | 賽靈思 |
| 步進電機 | SPWM | 充電樁 | IPM | 機器視覺 | 無人機 | 三菱電機 | ST |
| 伺服電機 | SVPWM | 光伏發電 | UPS | AR | 智能電網 | 國民技術 | Microchip |
| 開關電源 | 步進電機 | 無線充電 | LabVIEW | EMC | PLC | OLED | 單片機 |
| 5G | m2m | DSP | MCU | ASIC | CPU | ROM | DRAM |
| NB-IoT | LoRa | Zigbee | NFC | 藍牙 | RFID | Wi-Fi | SIGFOX |
| Type-C | USB | 以太網 | 仿真器 | RISC | RAM | 寄存器 | GPU |
| 語音識別 | 萬用表 | CPLD | 耦合 | 電路仿真 | 電容濾波 | 保護電路 | 看門狗 |
| CAN | CSI | DSI | DVI | Ethernet | HDMI | I2C | RS-485 |
| SDI | nas | DMA | HomeKit | 閾值電壓 | UART | 機器學習 | TensorFlow |
| Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
| 示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
| OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
| C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
| Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
| DuerOS | Brillo | Windows11 | HarmonyOS |
關注我們的微信
下載發燒友APP
電子發燒友觀察
版權所有 ? 湖南華秋數字科技有限公司
長沙市望城經濟技術開發區航空路6號手機智能終端產業園2號廠房3層（0731-88081133）
電子發燒友 （電路圖） 湘公網安備43011202000918
工商網監
湘ICP備2023018690號-1
