在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

支持向量機SVM的圖解分析與研究

新機器視覺 ? 來源:towardsdatascience ? 作者:Rohit Pandey ? 2022-10-10 17:41 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

1. 問題

支持向量機(SVM)旨在解決「分類」問題。數(shù)據(jù)通常包含一定數(shù)量的條目/行/點。現(xiàn)在,我們想對每個數(shù)據(jù)點進行分類。為簡單起見,我們假設兩個類別:「正類」和「負類」。這或許可以幫助解答以下問題:

基于圖像的像素數(shù)據(jù),判斷這張圖像中是否有貓(有貓則標簽為正類);

基于郵件的主題、發(fā)送者、文本等,判斷該郵件是否為垃圾郵件;

判斷某個病人是否患有某種疾病。

其精髓在于,當我們知道正確答案時,我們會想到一些將數(shù)據(jù)分為兩類的規(guī)則(對于支持向量機而言,「規(guī)則」是畫一個平面,一側的所有點均為「正」,另一側的所有點均為「負」)。當我們遇到不知道類別的新數(shù)據(jù)點時,我們使用規(guī)則對其進行分類。分類問題嚴重依賴約束優(yōu)化,同時也是約束優(yōu)化的一個直觀示例。大家可以參考以下博客或吳恩達的文章。

1.1 圖解

我以前一直沒有真正理解支持向量機,直到我畫了一張圖。

我們可以看到特征空間中有一些點。為方便可視化,我們使用一個可在屏幕上觀看的 2D 特征空間。該空間中散落著一些數(shù)據(jù)點,每個點具備二元標簽((1/-1)。如下圖所示,我們將綠色點看作正類,紅色點看作負類,黃色點類別未知。如果讓你猜測黃色點的標簽,你會怎么選?你可能會發(fā)現(xiàn)其中一些點并不是那么容易確認類別。

c0472db6-4193-11ed-96c9-dac502259ad0.png

圖 1:2-D 分類問題。綠色點是正類,紅色點是負類。你可以猜出黃色點的標簽嗎?

現(xiàn)在,如果我畫一條紫色線將兩個類別分割開,那么黃色點屬于哪個類別就清晰多了(紫色線上方是綠色點,下方是紅色點)。

c0672cec-4193-11ed-96c9-dac502259ad0.png

圖 2:畫一條線,作為將正類標簽和負類標簽分割開來的「規(guī)則」。現(xiàn)在,我們可以使用該規(guī)則標注每個黃色點的類別。

然而,這條線并非唯一。有很多條紫色線可以將綠色點和紅色點完美分割(見下圖)。隨著下圖中紫色線的移動,某些黃色點就顯得很微妙了(它們處于紫色線的不同側,因此它們的類別取決于你選擇使用哪條紫色線)。

c0b78138-4193-11ed-96c9-dac502259ad0.gif

圖 3:將紅色點和綠色點完美分割的線有很多條。那么我們應該選擇哪一條呢?

問題在于,所有候選線中,哪一條是「最優(yōu)」的?有一點很清楚:當上圖中的紫色線接近右下角的紅色點(critical point)時,其泛化效果不好,而當它遠離那個點時,其分割效果要好得多。因此,這個紅色點可以說明紫色線的分類效果,因此它是「關鍵點」。我們可以說,遠離該紅色點的線同樣遠離所有訓練樣本,而靠近該紅色點的線最終的分類效果并不好。因此,離最近的訓練樣本較遠的線才是優(yōu)秀的分類器。

接下來,我們來看如何利用數(shù)學知識繪制分割線。

2. 繪制分割線

現(xiàn)在我們要(在 2D 空間中)畫一條分割線(在更高維度的空間中,則為分割面)。那么這條線是什么呢?它是具備某種共性的點的無限集合。這些點滿足一個特定公式。為了找到這個公式,我們先從最簡單的線 x 軸開始。x 軸上所有點的位置向量存在什么共性?v_x = [x,0],即它們對應的 y 坐標均為 0。

也就是說,x 軸上每個點的位置向量與指向 y 軸方向的向量是正交(垂直)的。

這個說法可能看起來比較晦澀難懂,但是我們必須這么說,因為這種現(xiàn)象其實對所有線都成立,而并非只適用于 x 軸。我們希望將此說法泛化至任意線。現(xiàn)在每次挪動一小步,我們來看看穿過原點的線(如 x 軸)。如下圖所示,只需將 x 軸旋轉一定角度,就可以得到這些線。

c13b2b28-4193-11ed-96c9-dac502259ad0.gif

圖 4:旋轉 x 軸可以得到穿過原點的任意線。這些線上的每個點都與橙色向量相垂直。

隨著線的變化,與線相垂直的向量也在變化,但是所有線上每個點的位置向量都與某個向量垂直。我們把這個與線垂直的向量叫做 w。當我們改變 w 時,就可以捕捉到所有此類線。

注意,對于任意給定線而言,存在多個 w 值。如果我們將向量 w 擴展或縮小一定數(shù)值,該線上每個點的位置向量仍與向量 w 垂直。

c165f754-4193-11ed-96c9-dac502259ad0.gif

圖 5:擴大或縮小正交 w 向量。

為什么不把 w 向量限制在大小為 1 呢?下文中,我們將 w 向量的大小設為 1。

現(xiàn)在我們已經(jīng)將穿過原點的所有線都參數(shù)化了。那么那些沒有穿過原點的線呢?我們將穿過原點的線移動一定量,即在該線法向量 w 的方向上移動 b。現(xiàn)在,w 與該線上每個點的位置向量的點積不為零,而是常量 b(參見下圖)。w 向量是從原點指向紫色線的單位向量,且與紫色線垂直。A 即紫色線上與原點最接近的點。假設 OA 的距離是 -b。現(xiàn)在,考慮兩個隨機點 B 和 C(分別是圖中綠色點和橙色點)。將 OB 或 OC 與單位向量 w 相乘,分別得到三角形 OAB 和 OAC 的底。 在這兩種情況中,OA 為 -b。由于這兩個點只是紫色線上的任意點,我們可以推斷出,紫色線上的所有點均滿足 w^T x+b=0(其中 x 表示紫色線上點的位置向量)。

c18b7344-4193-11ed-96c9-dac502259ad0.png

圖 6:未穿過原點的線。

如果我們將不在該線上的點應用于上述公式呢?得到的結果不是零,而是從該點到紫色線的垂直距離(對于紫色線上的點而言也是如此,所以它們所對應的公式結果為零)。我們需要注意:這個結論僅適用于 |w|=1 的情況。下圖清晰說明了這一結果。B 為不屬于紫色線的任意點,B』』 為從 B 到紫色線的垂點,B』 為從 B 到 w 向量的垂點。從 B 到紫色線的垂直距離為 BB』』。但是由于 A-B』-B-B』』 是一個矩形,因此該垂直距離等于 AB』=OB』-OA。現(xiàn)在,OB』 是 B 的位置向量與 w 的點積。因此,如果 x 是 B 的位置向量,則 |OB』| = w^T x。這意味著 |AB』|=w^T x-(-b)(OA=-b)。因此從點 B 到紫色線的距離是:|AB』|=w^T x+b(該公式恰好是紫色線的公式)。

c1ca5492-4193-11ed-96c9-dac502259ad0.png

圖 7:將不在紫色線上的點應用于紫色線公式會發(fā)生什么?我們得到該點與紫色線之間的垂直距離。

注意,在 w 指向方向一側的所有點(如圖 7 中的點 B)到紫色線的垂直距離為正值,而另一側點的垂直距離為負值。

在 w 指向方向一側的所有點均得到正類標簽 (t_i=1),而另一側的所有點均得到負類標簽 (t_i=-1)。因此,如果我們將這些標簽與垂直距離相乘,則所有點調整后的垂直距離均為正,前提是這些點均被紫色線正確分類(即具備正類標簽的點在線一側,具備負類標簽的點在另一側)。

3. 最佳分割線

現(xiàn)在到了 SVM 的重點了。我們將任意點到分割線的調整后垂直距離叫做「間距」(margin)。那么,對于任意給定分割線,所有點均具備間距(如果點被分割線正確分類,則間距為正,反之則間距為負)。我們想獲取將正類和負類完美分割的線。也就是說,間距越大越好,即使是對于鄰近界限(分割平面)的點。

那么,最大化所有間距(甚至是最接近分割線的點的間距)的分割平面應該能夠很好地分割這些點。現(xiàn)在,給出 (w,b),第 i 個點的間距為:

間距公式。

其中 x_i 表示特征空間中的位置向量,t_i 表示標簽:1 為正類,-1 為負類。

所有點中的最小間距為:

c218f34a-4193-11ed-96c9-dac502259ad0.png

公式 1:所有點中的最小間距。

我們想讓 (w,b) 最大化上述最小間距。也就是:

c23e518a-4193-11ed-96c9-dac502259ad0.png

即我們想讓 (w,b) 滿足 |w|=1,且最大化間距:

c26166c0-4193-11ed-96c9-dac502259ad0.png

公式 2:SVM 目標函數(shù)。

注意:如果這條線沒有分離數(shù)據(jù),那么對于 (w,b),某些點的間距

c27e5c62-4193-11ed-96c9-dac502259ad0.png

間距公式。

為負。且這些點中的其中一個會在第一次最小化中「脫穎而出」,這意味著 (w,b) 無法在第二次 arg max 時勝出。因此,該公式保證了勝出的 (w,b) 能夠分割數(shù)據(jù)。

公式 2 是一個優(yōu)化問題,涉及最小化和最大化(mini-max)。解決一級優(yōu)化總比二級優(yōu)化要簡單。因此,我們嘗試將公式 2 轉化為約束優(yōu)化問題。

我們用 γ 表示所有點的最小間距。

c2adfb70-4193-11ed-96c9-dac502259ad0.png

公式 3:約束。

最終得到的優(yōu)化問題為:

c2c0dd3a-4193-11ed-96c9-dac502259ad0.png

公式 4:SVM 優(yōu)化問題。

上述優(yōu)化問題具備二次/線性約束和線性目標函數(shù)。我們可以使用二次規(guī)劃求解器(quadratic programming solver)和最優(yōu)分割線/平面 (w,b) 解決該問題。

現(xiàn)在,我們來試著進一步簡化該問題。我們發(fā)現(xiàn)可以去除 γ。其代價是,我們必須放棄 w^T w = 1 這一要求。但這是值得的。我們使用 γ 將約束分割為兩部分,得到:

公式 5:使用 γ 分割分割平面公式。

現(xiàn)在,使

引入新的 w 變量。

為兩側取絕對值:

c2dd488a-4193-11ed-96c9-dac502259ad0.png

取絕對值。

我們之前要求 |w|=1。這意味著:

c2f361d8-4193-11ed-96c9-dac502259ad0.png

因此,公式 3 變成了:

c30c6e8a-4193-11ed-96c9-dac502259ad0.png

公式 5 和公式 6 使公式 4 中的優(yōu)化問題變成了:

c3310e7a-4193-11ed-96c9-dac502259ad0.png

現(xiàn)在,優(yōu)化問題有了一個丑陋的目標函數(shù)。但是最大化 1/|w| 等同于最小化 |w|,等同于最小化 |w|2。添加 1/2 使得計算更加簡單。

因此,上述優(yōu)化問題變?yōu)椋?/p>

c352a60c-4193-11ed-96c9-dac502259ad0.png

公式 7

現(xiàn)在,該優(yōu)化問題具備二次目標函數(shù)和線性約束(線性約束二次規(guī)劃,LCQP)。使用二次規(guī)劃求解器即可解決該問題。

現(xiàn)在,我們知道如何通過解決優(yōu)化問題找出最優(yōu)分割線了。透過表面查看解決這類優(yōu)化問題的真正機制,會幫助我們對該問題了解更多,具備更強大的洞察和見解。

審核編輯:郭婷

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 向量機
    +關注

    關注

    0

    文章

    166

    瀏覽量

    21200
  • 函數(shù)
    +關注

    關注

    3

    文章

    4379

    瀏覽量

    64646
  • 支持向量機
    +關注

    關注

    0

    文章

    71

    瀏覽量

    12854

原文標題:透過現(xiàn)象看本質,圖解支持向量機 SVM

文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    milvus向量數(shù)據(jù)庫的主要特性和應用場景

    Milvus 是一個開源的向量數(shù)據(jù)庫,專門為處理和分析大規(guī)模向量數(shù)據(jù)而設計。它適用于需要高效存儲、檢索和管理向量數(shù)據(jù)的應用場景,如機器學習、人工智能、計算機視覺和自然語言處理等。
    的頭像 發(fā)表于 07-04 11:36 ?115次閱讀
    milvus<b class='flag-5'>向量</b>數(shù)據(jù)庫的主要特性和應用場景

    圖解單片功能與應用(完整版)

    從基礎知識的介紹出發(fā),圖文并茂,直觀、系統(tǒng)地介紹了單片的內(nèi)部結構、工作原理和應用技巧。全書分為10章,內(nèi)容包括51單片編程資源圖解、51單片指令系統(tǒng)
    發(fā)表于 06-16 16:52

    RISC-V架構下的編譯器自動向量

    高性能算力生態(tài)的建設,正投入編譯器自動向量化優(yōu)化等多項關鍵技術,全面助力RISC-V的高性能發(fā)展。RISC-V向量設計SpacemiT在現(xiàn)代CPU中,向量支持是算力的
    的頭像 發(fā)表于 06-06 16:59 ?303次閱讀
    RISC-V架構下的編譯器自動<b class='flag-5'>向量</b>化

    漫畫圖解 電感器 抗干擾元器件指南(全彩PDF版)

    漫畫圖解電感基礎知識(高清PDF) 內(nèi)容:很形象的漫畫和語言圖解關于電感器的入門基礎知識,讓電子初學者也能輕松的看懂電子電路。 純分享貼,有需要可以直接下載附件獲取完整資料! (如果內(nèi)容有幫助可以關注、點贊、評論支持一下
    發(fā)表于 05-13 15:49

    開關電源的設計與研究

    開關電源的設計與研究,PPT課件,還不錯的技術資料 目錄 一:PDN系統(tǒng)簡介 二:開關電源概述 三:開關電源的設計 四:案例分析 純分享貼,有需要可以直接下載附件獲取完整資料! (如果內(nèi)容有幫助可以關注、點贊、評論支持
    發(fā)表于 05-13 15:09

    Redis 8 向量搜索實測:輕松擴展至 10 億向量

    艾體寶Redis 8 向量搜索實測輕松支持 10 億向量,仍保持低延遲與高吞吐。中位延遲僅200毫秒,90%精確度;處理50并發(fā)搜索請求中位延遲僅1.3秒,95%精確度。
    的頭像 發(fā)表于 05-13 14:00 ?227次閱讀
    Redis 8 <b class='flag-5'>向量</b>搜索實測:輕松擴展至 10 億<b class='flag-5'>向量</b>

    PCB封裝圖解

    PCB封裝圖解——詳細介紹了各種封裝的具體參數(shù),并介紹了如何進行封裝制作 純分享貼,有需要可以直接下載附件獲取文檔! (如果內(nèi)容有幫助可以關注、點贊、評論支持一下哦~)
    發(fā)表于 04-22 13:44

    無刷電機的繞制和接線方法及實物圖解

    下方附件可打開*附件:無刷電機的繞制和接線方法及實物圖解.doc
    發(fā)表于 03-17 20:00

    偏振分析

    研究光柵的衍射階數(shù)的偏振狀態(tài)。 光柵式光學裝置中的偏振分析器 編輯偏振分析器 -該分析器計算了所定義結構的每個衍射階數(shù)的兩個正交偏振狀態(tài)的效率之和(無論是透射還是反射)。 -為
    發(fā)表于 01-13 08:59

    上位系統(tǒng)架構分析 上位與下位的區(qū)別

    上位系統(tǒng)架構分析 1. 上位的定義與作用 上位通常指的是在控制系統(tǒng)中負責決策、數(shù)據(jù)處理和用戶交互的計算機系統(tǒng)。它通常運行在個人電腦(PC)或嵌入式系統(tǒng)中,具有較高的處理能力,能夠
    的頭像 發(fā)表于 12-04 10:17 ?3434次閱讀

    請教,matlab對于與多個參數(shù)名稱匹配的問題。

    (這里使用支持向量 - SVM) % 設置SVM的一些參數(shù),例如核函數(shù)類型為高斯核(\'rbf\'),可根據(jù)實際情況調整 svmModel
    發(fā)表于 11-29 21:51

    科技云報到:大模型時代下,向量數(shù)據(jù)庫的野望

    科技云報到:大模型時代下,向量數(shù)據(jù)庫的野望
    的頭像 發(fā)表于 10-14 17:18 ?516次閱讀

    IC測試基本原理與ATE測試向量生成

    研究和發(fā)展IC測試,有著重要的意義。而測試向量作為IC測試中的重要部分,研究其生成方法也日漸重要。1IC測試1.1IC測試原理IC測試是指依據(jù)被測器件(DUT)特點
    的頭像 發(fā)表于 10-12 08:03 ?2409次閱讀
    IC測試基本原理與ATE測試<b class='flag-5'>向量</b>生成

    工控支持什么操作系統(tǒng)

    工控,全稱工業(yè)控制計算機(Industrial Personal Computer, IPC),支持多種操作系統(tǒng)以滿足不同行業(yè)和應用場景的需求。具體來說,工控常見的操作系統(tǒng)包括:
    的頭像 發(fā)表于 09-11 09:24 ?1017次閱讀

    聚徽觸控-工控支持什么系統(tǒng)

    工控通常支持多種操作系統(tǒng),以適應不同應用場景的需求。以下是工控常見的操作系統(tǒng)支持情況:
    的頭像 發(fā)表于 07-09 09:35 ?553次閱讀
    主站蜘蛛池模板: 免费看色视频 | 欧美成人午夜精品一区二区 | 亚洲伦理一区二区 | 手机看片国产免费久久网 | 国产一卡2卡3卡四卡精品网站 | 朱元璋传奇1998王耿豪版 | 亚洲午夜一区二区三区 | 免费看一级视频 | 97午夜| 亚洲精品播放 | 欧美性猛交xxxx免费看久久 | 男女一区二区三区免费 | 四虎影永久在线观看网址 | 四虎影院最新 | 美女扒开腿让男人桶尿口 | 成人a毛片手机免费播放 | 热久久这里只有精品 | 老司机深夜影院入口aaaa | 亚洲国产综合久久精品 | 狠狠干夜夜骑 | 国产精品免费观看网站 | 天天射综合网站 | 欧美1819| 欧美三级视频在线 | 欧美一级视频在线高清观看 | 伊人毛片| 成年大片免费视频播放手机不卡 | 奇米影视777欧美在线观看 | 你懂得在线播放 | 在线看免费视频 | 手机在线完整视频免费观看 | 日韩电影天堂网 | 毛片韩国| 成人夜色香网站在线观看 | 色老板女色狠xx网 | 婷婷色香 | 久久精品国产99国产精品免费看 | 国产三级国产精品国产普男人 | 色视频www在线播放国产人成 | 激情五月婷婷小说 | 亚洲色图25p|