近年來(lái)，計(jì)算機(jī)視覺(jué)、機(jī)器人技術(shù)、機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)已經(jīng)成為推動(dòng)技術(shù)重大進(jìn)步的一些關(guān)鍵領(lǐng)域。任何人在閱讀上述領(lǐng)域的論文或書籍時(shí)，都會(huì)被一個(gè)奇怪的行話所迷惑，這個(gè)行話涉及到一些奇異的術(shù)語(yǔ)，如核主成分分析、嶺回歸、套索回歸、支持向量機(jī)（SVM）、拉格朗日乘數(shù)、KKT條件等。支持向量機(jī)會(huì)用某種超級(jí)套索來(lái)追趕牛嗎不！但是人們很快就會(huì)發(fā)現(xiàn)，在一個(gè)新領(lǐng)域（也許是為了不讓外人進(jìn)入俱樂(lè)部）的行話背后，隱藏著許多來(lái)自優(yōu)化理論的“經(jīng)典”線性代數(shù)和技術(shù)。主要的挑戰(zhàn)來(lái)了：為了理解和使用機(jī)器學(xué)習(xí)，計(jì)算機(jī)視覺(jué)等工具，一個(gè)人需要有一個(gè)堅(jiān)實(shí)的背景，在線性代數(shù)和優(yōu)化理論。老實(shí)說(shuō)，有些概率論和統(tǒng)計(jì)學(xué)也應(yīng)該包括在內(nèi)，但我們已經(jīng)有足夠的東西要應(yīng)付了。許多關(guān)于機(jī)器學(xué)習(xí)的書都在努力解決上述問(wèn)題。如果不了解拉格朗日對(duì)偶框架，如何理解嶺回歸問(wèn)題的對(duì)偶變量？同樣，如果不了解拉格朗日對(duì)偶框架，如何討論支持向量機(jī)的對(duì)偶形式？簡(jiǎn)單的解決方法是把這些困難掩蓋起來(lái)。如果一個(gè)人只是我們上面提到的技術(shù)的消費(fèi)者，那么食譜方法可能就足夠了。但是這種方法對(duì)于那些真正想做嚴(yán)肅研究并做出重大貢獻(xiàn)的人來(lái)說(shuō)并不適用。要做到這一點(diǎn)，我們相信一個(gè)人必須有一個(gè)堅(jiān)實(shí)的背景，在線性代數(shù)和優(yōu)化理論。這是一個(gè)問(wèn)題，因?yàn)檫@意味著要投入大量的時(shí)間和精力研究這些領(lǐng)域，但我們相信堅(jiān)持不懈會(huì)得到充分的回報(bào)。我們的主要目標(biāo)是介紹線性代數(shù)和優(yōu)化理論的基礎(chǔ)知識(shí)，牢記機(jī)器學(xué)習(xí)、機(jī)器人和計(jì)算機(jī)視覺(jué)的應(yīng)用。這項(xiàng)工作包括兩卷，第一卷是線性代數(shù)，第二卷優(yōu)化理論和應(yīng)用，特別是機(jī)器學(xué)習(xí)。