OpenStack云端的資源調(diào)度和優(yōu)化剖析2016-07-03 19:12
　　作者簡介：胡曉亮，目前就職于IBM Platform Computing 系統(tǒng)科技部云計算部門，擔(dān)任云計算開發(fā)部工程師。自2013年8月開始參與OpenStack相關(guān)的開發(fā)工作，涉及Nova、Cinder、Heat、等項目。本文節(jié)選自《程序員》，謝絕轉(zhuǎn)載，更多精彩，請訂閱《程序員》
　　OpenStack簡介：OpenStack是旨在為公有及私有云的建設(shè)與管理提供軟件的一個開源項目，采用Apache授權(quán)協(xié)議，它的核心任務(wù)是簡化云系統(tǒng)的部署過程，并且賦予其良好的可擴(kuò)展性和可管理性。它已經(jīng)在當(dāng)前的基礎(chǔ)設(shè)施即服務(wù)（IaaS）資源管理領(lǐng)域占據(jù)領(lǐng)導(dǎo)地位，成為公有云、私有云及混合云管理的“云操作系統(tǒng)”事實上的標(biāo)準(zhǔn)，在政府、電信、金融、制造、能源、零售、醫(yī)療、交通等行業(yè)成為企業(yè)創(chuàng)新的利器。OpenStack基于開放的架構(gòu)，支持多種主流的虛擬化技術(shù)，許多重量級的科技公司如RedHat，AT&T，IBM，HP，SUSE，Intel，AMD，Cisco，Microsoft，Citrix，Dell等參與貢獻(xiàn)設(shè)計和實現(xiàn)，更加推動了OpenStack的高速成長， 打破了Amazon等少數(shù)公司在市場上壟斷的局面，解決了云服務(wù)被單一廠商綁定的問題并降低了云平臺部署成本。
　　OpenStack資源調(diào)度和優(yōu)化現(xiàn)狀
　　OpenStack的虛擬機調(diào)度策略主要是由FilterScheduler和ChanceScheduler實現(xiàn)的，其中FilterScheduler作為默認(rèn)的調(diào)度引擎實現(xiàn)了基于主機過濾（filtering）和權(quán)值計算（weighing）的調(diào)度算法，而ChanceScheduler則是基于隨機算法來選擇可用主機的簡單調(diào)度引擎。如圖1是FilterScheduler的虛擬機調(diào)度過程，它支持多種built-in的filter和weigher來滿足一些常見的業(yè)務(wù)場景。在設(shè)計上，OpenStack基于filter和weigher支持第三方擴(kuò)展，因此用戶可以通過自定義filter和weigher，或者使用json資源選擇表達(dá)式來影響虛擬機的調(diào)度策略從而滿足不同的業(yè)務(wù)需求。
　　
　　圖 1：OpenStack調(diào)度workflow
　　Built-in的filter（部分）：
　　ComputeFilter過濾計算節(jié)點down機的主機CoreFilter過濾vcpu不滿足虛擬機請求的主機DiskFilter過濾disk不滿足虛擬機請求的主機RamFilter過濾ram不滿足虛擬機請求的主機ImagePropertiesFilter過濾 architecture， hypervisor type不滿足虛擬機請求的主機SameHostFilter過濾和指定虛擬機不在同一個主機上的主機DifferentHostFilter過濾和指定虛擬機在同一個主機上的主機JsonFilter過濾不滿足OpenStack自定義的json資源選擇表達(dá)式的主機：json資源選擇表達(dá)式形如 query=’［“》”， “$cpus”，4］’表示過濾掉cpus小于等于4的主機
　　Built-in的weigher（部分）：
　　RAMWeigher根據(jù)主機的可用ram排序IoOpsWeigher根據(jù)主機的io負(fù)載排序
　　在一個復(fù)雜的云系統(tǒng)中，對云計算資源的監(jiān)控和優(yōu)化對于保證云系統(tǒng)的健康運行，提高IT管理的效率有重要的作用。最新版本的OpenStack也沒有提供類似的功能，這可能是由于云系統(tǒng)的監(jiān)控的對象和優(yōu)化目標(biāo)對于不同的用戶有不同的要求，難于形成統(tǒng)一實現(xiàn)和架構(gòu)，但是OpenStack已經(jīng)意識到這部分的重要性并且啟動了2個項目來彌補這個短板，當(dāng)前它們都處于孵化階段：
　　Watcher（https://github.com/openstack/watcher）：一個靈活的、可伸縮的多租戶OpenStack-based云資源優(yōu)化服務(wù)，通過智能的虛擬機遷移策略來減少數(shù)據(jù)中心的運營成本和增加能源的利用率。Congress（https://github.com/openstack/congress）：一個基于異構(gòu)云環(huán)境的策略聲明、監(jiān)控，實施，審計的框架。
　　PRS簡介
　　由于OpenStack開源的特性，直接投入商業(yè)使用可能面臨后期升級，維護(hù)，定制化需求無法推進(jìn)的問題，因此一些有技術(shù)實力的公司都基于OpenStack開發(fā)了自己商業(yè)化的版本，這些商業(yè)化版本的OpenStack都包含了一些獨有的特性并和社區(qū)開源的OpenStack形成了差異化， 比如完善了OpenStack虛擬機的調(diào)度和編排功能，加強了云系統(tǒng)的運行時監(jiān)控和優(yōu)化，彌補了云系統(tǒng)自動化災(zāi)難恢復(fù)的空缺，簡化了云系統(tǒng)的安裝和部署，引入了基于資源使用時長的帳務(wù)費用系統(tǒng)等等。PRS（Platform Resource Scheduler）是IBM Platform Computing公司的基于OpenStack的商業(yè)化資源調(diào)度，編排和優(yōu)化的引擎，它基于對云計算資源的抽象和預(yù)先定義的調(diào)度和優(yōu)化策略，為虛擬機的放置動態(tài)地分配和平衡計算容量，并且不間斷地監(jiān)控主機的健康狀況，提高了主機的利用率并保持用戶業(yè)務(wù)的持續(xù)性和穩(wěn)定性，降低IT管理成本。PRS采用可插拔式的無侵入設(shè)計，100%兼容OpenStack API， 并且對外提供標(biāo)準(zhǔn)的接口，方便用戶進(jìn)行二次開發(fā)，以滿足不同用戶的業(yè)務(wù)需求。本文將會從虛擬機初始調(diào)度策略，實時監(jiān)控和優(yōu)化策略，用戶自定義OpenStack Filter，虛擬機調(diào)度失敗的Trouble Shooting Report和基于拓?fù)浣Y(jié)構(gòu)調(diào)度等方面概括介紹PRS的主要功能和使用場景，之后將有一系列文章對每個主題展開深入介紹。
　　虛擬機初始調(diào)度策略
　　虛擬機的初始放置策略指的是用戶根據(jù)虛擬機對資源的要求決定虛擬機究竟應(yīng)該創(chuàng)建在哪種類型的主機上，這種資源要求就是一些約束條件或者策略。例如，用戶的虛擬機需要選擇CPU或者內(nèi)存大小滿足一定要求的主機去放置，虛擬機是需要放置在北京的數(shù)據(jù)中心還是西安的數(shù)據(jù)中心，幾個虛擬機是放在相同的主機上還是放置在不同的主機上等等。原生OpenStack調(diào)度框架在靈活的支持第三方的filter和weigher的同時也喪失了對調(diào)度策略的統(tǒng)一配置和管理，當(dāng)前PRS支持如圖2的初始放置策略，并且可以在運行時動態(tài)的修改放置策略。
　　

普通下載普通下載

相關(guān)電子資料下載

• Openstack網(wǎng)絡(luò)模型場景及代碼解析 161
• 2023年了，OpenStack仍是第三大開源項目 849
• 圖數(shù)據(jù)庫驅(qū)動的基礎(chǔ)設(shè)施運維代碼編程案例 83
• openEuler資源利用率提升之道：虛擬機混部OpenStack調(diào)度 398
• 使用Ansible的OpenStack自動化 501
• 中國OpenStack往事回望 449
• openEuler社區(qū)鄧一諾：實踐是探索和提升的最佳捷徑 663
• 后OpenStack時代的Kubernetes 398
• NestOS實例創(chuàng)建與配置 517
• 開源云基礎(chǔ)設(shè)施軟件OpenStack最新版本Yoga發(fā)布 1644