Observe 是一家提供可觀察性云解決方案的公司，以幫助企業加速應用故障排查和問題解決的效率。公司成立于2017年9月，總部位于美國加利福尼亞州圣馬特奧。到目前為止，Observe 已經在5輪融資中總共籌集了1.62億美元。他們最近的一輪融資是在2023年10月5日，通過可轉換票據融資籌集了5000萬美元，并推出了新一代人工智能功能。

本篇內容是根據Observe官網的技術文章翻譯整理，以下3點是NineData的數據庫工程師對多云的思考：

多云是今天的現實，也是未來的趨勢 （公共云基礎設施用戶中有86%正在實施多云策略）；

多云環境下的數據管理成為新的需求，包括文章中提到的Observability；

云環境越來越復雜，既是困難，也是機遇。

什么是多云可觀察性？它是一種令人興奮的新的科技趨勢，還是只是最新一輪的被技術觀測和監控廠商的營銷部門夸大的流行詞？你可能已經猜到了，答案介于兩者之間。就像科技中許多流行的流行詞一樣，它起源于組織所感受到的實際需求，但在不同的上下文中，它的含義也會有所不同。因此，如果使用了多個云，是否需要多云可觀察性？如何實現多云可觀察性？它與“常規”可觀察性有什么不同？

簡而言之，隨著公共云成為主流，任何企業中使用多個云提供商的服務已經變得非常普遍。因此，“多云”一詞應運而生。從領先的云提供商那里獲得創新是件好事，但多云環境是一把雙刃劍。企業最終使用多個云的原因有很多，同時操作這些云也帶來了許多挑戰。可觀察性是一種方法，可以幫助解決一些操作上的挑戰，使日常生活更加有序。這就是“多云可觀察性”一詞的由來。

如果我們要簡潔地解釋多云可觀察性，我們會說它是這樣的：讓跨越多個公共云的服務變得可以觀測，以減少發現和解決問題所需的時間。但是這個話題比這更復雜一些，了解多云可觀察性是什么以及如何實現它是兩個不同的事情。在這本電子書中，我們將介紹：

什么是多云，它是如何產生的

為什么多云需要可觀察性，以及具體的考慮因素

如何從多云可觀察性中受益

多云是什么？

在談論多云可觀察性之前，我們必須首先討論多云。在這里，我們將定義多云，研究導致其被“采用”的催化劑，以及它如何為想要實現可觀察性的組織帶來挑戰。

起初......混合云(Hybrid Cloud)出現了

在多云出現之前，有混合云。混合云通常指同時使用位于數據中心和公共云中的基礎設施。有一段時間，混合云引起了一些爭議，因為公司還沒有習慣將重要的所有權或基礎設施交給第三方。它已經成為許多大型企業的常態，因為一些應用程序被遷移到云中或在那里構建新應用程序，而一些遺留或安全敏感的應用程序仍然保留在本地。對于較小的組織，從一開始就接受公共云資源并不罕見，并且幾乎沒有（如果有的話）本地數據中心的空間。

當然，隨著云的使用變得更加普遍，并且有許多不同類型的云可供選擇，情況一直在不斷發展演變。有本地和托管的私有云、公共云提供商，甚至還有在公共云中運行的SaaS服務。有效地使用這些位置上運行的一些組合服務構成了多云采用。一般來說，多云指的是一個組織內使用多個公共云。然而，就像長方形可以組成正方形一樣，如果本地的東西是“類似于云”，混合云也可以被認為是多云。這隨著AWS Outposts或GCP Anthos等公共云的本地和混合服務的出現變得越來越可行。可以說，多云是一個廣泛的術語，其含義并不總是單一的，但通常與使用多個公共云有關。

直面現實Reality Check

那么，多云的現實使用情況是怎么樣？根據分析公司ESG發布的博客，截至2022年，他們的研究表明，目前公共云基礎設施用戶中有86%正在實施多云策略，平均使用2到4個公共云。無論確切的數字是多少，都可以肯定地說，使用多個公共云是非常常見的，這也是多云面對的一個非常現實的問題。

當我們談論“云計算”時，用戶（至少在北美）傾向于考慮三大主要的公共云提供商。亞馬遜網絡服務、微軟Azure和谷歌云平臺通常被認為是領先的公共云提供商。但是，還有許多其他的公共云提供商，如阿里巴巴、IBM、Oracle、DigitalOcean、Rackspace等等。

二級和三級服務提供商，或者說任何非主要云提供商的服務，都可能而且確實在一些公司的云支出中占據了相當大的比重。在Stack Overflow的2022年開發者調查中，55%的專業開發人員表示他們在過去一年中廣泛使用AWS，其次是30%使用微軟Azure和26%使用谷歌云平臺。在提到AWS使用的22,357名專業開發人員受訪者中，26%表示他們希望在未來一年與GCP合作，20%表示他們希望與Azure合作。很容易看出，即使另一家公有云已成為主要供應商，次要供應商仍能在企業中立足。然而，這并不總是由于有意識地決定實施多云或混合云而發生的。

如何實現多云？

我們說多云環境是“發生”的，是因為它并不總是一個經過商定的戰略或有意識的選擇，通常組織會因為各種原因而使用多個云服務。以下是其中一些原因：

可靠性和冗余性：如果您關注可靠性，您可能會將數據存儲在同一提供商的多個地區。這種思路也會導致組織將應用程序或數據存儲在多個云中，以進一步保護自己免受其無法控制的故障的影響。

訪問專有服務：不同的云提供商提供一系列類似的服務，例如，您可以從任何基礎設施即服務供應商那里找到廉價的對象存儲服務。然而，公司還通過獨特的技術進行差異化（一個例子是只有在GCP中才有的TPU）。對特定服務的需求可以推動新平臺的采用。

影子IT：影子IT這個術語有負面的含義，但用戶根據自己的需求自行注冊服務是進行盡職調查的一部分。不管原因是什么，組織內并不總是所有人都知道何時引入了新的云服務。

提供商特定的技能集：核心服務在不同云之間可能有基本的相似之處，但使用它們可能需要特定的技能集。人員可能更熟悉某個特定的服務提供商，這可能是影響該組織是否額外使用或轉換到新的云服務提供商的因素之一。

延遲和數據位置：盡管我們盡力而為，但無法欺騙物理定律。如果某項服務對延遲敏感，而您當前的服務提供商最近的區域距離不夠近，您可能需要尋找其他選擇。例如，如果您的業務位于澳大利亞珀斯，最近的AWS區域位于該國的另一端悉尼。這可能看起來是一個極端的例子，但它展示了距離對業務運營的真實影響。數據位置也可能是數據局部性法規的一個因素，當數據需要保留在特定的物理區域時，有時這可能需要使用其他服務提供商。

很容易看出，一個組織可能最初只使用另一個云服務提供商的一個服務，而這種情況很快就會擴大。使用范圍可以從單個用戶擴展到其團隊以及其他人，一個服務也可以迅速發展為多個服務的使用。如上所述，多云的原因有些是積極的，該組織從中獲得一些好處。然而，這種動態可能導致復雜的運營、安全和合規挑戰，如果不加以解決可能會帶來風險。

為什么我們需要多云可觀察性？

無論好壞，您的組織已經實施了多云，那么這與可觀察性有什么聯系呢？可觀察性可以幫助企業應對眾多運營挑戰，最大限度地減少停機時間。然而，許多組織仍處于可觀察性旅程的早期階段，依賴于傳統工具，這些工具無法提供完整的環境信息。更糟糕的是，多云帶來了新的挑戰，使保持可見性和執行故障排除變得更加困難。這使得實現可觀察性變得更加重要。

更多的云，更多的數據，更多的問題？

如果您的 IT 團隊正在使用多個云，那么您可能希望可觀察性能夠跨越所有云，以提供可操作的見解，而不僅僅是突出顯示單個云的性能問題。這說起來容易做起來難，很多企業可能認為自己已經具備了可觀察性，但其實他們只是實施了監控。我們的《2022 年可觀察性狀況報告》顯示，環境的復雜性是實現可觀察性的首要障礙。隨著環境越來越復雜，對可觀察性的需求也越來越強烈，但獲得可觀察性的難度也越來越大。

可觀察性與數據緊密相關。當需要進行分析時，數據的來源數量和來源位置都不應成為問題。理想情況下，對于故障排除來說，更多的數據是件好事。然而，如果你的環境高度分布式，那么設置起來會需要更多的考慮。由于微服務、Kubernetes、無服務器和其他云原生技術的日益普及，復雜的分布式應用正在增加。環境變得越分布式和復雜，就越難以對其所有部分保持可見性。手動對代碼進行可觀察性的儀表化是最快增長的挑戰之一，一年內增長了將近一倍，從17%增長到30%。

隨著復雜性的增加，你還面臨著操作性隔離的風險，即你組織中只有少數人了解整個環境，而更多關注于他們日常工作中最相關的部分。當需要進行故障排除時，這必然會引起問題。如果你擁有可觀察性，那么它將幫助你避免這些問題。

不要讓云成為孤島

每個公共云都有自己獨特的服務，但許多服務實際上更相似而不是不同。例如，你可能同時使用亞馬遜S3和Azure Blob Storage，雖然它們在本質上是不同的專有服務，但它們都是對象存儲。你可能正在查看類似的遙測數據，但因為這些服務存在于不同的公共云中，彼此分離，它們變成了孤立的信息島。

很可能你甚至正在使用云原生工具來收集和聚合數據，例如AWS的CloudWatch、Azure的Monitor或GCP的Operations Suite（以前稱為Stackdriver）。如果你的工作流程涉及每次出現問題都要單獨登錄給定云的本機監控套件，那將耗費時間并且效果不佳。你還必須掌握多個工具的知識。

如果特定于云的監控服務是數據的最終目的地和進行分析的地方，那么你也會失去將該數據與其他云的數據相關聯的價值。更復雜的是，即使你將數據轉發到第三方的可觀察性產品中，它可能仍然無法與其他數據有效地關聯起來。如果你的組織當前的工具要求你在使用數據之前花費時間進行標記和索引，那么這就是從更有價值的任務中抽取時間，你的SRE、DevOps工程師或開發人員不應該浪費的時間。如果只是時間是一個問題，那已經夠糟糕的了，但如果你的組織因合規性或安全相關原因接受審計，你不想在多個工具中搜索答案并在沒有上下文的情況下篩選數據。

大多數供應商都將其產品標榜為“單一視圖”，但這些產品往往在其架構中具有固有的信息孤立。你的數據可能根據類型分成不同的數據存儲，從而使關聯過程復雜化。或者你可能會發現你的“可觀察性”工具實際上只是監控工具，你無法使用它們提供的儀表盤來深入挖掘來自不同云服務的數據。歸根結底，如果你在環境中缺乏可見性，那么收集數據就是一個挑戰；如果你有可見性，但數據被孤立且缺乏適當的上下文，那么使用這些數據就是一個挑戰。一個與云提供商無關的策略將幫助你保持對環境的可見性。使用開源的數據收集工具（如Fluentbit和OpenTelemetry）現在更容易采用與供應商無關的方法，將你需要的數據傳輸到你選擇的可觀察性服務中。

從多云可觀測性中獲益

多云數據的背景

Observe的方法是可觀察性云，它意味著將所有數據放在一個地方，而不是混雜使用不同的后端和數據孤島，并且不需要為各種用例支付多個工具的費用。可觀察性云由數據湖、數據圖和數據應用組成。

Observe應用程序捆綁了適用于AWS、GCP和Azure這三個主要云提供商的相關集成。例如，AWS應用程序簡化了從各種AWS服務收集遙測數據的過程，并使其更易于發現。通過這個應用程序，您可以在Observe中輕松監視和排查許多您最喜歡的AWS服務，這意味著您在排查問題上花費的時間更少，可以有更多時間為客戶構建應用程序和服務。同樣地，我們還有Azure和GCP應用程序，并且這些應用程序所涵蓋的服務范圍不斷擴展。

一旦遙測數據開始傳輸，我們將所有數據統一存儲在我們的可觀察性云中的數據湖中。數據被保存在一個地方，并且通過數據圖了解和映射上下文。數據圖顯示了所有連接的數據集，也就是您關心的事物，可以涵蓋從S3存儲桶到運行在EKS上的Kubernetes集群等各種內容。在數據湖中擁有所有數據，并且可以通過數據圖進行搜索，使我們能夠提供按需架構。當涉及到搜索和過濾大量數據時，您的單一操作界面可以在需要時提供您所需的精確視角。

正如我們的一個客戶所說：“這是唯一一個匯總了許多數據源日志的地方，所以當我不知道該去哪里查找時，我可以從這里開始。”我們的另一個客戶Linedata也能夠通過在AWS中查看其許多用戶帳戶，消除盲點，從中獲得價值。一旦將更多的云（以及這些云中的更多帳戶）引入到一個環境中，這種場景中解決的問題可能會顯著增加。如果沒有完整的多云可觀察性，您可能會遇到安全盲點或者在故障排查時遇到死胡同。

多云規模下的經濟效益

隨著越來越多的應用程序及其依賴分布在多個云中，這將導致大量的遙測數據。即使您能夠使所有數據可觀察，并將所有數據關聯起來以便在危機時易于導航和理解，但規模和成本仍然是一個問題。通常，傳統解決方案的收費是基于遙測數據的攝取和索引量、每個用戶/座位或監控的主機數量（或這些模型的組合）。在這種情況下，無論您從這些數據中獲取的價值如何，更多的數據都意味著更高的成本。這在多云增長的背景下是一個昂貴的假設。有一些解決方案提供了一些權宜之計，試圖限制數據攝取量并將數據存檔以便長期存儲，但這只會給用戶增加更多的復雜性，并使他們更難觀察其應用程序和基礎架構，因為用戶可能會丟棄可能相關的數據。

Observe采取了一種獨特的方法，并建立在現代的云原生架構之上，實現了獨特的基于使用量的定價模型。所有數據都被攝取到基于Amazon S3的Data Lake中，進行10倍的壓縮，并存儲13個月。然后，Observe將頻繁訪問的數據加速到Data Graph中。通過Observe在Snowflake Data Cloud之上的多租戶實現，可以高效地執行加速數據或查詢Data Graph的查詢。所有客戶、所有公司的所有查詢都共享同一個Snowflake基礎架構。這使我們能夠將計算和存儲分離，并按照客戶運行查詢和加速數據所消耗的計算量進行計費。

Passive和active成本控制的實施緩解了對使用情況或惡意用戶的擔憂。用戶將被提示確認昂貴的查詢，管理員可以設置信用限額以管理使用情況，以符合年度預算。由于Observe的基于使用量的定價系統具有成本控制功能，這意味著客戶可以攝取所需的數據，而無需事先擔心是否是“正確的數據”，或者擔心僅僅數據量就會超出預算。這是在多云環境中的經濟學。

審核編輯 黃宇