距離 2022 年 10 月 27 日馬斯克以 440 億美元完成 Twitter(現(xiàn)更名為 X 平臺(tái))私有化交易已然過(guò)去整整一年的時(shí)間。這一年里,馬斯克大刀闊斧地改革,譬如?大裁員、重構(gòu) Twitter 2.0、下場(chǎng)親測(cè)各種功能、要求員工到辦公室上班....?..種種操作之下,不斷地刷新了外界對(duì)于這位 CEO 以及最新 X 平臺(tái)的認(rèn)知。
更讓人稱奇的是,Twitter 在曾經(jīng)有大約 8000 名員工,現(xiàn)如今只有 2000 名不到的情況下,平臺(tái)依然運(yùn)行良好,還上線了不少新的功能,這究竟是怎么做到的?
2023 年 10 月 27 日,X 平臺(tái)的工程團(tuán)隊(duì)最新發(fā)布了一篇長(zhǎng)帖透露了該平臺(tái)運(yùn)行的現(xiàn)狀,以及其逆風(fēng)而行之下采取的“下云”實(shí)踐。短時(shí)間之內(nèi),這篇帖子已經(jīng)吸引了 3618 萬(wàn)的關(guān)注度,更引發(fā)了數(shù)千條的評(píng)論。
馬斯克以 440 億收購(gòu) X 平臺(tái)這一年
在這篇帖子中,X 平臺(tái)工程團(tuán)隊(duì)表示,“這一年 X 平臺(tái)實(shí)現(xiàn)了工程卓越性進(jìn)步,有時(shí)可能會(huì)被忽視”,進(jìn)而其回顧了過(guò)去一年這個(gè)知名社交媒體平臺(tái)在架構(gòu)上所做出的改變。
詳細(xì)來(lái)看,X 平臺(tái)內(nèi)部進(jìn)行的一些最重要的改進(jìn)如下:
圍繞一個(gè)統(tǒng)一的產(chǎn)品框架,整合了"For You"、"Following"、"Search"、"Profiles"、"Lists"、"Communities"和"Explore"的技術(shù)堆棧。
從頭開(kāi)始完全重建了"For You"的服務(wù)和排名系統(tǒng),導(dǎo)致代碼行數(shù)減少了90%,從 70 萬(wàn)行減少到 7 萬(wàn)行,計(jì)算占用減少了 50%,每次請(qǐng)求中評(píng)分的帖子吞吐量增加了 80%。
統(tǒng)一了"For You"和視頻個(gè)性化以及排名模型,顯著提高了視頻推薦質(zhì)量。
重構(gòu)了技術(shù)堆棧的 API 中間件層,簡(jiǎn)化了架構(gòu),去掉了超過(guò) 10 萬(wàn)行代碼和數(shù)千個(gè)未使用的內(nèi)部端點(diǎn),并消除了未被采納的客戶服務(wù)。
將帖子元數(shù)據(jù)獲取延遲降低了 50%,全球 API 超時(shí)錯(cuò)誤降低了 90%。
阻止了機(jī)器人和內(nèi)容抓取,速度比 2022 年增加了 37%。平均每天我們阻止了 100 多萬(wàn)次機(jī)器人注冊(cè)攻擊,減少了 95% 的直接消息垃圾郵件。
關(guān)閉了薩克拉門托數(shù)據(jù)中心,重新配置了 5200 個(gè)機(jī)架和 14.8 萬(wàn)臺(tái)服務(wù)器,帶來(lái)了每年超過(guò) 1 億美元的節(jié)省。總共,X 平臺(tái)釋放了 48 兆瓦的容量,重新配置了 60,000 磅的網(wǎng)絡(luò)梯架,然后將其提供給其他數(shù)據(jù)中心。
優(yōu)化了 X 平臺(tái)對(duì)云服務(wù)提供商的使用,并開(kāi)始更多地在本地進(jìn)行。這一轉(zhuǎn)變使 X 平臺(tái)的月度云成本降低了 60%。X 平臺(tái)的工程團(tuán)隊(duì)所做的變化之一是將所有媒體/數(shù)據(jù)塊工件從云中移出,這將其云數(shù)據(jù)存儲(chǔ)大小降低了 60%,另外,該團(tuán)隊(duì)成功地將云數(shù)據(jù)處理成本降低了 75%。
建立了本地 GPU 超級(jí)計(jì)算集群,設(shè)計(jì)、開(kāi)發(fā)并交付了 43.2Tbps 的新網(wǎng)絡(luò)結(jié)構(gòu),以支持這些集群。
擴(kuò)展了網(wǎng)絡(luò)主干容量和冗余性,每年節(jié)省了 1390 萬(wàn)美元。
開(kāi)始自動(dòng)化的高峰流量故障轉(zhuǎn)移測(cè)試,以持續(xù)驗(yàn)證整個(gè)平臺(tái)的可擴(kuò)展性和可用性。
在上述所做的 11 項(xiàng)調(diào)整列表中,最吸引人注目的無(wú)疑是 X 平臺(tái)開(kāi)始嘗試“下云”帶來(lái)的成本變化。
回顧技術(shù)圈的發(fā)展歷程,隨著互聯(lián)網(wǎng)的普及、虛擬化技術(shù)的發(fā)展、大數(shù)據(jù)和分布式計(jì)算需求的涌現(xiàn),越來(lái)越多的傳統(tǒng)企業(yè)開(kāi)始轉(zhuǎn)型,采用按需的方式付費(fèi),避免了昂貴的硬件和基礎(chǔ)設(shè)施投資,這使小型和中型企業(yè)能夠以更低的成本獲得彈性計(jì)算資源,上云由此也成為技術(shù)演進(jìn)的一種必然趨勢(shì)。
然而,就在上云如火如荼地進(jìn)行了十多年之后,綜合成本控制、數(shù)據(jù)隱私、安全性或者業(yè)務(wù)需求的改變等因素,一股“下云”的風(fēng)潮悄然刮起,如今 X 平臺(tái)便是最新實(shí)踐者之一。
節(jié)省資金,X 平臺(tái)選擇“下云”
事實(shí)上,“上云”亦或是“下云”,究竟是節(jié)約成本,還是增加成本,主要是因企業(yè)規(guī)模的不同而具有差異化,對(duì)于 X 平臺(tái)而言,在今年早些時(shí)候,外媒 CloudZero 曾做過(guò)剖析。
其中,Twitter(現(xiàn)為 X 平臺(tái))在 2020 年 12 月宣布將使用 AWS 為其主時(shí)間線提供支持。當(dāng)時(shí),只知道兩家公司簽訂了一份“多年期”協(xié)議,即 Twitter 和AWS 將合作擴(kuò)展社交媒體平臺(tái)的基礎(chǔ)設(shè)施、更快地發(fā)布功能并擴(kuò)大其服務(wù)組合等,但其并沒(méi)有對(duì)外透露過(guò)具體合作協(xié)議的數(shù)額。
直至今年 3 月,The Information 在一篇報(bào)道中披露,Twitter 和 AWS雙方簽訂了一份為期五年半、價(jià)值 5.1 億美元的合同。除了與 AWS 簽訂協(xié)議之外,更早之前,Twitter 還和 Google Cloud 簽訂了一份價(jià)值 10 億美元的合同。
同時(shí),按照原來(lái)的協(xié)議,無(wú)論 Twitter 是否使用 AWS 的容量,其都同意向亞馬遜支付費(fèi)用。
然而,一切在馬斯克接管 Twitter 之后,發(fā)生了巨大的變化。馬斯克后來(lái)在梳理 Twitter 整體業(yè)務(wù)時(shí),驚訝地發(fā)現(xiàn) Twitter 現(xiàn)金流為負(fù)、仍未實(shí)現(xiàn)盈利,這也才有了文章伊始所提及他對(duì) Twitter 做的一系列調(diào)整,并盡可能地去節(jié)約成本,自然云基礎(chǔ)設(shè)施的成本也在考慮范疇。
后來(lái),Twitter 關(guān)閉了在收到過(guò)多流量時(shí)使用的一些額外服務(wù)器容量,也嘗試與 AWS、Google Cloud 和 Oracle 重新談判有關(guān)云服務(wù)的合同,但有消息稱,供應(yīng)商不愿意重新談判。對(duì)此,外媒 The Information 也爆料稱,那時(shí)的 Twitter 共拖欠亞馬遜 AWS 近 7000 萬(wàn)美元服務(wù)費(fèi)。
當(dāng)然,對(duì)于這筆資金,Twitter 是否有償還尚未可知。但是通過(guò)其工程團(tuán)隊(duì)的最新推文,顯然 Twitter 已經(jīng)通過(guò)了「下云」節(jié)省了一筆不菲的資金支出。
“下云”真的能省錢嗎?
面對(duì) X 平臺(tái)公開(kāi)“下云”帶來(lái)的最新成本變化,被視為軟件天才的Ruby on Rails創(chuàng)始人DAVID HEINEMEIER HANSSON(簡(jiǎn)稱 DHH)在第一時(shí)間發(fā)表了一篇《X celebrates 60% savings from cloud exit》(X 慶祝退出云后節(jié)省了 60%)的文章,他評(píng)價(jià)道:
「X 平臺(tái)已經(jīng)將 #CloudExit 作為其節(jié)約成本計(jì)劃的關(guān)鍵組成部分。X 平臺(tái)通過(guò)將工作從云端轉(zhuǎn)移到他們自己的服務(wù)器上,每月的云成本降低了 60%。根據(jù)早期的報(bào)告,X 每年向 AWS 支付 1 億美元,所以如果我們以這個(gè)數(shù)字為基礎(chǔ),他們目前正在云退出成就上節(jié)省 6000 萬(wàn)美元/年。太不可思議了!
......
CFO 和投資者不會(huì)對(duì)此視而不見(jiàn)。如果像馬斯克正在證明的那樣,可以用四分之一的員工運(yùn)營(yíng)像 X 這樣的操作,并且仍然能夠從"下云"中獲得巨大利潤(rùn),那么你就知道在許多情況下,大多數(shù)大型公司離開(kāi)云計(jì)算都有巨大的節(jié)約等待著被釋放。」
作為“下云”深度支持者,DHH 在今年 2 月便聲稱,自家應(yīng)用程序在“下云”之后,預(yù)估將正在未來(lái)五年內(nèi)節(jié)省約 700 萬(wàn)美元的服務(wù)器費(fèi)用,而不用改變現(xiàn)有的運(yùn)維團(tuán)隊(duì)規(guī)模。
為了詳細(xì)說(shuō)明,他還算了一筆賬:
在 2022 年,其在云上花費(fèi)了 320 萬(wàn)美元。其中將近 100 萬(wàn)美元用于在 S3 中存儲(chǔ) 8PB 的文件,完全在多個(gè)區(qū)域進(jìn)行了復(fù)制。剩下的約 230 萬(wàn)美元用于其他一切:應(yīng)用服務(wù)器、緩存服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、搜索服務(wù)器等等。
這是其打算在 2023 年將云成本降至零的部分,并考慮在 2024 年退出 S3 中的 8PB 數(shù)據(jù)。
在經(jīng)過(guò)深思熟慮、許多基準(zhǔn)測(cè)試以及對(duì) AMD 的新 Zen4 芯片與 Gen 4 NVMe 驅(qū)動(dòng)速度考量之后,其打算向戴爾下訂單,大約 60 萬(wàn)美元左右。
在云計(jì)算時(shí)代,花 60 萬(wàn)美元購(gòu)買一堆硬件可能聽(tīng)起來(lái)很多。但如果在保守的五年內(nèi)攤銷,每年只需 12 萬(wàn)美元!
當(dāng)然,這只是硬件的費(fèi)用。它們還必須連接到電源和帶寬。其目前通過(guò) Deft 在兩個(gè)數(shù)據(jù)中心之間每月花費(fèi)大約 6 萬(wàn)美元來(lái)租用八個(gè)專用機(jī)架。然后,故意過(guò)度配置了空間,因此實(shí)際上只需要將所有這些新服務(wù)器放在現(xiàn)有機(jī)架中,而不需要更多的空間或電源。因此,支出仍然約為 72 萬(wàn)美元/年。
這總共是每年 84 萬(wàn)美元的費(fèi)用。與云計(jì)算的 230 萬(wàn)美元相比,其將擁有更快速的硬件、更多的核心、極為便宜的 NVMe 存儲(chǔ),以及以非常低的成本擴(kuò)展的空間(只要我們?nèi)匀豢梢苑湃朊總€(gè)數(shù)據(jù)中心的四個(gè)機(jī)架中)。
粗略地說(shuō),這可以讓其每年節(jié)省 150 萬(wàn)美元。在此期間留出 50 萬(wàn)美元用于不可預(yù)見(jiàn)的費(fèi)用,五年內(nèi)仍然節(jié)省了 700 萬(wàn)美元!
與此同時(shí),DHH 表示,#CloudExit 很可能正處于走向主流的關(guān)鍵時(shí)刻。
“下云”是控制成本最有效的方式?
不過(guò),對(duì)于現(xiàn)在不少還處于云業(yè)務(wù)轉(zhuǎn)型過(guò)程中、以及從“云”種受益的很多公司而言,其無(wú)法認(rèn)同“下云”的這一步操作。來(lái)自 HN 上的用戶更是直言:
譬如 X 平臺(tái),他們?cè)谠朴?jì)算上的花費(fèi)減少了 60%,在本地完成了同樣的工作,而成本卻沒(méi)有說(shuō)明。而他們(和 DHH)顯然認(rèn)為,在描述他們的成就時(shí),成本核算(即使是模糊和初步的方式)并不重要。
也有用戶 @HillRat 認(rèn)為:
Twitter 確實(shí)與 GCP(Google云端平臺(tái) ,Google Cloud Platform)簽訂了一份非常糟糕的固定成本合同,導(dǎo)致他們有大量未使用的云容量,而這些云容量的價(jià)格卻過(guò)高。關(guān)閉數(shù)據(jù)中心可能會(huì)給他們留下大量的資本化設(shè)備,他們可以將 GCP 托管的數(shù)據(jù)處理轉(zhuǎn)移到這些設(shè)備上。
換句話說(shuō),這些節(jié)省可能并非來(lái)自實(shí)際的技術(shù)效率,而只是擺脫了糟糕的合同狀況,并利用了大量已經(jīng)獲得的硬件。(此外,X/Twitter 可能也無(wú)法使用 Twitter 所要求的報(bào)告和分析基礎(chǔ)設(shè)施,因此關(guān)閉這些設(shè)施在業(yè)務(wù)流程上也不會(huì)有太大損失)。
對(duì)此,你怎么看待“上云”vs“下云”的趨勢(shì)?
-
代碼
+關(guān)注
關(guān)注
30文章
4891瀏覽量
70306 -
云數(shù)據(jù)
+關(guān)注
關(guān)注
0文章
118瀏覽量
16802 -
馬斯克
+關(guān)注
關(guān)注
1文章
851瀏覽量
21771
原文標(biāo)題:瘋狂馬斯克“下云”:X 成本降低 60%,部分功能代碼從 70 萬(wàn)行減少至 7 萬(wàn)!
文章出處:【微信號(hào):LinuxHub,微信公眾號(hào):Linux愛(ài)好者】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
評(píng)論