（電子發(fā)燒友網(wǎng) 張迎輝）在2023年8月28日上海臨港舉行的第三屆滴水湖中國(guó)RISC-V產(chǎn)業(yè)論壇上，主辦方特別邀請(qǐng)到了高性能 RISC-V AI芯片公司Tenstorrent Inc首席CPU構(gòu)架師練維漢現(xiàn)場(chǎng)作了“助力數(shù)字化升級(jí)的RISC-V”專題演講。Tenstorrent Inc.是一家加拿大AI芯片獨(dú)角獸企業(yè)，從事高性能RISC-V芯片的設(shè)計(jì)。他們公司的CEO是CPU產(chǎn)業(yè)界的“知名大拿”，曾在水果公司作CPU的架構(gòu)設(shè)計(jì)師。練維漢除介紹RISC-V內(nèi)核的高性能 CPU IP內(nèi)核技術(shù)之外，也對(duì)近期熱門的RISC-V AI技術(shù)和Chiplet 芯粒對(duì)高性能 AI芯片的助力、異構(gòu)CPU架構(gòu)等分享了觀點(diǎn)。

為何會(huì)有Digital Transformer？

數(shù)百年前的第一次工業(yè)革命是機(jī)器取代人的勞動(dòng)力，而現(xiàn)在正在發(fā)生的“工業(yè)革命”是機(jī)器替代人的腦力。我們經(jīng)常討論，共同的感覺(jué)就是Digital這個(gè)事情是在改變著世界。其實(shí)AI帶給人最重要的是一個(gè)什么東西呢？你作為的東西都可以因?yàn)槟愣白罴鸦保憧梢韵硎艿綄ｉT為你量身定做的東西。這樣的東西在以前是沒(méi)有可能的，因?yàn)闆](méi)有那樣的算力可以到達(dá)為你量身定做任何一樣的事情。這是一個(gè)巨量的計(jì)算！我在十年前如果要出來(lái)開(kāi)一個(gè)創(chuàng)業(yè)的公司，說(shuō)：“我要做芯片”，沒(méi)有人會(huì)投。為什么十年之后全世界各國(guó)，我去跟歐洲的談、日本的談、印度的談，他們都有注入大量的錢到這個(gè)行業(yè)。他們投入百億、千億的資金在這個(gè)芯片上面，就是這個(gè)原因。

圖：Tenstorrent Inc首席CPU構(gòu)架師練維漢在第三屆滴水源RISC-V產(chǎn)業(yè)論壇演講（圖片來(lái)源：電子發(fā)燒友網(wǎng)）

1947年Transistor發(fā)展，這個(gè)技術(shù)每年以兩倍的速度翻倍。1997年個(gè)人PC時(shí)代的開(kāi)始，在這個(gè)開(kāi)始之后、2007年iPhone是另外一個(gè)革命性的東西，手機(jī)可以每一天跟著你記錄你的使用信息。另外一個(gè)里程碑，是3G、然后有4G、5G，慢慢你有很大的頻寬傳送你的Data。你每天拿著手機(jī)產(chǎn)生大量的資訊，然后可以傳到“云”上、大量的數(shù)據(jù)被產(chǎn)生了。然后兩年之后你看到巨量的數(shù)據(jù)產(chǎn)生了，你開(kāi)始在挖這個(gè)“金”，然后到2012年爆炸性的成長(zhǎng)，然后一直到最近的ChatGPT3。所以這是有歷史痕跡的，我要讓大家知道“為什么今天走到AI”的地步？有了大數(shù)據(jù)你才能夠用AI解釋、為你做量身定制。

這個(gè)東西的結(jié)果是什么？就是巨量的Data每天被產(chǎn)生，你要了解這些資訊、找出里面的有價(jià)值數(shù)據(jù)。ChatGPT4說(shuō)：2.5個(gè)月，計(jì)算能夠就要翻一倍。ChatGPT4=2-trillion parameter，有人說(shuō)會(huì)到4trillion。每天人類要處理多少的訊息？所有的數(shù)據(jù)都要經(jīng)過(guò)儲(chǔ)存。為什么今天大家坐在這個(gè)地方，說(shuō)：芯片有它發(fā)展的原因，就是因?yàn)橛羞@個(gè)數(shù)字。現(xiàn)在沒(méi)有人知道，用什么樣的方法來(lái)解決這個(gè)計(jì)算的問(wèn)題。我看一個(gè)數(shù)據(jù)，就是說(shuō)：谷歌如果要把他們所有的數(shù)據(jù)轉(zhuǎn)換成ChatGPT的這種結(jié)果，要花一千億美金。然后，電力要增加20倍。企業(yè)要巨量的投資，你們的Data產(chǎn)生的也是越來(lái)越多、不僅要數(shù)字上的、還要變成視頻，這是海量的數(shù)據(jù)。我們現(xiàn)在站在這個(gè)歷史的風(fēng)口，怎么樣解決這個(gè)算力的問(wèn)題？我個(gè)人覺(jué)得是沒(méi)有很好的解決方法、在這個(gè)階段，除非說(shuō)有在AI的上面有科學(xué)家看出來(lái)有更基本的改變才有可能有辦法應(yīng)付，目前看到是沒(méi)有辦法。這個(gè)產(chǎn)業(yè)每個(gè)國(guó)家巨量投資就是因?yàn)檫@個(gè)原因，因?yàn)橛芯蘖康臄?shù)據(jù)和巨量的計(jì)算的需要。

怎么解決這個(gè)呢？我們的看到：計(jì)算必須要在每一個(gè)地方發(fā)生。例如：人類是一個(gè)非常復(fù)雜的生物機(jī)器，如果所有碰觸到你皮膚的數(shù)據(jù)都要傳遞到大腦做決定是不可能的事。如果這樣的話，你的神經(jīng)可能要比現(xiàn)在寬多少倍都不知道。很多觸覺(jué)上的東西在皮膚層就做了篩選，有用的訊息才會(huì)傳遞到大腦。在生物學(xué)上基本上告訴你已經(jīng)不可能了，所以在實(shí)踐上面要把所有的計(jì)算都放到云端算了再傳回來(lái)這是一件不可能的事情。我們?cè)谙脒@件事情，就是說(shuō)：計(jì)算必須要在每一個(gè)地方發(fā)生，然后你才能夠達(dá)到你所要的功效需求和傳輸?shù)男枨蟆Ｄ銈兌贾廊祟惖拇竽X事實(shí)上是全世界最復(fù)雜的一個(gè)處理系統(tǒng)，假如要跟現(xiàn)在的計(jì)算相比、人類好像是1萬(wàn)倍吧。所以說(shuō)你基本上是不可能把所有的東西傳到云端算了再放回來(lái)，所以可能要放在你的IoT上面、放在你的機(jī)器上面，到處都需要有這個(gè)計(jì)算。

有這樣的一個(gè)需求以后，我們需要Heterogeneity（異構(gòu)）。還有就是要能夠可擴(kuò)充性，你發(fā)明的東西不能用在一個(gè)點(diǎn)、要用在從最簡(jiǎn)單的到最復(fù)雜的東西。就像愛(ài)因斯坦希望用一個(gè)理論來(lái)解釋宇宙所有的現(xiàn)象，我們也希望一個(gè)解決方案可以通用到所有的事情上面去。還有就是你也不能讓它太復(fù)雜，我們常常做架構(gòu)經(jīng)常問(wèn)的一個(gè)問(wèn)題，就是說(shuō)：你做的這個(gè)東西是不是足夠的簡(jiǎn)單，是不是去無(wú)從輕到最高極限、最簡(jiǎn)單的東西去解決同樣一個(gè)問(wèn)題。我們永遠(yuǎn)尋求的最終解決方案，永遠(yuǎn)是要找到最精簡(jiǎn)的東西來(lái)解決同樣的一個(gè)問(wèn)題。精簡(jiǎn)有什么好處？容易實(shí)現(xiàn)。以后做變動(dòng)的時(shí)候等等，都有很多的好處。

為什么RISC-V非常適合？

為什么RISC-V很適合這個(gè)東西？因?yàn)樗且粋€(gè)Open source（開(kāi)源）。我們的好處就是說(shuō)，我做了一個(gè)架構(gòu)、不需要跟ARM說(shuō)：“我可不可以做這樣，可不可以做那樣。”有非常大的彈性，這是指令集給你的一個(gè)方便的東西。我為什么認(rèn)為這個(gè)東西一定會(huì)起來(lái)？就是基于這個(gè)考量。因?yàn)橐院蟮挠?jì)算是非常復(fù)雜的，你需要一個(gè)指令集能夠讓你做這樣的事情。RISC-V就是一個(gè)很好的“點(diǎn)”。

我們大概有1/3的人做CPU、2/3的人做AI的東西。我是帶領(lǐng)RISC-V CPU的團(tuán)隊(duì)，我們公司很特別、因?yàn)槲覀兪鞘澜缟衔ㄒ灰粋€(gè)公司有Workink的機(jī)器學(xué)習(xí)。我們公司有RISC-V、CHIPLETS。（圖）我們公司有Grayskul（2021）、Wormhole（2022），2023公司開(kāi)始有Blach Hole，因?yàn)槲覀冎牢磥?lái)很多東西沒(méi)有辦法用AI來(lái)做這樣的事情，那么你就需要一個(gè)很好的介入、我們后來(lái)發(fā)現(xiàn)算力還是不夠，我們就說(shuō)：我們自己研發(fā)RISC-V的芯片。兩年前開(kāi)始研發(fā)RISC-V的芯片，開(kāi)始看看怎么整合等等。在未來(lái)、下一步要走向Chiplet，、研發(fā)上面Quasar跟Grendel。我們可以成為一個(gè)很好的，對(duì)于未來(lái)AI的一個(gè)架構(gòu)。

基于AI技術(shù)的可擴(kuò)展 RISC-V芯片

我們公司AI是怎么做到的？看我們公司實(shí)際上是很多AI的好的解決方案。每個(gè)“人”都有自己的任務(wù)要做，有一個(gè)是把Data拿起來(lái)、有一個(gè)是把Data送出去。你可以把它往上擴(kuò)充，也可以往上減少。（圖）這是一個(gè)大系統(tǒng)的Skill APP，它可以解決更大的運(yùn)算的需求、解決更大算力的問(wèn)題。所以我們的Scalable AI Architecture可以把它變成一個(gè)大的系統(tǒng)，然后我們變成一個(gè)芯片之后又可以放到更大的系統(tǒng)里面。我們的軟件系統(tǒng)可以了解到計(jì)算所需求的要求，可以幫你聚焦到這些、完成這些工作，它是從一個(gè)到幾萬(wàn)個(gè)芯片在一起。

AI的改變非常快，今年說(shuō)Transformer很牛、可能五年后Transformer不牛了怎么辦呢？你所有的AI不能只為現(xiàn)在做設(shè)想，你必須要設(shè)計(jì)的足夠有彈性、以便于可以去應(yīng)付未來(lái)AI方案的需求。也就是說(shuō)，你必須要有彈性。像我們做這種東西，一定要看長(zhǎng)遠(yuǎn)一點(diǎn)、不能只聚焦在當(dāng)下。在Application的架構(gòu)上，也要想到以后可能沒(méi)有辦法在你現(xiàn)在設(shè)計(jì)的AI方案上面做的很好。以后你怎么辦？你不能把系統(tǒng)拆掉再換一個(gè)新的，所以你要有彈性接口兼容。你要兩個(gè)都是最好，要不然你沒(méi)有辦法做到最好的系統(tǒng)。

介紹一下公司的可擴(kuò)展 RISC-V處理器家族

（圖）我們架構(gòu)這個(gè)東西的時(shí)候，我們希望這個(gè)要具有很強(qiáng)的可擴(kuò)展性。為什么要放CPU在里面？因?yàn)槲覀冾A(yù)測(cè)未來(lái)AI的運(yùn)算CPU還是會(huì)占一個(gè)很重要的地位。所以它在兩個(gè)不同算力的東西在一起的時(shí)候，我們有幾種很多的考慮。（圖）這是AEGIS Chiplet，希望每32核變成一個(gè)Chiplet。

Chiplet芯粒與AI芯片

剛才我已經(jīng)說(shuō)了，你做這個(gè)東西要考慮到很多的應(yīng)用場(chǎng)景。，統(tǒng)統(tǒng)都是用Chiplets的方法，把AI拿掉就可以跟AMD做PK。如果內(nèi)存不夠，它就可以變成一個(gè)助手，所以它是一個(gè)很好的、讓你很有彈性設(shè)計(jì)你的系統(tǒng)架構(gòu)。下面，講一下應(yīng)用。例如：Ascalon-D2，Mobile Computing。你你可以調(diào)整它的功率，讓你具有最高的運(yùn)用使用率。還有車載，你可以買我們的IP。你要做L2自動(dòng)駕駛可以買我們的IP，我們幫你組裝起來(lái)。不管你是用雷達(dá)還是什么，我們AI計(jì)算的核心都是要在那個(gè)地方，我們的設(shè)計(jì)可以幫助你用chiplet；你說(shuō)要做L2，我給你chiplet、它是一個(gè)非常有彈性的東西。CPU也是一樣，我們的CPU可以根據(jù)你的應(yīng)用需求來(lái)選。也有很多人跟我們談DPU、Storage Server，我們可以幫他們做Storage Server的東西。

我從Scalable Architecture講一些應(yīng)用場(chǎng)景，讓你們了解我們?cè)趺词褂眠@些東西。我們的看法是：巨量的Data、巨量的AI需要的算力，對(duì)于未來(lái)計(jì)算的需求、基本上是需要“Compute Everywhere”。Compute Everywhere你不能讓它太困難去執(zhí)行東西，我們的公司符合那樣的一個(gè)要求。當(dāng)然，我們的客戶也看到這樣的一個(gè)東西。講的比做的容易，我們也是一直在更新我們的軟件、硬件，一直在學(xué)習(xí)這方面的東西。

我個(gè)人覺(jué)得這是一個(gè)，我一直在強(qiáng)調(diào)、就是說(shuō)：這是一個(gè)非常有前景的事情。大家要看到這個(gè)歷史的浪潮，我們也是看到了、我覺(jué)得未來(lái)十年、二十年可能是芯片的黃金時(shí)代。因?yàn)樵谒懔Ψ矫妫椰F(xiàn)在沒(méi)有看到任何解決方案來(lái)解決這個(gè)事情，所以這是巨大的產(chǎn)業(yè)、巨大的機(jī)會(huì)在這個(gè)地方，我希望跟在座的各位做合作。（完）