本文對(duì)整場(chǎng)分享進(jìn)行了要點(diǎn)總結(jié)及PPT整理,以幫助大家提前清晰地了解本場(chǎng)分享重點(diǎn)。
1.ZILLIZ如何重新定義數(shù)據(jù)科學(xué)?
2.數(shù)據(jù)時(shí)代的今天與未來
3.傳統(tǒng)架構(gòu)和異構(gòu)計(jì)算有什么區(qū)別?
4. ZILLIZ對(duì)新一代數(shù)據(jù)科學(xué)提出了什么樣的解決方案?
5. ZILLIZ人才觀分享與人才招聘
以下為ZILLIZ解決方案副總裁魏一的部分分享內(nèi)容,【AI研習(xí)社】在不改變?cè)獾幕A(chǔ)上做了整理和精編:
大家好,我是ZILLIZ的魏一,從事數(shù)據(jù)科學(xué)領(lǐng)域已有十余年,今天和大家分享ZILLIZ在數(shù)據(jù)科學(xué)領(lǐng)域如何將GPU的算力應(yīng)用在人工智能領(lǐng)域。
首先簡單介紹一下ZILLIZ,公司成立于2016年,專注于異構(gòu)計(jì)算的數(shù)據(jù)科學(xué)領(lǐng)域。公司的使命是Reinvent Data Science,即通過使用異構(gòu)加速這種新的計(jì)算模式,解決數(shù)據(jù)科學(xué)領(lǐng)域的難點(diǎn)和痛點(diǎn)。
關(guān)于重新定義數(shù)據(jù)科學(xué),魏一表示:
重新定義數(shù)據(jù)科學(xué)其實(shí)是往兩個(gè)方向在努力,一個(gè)是數(shù)據(jù)化,傳統(tǒng)來說即結(jié)構(gòu)化的數(shù)據(jù)處理,不過近幾年隨著神經(jīng)網(wǎng)絡(luò)、人工智能算法地使用,可以對(duì)以前很難分析的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析,比如圖形圖像的處理、人臉識(shí)別、音頻、視頻、文本等。還有一個(gè)是數(shù)據(jù)如何呈現(xiàn)真實(shí)的世界,如何做到通過使用數(shù)據(jù)更好地加快決策的過程?在這方面我們有針對(duì)邊緣數(shù)據(jù)、快數(shù)據(jù)、時(shí)空數(shù)據(jù)的可視化分析引擎。
隨著時(shí)代的發(fā)展,全球數(shù)據(jù)規(guī)模呈現(xiàn)指數(shù)級(jí)增長,伴隨5G的到來,還會(huì)有更大更密的數(shù)據(jù)連接,在算力層面,GPU架構(gòu)會(huì)超過CPU。
接下來是ZILLIZ對(duì)新一代數(shù)據(jù)科學(xué)提出的解決方案,我們的兩個(gè)產(chǎn)品分別是MegaWise和Milvus,這兩個(gè)產(chǎn)品分別是對(duì)應(yīng)前面講到的兩部分——數(shù)據(jù)化和數(shù)據(jù)現(xiàn)實(shí),通過這種數(shù)據(jù)科技的整合,可以把以前比較慢的工作、或者一些算法的訓(xùn)練、以及數(shù)據(jù)計(jì)算的工作進(jìn)行加速,然后能夠?qū)?shí)時(shí)數(shù)據(jù)進(jìn)行處理,這就是我們公司主要的兩款產(chǎn)品。
那么傳統(tǒng)架構(gòu)和異構(gòu)計(jì)算有什么區(qū)別呢?對(duì)傳統(tǒng)架構(gòu)來說,一般都是從外存加載到內(nèi)存再加載到CPU的緩存進(jìn)行就算,對(duì)異構(gòu)計(jì)算來說,可以從磁盤直接把數(shù)據(jù)加載到GPU的顯存里,通過CPU和GPU的聯(lián)手,讓其更好地發(fā)揮算力,進(jìn)而將之前在CPU上很難處理或無法處理的工作,進(jìn)行有效的提升和加速。這就是我們產(chǎn)品設(shè)計(jì)的最核心的思想和架構(gòu)。
現(xiàn)在來介紹一下Milvus這款產(chǎn)品,是針對(duì)非結(jié)構(gòu)化數(shù)據(jù)處理而設(shè)計(jì)的檢索產(chǎn)品,可對(duì)到高維度、百億級(jí)向量數(shù)據(jù)的進(jìn)行秒級(jí)檢索,能有效降低硬件成本(至少一個(gè)數(shù)量級(jí))。通過異構(gòu)計(jì)算的核心算法設(shè)計(jì),能夠在所有人工智能相關(guān)領(lǐng)域中使用,比如,人臉識(shí)別,語音識(shí)別,視頻分析,文本分析等,能夠?yàn)?a target="_blank">深度學(xué)習(xí)領(lǐng)域的推理部署進(jìn)行性能提升和有效的成本控制。
整個(gè)系統(tǒng)的架構(gòu)圖如下:
Milvus提供了不同的向量檢索算法,能夠針對(duì)不同的業(yè)務(wù)場(chǎng)景只能選擇最合適的算法從而實(shí)現(xiàn)最高的性能比。
索引系統(tǒng)的性能檢測(cè)報(bào)告如下圖:
現(xiàn)在,Milvus在Github正式開源啦,歡迎各位開發(fā)者在Github關(guān)注我們https://github.com/milvus-io/milvus!
再讓我們來看一下在數(shù)據(jù)現(xiàn)實(shí)的核心產(chǎn)品——MegaWise,是結(jié)構(gòu)化數(shù)據(jù)處理的核心引擎,深度整合了Nvidia Rapids的數(shù)據(jù)科學(xué)平臺(tái)。從圖中可以看出產(chǎn)品是建構(gòu)在Nvidia Rapids異構(gòu)數(shù)據(jù)科學(xué)平臺(tái)之上的,通過整合各種數(shù)據(jù)分析處理組件,實(shí)現(xiàn)了對(duì)時(shí)空數(shù)據(jù)的高性能分析,很好的支持了上層可視化交互平臺(tái)。同時(shí),自主研發(fā)的Picasso 圖形渲染引擎,能夠?qū)?shù)億級(jí)別的時(shí)空信息進(jìn)行秒級(jí)渲染并通過Inifi可視化分析平臺(tái)為數(shù)據(jù)科學(xué)家提供了超大規(guī)模數(shù)據(jù)現(xiàn)實(shí)分析能力。
接下來講一個(gè)在MegaWise數(shù)據(jù)分析引擎的應(yīng)用場(chǎng)景,通過這種圖形化的展示,可以更直觀地解決地理信息數(shù)據(jù)中的難點(diǎn)。
以上是本次分享的部分技術(shù)內(nèi)容,更多詳細(xì)講解請(qǐng)觀看視頻回放(http://www.mooc.ai/open/course/686)。
在本次公開課的最后,ZILLIZ的人力資源總監(jiān)對(duì)公司成長歷程、文化氛圍等做了介紹,同時(shí)ZILLIZ的秋招和社招也正在火熱進(jìn)行中,歡迎感興趣的同學(xué)投遞簡歷,和ZILLIZ一起開拓智能數(shù)據(jù)處理新疆界。
今天的分享就到這里,謝謝大家。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4814瀏覽量
103618 -
人工智能
+關(guān)注
關(guān)注
1806文章
49028瀏覽量
249508 -
數(shù)據(jù)化
+關(guān)注
關(guān)注
1文章
41瀏覽量
4367
發(fā)布評(píng)論請(qǐng)先 登錄
大算力芯片的生態(tài)突圍與算力革命
算智算中心的算力如何衡量?

算家計(jì)算 開啟貴州人工智能算力服務(wù)新篇章

杰和課堂|帶你認(rèn)識(shí)算力

評(píng)論