新聞中心

                        EEPW首頁 > 智能計算 > 編輯觀點 > Habana攜超強AI芯片入局,向CPU、GPU大鱷亮劍

                        Habana攜超強AI芯片入局,向CPU、GPU大鱷亮劍

                        作者:王瑩時間:2019-06-21來源:電子產品世界收藏

                              初創公司以色列Habana Labs從隱身變為高調,近日在京舉辦新聞發布會,首席商務官Eitan Medina介紹了兩款芯片及解決方案,分別用于推理和訓練,適合、自動駕駛等應用,競爭目標直指用領域最高性能的CPU和英偉達GPU,號稱性能同比高三四倍,延遲更低,且擴展性超強,集成度更高。

                        本文引用地址:http://www.xinfa15808.cn/article/201906/401790.htm

                        1561098898320916.png

                        照片:Habana首席商務官Eitan Medina

                              Habana的芯片推出周期為9個月,2018年9月宣布推理芯片Goya,2019年6月宣布訓練處理器Gaudi。

                              該公司盡管2016年成立,已有兩輪投資,第二輪投資由Intel等參與,現在有約1.2億美元資金,主要用于招募眾多優秀的DSP、處理器人才。公司已有一百余人,大部分為開發人員。公司開始做軟件和算法,積累兩年后,于2018年9月推出第一代芯片Goya。兩代芯片皆采用16 nm工藝,在臺積電流片。

                        1561098995761489.png

                              1  Goya:高性能的AI推理處理器

                              Goya有基于PCIe的卡,用于服務器的推理和預測。通過和CPU、英偉達GPU相比,Goya性能有3倍的優勢,功耗和延遲也很低,可以實時處理圖片。

                        1561099073705302.png

                        圖片4.png

                              迄今,Goya仍是市場上最強性能的產品。3片Goya卡相當于8片Tesla(特斯拉)V100 GPU,169個CPU服務器。

                        圖片5.png

                              那么,為何Habana的芯片性能領先?通常有兩種方式可以保證領先,一種是架構,另一種靠工藝。Goya屬于前者,依靠架構。首先,不像GPU,Goya是完全針對AI和全可編程設計的,并且有Tensor(張量)處理核心(TPC)。

                        圖片6.png

                              AI的性能主要體現在兩方面:計算能力和延遲。batch size直接影響了處理器性能。在中,GPU的batch size要定得很大,否則會影響性能。為了實現大的batch size,需要把很大數量的數據讀到內存中,這帶來了延遲。Goya可以用較小的batch size,甚至一張圖片即可,因此延遲低,這特別適合自動駕駛這類實時性強的應用。

                              推理的一個重要指標是精度。在整形化(quantization)方面,Goya由于很強的算法團隊,2018年在國際學報上曾發布了四篇論文。

                              在生態方面,很多客戶過去是在GPU和CPU上做的算法,現在轉到Goya也很容易,Habana公司有軟件堆棧(SynapseAI),支持客戶在不同處理器(GPU、CPU、FPGA等)上的訓練,然后在Goya上運行。

                              很多人不相信Habana這家小公司,但實際上Goya產品非常成熟,有很多客戶采用,例如facebook開源了Glow,并在官網上認可了Goya,因為Goya為Glow機器學習編譯器實現后端開源。另外,Goya把驅動提供給了Linux,獲得了Linux的支持。

                        圖片7.png

                              盡管現在很多客戶在用CPU和GPU,但是正在尋找更好的處理器,因此Goya還可以給客戶提供定制化的產品,因此要給客戶最大權限的開放。

                              總之,Goya讓客戶在CPU和GPU上實現AI的推理和預測工作,可以容易地移植到Goya上。過去90%的推理和預測是在CPU和GPU上做的,現在有了專用的AI推理處理器。

                              2  Gaudi:處理能力強大4倍的AI訓練處理器

                              Gaudi性能是最新的英偉達GPU的4倍,且在很小的batch size情況下實現的。

                        圖片8.png

                              支持RDMA是AI訓練芯片的下一代發展方向。為此,AI訓練處理器的領頭羊——英偉達已于2019年3月收購了Habana的老鄉——以色列Mellanox公司,以獲得RDMA技術,使之可以運行在以太網環境中。Gaudi更進一步,集成了RDMA over Converged Ethernet(即RoCE v2)功能,從而讓AI系統能夠使用標準以太網擴展至任何規模。不僅如此,Gaudi的獨特之處是集成了10個RDMA,而英偉達需要外接一個PCIe switch(如下圖)。

                        圖片9.png

                              Gaudi有芯片、卡(子卡和PCIe卡)及系統方案,通過PCIe,可以做垂直及橫向擴展,使性能倍增。例如,Habana推出了一款名為HLS-1的8-Gaudi系統,與英偉達DCX-1(注:英偉達已出DCX-2)比較,基于Gaudi的HLS-1系統在擴展性、總線效率等方面最高的。

                        圖片10.png

                              應用案例,可以16個Gaudi芯片并用;或通過數據并行化和層級化處理提高處理效率,因此可以建立1千片Gaudi芯片的系統。在AI中,除了數據的并行化處理之外,還有模型的并行化處理,把大模型分成多個小模型,挑戰是之間的通訊,由于Gaudi有很多通訊接口,因此保證了通訊帶寬。而英偉達GDX-2沒有這么強的能力,因為英偉達的通訊接口有限,且采用了私有的協議。而Gaudi采用了內置的RDMA方案,可以靈活擴展,例如2千個芯片連接。因此,可以單機或幾百芯片互聯,進行大型模型的訓練,可謂沒有應用的邊界。而傳統CPU很難超過16個互聯。

                              另外建議客戶不要用私有協議互聯,而在通用協議下,這樣可以在AI生態圈里選擇更多的處理器。

                        圖片11.png



                        關鍵詞: AI 數據中心

                        評論


                        相關推薦

                        技術專區

                        關閉
                        广东快乐十分开奖结果