專攻資料中心推薦系統的 IC 設計新秀創鑫智慧,它憑什麼能在「高能效」打敗 NVIDIA

最新AI资讯1年前 (2023)发布 Aibot114
3,710 0
广告也精彩
專攻資料中心推薦系統的 IC 設計新秀創鑫智慧,它憑什麼能在「高能效」打敗 NVIDIA

今年初開放工程聯盟(MLCommons)的 MLPerf AI 推論(inference)效能基準測試中,有一間台灣公司端出了世界第一個專為資料中心推薦模型(Recommendation Model)設計的 AI 晶片 RecAccel N3000 的測試數據,並在伺服器領域的能源效率(energy efficiency)打敗輝達(NVIDIA),成為世界第一能效的 AI 加速平台-它就是 IC 設計新秀「創鑫智慧」。

響應半導體策略計畫成立創鑫智慧

說起自 2019 年成立的創鑫智慧,技術長高肇陽分享,創鑫智慧成立的契機,要把時間軸拉回 2018 年科技部長陳良基推動的半導體策略計畫來說。那時候還在清華大學資工系任教的教授林永隆響應計畫,號召幾位已經有工作經驗的工程師一起來執行計畫,而這個計畫與其他計畫的不同之處,在於計畫需要與產業連接,也就是一開始就要設定產學界合作的實際方向。

他口中的林永隆正是創意電子的共同創辦人之一。事實上,創鑫智慧是林永隆退休後的第二次創業,高肇陽指出,最初團隊是跟矽谷一家做語音 IC 的大廠合作,共同開發第一顆可以做序列式資料(sequence data)的 AI 處理晶片,可以廣泛用在邊緣裝置(Edge Device)的終端產品,像是有麥克風的地方就可以應用這類的產品。

創鑫智慧提供一個 IP 整進對方的晶片,現在這顆晶片很成功,已經在量產。高肇陽指出,到了 2019 年,創鑫智慧就正式從清華大學分拆出來,並獲得投資人的支持,因此開始思考下一輪產品研發方向,鎖定的就是 AI 邊緣裝置的終端產品,會選擇資料中心(data center)專用的 AI 晶片,主要就是因為台灣產業在這方面的著墨較少,目標要切入一個適合新創發揮的新舞台。

專攻資料中心推薦系統的 IC 設計新秀創鑫智慧,它憑什麼能在「高能效」打敗 NVIDIA

資料中心 AI 推論 60% 工作量在推薦系統

鎖定資料中心的 AI 晶片後,高肇陽說明,團隊開始收集適合的資料,發現 Google 就曾說資料中心每日的 AI 推論的計算,超過 60% 是在做深度學習(DLRM)的推薦系統,而 Facebook 母公司 Meta 公布的資料顯示,資料中心每日 AI 的工作量有 70% 以上是推薦系統。

高肇陽分享,從使用者的角度,其實可以深刻感受到這件事,因為當使用者在滑手機 App 時,頁面就會一直出現新聞、廣告、音樂、購物的推播,這些背後全部都是推薦系統。若從 Google 的使用經驗來看,當使用者輸入關鍵字,每個人看到的頁面顯示結果都不太一樣,所以可以想像推薦系統的應用很廣,代表整個資料中心提供的主要服務就是推薦系統,因此鎖定推薦系統用的專用 AI 晶片。

最重要的是, Facebook 在 2019 年曾在開放運算計畫(Open Compute Project)公開徵求推薦系統的專用晶片,高肇陽指出,創鑫智慧因此看到市場的趨勢所在,所以決定從邊緣運算端切換到資料中心。

專攻資料中心推薦系統的 IC 設計新秀創鑫智慧,它憑什麼能在「高能效」打敗 NVIDIA

創鑫智慧專攻推薦系統做到世界第一

選定公司接下來發展的主軸後,創鑫智慧用短短四年就成功打造出 AI 晶片。創鑫智慧的這顆 AI 晶片的效能是 2.44 倍,內含 16 萬個乘加器(MAC)及 150MB 記憶體,只需要 20Watt,每秒便可進行 2,000 萬次 DLRM 推論,為全球唯一可達到每秒單一推論能耗 1 微焦耳,具備運算速度快、高效能、高省電的特點,並在 2022 年宣布投產台積電 7 奈米製程。當時, 7 奈米一片晶圓代工價格就超過 40 萬元,一家大眾都不熟悉的新創公司竟然有能力採用 7 奈米製程,令業界刮目相看。

針對創鑫智慧這顆在省電「高能效」拚出世界第一的 AI 晶片關鍵技術所在,高肇陽分享,輝達生產的是圖形處理器(GPU),可以做的事情很多很廣,但是創鑫智慧做的是特定應用積體電路(ASIC),專門針對推薦系統的軟體、硬體、架構、資料流、精準度等應用,特地優化設計出來的晶片和系統,而系統就包括軟體、PCB 加速板、晶片一整套為深度學習量身定做的推薦系統。

外界或許會好奇,創鑫智慧的致勝策略究竟是什麼?答案是「鎖定一個特定的目標,把問題的範圍縮小」。高肇陽強調,其實最初並沒有想著要全面性打敗輝達的效能,反之,他們一開始就是鎖定單點突破,因為 MLPerf 的評測就像是 AI 加速運算的奧運會,裡面有很多不同類別的比賽,而輝達的 GPU 是十項全能的運動高手,每一項比賽都可以參與到完賽,但是創鑫智慧的 AI 晶片就是鎖定深度學習推薦系統的單項做到最好。

而這家選擇做自己最擅長領域、縮小打擊範圍,並做到最好的新創公司,面對著市場快速的變化,它也已經在規畫下一代的產品,目標就是可以支援更多樣的運算,然後更新種類的推薦系統,以及更好的效能功耗比,並確定仍會持續往推薦系統這條路來走。除了產品的推陳出新,創鑫智慧還有另一項重要的目標,那就是期望兩年內員工規模可以擴大到 100 人,真正地走向世界舞台與國際大廠競爭。

(首圖來源:創鑫智慧)

© 版权声明

相关文章

暂无评论

暂无评论...