May 24, 2023|新聞報導

AI晶片正夯,竟有台廠超越輝達!台灣IC設計新兵如何在短短4年成為國際大廠不敢輕忽的對手?

分享

撰文/林宏文 | 2023-05-18 發表 

日前MLCommons公布最新人工智慧(AI)晶片評測結果,來自台灣的創鑫智慧,在做為推薦用途的AI推論(inference)晶片,每瓦處理次數上超越輝達(nVidia),這是台灣IC設計業者很少見超越世界一流大廠的成績,而且創鑫智慧成立於2019年,是一家創業才四年的小型IC設計公司,如何做到這項成就,相當引人關注。

創鑫智慧(Neuchips)創辦人為前清大教授林永隆,他也是早年與石克強、盧超群一起創辦創意電子的三位創辦人之一,公司創始團隊有七至八人,很多是林永隆教授的學生,來自創意、聯發科、聯詠、瑞昱等公司。至於Neuchips的Neu有兩個意思,一是人工智慧神經網絡(Neuro),二是創新(取其和New同音)。

創鑫智慧成立之初,曾經做了一個智慧音箱回音消除的小IP,而且也做出不錯的成績,目前已經在收取權利金。不過,後來創鑫智慧會切入AI晶片開發,是因為早期有一家創投來做投資評估時,提到這種使用端(edge)的晶片市場及規模都不大,這家創投出手都是數幾百萬美元,當時表達希望創鑫智慧選擇做大一點的題目,才願意承諾投資。

 

於是,創鑫智慧團隊開始尋找更大的創業題目。當時臉書(後改名Meta)積極推動開放運算計畫(Open Compute Project,OCP),目的是要重新打造開放式資料中心硬體架構,並希望與供應商一起定義硬體,提升硬體的效率、韌性和可擴充性,更重要的目標則是降低採購成本。創鑫智慧在OCP眾多提升硬體的需求中,選到推薦系統這個題目。

 

推薦系統耗費大量運算 「省電」成為關鍵

 

所謂的推薦系統,就是現在網友上各種電商、社群平台時,都不時會收到來自平台的推薦廣告及影片,平台的目的是提升用戶體驗,增加使用者黏著度,當然更重要的則是要做更多生意,廣告收入已成為所有電商社群平台最重要的獲利來源。

 

更進一步說,推薦系統其實就是精準行銷,是每個人上網時都逃不掉的天羅地網,系統會根據使用者瀏覽等路徑,判斷及推薦你會有興趣的內容給你,不管是推薦給你相關商品的廣告,或是相關的文章及影片。

 

而且,這種推薦系統需要耗費資料中心大量運算,估計占整體的六、七成運算量,因此,如何打造出一款AI加速晶片,提供更快、更準、更省電的解決方案,正是臉書這些大型資料中心客戶最迫切需要的。

 

 

創鑫智慧在評估切入市場的可行性時,也很清楚當時Google已在推自己的晶片TPU,至於臉書則採用外部的CPU及GPU,其中GPU當然是龍頭輝達的天下。這是難度很高的挑戰,創鑫智慧一家新創公司,若要做出具競爭力的產品,很難與這些大廠拼速度,只能從兼顧速度及能耗兩個目標著手,尤其是能耗這個目標更重要。

 

前面提到,推薦系統占資料中心六、七成運算量,是最耗能的部分,像現在當紅的ChatGPT,GPT3每做一次訓練,就要耗資超過1000萬美元,產生550萬噸的二氧化碳。許多資料中心如今都是吃電怪獸,而其中耗電的關鍵原因就是來自晶片的設計。

 

對於像臉書這樣的平台來說,所有的投資都要有獲利,晶片若太耗能,例如推薦一個廣告需要花1元電費,但用戶點擊後回收的廣告費只有0.5元,這種推薦絕對不可能做,因為一定會賠錢。因此,創鑫智慧確認,未來AI晶片能夠省多少電,將是決戰重點。

 

若以晶片絕對效能來說,創鑫智慧當然比不過國際大廠,但若目標是速度快又要省電,就有機會超越,因此,創鑫智慧便決定從不同的產品定位切入,不在速度的「高效能」上與大廠競爭,而是在省電的「高能效」上爭取突破表現。作法上則採用整合目前市場上最佳IP組合,並以FPGA模擬開出新AI推薦晶片。

 

 

力求產品競爭力 選擇昂貴的7奈米製程

 

當然,晶片的速度還是相當重要,最初創鑫智慧在規畫晶片速度時,就考量到每一個推薦要壓縮到150毫秒(也就是0.15秒),也就是說,電商及社群平台要在0.15秒內把推薦資料傳給用戶,如此才能讓用戶即時看到,並吸引用戶去做點擊,若推薦時間無法在0.15秒內完成,用戶的瀏覽頁面已經跳過去了,廣告商機也就不見了。

 

因此,為了達到0.15秒內就要完成推薦,AI晶片的運算時間更要壓縮到只有0.03到0.05秒,也就是30到50毫秒,以這樣的速度做晶片設計。可以想像,這樣的AI晶片計算速度會有多快。

 

此外,早在2019至2020年,創鑫智慧就決定採用當時最先進的7奈米製程,這也是很大的賭注。因為7奈米晶片開發及生產成本都很高,這是經過一番思量才做的重要決定。

 

據了解,台積電7奈米製程每片代工價約1.35萬美元,換算約新台幣40萬元以上,對於新創公司來說,可以說是高不可攀的天價。但考量這個晶片要達到臉書2022至2023年的採購計畫,而且一旦切入供應鏈就要繼續用3年到2026年,屆時若製程技術不夠先進,產品一定沒有競爭力,因此創鑫智慧最後就咬牙選擇昂貴的7奈米製程。

 

▲由國科會及經濟部扶持的創鑫智慧,為國內首家切入7奈米製程IC設計新創業者,左三為公司董事長林永隆,左一為營運長陳建良。

 

在產品定位清楚後,接下來就是如何執行了。新創公司資金有限,創鑫智慧初期研發人員只有十位,因此在開發IC過程中,就想辦法充分運用外部資源,例如參與前科技部長陳良基時代推動的「半導體射月計畫」,也申請經濟部AI on Chip的科專計畫補助。

 

另外,創鑫智慧在設計IC時,也大量運用台灣IC產業的生態系資源,例如大量授權採用美商新思(Synopsys)提供的整包矽智財IP,另外在設計服務及晶圓製造上則委託創意電子,此外在設計平台也運用工研院的資源。

 

創鑫智慧公司營運長陳建良說,對於新創公司來說,第一個產品絕對不能失敗,因為首戰即決戰,所以要把所有可能的問題都思考清楚,只要外部有更好的夥伴時,就採取外包合作的方式,如此創鑫智慧可以把時間及資源投入到最重要的事情上,讓晶片順利成功開發出來。

 

與國際一流大廠競爭 未來掛牌價值看漲

 

如今,創鑫智慧的AI晶片可以算是成功了,最初做建議的那家創投,後來也成了公司重要股東。但選擇這條困難的路,也讓需求資金比一般同業大很多,2019年創鑫智慧募A輪,只募資新台幣7500萬元,但後來B輪則跳升到3500萬美元,2022年B2輪再募了2000萬美元,主要投資人包括緯創旗下鼎創、凌陽創投、力積電、瑞鼎、台灣集富一號等。

 

創鑫智慧走向世界舞台,並且與國際一流大廠競爭,可以想像,未來掛牌上市價值也會很可觀,很可能是十億美元以上的獨角獸。當然,未來公司要投入的資金也會更多,預計接下來還會有更高額的募資計畫。

 

▲經濟部日前舉辦「AI on Chip科專成果發表記者會暨AITA會員交流會」,發表包括創鑫智慧在內的六項AI人工智慧晶片世界級關鍵技術。

 

創鑫智慧專注打造世界一流的AI晶片,不論從選題到破題,從產品定位到執行細節,都是產業界可以學習參考的對象。我認為,重點在於公司先有挑戰世界級對手的企圖心,因此選定進入障礙最高的資料中心推薦用AI晶片,之後又直接切入7奈米先進製程,成為聯發科之外,很少數採取先進製程技術的台灣IC設計公司。

 

此外,台灣半導體的生態系,不論從矽智財IP、IC設計服務資源,再到晶圓代工、封測等條件,其實都提供了創鑫智慧很多茁壯的養份,但團隊也是最懂得利用這些生態鏈助力的企業。很多觀念較傳統的企業,所有事情都要自己做,不放心外包及委外合作,也因此限制了自己的發展,這提供大家另一個很好的思考重點。

 

總結來說,對於台灣IC設計產業來說,已有很多年沒有出現像創鑫智慧這種令人眼睛為之一亮的新明星,短短幾年就在全球舞台取得不小成就,很值得將這個個案,做為台灣半導體業繼續升級發展並擴大全球影響力的一個最佳範例。

通過電子郵件獲取最新的創鑫智慧消息。