April 07, 2023|新聞報導

創鑫智慧AI晶片節能指標排第一 超越高通輝達

分享

經濟日報 編譯簡國帆/綜合外電
 

最新人工智慧(AI)晶片評測數據顯示,在三項節能指標中,高通的Cloud AI 100晶片有兩項擊敗輝達的H100晶片,台灣新創公司創鑫智慧(Neuchips)則在其中一項指標掄元。

 

路透報導,輝達主宰了AI訓練模型市場,但在訓練後,這些AI將被投入所謂「推論」(inference)的更廣泛用途,包括對提示詞(prompts)生成回應文字,或判斷一張圖像是否包含貓等。分析師認為,資料中心推論晶片的市場將迅速成長,因為企業都正把AI技術運用於產品中,Google等企業也在探索如何降低額外成本。

 

在這些主要成本中,其中之一是電力。高通已經從為智慧手機等耗電裝置設計晶片的經驗,創造出Cloud AI 100晶片,目前是壓低耗電量。

 

MLCommons發布的測試數據顯示,高通AI 100晶片在分類圖像的表現擊敗輝達的H100晶片,判斷基準為每顆晶片每瓦能處理的資料中心伺服器查詢量,高通的晶片每瓦能處理197.6次伺服器查詢,多於輝達的108.4次。

 

不過,這個指標的榜首是由台灣學者林永隆所創辦的創鑫智慧拿下,每瓦可處理277次查詢。

 

高通晶片的物體偵測效能,也以每瓦處理3.2次查詢,超越輝達的每瓦處理2.4次查詢。物體偵測的應用包括從零售商店的影像分析消費者最常逛那些地方。

 

然而,在自然語言處理(被廣用於聊天機器人等系統的AI技術)測試中,輝達在絕對的效能與節能表現,都排名第一。輝達每瓦處理10.8組樣本,創鑫智慧的每瓦8.9組排名第二,高通位居第三,每瓦處理7.5組樣本。

 
 

通過電子郵件獲取最新的創鑫智慧消息。