November 02, 2023|新聞報導

意外趕上生成式AI熱潮 創鑫智慧搶先秀開源模型應用

分享

2023/10/23 - DIGITIMES 林佳楠

生成式人工智慧(Generative AI)當道,軟體領域的突破帶動硬體加速升級。創鑫智慧(Neuchips)執行長劉景慈表示,近期客戶詢問度熱烈,團隊的AI晶片工作站已可運作Meta開源模型,將鎖定雲端市場,且可與伺服器廠商一起打天下。 劉景慈為前英特爾(Intel)台灣分公司總經理,近期加入創鑫智慧團隊。他表示,將強化品牌溝通和國際市場開發,並希望以英文名Neuchips行走江湖。 原本團隊開發的AI晶片鎖定電商、社群平台推薦系統應用。ChatGPT爆紅以後,愈來愈多客戶詢問其晶片可否支援類似ChatGPT的大型語言模型(LLM),團隊才將重心轉向生成式AI戰場。日前赴美參加展覽時,也接觸到不少雲端、NB和伺服器業者。

chat.jpg (222 KB)

圖說:Neuchips表示,其AI晶片從軟體層寫入Meta Llama 2模型,不需網路連線。林佳楠攝

過去團隊主要關注超大規模雲服務商(Hyperscalers)的市場,近期因生成式AI熱潮,前來洽談的客戶數量和領域廣度皆有所成長。 劉景慈認為,語言模型的參數量將愈來愈大,晶片必須能夠配合;但是,晶片迭代速度不夠快時,就得在軟體端預留一定升級和改良的空間。 Neuchips可將其AI晶片放在工作站中,支援參數量70億個的Meta Llama 2模型運作,目前僅接觸到開源模型。工作站的效能可說是介於伺服器與PC之間,並未完全走到邊緣運算。

chat2.jpg (207 KB)

圖說:Neuchips執行長劉景慈指出,團隊的AI晶片可裝在工作站,支援Meta Llama 2模型生成對話。林佳楠攝

 

針對雲端與邊緣應用的差異,劉景慈指出,雲端方面的應用仍由幾家大廠定義,如微軟(Microsoft)推出的AI助理Copilot,即為PC應用帶來新想像,而在邊緣運算市場則有較多廠商競逐,包括PC和智慧型手機端的應用。 「什麼東西要從PC做,什麼要從資料中心做,這要分得很清楚,」他說,因為模型推論相當消耗記憶體,得選擇哪種尺寸的模型要放在什麼位置。 Neuchips不打算走入邊緣或物聯網,而是聚焦企業級應用,並鎖定雲端市場。各大雲服務商聚集的美國市場即是團隊布局重點,近期也積極參加海

外展覽尋求曝光。 而在台灣,其與本土雲服務業者、伺服器廠商也有接觸,未來也可將其晶片搭載台廠伺服器一起出售。 至於各大雲服務商愈來愈重視自研晶片,連OpenAI也想投入AI晶片研發,會否造成市場競爭加劇?劉景慈笑說,「我們可以幫他們做啊。」 他指出,雲端業者相當在乎總體持有成本(TCO)和功耗問題,雖然他們有自研晶片,但也會針對不同工作負載,採購不同廠商的晶片。訓練AI時,可能會採通用型GPU,推論部分則有更多供應商可選擇。 Neuchips整體員工數約70人,在竹科、新北板橋、美國矽谷設有據點,近期盼尋覓新空間以擴編人力。其於2022年宣布,首款AI晶片(代號N3000)投片台積電7奈米,目前積極開發市場,晶片年產量仍難預估。

原文網址:https://www.digitimes.com.tw/tech/dt/n/shwnws.asp?id=0000676699_QVZ7KM1B88Z2YBLW79OAW

網站內容的著作權為大椽股份有限公司(DIGITIMES Inc.)所有,或其他授權DIGITIMES使用的內容提供者所有。 使用者下載或拷貝網站的內容或服務僅限於供個人、非商業用途之使用,但不得以任何形式傳輸、重製、散布或提供予公眾。使用人利用時必須遵守著作權法的所有相關規定,不可變更、發行、播送、轉賣、重製、改作、散布、表演、展示或利用DIGITIMES所屬網站上局部或全部內容及服務以賺取利益。

通過電子郵件獲取最新的創鑫智慧消息。