image
20240425張珈睿/台北報導

群聯、聯發科 催生平民版GAI

鎖定邊緣、中小型運算新藍海 潘健成:傳統PC設備即能達到70B參數AI運算

image
群聯董座潘健成。圖/本報資料照片
AI市場分層

 台廠發力AI新藍海市場,不與雲端AI直接競爭,鎖定邊緣、中小型運算需求,致力生成式人工智慧(GAI)平民化、普及化。群聯董事長潘健成指出,不需要額外投資,用傳統PC基礎設備,即能達到70B參數AI運算;聯發科資深處長梁伯嵩強調,邊緣與雲端CPU設計有非常大的不同,輕巧化、高能源效率將為未來趨勢。

 潘健成以20年前機械手臂為例,當時要價1,500萬的設備,如今已普及全部工廠;典範轉移正發生於生成式AI身上。他指出,市場如今面臨一樣的問題,頂級GPU太貴、中小企業想用卻用不起,群聯本身也遇到相同痛點,遂開始投入研發,以自身於記憶體領域優勢,在近期推出平價版生成式AI解決方案。

 GPU決定算力、HBM則決定模型大小,潘健成指出,群聯以SSD取代造價高昂的HBM系統,加上輝達消費級GPU打造,將傳統工作站升級為小規模AI伺服器,硬體成本大幅降低;儘管運算速度仍不如大型CSP運端運算,不過相當具備成本優勢;他打趣地說道,台北到高雄,坐飛機最快、但是高鐵更有性價比。

 梁伯嵩則分析,行動處理器在AI人工智慧計算上,受到更多限制。10年之間,手機CPU在同樣面積下,電晶體數量由10億成長至200億個,但受限功耗,在設計上就需要進行取捨,尤其要以幾十億之參數模型進行推論,考驗IC設計公司技術實力。

 要讓大型神經網路的AI能力湧現(Emergence),需要極大量運算需求,短短七年間成長三十萬倍以上,遠超過半導體摩爾定律的成長速度,讓AI快速進入 Large-Scale Era。梁伯嵩表示,現階段將大型神經網路透過預訓練後,再Fine Tune(微調)進行下游任務訓練,兩階段的訓練方式,將協助生成式AI普及化。

 運算需求成為AI進展與普及的關鍵,更是半導體產業的全新機會。台灣身處半導體產業鏈的關鍵角色,從IC的製造者,也同時成為AI應用的領先群,使台灣科技產業更上一層樓。