EE前瞻技術大會聯發科高通同場! 聚焦AI小語言模型、跨裝置AI體驗

EE前瞻技術大會。陳俐妏攝
EE前瞻技術大會。陳俐妏攝


EE前瞻技術大會今天登場,今年主題為「邊緣智慧:重新定義下一波創新浪潮」,AI模型急速上升,解鎖更多功能,晶片大廠高通和聯發科紛紛針對AI語言模型和邊緣終端提出最新看法。兩大廠商均具焦小語言模型,聯發科強打AI AGENT不限語言文字的多模型態,高通則點出感測器跟CPU NPU等AI模型合作也是重點,跨裝置AI的服務體驗才是關鍵。

聯發科企業策略與前瞻技術資深處長梁伯嵩,聯發科在2016年就將AI導入手機,當時在相機應用最多,2022年ChatGPT出現後,AI模型參數愈來愈大,大語言模型參數上看上兆。AI模型急遽上升,也解鎖更多功能。

梁伯嵩指出,近期很多公司推出幾百億小參數語言模型,其實有利於更多裝置使用AI,大型LLM好比博士教授,小型語言模型參數透過大語言模型萃取,讓日常使用其實只需要研究生和高中生等級就可解題。

運用模型縮小技術後,十億參數就可在手機上使用,透過模型提升表現,包括:重點提示,參考手冊,設定各種問題標準程序、模擬考試,成為領域專家,以及找出最佳做法。其中,RAG技術即是設定各種問題的標準程序如FAQ、SOP等,為近期受關注的技術。

AI從資料訓練到推論,訓練模型不是絕對,是需透過相關AI AGENT提升性能的技巧,且也要運用多元模式,像是語音、文字、影像、人機介面,甚至網路資源都是參數來源,未來跟實體環境像是機器人、自駕車,以及網路環境都要能連接。

高通同樣具邀小語言模型和邊緣AI裝置,高通資深技術行銷總監江昆霖表示,生成式Gen AI如果只靠雲端很難普及到更多層面。資料顯示Gen AI 2030年的3.5%電量用在雲端技術上,因此AI推論轉移到裝置到將是趨勢,未來Gen AI將朝向小而憂小而美的方式邁進。

市場也關注肩負AI運算的心臟CPU處理器發展趨勢,江昆霖說明,CPU和NPU都是AI訓練的關鍵,但並非都為一體適用的處理器,主要是看產品設計概念,每一種處理器都有擅長的地方,要看情境如何妥善來]應用。其實,感測器跟CPU NPU等AI模型合作也是關鍵,每個處理器單元充分合作,加上軟體提升,解決複雜使用情境。

要如何加速裝置AI開發和落地,高通推出AI Stock軟體套件,期望能讓AI開發者使用習慣的底層架構。而高通的AI HUB 也具備上百個預先優化的AI模型,開發者如有選用的模型,也能將此模型快速上傳優化,過往需60天轉換,現在只需1天。

對於未來邊緣AI裝置趨勢,江昆霖分析,目前市場約有25億個AI智能裝置橫畫行動裝端和穿戴等產品,未來將大幅成長,裝置上AI 不只能執行Gen AI跨裝置AI的服務體驗才是關鍵。

更多太報報導
丞相起風了! 投資長:陸股轉折、輝達晶片測試OK 光輝十月可期
【國銀前進東南亞】泰國微型金融興盛 借貸成日常8成借錢過生活