群聯地端AI管理 成本少90％
新光醫院日前邀請群聯電子公司技術長林緯蒞臨醫療科技展，分享aiDAPTIV+技術。過去群聯曾與NASA合作，在月球上建立全球首座資料中心。在生成式AI問世前，群聯與AI無關，但隨著越來越多企業基於安全、自主性考量將AI大腦建置在地端，群聯則透過管理程式，幫助擴充記憶體，因應運算需求，也讓成本降至10分之1。
企業導入AI時，都會思考要把資料放在雲端還是地端？曾有雲端公司的人找上林緯，告訴他不必花大錢，林緯問對方：「我把技術放入雲端，請你幫我算的時候，你會不會監控我的資料？」，對方表示不會。林緯再問：「假如我辭職加入真主黨，把攻擊白宮的計畫放上雲端，請問你是保護白宮，還是保護我？」，對方答不出來。
林緯舉例，有投信業者工作是將各大銀行CEO對企業的分析製成投資報告，用雲端分析時，無法得出理想的報告，想更改邏輯，告訴AI如何分析時，就猶豫了，原因是那關乎商業機密。對企業來說，最重要的是安全、自主性、可控性。
今年開始，越來越多企業將AI大腦建置在地端。傳統的GPU系統將充當記憶體的HBM綁在一起，好處是存儲資料很快，但生成式AI的模型比過去的影像、聲音模型大了1000～10萬倍不等，過去企業買GPU是為了更快的算力，現在則是因為記憶體不足。
有鑑於此，群聯電子發明了一個架構，透過管理程式擴充記憶體，任何GPU配上此方案，就能運算超級大模型。以90G的模型訓練來說，純用GPU湊齊記憶體需3000萬台幣，且隨著模型成長，錢也持續成長，透過群聯的解決方案，則可將成本降至10分之1。
