解決AI耗能高成本挑戰！叡揚資訊前10月營收新高，董座張培鏞曝致勝關鍵：輕量AI貼近企業需求

「去年年初的時候，我們團隊很多人都睡不好覺。」今（11/15）日叡揚資訊舉辦的「AI Solution Day」論壇活動上，叡揚資訊董事長張培鏞描述了近一年來AI（人工智慧）快速發展背後，給技術團隊帶來的挑戰，「因為一覺醒來，AI又有新的東西出來。」

特別是以ChatGPT為首的生成式AI，近一年來快速在多個產業領域，發展成各領域專用的AI應用。資策會軟體技術研究院院長蒙以亨指出，生成式AI如今在醫療、淨零碳排、製造控管與企業管理上，都已經有不同的應用逐漸成熟，此外也能看到對於會計、法務等格式相對標準的專業領域，AI替從業人員帶來的效率提升。

不是每個企業都供得起GPU

也正是緊跟著AI的發展，叡揚的技術團隊逐漸摸索出AI應用在實務上，所面臨到的實際問題。叡揚資訊總經理陳世安指出，這其中最大的問題在於算力，「搭建數十萬美金的GPU伺服器，不是每一個企業都買得起。」如何讓AI能以更低的成本落地、並真正成為企業客戶需要的功能，是AI應用發展的關鍵挑戰。

張培鏞說明，去年開始驅動AI快速發展的重要技術「LLM（大語言模型）」，讓AI具備能夠理解問題、提供解答的能力。然而，每一個LLM的特性由於AI模型、背後的數據不同，因此提供出來的答案，未必能精確滿足客戶的需求。

「另一個LLM的問題，就是很耗能。」張培鏞解釋，由於LLM需要使用大量GPU算力的基礎設施，耗能與高成本會成為中小型企業客戶的負擔。叡揚的解方，是提供更具針對性、甚至可以不用GPU也能運作的「小AI模型」，來滿足客戶所需。

鎖定小AI模型解決方案

一方面，小AI模型能夠減少對於算力基礎設施的建置成本；另一方面，小AI模型也能更有針對性，提供客戶偏好的格式，產出答案或報告。「客戶也會擔心，AI使用的權限管理問題。」陳世安說明，當客戶面臨資料不適合透過雲端使用，能夠以較低算力、在地端運行的小AI模型，就是能讓AI應用加速落地的重要方案。

對叡揚而言，發展AI事業的重要基礎，是目前各行各業持續擴大的數位轉型。今年前十個月，叡揚累積月營收達到13.9億元、創下歷史同期新高，陳世安表示正是數位轉型的市場需求趨動。「叡揚在做的，就是讓客戶可以透過AI找到對的資料。」隨著數位轉型的普及、有更多數位化資料能提供給AI使用，張培鏞自信鎖定小AI模型的解決方案，將能更好的協助客戶導入真正有用的AI應用。

更多今周刊文章
《張忠謀自傳下冊》千字自序首度曝光！張忠謀：在德儀最後「絕望的6年」賠上婚姻、催生台積電
「謝謝爸爸把貪玩的我帶回台大」蔡明忠獲頒名譽博士！回憶當年1通電話叫他回來，至今沿用父親印泥
存股006208，2年賺90萬還嫌少？達人敬告散戶：「財富自由簡單這樣做」！大神億來億去的故事難以複製