Yahoo奇摩新聞 「演算法縮小術」搶攻輝達、微軟生意！滿拓科技助企業大減GPU用量、成本砍半
「我們最近一直在找人，不然業務人員只有一位而已，他已經快爆掉了。」滿拓科技創辦人吳昕益苦笑著說。人力不足的原因是，客戶在幾個月內突然不斷上門。
滿拓是一家專精於「AI模型微型化」的新創公司，一直到去年，客戶量都是用「10幾家」來概括。沒想到年底生成式AI爆發後，把龐大的模型微型化變成最關鍵的技術，因為可以大幅降低企業部署AI的門檻和成本。
吳昕益粗估，今年以來接洽的客戶已經超過50家企業，以滿拓目前的規模，沒有餘力吃下這麼大的量，最後真正接下的大約30家，其他只能忍痛推拒。「我們確實有幸運的成分在。」滿拓從2018年創立後，在晶片設計、影像辨識等各種領域浮沉，去年剛確定轉向AI模型微型化的賽道，今年就被「帶飛」，如今左手和微軟（Microsoft）瓜分客戶，右手影響到輝達（NVIDIA）的GPU生意，他們怎麼做到的？
滿拓在做什麼？優勢是什麼
滿拓提供的AI模型微型化，簡單來說就像哆啦A夢的縮小燈，能夠把龐大參數量的AI演算法縮小，塞進不同大小的地端資料中心裡，成為企業自己擁有的資源，讓原本只能在AWS、Google Cloud、微軟Azure等公有雲上運行的模型，也能用來支應企業的日常任務。
對企業客戶來說，滿拓的技術有三大優勢能助攻AI應用：
助攻力1：保留關鍵特徵，「縮小燈」讓演算不失真
把東西縮小，聽起來很輕鬆簡單，但目前業界不少相關服務是採用「剪枝法」或「量化法」把看似不重要的參數都拿掉，勢必會降低模型的精準度。滿拓的專利技術正好鎖定這項痛點，直接把運算單元縮小，將原本位在雲端以32位元運算架構來撰寫的複雜演算法，轉為4位元或8位元的運算架構，等於用更簡單有效率的處理原有的AI演算法，運算量和資料量減少90%，但精準度卻只會減少1%。
吳昕益進一步解釋，這就像判斷一隻大象，會有一些指標性的特徵，例如長鼻子、大耳朵，讓你能從部位就看出這是大象。滿拓的技術就能把真正關鍵的細節保留下來，讓模型在壓縮過程不會因此失去判斷力，就如同縮小燈能把人類等比例縮小，卻不會因此「缺手、缺腳」。
助攻力2：GPU成本大降，百萬搞定任務
對渴望掌握生成式AI能力的企業來說，這項技術最大的吸引力就是成本的縮減，尤其是目前因缺貨價格飆漲的GPU。例如輝達最高階的的GPU H100，一台伺服器8張的組合就要價22萬美元（約為新台幣702萬元）。使用滿拓的技術縮小模型後，可以把需要300張GPU算力的任務，縮小到8張GPU就可以完成，「輝達應該不會太喜歡我們。」吳昕益笑著說，雖然必須拉長運算時間，依照需求可能花1倍、2倍到10倍時間都有可能，但是對企業來說，大多願意用時間來換取成本的降低。
換算下來，滿拓從前期資料清洗、模型訓練到導入系統，整套服務最多只要百萬元就能完成，「我們定價策略很簡單，就是從微軟價格的一半開始砍。」吳昕益坦言，以微軟的技術和能提供的服務，已經算是業界的天花板，想和他們競爭客戶，勢必得靠價格彈性搶下客戶的心。
助攻力3：地端部署，客製化訓練
對企業來說，滿拓的另一項重要優勢在於「地端部署」，當模型的體量縮小後，能放在公司的地端伺服器中運行。這一點對於金融業、政府機關等握有大量機密資料的客戶來說特別重要，能夠減少數據外洩的問題。
正是因為這項優勢，讓滿拓有能力以「小蝦米」之姿，從微軟、AWS等公有雲巨頭的口中撕下一塊餅。
吳昕益指出，這些巨頭雖然手握巨量參數模型和龐大算力，但弱點在於無法做精細的客製化訓練，或者幫助單一企業部署到公司裡、完成整套流程，這正是滿拓的機會所在，「如果你需要完全地端、需要客製化，只有我們能做。」發現需求所在後，滿拓甚至開始把前段的資料清洗和後段的系統串接都拿來做，如果客戶不想費力，只要提供資料，其他時間都可以「躺平」。
不過吳昕益指出，和公有雲雖然是競爭對手，也是能互補的盟友，透過合作可以提供客戶選擇，例如把不趕時間的任務留在地端算、節省成本，若有很急迫的任務，就多花錢放上雲端去處理，形成一套雲地混合的方案，目前已經在和台智雲進行類似的合作，「等到目前的客戶已經有超過30家完成部署，規模夠大了，我們就會去找微軟敲門，尋求合作。」
慢磨十年闖進AI生意，滿拓業務放眼東亞
在業務量不斷提高的情況下，滿拓除了組織要擴編，也預計明年第一季將啟動A輪募資，「其實募資完全是為了活下去，因為計畫越大，燒的錢越多。」已經眼看著許多AI新創倒在灘頭上，除非背後有龐大的集團投資支援，否則真的很難在AI這塊資本密集的市場中活下來。
滿拓絕非一帆風順，在錯誤的賽道上載浮載沉，2018年創立時，技術已經在清大實驗室裡磨了10年，當年是想推一款IC設計軟體工具，讓企業更輕鬆設計AI晶片，但產品總歸是從實驗室孵化出來，缺乏實際應用經驗，讓企業難以信任甚至買單。
後來轉做影像辨識技術，其中一塊配搭的技術就是微型化，縮小模型加快影像辨識的速度，當時還只是個「Nice-to-have」（可有可無），生成式AI 崛起後，卻成為模型部署地端的「Must-have」（必須），陰錯陽差跑對賽道，滿拓現在的任務是趕快站穩腳步。
為了加快AI導入速度，更有效率降低成本，滿拓利用近期累積的經驗，將企業客戶最常用的需求打造成6大類預模型產品，未來客戶有相關需求，只要進行微調修改，就可以快速上線使用，整個團隊不用再從頭開始打造客製化產品。
滿拓6大類需求專用模型
客服Customer service：滿足客服聊天機器人的訓練需求
文件處理Document Expert：整理資料文件內容、按照需求調用資料
寫程式 Code Expert：協助IC設計工程師產生程式的模型
會議記錄 Meeting Expert：自動會議記錄，辨識人聲並摘要重點
圖像生成 Text to Image：輸入文字聲成圖案
模型調校Fine Tune：將AI模型微調訓練
既然做的是生成式AI的服務，需求自然是全球性的，滿拓目前的規模來說只吃得下國內生意，但早已經摩拳擦掌準備出海，目前先往東南亞擴張版圖，和新加坡、馬來西亞、 越南等地代理商建立關係，培養代理商技術能力，「其實當地企業需求還非常弱，但我們可以先挾著技術領先去圈地。」更遠的下一步，會瞄準競爭更激烈的東北亞地區拓展。
慢磨十多年才等到這陣風起，滿拓已經準備好把幸運轉換成動力。
延伸閱讀：GPU太難買，又想導入AI怎麼辦？軟體技術助攻AI商機，三招優化GPU！
責任編輯：林美欣
更多報導
GPT-4變懶了：轉檔推太長，表格也只給3行！OpenAI怎麼說？AI模型為何會變笨？
全民工程師時代來了！簡立峰：領域型人才吃香、「對AI下咒」變新程式語言
