台灣DRAM產業將因為AI而重生？他說邊緣AI給台灣的龐大機會，南亞科、華邦電、鈺創都看到了！

2024年是AI PC元年，但在國內各家記憶體廠商眼中，AI大潮帶來的商機，肯定不只AI PC，而是整個邊緣AI（edge AI）創造的龐大機會。

半導體專家楊瑞臨認為，隨著AI的推論（inference）功能，將逐漸從雲端的AI伺服器擴散至裝端裝置，記憶體廠商的商機並非只有AI伺服器需要的HBM（高頻寬記憶體），未來終端裝置需要的相應記憶體肯定同步攀升。

他預言，隨著生成式AI大爆發，「台灣的DRAM（產業）開始要重生了！」

AI兩大關鍵字：訓練與推論

在人工智慧圈子中，兩個關鍵詞愈來愈被大家提到，就是「訓練」（training）及推論（inference）。

「訓練」就好像人類去學校上學、接受教育；「推論」就是把我們在學校學到的知識，應用在日常生活中。

例如，我們問ChatGPT問題，ChatGPT就是運用它被持續訓練的模型，生成文字或圖片給人類，這就是「推論」。

若根據輝達官網說明，受過訓練的神經網路會在數位環境裡，發揮學習到的內容來辨識影像、聽懂人類語言、判斷血液疾病，或是建議人類可能下一雙會買的鞋子等等。

這就是「推論」。

AI推論會從雲端跑到終端，「這是台灣一大機會！」

現職為工研院產科國際所研究總監的楊瑞臨，在周日（9日）播出的數字台灣節目，接受主持人謝金河訪談時表示，隨著終端裝置採用邊緣AI日漸普遍，四年後全球AI推論運用將遠高於現在，這將是台灣科技業的一大機會。

他秀出一張國際產業機構對於資料中心（data center）電力消耗的趨勢預估，其中推估到了2028年，AI推論將佔了85%耗電，AI訓練只會佔15%。

「你甚至不用跟雲端連線，即使是離網或斷網，你都可以問ChatGPT問題，它馬上回給你，還能跟著你的問題去學習，你可以不連網，可以不連雲端。」

「所以，推論會從雲端跑到終端，這是台灣一大機會！」

「台灣所有的DRAM業者，都看到這個機會」

如果看同一張表格中的AI工作負載，2023年是95%在雲端、5%在終端；到了2028年，估計雲端佔比將下降至50%，在終端佔比則飆升至50%。

楊瑞臨指出，未來如果把大型資料中心使用的大語言模型（LLM），縮小至終端裝置，就會需要搭配小推論模型的DRAM。

「台灣所有的DRAM業者都看到這個機會，也就是終端（裝置）的AI晶片與DRAM結合。」

「南亞科有看到，華邦應該有看到，鈺創也有看到。」

「所以，台灣DRAM相關產業，在未來終端（裝置），因為生成式AI大爆發，台灣的DRAM（產業）開始要重生了！」

邊緣AI推論運算應用 正朝三大方向發展

目前生成式AI已逐漸朝向邊緣裝置延伸，根據DIGITIMES研究中心觀察，邊緣AI推論運算應用產品朝向三大方向發展，第一為x86架構的PC及NB。

第二為ARM架構的手機及平板。

第三為ARM/ RISC-V架構的物聯網裝置。

由於邊緣生成式AI推論關鍵，是晶片的運算力，因此各大晶片廠商今年紛紛推出相關產品應戰。

研華：邊緣AI市場將是AI伺服器上萬倍

工業電腦大廠研華（2395）產業雲暨影像科技副總經理鮑志偉，上周在台北國際電腦展（Computex）記者會中表示，邊緣AI的市場正在快速擴張，預計2025~2026年進入爆發式成長。

他指出，邊緣AI市場將是AI伺服器的上萬倍，就研華內部看到客戶使用資料，有太多使用情境被客戶創造出來，是過去工業電腦沒用到的領域，而且邊緣AI規模化速度快，只要垂直領域中有人開始導入，其他人不得不用、開始大量複製，規模就會起來。

本文暫不授權媒體夥伴

更多今周刊文章
辭掉工作全職操盤，30歲小資族錢、車都賠了才懊悔！艾蜜莉：「追求財務自由」慢慢走比較快
台積電飆破910元新天價！半導體5月營收好壞？陸行之：17家超預期，5家少了黃仁勳加持「沒這麼優」