輕量級冠軍!輝達發表擁有最先進精確度的小型語言模型

上個月,輝達與「Mistral AI」共同發表開放程式——「Mistral-NeMo-Minitron 8B 」,該模型是「Mistral NeMo 12B」模型的縮小版。   圖 : 翻攝自騰訊
上個月,輝達與「Mistral AI」共同發表開放程式——「Mistral-NeMo-Minitron 8B 」,該模型是「Mistral NeMo 12B」模型的縮小版。 圖 : 翻攝自騰訊

[Newtalk新聞] 生成式人工智慧(AI)的開發者通常得面臨要取捨模型大小、還是精確度的難題。不過,輝達(NVIDIA)發表的全新語言模型可兼具兩者之長,這個模型既體積小巧,又擁有最先進的精確度。

上個月,由輝達與「Mistral AI」在共同發表開放程式——「Mistral-NeMo-Minitron 8B 」,這個模型是「Mistral NeMo 12B」模型的縮小版。Mistral-NeMo-Minitron 8B小到可以在輝達RTX驅動的工作站上運行,同時,在由AI 支援的聊天機器人、虛擬助理、內容產生器和教育工具的多項基準測試中,表現依然十分出色。

輝達應用深度學習研究部門副總裁 Bryan Catanzaro表示:「我們將兩種最佳化AI的方法加在一起。這包括以剪枝的方式將 Mistral NeMo 的 120億個參數,縮減為 80億個,並採用蒸餾方式提高精確度。這麼一來,便能降低Mistral-NeMo-Minitron 8B的運算成本,又可以提供媲美原始模型的精確度。」

小型語言模型可在工作站和筆記型電腦上即時執行,這一點跟大型語言模型不同。此舉使得資源有限的組織更容易在基礎設施中部署生成式 AI 功能,又能取得最佳的成本、運作效率和能源使用程度。

由於無需從邊緣裝置將資料傳送到伺服器,在邊緣裝置上以本機端的方式運行語言模型另外有著安全性方面的優勢。

開發人員可透過包裝成有著標準應用程式介面(API)的輝達NIM微服務使用Mistral-NeMo-Minitron 8B,或從「Hugging Face」下載模型。此輝達NIM也即將開放下載,可以在數分鐘內部署在任何GPU加速系統上。

最先進的 80 億個參數

與類似大小的模型相比,Mistral-NeMo-Minitron 8B模型在九個熱門的語言模型基準測試均處於領先地位。這些基準涵蓋各種任務,包括語言理解、常識推理、數學推理、總結、編碼以及產生真實答案的能力。

Mistral-NeMo-Minitron 8B 模型包裝成輝達NIM微服務,且最佳化至最佳狀態,有著低延遲的特色,能加快回應使用者的速度,並有高輸送量以降低生產環境的運算成本。

開發人員在某些情況下可能想要使用更小的模型,以便在智慧型手機或機器人等嵌入式裝置上運行。他們為此可以下載有著 80 億個參數的模型,並針對企業特定的應用程式使用 輝達AI Foundry剪枝和蒸餾出較小且最佳的神經網路。

AI Foundry 平台與服務為開發人員提供完整堆疊解決方案,協助他們客製化基礎模型,並且將其包裝成NIM微服務。AI Foundry 平台與服務提供熱門的基礎模型、輝達NeMo平台與輝達DGX Cloud上的專用容量。使用 輝達AI Foundry的開發人員同樣能夠使用輝達AI Enterprise,這個提供安全性、穩定性及支援部署到生產環境的軟體平台。

由於原版的Mistral-NeMo-Minitron 8B模型一開始就有最先進的精確度,因此,使用AI Foundry瘦身後的版本仍只要極少的訓練資料與運算基礎設施,就能達到高精確度的表現。

利用剪枝與蒸餾的優點

研究團隊用剪枝加上蒸餾的方法,讓較小的模型達到高精確度表現。剪枝會去除掉對精確度影響最小的模型權重(weight),以縮小神經網路的規模。研究團隊在蒸餾模型時,會在一個小資料集上重新訓練這個修剪過的模型,以大幅提升在修剪過程中降低的精確度。

這麼一來,即可得到一個更小又更有效率的模型,其預測精確度可媲美較大的模型。

這項技術代表只要使用原始資料集的一小部分,就能訓練一系列相關模型裡每個額外的模型,這跟從頭訓練一個較小的模型相比,剪枝和蒸餾一個較大的模型可省下高達40倍的運算成本。

更多詳情請閱讀輝達技術部落格與技術報告。

輝達 在本週還發表了另一個小型語言模型「Nemotron-Mini-4B-Instruct」,這個模型針對輝達GeForce RTX AI PC與筆記型電腦上低記憶體使用率與更快回應時間最佳化。這個模型以輝達 NIM 微服務形式提供,讓開發人員可以部署到雲端與裝置上。而它也是 輝達 ACE 的一部分,輝達 ACE 是一套製作數位人類的技術,提供由生成式 AI 支援的語音、智慧與動畫。

 

查看原文

更多Newtalk新聞報導
鴻海重訊:斥資267.46億元擴增海外版圖
蕭美琴參觀機器人展 以行動支持產業智慧化