輝達宣布:DeepSeek-R1可在NVIDIA NIM使用

輝達宣布DeepSeek-R1可在NVIDIA NIM使用   圖:擷自X帳號@eyishazyer
輝達宣布DeepSeek-R1可在NVIDIA NIM使用 圖:擷自X帳號@eyishazyer

[Newtalk新聞] 中國人工智慧新創公司DeepSeek近日推出自稱低成本且能達到OpenAI模型效能的的AI模型DeepSeek R1,引發全球熱議。更連帶使得人工智慧晶片巨頭輝達股價重挫,但就在今日,輝達於官方平台正式宣布,該模型已成功整合至NVIDIA NIM這一組加速推理微服務平台,為開發者提供全新選擇。

輝達在官網中表示,DeepSeek-R1 是一個具有最先進推理能力的開放模型。 這樣的推理模型並非提供直接回應,而是對查詢進行多次推理,採用思路鏈、共識和搜尋方法來產生最佳答案。

輝達提到, DeepSeek-R1 是這一縮放定律的完美例子,證明了為什麼加速運算對於AI推理的需求至關重要。由於模型可以迭代地「思考」問題,因此它們會創建更多的輸出標記和更長的生成週期,因此模型品質也會不斷提高。大量的測試時間計算對於實現即時推理和來自 DeepSeek-R1 等推理模型的更高品質的反應至關重要,這需要更大規模的推理部署。

輝達認為,R1 在需要邏輯推理、推理、數學、編碼和語言理解的任務中提供了領先的準確性,同時也提供了高推理效率。

輝達宣布,6710億參數的DeepSeek-R1模型現已作為NVIDIA NIM微服務預覽版在build.nvidia.com上提供。DeepSeek-R1 NIM微服務可在單一NVIDIA HGX H200系統上每秒提供多達3872個tokens。

 

查看原文

更多Newtalk新聞報導
今晨8.4℃!初三全台陰雨、中南部留意空品 開工日強烈冷氣團報到
科技巨頭財報出爐美股收高!道瓊漲168點、台積電ADR大漲2.88%

看更多相關新聞
DeepSeek崛起 輝達:R1可在NVIDIA NIM使用
美媒:美國會辦公室收到警告勿使用DeepSeek
美國議員敦促川普對DeepSeek使用的Nvidia晶片實施新限制
DeepSeek崛起!微軟CEO讚「取得一些真正的創新」 曝「這1點」已成趨勢
DeepSeek懶人包:DeepSeek是什麼公司?梁文峰背景如何?輝達Nvidia台積電會受影響嗎?