AI突破神經網路，人與機器自然溝通

特別報導

文/ 柳子厚
人類以靈活的方式應用新詞彙的能力已經通過神經網路實現。科學家們已經創建了一個神經網路，具有類似人類的能力，可以對語言進行概括。人工智慧（AI）系統在將新學到的單詞摺疊到現有詞彙表中並在新的上下文中使用它們方面與人類一樣出色，這是人類認知的一個關鍵方面，稱為系統概括。Max Kozlov & Celeste Biever發表在最新一期《自然》(Nature)的<人工智慧「突破」：神經網路具有類似人類的泛化語言能力(AI ‘breakthrough’: neural net has human-like ability to generalize language)指出，「基於神經網路的人工智慧在快速將新單詞摺疊到其詞典方面優於 ChatGPT，這是人類智慧的一個關鍵方面。」(A neural-network-based artificial intelligence outperforms ChatGPT at quickly folding new words into its lexicon, a key aspect of human intelligence.)
機器與人互動更自然，比當今最好的人工智慧系統還要自然
研究人員將相同的任務交給了聊天機器人ChatGPT的AI模型，並發現它在這樣的測試中的表現比新的神經網路或人差得多，儘管聊天機器人具有以類似人類的方式進行對話的不可思議的能力。
這項工作發表在《自然》雜誌上，可能會導致機器與人互動更自然，甚至比當今最好的人工智慧系統還要自然。儘管基於大型語言模型的系統（如 ChatGPT）擅長在許多情況下進行對話，但它們在其他情況下顯示出明顯的差距和不一致。神經網路的類似人類的性能表明，「訓練網路系統化的能力已經取得了突破」，馬里蘭州巴爾的摩約翰霍普金斯大學專門研究語言的認知科學家保羅·斯摩棱斯基說。
一種類比人類認知的方法，主導了人工智慧研究
系統概括體現在人們在新環境中毫不費力地使用新獲得的單詞的能力。例如，一旦有人掌握了「光彈」一詞的含義，他們將能夠在各種情況下使用它，例如「兩次光彈」或「在 Zoom 通話期間使用光彈」。。同樣，理解「貓追狗」這句話的人也會理解「狗追貓」，而無需太多額外的思考。
但這種能力並不是與生俱來的神經網路，神經網路是一種類比人類認知的方法，主導了人工智慧研究，紐約大學認知計算科學家、該研究的合著者布倫登·萊克（Brenden Lake）說。與人不同，神經網路很難使用一個新詞，直到它們在許多使用該詞的示例文本上接受訓練。近40年來，人工智慧研究人員一直在爭論，如果神經網路不能證明這種系統性，他們是否可以成為人類認知的合理模型。
DeepMind AI像嬰兒一樣學習簡單的物理
為了解決這場爭論，作者首先測試了25個人在不同情況下使用新學習的單詞的能力。研究人員通過在由兩類無意義單詞組成的偽語言上測試它們來確保參與者首次學習這些單詞。「原始」詞，如「dax」、「wif」和「lug」，代表了基本的、具體的動作，如「跳過」和「跳躍」。更抽象的「函數」詞，如「blicket」、「kiki」和「fep」，指定了使用和組合基元的規則，導致諸如「跳躍三次」或「向後跳躍」等序列。
參與者被訓練將每個原始單詞與特定顏色的圓圈聯繫起來，因此紅色圓圈代表「dax」，藍色圓圈代表「凸耳」。然後，研究人員向參與者展示了原始詞和功能詞的組合，以及當函數應用於基元時會產生的圓圈模式。例如，短語「dax fep」用三個紅色圓圈顯示，「lug fep」用三個藍色圓圈顯示，表示 fep 表示將一個原始元素重複三次的抽象規則。
通過程式設計從錯誤中學習
最後，研究人員測試了參與者應用這些抽象規則的能力，為他們提供了基元和函數的複雜組合。然後，他們必須選擇正確的顏色和圓圈數量，並按適當的順序放置它們。
正如預測的那樣，人們擅長這項任務;平均而言，他們大約80%的時間選擇了正確的彩色圓圈組合。當他們確實犯錯誤時，研究人員注意到這些錯誤遵循了一種反映已知人類偏見的模式。
接下來，研究人員訓練了一個神經網路來執行類似於呈現給參與者的任務，通過程式設計從錯誤中學習。這種方法允許人工智慧在完成每項任務時學習，而不是使用靜態數據集，這是訓練神經網路的標準方法。為了使神經網路像人類一樣，作者訓練它重現他們在人類測試結果中觀察到的錯誤模式。當神經網路在新的謎題上進行測試時，它的答案幾乎與人類志願者的答案完全一致，在某些情況下甚至超過了他們的表現。
將系統性注入神經網络是一件大事
相比之下，GPT-4在相同的任務中掙扎，平均失敗率在42%到86%之間，這取決於研究人員如何提出任務。「這不是魔法，這是練習，」萊克說。「就像孩子在學習母語時也會得到練習一樣，模型通過一系列作文學習任務來提高他們的作文技能。
新墨西哥州聖達菲研究所的計算機和認知科學家Melanie Mitchell表示，這項研究是一個有趣的原理證明，但這種訓練方法是否可以擴展到更大的數據集甚至圖像還有待觀察。Lake希望通過研究人們如何從小發展出系統泛化的訣竅來解決這個問題，並結合這些發現來構建一個更強大的神經網路。
德國奧斯納布呂克大學自然語言處理專家Elia Bruni表示，這項研究可以使神經網路成為更高效的學習者。這將減少訓練ChatGPT等系統所需的大量數據，並將最大限度地減少「幻覺」，當AI感知不存在的模式併產生不準確的輸出時，就會發生幻覺。「將系統性注入神經網络是一件大事，」Bruni說。「它可以同時解決這兩個問題。