讓AI「長出手」,自己學會Google、找計算機!Meta新訓練方式Toolformer厲害在哪?

從去年開始,許多人工智慧工具開放公眾使用,從AI圖像生成工具Midjourney、Stable Diffusion揭起大眾的興趣,再到去年年底人工智慧聊天機器人ChatGPT成為公眾話題。儘管讓AI生成圖像和文字相當有趣,但這些工具要進入我們的日常,還有很長的一段路──大多數AI模型都有其局限性,例如沒有最新的資料、會對事實產生「訊息幻覺」、缺乏進行精確計算數學等等。

在ChatGPT還在嘗試克服這些缺點、挑戰Google搜尋引擎地位的同時,Meta冷不防從一旁殺出,用一篇新論文實踐這些問題的解套:讓AI自己使用外部工具。換句話說,如果AI沒有最新資訊,那就讓它自己搜尋最新的資料;如果不會算術,就去找計算機,諸如此類。

生成字句的同時呼叫API,將問題與運算「外包」

這個方法不是Meta獨創,但是被稱為「Toolformer」的這個方法也克服了先前讓AI使用外部工具的障礙;原先的方式仰賴人工註釋,或需要限制在特定的任務內容,導致語言模型與外部工具的結合難以推廣。但Toolformer在產生文字的過程中,遇到特定字詞或需求,就會直接呼叫工具的「API」,叫出搜尋引擎或是計算機。

例如,讓ChatGPT相形見絀的算數:

 圖/twitter@@timo_schick
圖/twitter@@timo_schick

或是確切日期,呼叫月曆來查詢:

 圖/twitter@timo_schick
圖/twitter@timo_schick

甚至直接搜尋:

 圖/twitter@@timo_schick
圖/twitter@@timo_schick

Toolformer經過優化,可以自主決定要使用哪些API,以及使用哪些參數來運算或是查詢。而這個的學習過程被稱為「自我監督」:研究人員只需要讓語言模型學習「少量」人工編寫的API呼叫範例,而這些範例已經被手動標註會使用到API的部分。然後再讓語言模型去生成更多包含這些範例的資料庫。

而訓練的過程分成三個步驟:第一是取樣,就是看輸入到語言模型的文字當中,哪些地方可能會需要那哪些工具,就直接把要呼叫API的指令插入句子當中。再來,就是執行這項API指令,並把產生的答案插入對應的部分。

 圖/Meta
圖/Meta

第三步是過濾,如果第二步所生成的文字對整句話的意義不大的話,就會直接剔除,僅保留整句話原本所需要的資訊。

 圖/Meta
圖/Meta

與其他大型語言模型比較起來,Toolformer又有哪些厲害之處?

在Meta的論文當中,比較了Toolformer與多個其他大語言模型,包括GPT-J,OPT(66B)以及GPT-3(175B)在數學、問答以及機器翻譯等方面的能力;研究結果顯示了在學習使用工具後,GPT-J的零樣本學習能力明顯增加,甚至優於GPT-3模型。在數學、QA與LAMA基準測試上的平均表現也有所增強。

 圖/Meta
圖/Meta

研究人員也表示,使用API除了能得到更精準的輸出結果,語言模型自身使用外部工具的能力,也可以解決例如數學運算與事實查核等大型語言模型常有的問題。

不過同時,研究人員也指出,這個系統還是有其局限性。例如,API工具無法連續使用,或是使用一個輸出作為下一句的輸入,因為每個工具的指令是獨立生成的,導致應用範圍有所限制。

延伸閱讀:明明也擁抱AI,祖克柏在AI大戰中版面超少?Meta 科學家喊冤:我們不夠「好命」

語言模型掌握工具,已是未來語言模型發展趨勢

科技巨頭的人工智慧之戰,加入戰局的Meta顯然也不輸微軟與Google;雖然現在聲浪尚無法比上ChatGPT引發的一片譁然,但Meta讓語言模型對工具的使用自主性與熟練度更了上一層樓。

儘管Toolformer所展現出的「自學」能力可能還是個雛形,但顯然語言模型發展的下一步,就是要訓練它們知道在什麼時間、要用什麼工具,且一切的輸入、輸出都可以轉化成自然語言。

這勢必會全然改變人們操作電腦與網頁的方式,而現在也不只Meta走向這個潮流;微軟的Bing搜尋引擎將接入ChatGPT,而Google推出的人工智慧Bard即將嵌入到Google搜尋當中。

資料來源:the decoderTowards AI新浪科技

責任編輯:錢玉紘

更多報導
AI大戰中,祖克柏版面超少?Meta AI 科學家:我們也有技術,只是沒那麼「好命」
ChatGPT拔得頭籌的秘密:挖角前Google AI員工!搜尋巨頭為何留不住人?