別只罵GoogleBard了，ChatGPT加持的微軟New Bing也錯誤頻出

ChatGPT加持的新必應沒有想像中那麼完美。

2 月 8 號美東時間八點半，Google發佈會在巴黎召開。前一天微軟正式推出了新一代 AI 驅動搜尋引擎 New Bing，把基於 ChatGPT 技術的生成模型和 Bing 整合在一起。微軟副總裁 Yusuf Mehdi 進行了一次完美的演示 [0]，當日微軟市值暴漲 800 億美元。即便是在 OpenAI 沒有開放註冊的中國，朋友圈、微信群裡 Yusuf 展示的生成模型如何增強 Bing 搜尋引擎和 Edge 瀏覽器體驗的片段也在瘋傳。汝之蜜糖，彼之砒霜，大家都在等著搜尋巨頭Google怎麼應對。

Google發佈會的現場，大家都在等待傳說中跟 New Bing 對標的 Bard 登場。作為有Google搜尋引擎加持的大語言模型，大家對 Bard 充滿了遐想。然而，發佈會現場，關於 Bard 的內容並不多。於是大家又把眼光投向了Google在推特上發佈的 Bard 視訊，仔細扒下來，大家突然發現 Bard 在回答問題時犯了事實性錯誤。

在被問及「關於詹姆斯韋伯望遠鏡的新發現，有什麼可以告訴我九歲孩子的？」時，Bard 回答道：「第一張系外行星照片是由詹姆斯韋伯望遠鏡拍攝。」而事實卻是由歐洲南方天文台的甚大望遠鏡在 2004 年拍下的，此時距離詹姆斯韋伯望遠鏡升空還有 18 年之久。這個錯誤成了Google當日股價大跌的導火索。

圖 1 Bard 關於詹姆斯韋伯望遠鏡演示截圖

而在巴黎發佈會的現場，儘管 Bard 的展示部分只有 4 分鐘左右，其關於星座最佳觀測時間的回答同樣存在明顯的事實偏差。如下圖，Bard 的回答中提到獵戶座最佳觀測時間是十一月到二月。

圖 2 Bard 關於星系觀測時間演示截圖

根據不同資訊源，獵戶座的最佳觀測時間不盡相同，但是都明確指出最佳觀測時段從每年一月起。教育科技網站 BYJU'S 提供的最佳時間為一月到三月 [1]，維基百科提供的最佳時間為一月到四月 [2]。

圖 3 BYJU‘S 關於獵戶座最佳觀測時間的解答

由於 Bard 發佈會相較於 New Bing 發佈會的落差，以及被揪出了事實性錯誤，當天Google市值暴跌近 1000 億美元，Bard 也因此被戲稱為史上最貴發佈會。我們不禁好奇，在 New Bing 看似完美的發佈會中，是不是也藏著事實性的錯誤呢？

New Bing 的事實性錯誤

我們發現，New Bing 生成的內容中摻雜了很多事實性錯誤，包括名人身份資訊、財報數字、夜店營業時間，等等。

生成模型的事實性錯誤分類

對於以 GPT 系列（包括 ChatGPT、InstructGPT 等）、T5 為代表的生成模型，事實性錯誤可以粗分為以下兩類：

生成內容與引用內容衝突。大語言模型在內容生成過程中隨著序列增長，容易出現脫離引用內容，造成增加、刪減或篡改原文的現象。

生成的內容沒有事實依據。這類錯誤通俗來說就是一本正經得胡說八道。沒有事實依據的指引，僅靠模型預訓練時候儲存的資訊很容易使模型在生成過程中不知所云。很大機率會生成與事實不符或是和問題無關的內容。

現在我們來檢視 New Bing 發佈會 [3] 以及 New Bing 演示 [4] 所展示的例子，是否存在事實性錯誤以及分別是什麼類型。為了行文方便，我們把 New Bing 和整合在 Edge 的 New Bing 外掛統稱為 New Bing。

日本詩人例子的錯誤

在 New Bing 發佈會視訊 29:57 處，當 New Bing 被問到知名日本詩人時，給出的答案包括「Eriko Kishida 岸田惠理子 (1930-2004), poet, playwright, and essayist」。

圖 4 New Bing 演示中日本詩人例子截圖

然而根據維基百科和 IMDB 提供的資訊 [5, 6, 7]，Eriko Kishida 的生卒年分別為 1929 和 2011。同時，她也不是劇作家（playwright）和散文家（essaysit），而是詩人、翻譯家和童話作家。被 New Bing 轉了業還少活了八年，岸田的家人大概不太能接受。同時不幸被轉業的還有 Gackt 同學。據維基百科提供的資訊 [8]，Gackt 玩過音樂、唱過歌、作過曲也演過戲，就是沒作過詩。

財報例子的錯誤

在 New Bing 發佈會視訊 35:49 處，Yusuf 展示集成了 New Bing 的 Edge 瀏覽器，對於打開的服飾公司蓋璞 (Gap) 2022 年第三季度的財報，如何進行要點生成。乍眼一看，New Bing 的總結非常實用，用關鍵點的方式庖丁解牛一般展示了 Gap 三季報的要點，巴菲特看到此或許也會「驚為真人」。然而，當我們找出 Gap 2022 年三季報 [9]，仔細閱讀過後，發現 New Bing 的總結錯漏百出，讓人不忍直視。

圖 5 New Bing 對 Gap 2022 年第三季度財報的摘要

首先，New Bing 給出了 Gap 調整後的營運毛利率（reported operating margin, adjusted for impairment charges and restrucring costs）為 5.9%。然而在財報中，Gap 的營運毛利率是 4.6%，調整後則是 3.9%。

圖 6 Gap 2022 年第三季度財報截圖

New Bing 接下來又給出調整後攤薄每股收益為 0.42 美元（diluted earnings per share, adjusted for impairment charges, restrucring costs and tax impact），但財報裡的資料則是 0.71 美元。

圖 7 Gap 2022 年第三季度財報截圖

甚至 New Bing 給出了 Gap 全年的銷售指引為「預計銷售淨增長率為低雙位數」，而實際是四季度「可能呈中間個位數下降」。是下降而非增長，一詞之差，對使用者的投資行為將產生嚴重的誤導，這虧錢了算誰的。New Bing 甚至無中生有，給出了更多的全年財務指引「營業毛利為 7%，攤薄每股收益為 1.6 美元到 1.75 美元之間」，而這些資料在 Gap 三季度財報中統統沒有提到。

圖 8 Gap 2022 年第三季度財報截圖

視訊 36:15 處，Yusuf 又展示了用 New Bing 進行 Gap 和體育休閒服品牌露露樂檬（Lululemon）財報對比的功能。這部分又是錯誤資訊的重災區。

圖 9 New Bing 對 Gap 和 Lululemon 財報對比功能

在右側 New Bing 給出的表格中，除了上文所說的 Gap 營業毛利 5.9% 應為 4.6%（或調整後 3.9%）和 Gap 攤薄每股收益 0.42 美元應為 0.77 美元（或調整後 0.71 美元）， New Bing 又給出了 Gap 現金和現金等價物為 14 億美元的資料，而實際上財報中是 6.79 億美元。

圖 10 Lululemon 2022 年第三季度財報截圖

同樣的情況也出現在 New Bing 給出的 Lululemon 資料中。根據 Lululemon 2022 三季報的資料 [10]，New Bing 給出的 Lululemon 毛利率為 58.7%，實際上應為 55.9%。New Bing 提到 Lululemon 營業毛利為 20.6%，實際上應為 19.0%。New Bing 給出 Lululemon 攤薄每股收益為 1.65 美元，實際上應為 2.00 美元。

圖 11 Lululemon 2022 年第三季度財報截圖

我們不禁想問：New Bing 是如何對著 Gap 和 Lululemon 的財報一本正經地胡說八道的？一個合理的推斷是，生成出來的這些錯誤資料，很可能是來自它預訓練階段見過的財報分析資料。ChatGPT 這類大型語言模型的生成，隨著生成的序列越長，越容易脫離給定的 Gap 和 Lululemon 的財報資料，放飛自我，生成不著邊際的虛假資訊。

夜店例子的錯誤

在 New Bing 發佈會視訊 29:17 處，New Bing 又為豐富墨西哥城的遊客們的夜生活提供了「毫無建設性」的建議。對於其推薦的幾個夜店，如 Primer Nivel Night Club、El Almacen 和 El Marra，New Bing 提到這些酒吧沒有客戶評價、沒有聯絡方式也沒有商店介紹。然而這些資訊都可以在谷歌地圖或者商店的 Facebook 首頁上找到。看來 New Bing 網上衝浪力度還不夠。

El Almacen 在 New Bing 裡的營業時間是週二到週日的下午五點到晚上十一點，然而真實的營業時間是除週一外的下午七點到凌晨三點 [11]。這讓五點去吃晚飯的遊客還得挨兩個小時的餓。Guadalajara de Noche 則是相反，實際營業時間是每天的下午五點半到凌晨一點半或十二點半 [12]，而 New Bing 給出的營業時間是下午八點開始。看來遊客靠 New Bing 的建議去找餐廳，能不能吃到飯就得看運氣了。

圖 12 New Bing 演示中夜店例子截圖

其他錯誤

除了上述的資訊錯誤，我們還發現了一系列散佈在各個角落的事實錯誤，比如商品價格誤差、商店地址錯誤、時間錯誤等。

實例演示裡的錯誤

由於 New Bing 還沒有完全開放，我們無法直接在 New Bing 上拿到發佈會現場的搜尋結果，但是微軟提供了幾個實例演示 [13]，讓使用者體驗。本著打破砂鍋問到底的精神，我們也把這幾個演示都放到放大鏡下進行研究。我們發現，即便是這幾個精心挑選的例子，裡面還是有不少錯誤資訊。

在「What art ideas can I do with my kid? 」中，New Bing 給出了很多手工品製作建議。對於每一個手工品，New Bing 都總結了製作所需的材料。然而每一個手工品的材料總結都是不完整的。比如 New Bing 從引用網站 [14] 中總結製作紙吉他需要紙盒、橡皮筋、顏料和膠水。但卻漏掉了引用中提到的海綿刷、膠帶和木珠。

圖 13New Bing 實例演示 “我可以和孩子一起做什麼樣的手工？” 截圖

圖 14 引用網站中製作紙吉他所需材料截圖

在 New Bing 的實例演示中還有一個非常明顯和常見的錯誤，即給的引用連結與生成的內容無關，驢唇不對馬嘴。

比如以下在「I need a big fast car. 」的例子中，2022 版 Kia Telluride 沒有出現在所給的引用 10 [15] 中。同時「時間穿越」問題在該例子中依舊不能避免，New Bing 聲稱 2022 版 Kia Telluride 獲得了 2020 年世界年度汽車獎，實際情況是當年獲得該獎項的是 Kia Telluride 2020 版本。2022 年世界年度汽車獎獲得者則是 Hyundai IONIQ 5，而引用 7 [16] 也是與「2020 年世界年度汽車獎」毫不相關的文章。我們在所有實例演示中找到了多達 21 處類似的錯誤。

圖 15 New Bing 演示實例 “我需要一輛大型快車” 截圖

小結：發現錯誤將指引我們前進

從上述的分析可以看出，無論是 New Bing 還是 Bard，他們的回答都容易出現事實性錯誤。當全世界都驚訝於 ChatGPT 等大型語言模型展現出來的能力時，當 ChatGPT 成為史上最快達到 1 億使用者的應用之際，我們一方面是為 AI 的進步振臂歡呼，一方面也需要冷靜地思考怎麼解決 AI 目前還存在的諸多問題。

自從 1956 年那群聚在達特茅斯學院的天才們，第一次定義了什麼是人工智慧之後，AI 經歷了幾起幾落。近 70 年的發展過程中有很多讓人感動的堅持：是初代 AI 的稚嫩探索，是專家系統的勇敢嘗試，是 Hinton、Bengio、Lecun 這些學者把神經網路的冷板凳坐穿，是 DeepMind 用 AlphaGo 讓 AI 出圈，是Google、Meta、CMU、斯坦福、清華等一眾頂尖研究機構堅持開源，是 OpenAI 頂住壓力把 GPT 這個路線走通，是全球幾代科研人員的接力，我們才走到今天。

然而，如果我們放任 AI 生成大量不真實的資訊，那麼不用多久，大眾對於 AI 建立的信心就會被摧毀，各種虛假資訊也會充斥網際網路。我們指出大模型的錯誤，並不是為了拉踩哪個公司或者哪個模型，相反，我們是要讓 AI 變得更好。

正如阿根廷詩人博爾赫斯曾經說過：任何命運，無論多麼複雜漫長，實際上只反應於一個瞬間，那就是人們徹底醒悟自己究竟是誰的那一刻。在 ChatGPT 等大模型已經具備了媲美人類的文字能力時，我們清楚地知道，下一步的重點是把真實世界的知識更完整精準地融入大模型，讓 AI 模型安全地、可靠地、廣泛地應用於人們的日常生活。我們從未如此期待，也從未如此接近那一刻的到來。

參考文獻

[0] https://www.youtube.com/watch?v=rOeRWRJ16yY

[1] https://byjus.com/question-answer/in-which-season-of-the-year-is-the-constellation-orion-visible-in-the-sky/

[2] https://en.wikipedia.org/wiki/Orion_(constellation)

[3] https://www.youtube.com/watch?v=rOeRWRJ16yY

[4] https://www.bing.com/new?form=MY028Z&OCID=MY028Z

[5] https://de.wikipedia.org/wiki/Eriko_Kishida

[6] https://ja.wikipedia.org/wiki/ 岸田衿子

[7] https://www.imdb.com/name/nm1063814/

[8] https://en.wikipedia.org/wiki/Gackt

[9] https://www.gapinc.com/en-us/articles/2022/11/gap-inc-reports-third-quarter-fiscal-2022-results

[10] https://corporate.lululemon.com/media/press-releases/2022/12-08-2022-210558496#:~:text=For%20the%20third%20quarter%20of%202022%2C%20compared%20to%20the%20third,%2C%20and%20increased%2041%25%20internationally

[11] https://restaurantguru.com/El-Almacen-Mexico-City

[12] https://www.google.com/search?q=guadalajara+de+noche+mexico+city&oq=guadalajara+de+&aqs=chrome.1.69i57j35i39j46i512j0i512j46i175i199i512j0i512j46i512j0i512l2j46i512.7030j0j4&sourceid=chrome&ie=UTF-8

[13] https://www.bing.com/new?form=MY028Z&OCID=MY028Z

[14] https://happytoddlerplaytime.com/cardboard-box-guitar-craft-for-kids/

[15] https://www.topspeed.com/cars/guides/best-awd-cars-for-2022/

[16] https://www.hotcars.com/best-6-seater-suvs-2022/

本文來自微信公眾號“機器之心”（ID:almosthuman2014），作者：李星漩、丁博生、趙若辰、謝耀賡、邴立東，36氪經授權發佈。

本文經授權發布，不代表36氪立場。

如若轉載請註明出處。來源出處：36氪