價值上億的線上實驗

在快速發展的數位世界裡,連專家都覺得評估新構想相當困難。舉個例子:微軟一名在搜尋引擎Bing 任職的員工,提議小幅修改廣告標題呈現的方式,但主管認為該構想沒有迫切性,因此擱置多月,直到一名工程師決定做一個簡單的線上對照實驗,也就是AB 測試,來評估這個構想的影響。實驗顯示,這個構想提高營收的幅度達到驚人的12%。結果它成為歷來替Bing 創造最多收入的構想,價值高達一億美元。

微軟分析與實驗團隊主管科哈維與哈佛商學院教授湯克指出,這個例子說明「實驗一切事物」的做法,為什麼這麼重要。在本文中,他們說明如何適當設計和執行AB 測試和其他對照實驗,確保實驗的健全性,解讀實驗結果,以及避開各種陷阱。他們指出,一家公司若能建立適當的實驗基礎設施和軟體,不但可以評估改善網站的構想,還能評估商業模式、策略、產品和行銷方案等的構想,耗費的相關成本也不高。這種實驗能力有助於找到正確的方向,尤其在問題並無確定答案,或是各人意見相左的時候,更見功效。