Anthropic 用《寶可夢 紅版》來比較旗下模型有多聰明
最新的 Claude 3.7 Sonnet 可以用推理模式打敗三個道館館主呢。
Anthropic 今天稍早發表其最新的 Claude 3.7 Sonnet 模型時有說過，他們在開發時採取了不同的訓練策略，降低在數學和電腦科學競賽問題方面的特化程度。那如果不用這些題庫的話，要如何才能展現 Claude 3.7 Sonnet 的「思考」能力呢？答案就是寶可夢了。
不，這不是開玩笑。Anthropic 表示，他們為模型配備了基本的記憶體、螢幕讀取等能力，並且可以透過特定的程序「操縱」遊戲的按鍵，並且在螢幕上導航，讓它具備遊玩寶可夢的能力。Anthropic 用來測試的「標桿」，是第一代的《寶可夢 紅版》，從附圖上來看，最早的 3.0 Sonnet 連自家的大門都出不了，3.5 Sonnet 可以到常青森林，而 3.7 Sonnet 不僅跑得更遠，而且還能打贏三個神奇寶貝道館的館主。
Anthropic 提供的是總「動作數」，例如 3.7 Sonnet 一共花了 35,000 個「動作」才打敗馬志士，但這其實無法看出它一共花費了多少運算量，又或者中間有多少次嘗試失敗。而且，因為只有 Anthropic 在使用這個方式進行測定，因此也無法和其他模型進行比較。不過，現在 Anthropic 開了這個先河之後，推理模型可以在寶可夢紅版裡跑多遠，用多快的速度跑完，大概未來有機會變成一個挑戰項目了吧？
