DeepMind又贏麻了，AI天氣預報吊打氣象台：1張GPU1秒預測1小時天氣

最近，北方下的雨有點多。

對於沒怎麼見過雨的北方人來說，確實經常會被「澆」個措手不及。

既然完全沒有「先驗經驗」可以借鑑，這時候就只能全靠天氣預報了！

在圍棋和《星際爭霸》等游戲領域贏麻了之後，DeepMind即將挑戰一個全新的項目——預測天氣。

在過去的幾年裡，DeepMind一直在悄悄地與英國氣象局合作，而最近一篇發表於《自然》雜志上的論文則展示了這一成果。

簡而言之，DeepMind設計了一個全新的機器學習模型，可以預測未來幾小時內是否會下雨。

https://www.nature.com/articles/s41586-021-03854-z

結果表明，DeepMind的深度生成模型可以提供更好的預測質量、預測一致性和預測價值。模型在1,536公裡×1,280公裡的區域內產生了逼真且時空一致的預測，提前期為5-90分鐘。

通過50多位氣象專家的系統評估，與其他兩種競爭方法相比，DeepMind的生成模型以89%的絕對優勢在准確性和實用性兩方面排名第一。

短期天氣預測

今天的天氣預測是由強大的數值天氣預報（NWP）系統驅動的。通過解決物理方程，數值天氣預報系統可以提前數天得到地球尺度的預測。然而，它們很難在兩小時內產生高分辨率的預測。

即時預報填補了這一關鍵時間區間的性能空白。氣象傳感的進步使高分辨率雷達可以高頻地（在1公裡分辨率下每5分鐘）提供測量出的地面降水量數據。

過去20分鐘的觀測雷達被用來提供未來90分鐘的概率預測

已有的短期預測方法，如STEPS和PySTEPS，沿用NWP的方法來考慮不確定性，但按照帶有雷達信息的平流方程對降水進行建模。

在這些模型中，運動場由光流來估計，平滑度懲罰被用來近似於平流預報，隨機擾動被添加到運動場和強度模型中。這些隨機模擬可以得出概率性和確定性的預報，並且在多種空間尺度（從千米尺度到集水區的大小）上都適用。

基於深度學習的方法則不需要對平流方程的依賴。通過大量的雷達觀測數據訓練這些模型，可以更好地模擬非線性降水現象，如對流啟動和強降水。這類方法直接預測每個網格位置的降水率，模型已被開發用於確定性和概率性預報。

目前的深度學習系統所發布的預報，在降水場越來越模糊的情況下表現出了不確定性，而且不包括小尺度天氣模式。此外，現有方法側重於特定地點的預測，而不是對整個降水場的概率預測，這使其無法在多個空間和時間集合中同時提供一致的預測結果，限制了實用性。

為此，DeepMind使用深度生成模型（DGMR）為概率預報開發了一種觀測驅動的方法。DGMR是學習數據概率分佈的統計模型，可以從學習到的分佈中輕松生成樣本。由於生成模型從根本上是概率性的，可以從給定的歷史雷達的條件分佈中模擬許多樣本，生成預測集合。此外，DGMR既能從觀測數據中學習，又能表示多個空間和時間尺度上的不確定性。

即時預報的生成模型

DeepMind使用生成模型的方法，根據過去的雷達，對未來的雷達進行詳細和可信的預測。 有了這樣的方法，既可以准確地捕捉大規模的事件，同時也可以生成許多備選的降雨情景（稱為集合預測），使降雨的不確定性得到探索。

DeepMind的模型也十分擅長中到大雨事件的預測，與其他競爭方法相比有著明顯的改進。DeepMind表示，在經過英國國家氣象局（Met Office）的50多名專家氣象學家進行了認知任務評估之後，與廣泛使用的預測方法相比，在89%的情況下專家們會把DeepMind的方法評為首選。

生成法（DGMR）比平流法（PySTEPS）更好地捕捉了環流、強度和結構，更準確地預測了東北地區的降雨和運動。與確定性的深度學習方法（UNet）不同，DGMR還產生了尖銳的預測。

生成法（DGMR）與平流法（PySTEPS）相比，平衡了降水的強度和范圍，平流法的強度往往太高，而且不像確定性的深度學習方法（UNet）那樣模糊不清。

在給定的時間點T，使用基於雷達的地表降水估計值XT，在給定的M個過去的雷達場，預測N個未來的雷達場，潛在的隨機向量Z和參數θ，方程為：

對潛在變量的整合確保了模型做出的預測在空間上具有依賴性。學習是在用於降水預測的條件生成對抗網絡（GAN）的算法框架內進行的。 四個連續的雷達觀測數據（之前的20分鐘）被用作發生器的背景，對未來降水的多個實現進行采樣，每個實現為18幀（90分 鐘）。

DGMR能更好地預測較長時段的空間覆蓋和對流，同時不會高估強度

a. 模型結構示意圖；b. 預測的地理背景；c. 不同模型在T+30、T+60和T+90分鐘提前量的單一預測。

學習由兩個損失函數和一個正則化項驅動，通過比較真實的雷達觀測數據和模型生成的數據來指導參數調整。

第一個損失是由空間判別器定義的，它是一個卷積神經網絡，用於區分單個觀察到的雷達場和生成的雷達場，確保空間一致性並阻止模糊的預測。第二個損失是由時間判別器定義的，它是一個三維（3D）卷積神經網絡，用於區分觀察到的和生成的雷達序列，施加時間上的一致性並懲罰跳躍的預測。為了提高准確性，DeepMind引入了一個正則化項，從而懲罰真實雷達序列和模型預測平均值（用多個樣本計算）之間的網格單元分辨率的偏差。

最後，DeepMind為生成器引入了一個完全卷積的潛在模塊，允許對大於訓練時使用的大小的降水場進行預測，同時保持時空一致性。

DeepMind在2016至2018年間英國雷達記錄的降水事件的大型數據集上訓練其DGM。訓練完成後，它可以在一秒鐘內提供預報，並在單個NVIDIA V100 GPU上運行。

與其他流行的預報方法（包括機器學習模型）相比，DeepMind的DGM在長達1,536公裡乘1,280公裡的區域產生了更真實和一致的預測，提前期為5至90分鐘。

結果評估

在使用CSI進行比較時，所有三個深度學習系統產生的預測都比PySTEPS的基線明顯更準確。 使用交替的星期作為獨立單位的配對置換測試來評估統計學意義，發現DGMR與PySTEPS相比，在所有的降水閾值上都具有更好的效果（n=26，P<10-4）。

a. 20個樣本的CSI，降水閾值為1毫米/小時（左）、4毫米/小時（中）和8毫米/小時（右）；b. 所有模式在T + 30分鐘（左）和T + 90分鐘（中和右）的2019年預測的徑向平均功率譜密度。

從上圖中的b可以看到，DGMR和PySTEPS的光譜特徵都與觀測結果相吻合，但軸向注意力和UNet模式產生的預報具有中、小尺度的降水變化，並隨著提前期的增加而減少。

由於它們產生了模糊的預測，軸向注意力和UNet nowcasts的有效分辨率遠遠低於數據的1公裡×1公裡分辨率。在T+90分鐘時，UNet的有效分辨率為32公裡，軸向注意力的有效分辨率為16公裡，降低了這些預報對氣象學家的價值。

對於概率驗證來說，下圖中b顯示了平均和最大降水率聚集在越來越大的區域31的CRPS。當在網格分辨率水平上測量時，DGMR、PySTEPS和軸向注意力的表現相似。

隨著空間聚集的增加，DGMR和PySTEPS提供了持續的強大性能，其中DGMR在最大降水上表現更好。軸向注意力模型對於較大的聚集區來說明顯較差，在規模為4及以上的情況下，其性能低於所有其他方法。使用交替的星期作為獨立單位，成對的置換檢驗表明，DGMR和軸向注意力溫度選擇之間的性能差異是顯著的。

網格分辨率（左）、4公裡集合（中）和16公裡集合（右）的CRPS得分

a. 使用平均雨量的集合CRPS；b. 使用最大雨量的集合CRPS。

與其他方法相比，生成式方法優於（在CSI上）現有的STEPS預測方法，提供的概率預測更加准確，並且在空間和時間尺度上保留了降水的統計特性，而其他深度學習方法是以它們為代價的。

此外，DeepMind還在經濟和認知方面進行了分析，結果表明DGMR可以讓決策價值得到提高。

虛線表示Clopper-Pearson的95%置信區間。氣象學家明顯傾向於DGMR而不是其他方法。

學界似乎並不買賬

然而，除了這50位專家以外，其他科學家並沒有被這些結果說服。

雷丁大學的氣象學家Peter Clark說：「我在這裡沒有看到預測方面的任何革命。依靠主觀評價來證明模型的有效性只能使讓人感到困惑。」此外，他還表示：「我仍然驚訝於他們沒有選擇使用一個客觀的分數。關於如何進行評估，甚至是實際評估的內容，幾乎沒有詳細說明。」

在論文中，DeepMind也並沒有給出新模型與現有模型的准確性相比具體提升的數據。對此，DeepMind的高級科學家和論文作者Shakir Mohamed表示，「我們想採取這種更加謹慎的方法，而不是報告一個數字。」

同樣是來自雷丁大學的氣象學家Rob Thompson則說：「與其說DeepMind的研究完全顛覆了我們所知道的雨水預報，不如說它只是提供了一種不同的方法。它的表現與當前其他尖端類型的模型類似，可能稍微好一點，但並沒有領先很多，」

DeepMind的成員說，目前還沒有任何立即投入使用的計劃，但團隊希望最終能夠利用模型為今後的天氣報告提供真實的信息。

話說回來，天氣預報員會不會下崗？

這倒不用擔心，DeepMind的研究科學家同時也是論文的作者Suman Ravuri表示，人工智能不會在這個領域取代人類：「天氣預測需要專家和人類參與其中，以確保在預測方面的理解是合理的，然後將其傳達給公眾。」

參考資料

https://www.nature.com/articles/s41586-021-03854-z

https://deepmind.com/blog/article/nowcasting

https://www.wired.co.uk/article/deepmind-weather-nowcasting

本文來自微信公眾號“新智元”（ID:AI_era），作者：新智元，編輯：好困，36氪經授權發布。

本文經授權發布，不代表36氪立場。

如若轉載請註明出處。來源出處：36氪