DeepMind又贏麻了,AI天氣預報吊打氣象台:1張GPU1秒預測1小時天氣

·10 分鐘 (閱讀時間)

最近,北方下的雨有點多。

對於沒怎麼見過雨的北方人來說,確實經常會被「澆」個措手不及。

既然完全沒有「先驗經驗」可以借鑑,這時候就只能全靠天氣預報了!

在圍棋和《星際爭霸》等游戲領域贏麻了之後,DeepMind即將挑戰一個全新的項目——預測天氣。

在過去的幾年裡,DeepMind一直在悄悄地與英國氣象局合作,而最近一篇發表於《自然》雜志上的論文則展示了這一成果。

簡而言之,DeepMind設計了一個全新的機器學習模型,可以預測未來幾小時內是否會下雨。

https://www.nature.com/articles/s41586-021-03854-z

結果表明,DeepMind的深度生成模型可以提供更好的預測質量、預測一致性和預測價值。模型在1,536公裡×1,280公裡的區域內產生了逼真且時空一致的預測,提前期為5-90分鐘。

通過50多位氣象專家的系統評估,與其他兩種競爭方法相比,DeepMind的生成模型以89%的絕對優勢在准確性和實用性兩方面排名第一。

短期天氣預測

今天的天氣預測是由強大的數值天氣預報(NWP)系統驅動的。通過解決物理方程,數值天氣預報系統可以提前數天得到地球尺度的預測。然而,它們很難在兩小時內產生高分辨率的預測。

即時預報填補了這一關鍵時間區間的性能空白。氣象傳感的進步使高分辨率雷達可以高頻地(在1公裡分辨率下每5分鐘)提供測量出的地面降水量數據。

過去20分鐘的觀測雷達被用來提供未來90分鐘的概率預測

已有的短期預測方法,如STEPS和PySTEPS,沿用NWP的方法來考慮不確定性,但按照帶有雷達信息的平流方程對降水進行建模。

在這些模型中,運動場由光流來估計,平滑度懲罰被用來近似於平流預報,隨機擾動被添加到運動場和強度模型中。這些隨機模擬可以得出概率性和確定性的預報,並且在多種空間尺度(從千米尺度到集水區的大小)上都適用。

基於深度學習的方法則不需要對平流方程的依賴。通過大量的雷達觀測數據訓練這些模型,可以更好地模擬非線性降水現象,如對流啟動和強降水。這類方法直接預測每個網格位置的降水率,模型已被開發用於確定性和概率性預報。

目前的深度學習系統所發布的預報,在降水場越來越模糊的情況下表現出了不確定性,而且不包括小尺度天氣模式。此外,現有方法側重於特定地點的預測,而不是對整個降水場的概率預測,這使其無法在多個空間和時間集合中同時提供一致的預測結果,限制了實用性。

為此,DeepMind使用深度生成模型(DGMR)為概率預報開發了一種觀測驅動的方法。DGMR是學習數據概率分佈的統計模型,可以從學習到的分佈中輕松生成樣本。由於生成模型從根本上是概率性的,可以從給定的歷史雷達的條件分佈中模擬許多樣本,生成預測集合。此外,DGMR既能從觀測數據中學習,又能表示多個空間和時間尺度上的不確定性。

即時預報的生成模型

DeepMind使用生成模型的方法,根據過去的雷達,對未來的雷達進行詳細和可信的預測。 有了這樣的方法,既可以准確地捕捉大規模的事件,同時也可以生成許多備選的降雨情景(稱為集合預測),使降雨的不確定性得到探索。

DeepMind的模型也十分擅長中到大雨事件的預測,與其他競爭方法相比有著明顯的改進。DeepMind表示,在經過英國國家氣象局(Met Office)的50多名專家氣象學家進行了認知任務評估之後,與廣泛使用的預測方法相比,在89%的情況下專家們會把DeepMind的方法評為首選。

生成法(DGMR)比平流法(PySTEPS)更好地捕捉了環流、強度和結構,更準確地預測了東北地區的降雨和運動。與確定性的深度學習方法(UNet)不同,DGMR還產生了尖銳的預測。

生成法(DGMR)與平流法(PySTEPS)相比,平衡了降水的強度和范圍,平流法的強度往往太高,而且不像確定性的深度學習方法(UNet)那樣模糊不清。

在給定的時間點T,使用基於雷達的地表降水估計值XT,在給定的M個過去的雷達場,預測N個未來的雷達場,潛在的隨機向量Z和參數θ,方程為:

對潛在變量的整合確保了模型做出的預測在空間上具有依賴性。學習是在用於降水預測的條件生成對抗網絡(GAN)的算法框架內進行的。 四個連續的雷達觀測數據(之前的20分鐘)被用作發生器的背景,對未來降水的多個實現進行采樣,每個實現為18幀(90分 鐘)。

DGMR能更好地預測較長時段的空間覆蓋和對流,同時不會高估強度

a. 模型結構示意圖;b. 預測的地理背景;c. 不同模型在T+30、T+60和T+90分鐘提前量的單一預測。

學習由兩個損失函數和一個正則化項驅動,通過比較真實的雷達觀測數據和模型生成的數據來指導參數調整。

第一個損失是由空間判別器定義的,它是一個卷積神經網絡,用於區分單個觀察到的雷達場和生成的雷達場,確保空間一致性並阻止模糊的預測。第二個損失是由時間判別器定義的,它是一個三維(3D)卷積神經網絡,用於區分觀察到的和生成的雷達序列,施加時間上的一致性並懲罰跳躍的預測。為了提高准確性,DeepMind引入了一個正則化項,從而懲罰真實雷達序列和模型預測平均值(用多個樣本計算)之間的網格單元分辨率的偏差。

最後,DeepMind為生成器引入了一個完全卷積的潛在模塊,允許對大於訓練時使用的大小的降水場進行預測,同時保持時空一致性。

DeepMind在2016至2018年間英國雷達記錄的降水事件的大型數據集上訓練其DGM。訓練完成後,它可以在一秒鐘內提供預報,並在單個NVIDIA V100 GPU上運行。

與其他流行的預報方法(包括機器學習模型)相比,DeepMind的DGM在長達1,536公裡乘1,280公裡的區域產生了更真實和一致的預測,提前期為5至90分鐘。

結果評估

在使用CSI進行比較時,所有三個深度學習系統產生的預測都比PySTEPS的基線明顯更準確。 使用交替的星期作為獨立單位的配對置換測試來評估統計學意義,發現DGMR與PySTEPS相比,在所有的降水閾值上都具有更好的效果(n=26,P<10-4)。

a. 20個樣本的CSI,降水閾值為1毫米/小時(左)、4毫米/小時(中)和8毫米/小時(右);b. 所有模式在T + 30分鐘(左)和T + 90分鐘(中和右)的2019年預測的徑向平均功率譜密度。

從上圖中的b可以看到,DGMR和PySTEPS的光譜特徵都與觀測結果相吻合,但軸向注意力和UNet模式產生的預報具有中、小尺度的降水變化,並隨著提前期的增加而減少。

由於它們產生了模糊的預測,軸向注意力和UNet nowcasts的有效分辨率遠遠低於數據的1公裡×1公裡分辨率。在T+90分鐘時,UNet的有效分辨率為32公裡,軸向注意力的有效分辨率為16公裡,降低了這些預報對氣象學家的價值。

對於概率驗證來說,下圖中b顯示了平均和最大降水率聚集在越來越大的區域31的CRPS。當在網格分辨率水平上測量時,DGMR、PySTEPS和軸向注意力的表現相似。

隨著空間聚集的增加,DGMR和PySTEPS提供了持續的強大性能,其中DGMR在最大降水上表現更好。軸向注意力模型對於較大的聚集區來說明顯較差,在規模為4及以上的情況下,其性能低於所有其他方法。使用交替的星期作為獨立單位,成對的置換檢驗表明,DGMR和軸向注意力溫度選擇之間的性能差異是顯著的。

網格分辨率(左)、4公裡集合(中)和16公裡集合(右)的CRPS得分

a. 使用平均雨量的集合CRPS;b. 使用最大雨量的集合CRPS。

與其他方法相比,生成式方法優於(在CSI上)現有的STEPS預測方法,提供的概率預測更加准確,並且在空間和時間尺度上保留了降水的統計特性,而其他深度學習方法是以它們為代價的。

此外,DeepMind還在經濟和認知方面進行了分析,結果表明DGMR可以讓決策價值得到提高。

虛線表示Clopper-Pearson的95%置信區間。氣象學家明顯傾向於DGMR而不是其他方法。

學界似乎並不買賬

然而,除了這50位專家以外,其他科學家並沒有被這些結果說服。

雷丁大學的氣象學家Peter Clark說:「我在這裡沒有看到預測方面的任何革命。依靠主觀評價來證明模型的有效性只能使讓人感到困惑。」此外,他還表示:「我仍然驚訝於他們沒有選擇使用一個客觀的分數。關於如何進行評估,甚至是實際評估的內容,幾乎沒有詳細說明。」

在論文中,DeepMind也並沒有給出新模型與現有模型的准確性相比具體提升的數據。對此,DeepMind的高級科學家和論文作者Shakir Mohamed表示,「我們想採取這種更加謹慎的方法,而不是報告一個數字。」

同樣是來自雷丁大學的氣象學家Rob Thompson則說:「與其說DeepMind的研究完全顛覆了我們所知道的雨水預報,不如說它只是提供了一種不同的方法。它的表現與當前其他尖端類型的模型類似,可能稍微好一點,但並沒有領先很多,」

DeepMind的成員說,目前還沒有任何立即投入使用的計劃,但團隊希望最終能夠利用模型為今後的天氣報告提供真實的信息。

話說回來,天氣預報員會不會下崗?

這倒不用擔心,DeepMind的研究科學家同時也是論文的作者Suman Ravuri表示,人工智能不會在這個領域取代人類:「天氣預測需要專家和人類參與其中,以確保在預測方面的理解是合理的,然後將其傳達給公眾。」

參考資料

https://www.nature.com/articles/s41586-021-03854-z

https://deepmind.com/blog/article/nowcasting

https://www.wired.co.uk/article/deepmind-weather-nowcasting

本文來自微信公眾號“新智元”(ID:AI_era),作者:新智元,編輯:好困,36氪經授權發布。

本文經授權發布,不代表36氪立場。

如若轉載請註明出處。來源出處:36氪