Nature重磅:改写AI气象预测,可在台式电脑上运行,速度快千倍
2025-04-04 10:01:25 阅览:453

在(zài)全球(qiú)变(biàn)暖(nuǎn)、自(zì)然(rán)极(jí)端(duān)天(tiān)气(qì)频(pín)发(fā)的(de)当(dāng)下(xià),准(zhǔn)确(què)的(de)气(qì)象(xiàng)预(yù)测(cè)对(duì)于(yú)人(rén)类(lèi)生(shēng)命(mìng)健(jiàn)康(kāng)与(yǔ)社(shè)会(huì)发(fā)展(zhǎn)至(zhì)关重(zhòng)要(yào)。
例(lì)如(rú),在(zài)农(nóng)业(yè)方(fāng)面(miàn),为(wèi)播(bō)种(zhǒng)、灌(guàn)溉(gài)和(hé)收(shōu)割(gē)等(děng)农(nóng)事(shì)活(huó)动(dòng)提(tí)供(gōng)参(cān)考(kǎo),减(jiǎn)少(shǎo)自(zì)然(rán)灾(zāi)害(hài)对(duì)农(nóng)作(zuò)物(wù)的(de)影(yǐng)响(xiǎng),提(tí)高(gāo)产(chǎn)量(liàng)和(hé)经(jīng)济(jì)效(xiào)益(yì);在(zài)航(háng)空(kōng)领(lǐng)域,帮(bāng)助航空公司合理规划航班,避免因(yīn)恶(è)劣(liè)天(tiān)气(qì)导致的延误和事(shì)故(gù);在(zài)公(gōng)共安全领域,为应急管(guǎn)理(lǐ)部(bù)门(mén)的(de)工(gōng)作(zuò)提(tí)供(gōng)参(cān)考(kǎo),减(jiǎn)少(shǎo)人(rén)员(yuán)伤(shāng)亡(wáng)和(hé)财(cái)产(chǎn)损(sǔn)失(shī)……
从(cóng)科(kē)学(xué)研(yán)究(jiū)的(de)角(jiǎo)度(dù)来(lái)看(kàn),气(qì)象(xiàng)预(yù)测(cè)能(néng)够(gòu)帮(bāng)助(zhù)科(kē)学(xué)家(jiā)更(gèng)好(hǎo)地(de)理(lǐ)解(jiě)大(dà)气(qì)的(de)物(wù)理(lǐ)过(guò)程(chéng)和(hé)气(qì)候(hou)变(biàn)化(huà)的(de)趋(qū)势(shì)。分(fēn)析气候系统的(de)复(fù)杂(zá)性(xìng),探(tàn)索(suǒ)极(jí)端(duān)天(tiān)气(qì)事(shì)件(jiàn)的(de)成(chéng)因(yīn),以(yǐ)及(jí)评(píng)估(gū)人(rén)类(lèi)活(huó)动(dòng)对(duì)气(qì)候(hou)的(de)影响。
**然而,**现有的人工智能(AI)气象预测领域面临诸多挑战。传统数值天气预测(NWP)系统依赖复杂流程和超级计(jì)算(suàn)机(jī),难(nán)以(yǐ)快(kuài)速改进,且改进成本高昂。AI 模型虽具潜力,但多依赖 NWP 初始状态,性能受限,且在数据处理上面临数据缺失和融合难题,影响其预测性能和实际应用。
谷歌 GenCast、GraphCast、NeuralGCM 等 AI 气象预测技术取得了显著进展,但它们在数(shù)据(jù)依(yī)赖(lài)性(xìng)、预(yù)测时效和分辨率、模型复杂性和计算成本以及实际应用的局限性等方面仍存在一些缺点。
作为新一代 AI 气象(xiàng)预(yù)测(cè)系(xì)统(tǒng),由(yóu)来(lái)自(zì)剑(jiàn)桥(qiáo)大(dà)学(xué)和(hé)艾(ài)伦(lún)图(tú)灵(líng)研(yán)究(jiū)所(suǒ)的(de)研(yán)究(jiū)团(tuán)队(duì)开(kāi)发(fā)的(de) Aardvark Weather 有(yǒu)望(wàng)带(dài)来(lái)气(qì)象(xiàng)预(yù)测(cè)的(de)范式转变。
Aardvark Weather 是首个可用在台式电脑训练和运(yùn)行(xíng)的(de)单(dān)一(yī) AI 模(mó)型(xíng)取(qǔ)代(dài)天(tiān)气(qì)预(yù)报(bào)流(liú)程(chéng)所(suǒ)有(yǒu)步(bù)骤(zhòu)的(de)系(xì)统(tǒng),速(sù)度(dù)快(kuài)数(shù)千(qiān)倍(bèi),可(kě)处(chù)理(lǐ)来(lái)自(zì)卫(wèi)星(xīng)、气(qì)象(xiàng)站(zhàn)和(hé)气(qì)象(xiàng)气(qì)球(qiú)的(de)多(duō)模(mó)态(tài)复(fù)杂(zá)数(shù)据(jù),生(shēng)成(chéng) 10 天(tiān)全球(qiú)预(yù)报(bào)。
相(xiāng)关研(yán)究(jiū)论(lùn)文以(yǐ)“End-to-end data-driven weather prediction”为(wèi)题(tí),已(yǐ)发(fā)表(biǎo)在(zài)权(quán)威(wēi)科(kē)学(xué)期(qī)刊(kān) Nature 上(shàng)。

论(lùn)文链(liàn)接(jiē):
https://www.nature.com/articles/s41586-025-08897-0
研(yán)究(jiū)团(tuán)队(duì)表(biǎo)示(shì),这(zhè)将(jiāng)为(wèi)缺(quē)乏(fá)超(chāo)级(jí)计(jì)算(suàn)机(jī)、复(fù)杂(zá)基(jī)础(chǔ)设(shè)施(shī)和(hé)专(zhuān)业(yè)知(zhī)识(shi)的(de)发(fā)展(zhǎn)中(zhōng)国(guó)家(jiā)带(dài)来(lái)真(zhēn)正(zhèng)的(de)价(jià)值(zhí),以(yǐ)及(jí)在(zài)任(rèn)何(hé)地(de)方(fāng)发(fā)挥(huī)作(zuò)用(yòng),提(tí)高(gāo)效(xiào)率(lǜ)和(hé)准(zhǔn)确(què)性(xìng),甚(shén)至(zhì)减(jiǎn)少(shǎo)天(tiān)气(qì)预(yù)报(bào)的(de)大(dà)量(liàng)碳(tàn)足(zú)迹(jī)。
AI气(qì)象(xiàng)预(yù)测(cè):更(gèng)便(biàn)宜(yi)、更(gèng)准(zhǔn)确(què)、更(gèng)高(gāo)效(xiào)
传(chuán)统(tǒng)的(de)数(shù)值(zhí)天(tiān)气(qì)预(yù)报(bào)(NWP)需(xū) 3 步(bù),包(bāo)括(kuò):收(shōu)集信(xìn)息(xi)估(gū)计(jì)大(dà)气(qì)当(dāng)前(qián)状(zhuàng)态(tài)、用(yòng)复(fù)杂(zá)计(jì)算(suàn)模(mó)型(xíng)产(chǎn)生(shēng)预(yù)报(bào)、处(chù)理(lǐ)预(yù)报(bào)确(què)保(bǎo)其(qí)在(zài)特(tè)定(dìng)位(wèi)置(zhì)可(kě)用(yòng)。
过(guò)去(qù)两(liǎng)年(nián),AI 虽(suī)用(yòng)于(yú)流(liú)程(chéng)第(dì)二(èr)步(bù),使(shǐ)其(qí)速(sù)度(dù)更(gèng)快(kuài)、更(gèng)准(zhǔn)确(què),但(dàn)第(dì)一(yī)步(bù)尚(shàng)未(wèi)取(qǔ)得(de)更(gèng)大(dà)进展,仍需消耗大量资源。NWP 依赖数据(jù)同(tóng)化(huà)、流体力学方程求解、后处理等多个步骤,需超级计算机(jī)支(zhī)持(chí),这(zhè)使(shǐ)得(de)其(qí)运(yùn)行(xíng)成(chéng)本(běn)高(gāo)昂(áng),且(qiě)难(nán)以(yǐ)快(kuài)速(sù)迭代和改进。生成全球预报需约1000节点小时,且依赖高分辨率模型。
在这项研究中,Aardvark Weather 通过其端到端的数据驱动方法,显著降低了气象预测的计算成本。它还能够在几秒钟内生成全球天气预报,相较于传统方法需要数小时甚至数(shù)天(tiān)的(de)计(jì)算(suàn)时(shí)间,极大地提高了预测效率。
此外,Aardvark Weather 在多个气象变量和预测时效上展现出与传统 NWP 系统相当甚至更优的准确性,尤其是在处理小范围极端天气事件时表现出色。这种高效、经济且准确的特性,使其成为未来气象预测领域的一个重要发展方向。
具体而言,Aardvark 的速度更快。它是首个完全数据驱动的端到端天气预报系统,比传统 NWP 更快、成本更低,其生成速度比现有系统快几个数量级,并且不依赖 NWP 预报产品。
在 4 个 NVIDIA A100 GPU 上,Aardvark 由观测数据生成完整预报大约只需要一秒钟。相比之下,高分辨率预报(HRES)仅执行数据同化和预报就需要大约 1000 个节点小时,这还未考虑下游本地模型和处理。
**而且,Aardvark 是端到端的。**Aardvark 学习端到端模型提供了额外的功能,即(jí)能(néng)够(gòu)优(yōu)化(huà)系(xì)统(tǒng),以(yǐ)在(zài)任(rèn)意(yì)感(gǎn)兴(xìng)趣(qù)的(de)变(biàn)量(liàng)或(huò)区(qū)域上(shàng)实(shí)现(xiàn)性(xìng)能(néng)最(zuì)大(dà)化(huà)。与(yǔ)传(chuán)统(tǒng) NWP 系(xì)统(tǒng)相(xiāng)比(bǐ),机(jī)器(qì)学(xué)习(xí)系(xì)统(tǒng)不(bù)仅(jǐn)速(sù)度(dù)更(gèng)快(kuài)、计(jì)算(suàn)成(chéng)本(běn)更(gèng)低(dī),而(ér)且(qiě)改进和维护起来也容易得多。
该系统的简单性,不仅使其更容易被已经运行 NWP 的用户部署和维护,还为发展中国家的一些地区提供了运行定制 NWP 的潜力,这些地区的机构通常缺乏运行传统系统的资源和专业知识。
此外,端到端预测还展示了能够针对特定区域和变量优化定制模型以最大化预测能力的潜力,这引起了农业、可再生能源、保险和金融等多个领域终端用户的极大兴趣。
那么,Aardvark Weather 是如何做到这些的呢?
Aardvark Weather 是一个深度学习模型,能够从多种观测数据源中摄取信息,并生成全球网格化预测和本地站点预测**,**三个主要模块组成:编码器(encoder)、处理器(processor)和解码器(decoder)。它在训练阶段利用高质量的再分析数据,而在部署阶段完全独立于传统 NWP 产品。

图|三个(gè)模块各自的功能
首先,编码器模块整合多种来源的观测数据,包括网内和网外观测数据,并生成网格化初始状态。网内观测数据是规则网格上的数据模态,而网外模态则是一组经纬度位置上的数据。
为此,他们利用了深度学习在处理离网数据和缺失数据方面的最新进展。这一过程采用非递归方法进行状态估计,以避免传统数据同化系统中的复杂性。
对于编码器模块,他们通过掩码通道区分缺失数据与真实观测数据,使用 SetConv 层处理非网格化数据,并利用 ViT 提取特征,最终输出 24 个大气变量的初始估计值,训练过程中采用 VLW-RMSE 损失函数,并通过 AdamW 优化器进行优化。
其次,处理器模块以编码器估算出的初始大气状态作为输入,会在 24 小时内生(shēng)成(chéng)网(wǎng)格(gé)预(yù)报(bào)。通(tōng)过(guò)自(zì)回(huí)归(guī)方(fāng)式(shì)生(shēng)成(chéng)未(wèi)来(lái) 24 小(xiǎo)时(shí)的(de)天(tiān)气(qì)预(yù)测(cè)。对(duì)于(yú)更(gèng)长(zhǎng)的(de)预(yù)测(cè)时(shí)间(jiān),处(chù)理(lǐ)器(qì)模(mó)块(kuài)会(huì)将(jiāng)其(qí)自(zì)身(shēn)的(de)预(yù)测(cè)作(zuò)为(wèi)输(shū)入(rù),逐(zhú)步(bù)推(tuī)算(suàn)未(wèi)来(lái)的(de)天(tiān)气(qì)状(zhuàng)态(tài)。
该(gāi)模(mó)块(kuài)由(yóu) 10 个(gè)独(dú)立(lì)的(de) ViT 串(chuàn)联(lián)构(gòu)成(chéng),每(měi)个(gè) ViT 负(fù)责(zé)预(yù)测(cè)未(wèi)来(lái) 1 天(tiān)的(de)气(qì)象(xiàng)状(zhuàng)态(tài)残(cán)差(chà)(residual,即(jí)当(dāng)前(qián)预(yù)测(cè)与(yǔ)真(zhēn)实(shí)状(zhuàng)态(tài)的(de)差(chà)异(yì)),并(bìng)通(tōng)过(guò)叠(dié)加(jiā)残(cán)差(chà)逐(zhú)步(bù)生(shēng)成(chéng) 1 至(zhì) 10 天(tiān)的(de)全球(qiú)网(wǎng)格(gé)化(huà)预(yù)报(bào)。
例(lì)如(rú),第(dì)一(yī)天(tiān)的 ViT 以初始状态为输入预测第 1 天残差,第二天的 ViT 则以第 1 天修正后的状态为输入,依此类推。
最后,解码器模块收到处理器模块输出的网格化预测数据,任务特定的解码器模块将网格化数据转换为具体的本地气象预测。
该模块采用 U-Net 为(wèi)主架(jià)构(gòu),对(duì)全球(qiú)预(yù)报(bào)数(shù)据(jù)进(jìn)行(xíng)空(kōng)间(jiān)特(tè)征(zhēng)提(tí)取(qǔ),捕(bǔ)捉(zhuō)局(jú)部(bù)气(qì)象(xiàng)细(xì)节(jié),随(suí)后通过 SetConv 层将网格数据插值到任意目标站点坐标,并结合多层感知机(MLP)融入地形辅助信息(如海拔、坡度)。
迈向新一代端到端气象预测系统
虽然 AI 气象预测工具正在快速发展,但这仍然是一项实验技术,需要在一段时间内进行严格的评估。要想在实际中部署 Aardvark Weather 这样的端到端数据驱动模型,必须考虑当前模型的局限性。
与所有当前的 AI-NWP 系统一样,Aardvark Weather 尚未以 IFS 的分辨率运行。需要进一步研究以提高网格分辨率,并通过扩散等方式生成预报集合。
此外,Aardvark Weather 在观测数据的使用上也存在一些局限性。增加更多的观测方式很可能会提高预报能力。同时,还需要考虑如何将(jiāng)那(nà)些(xiē)尚未有训练数据的新仪器的数据有效地整合到系统中。例如,可以通过对模拟数据进行训练来实现。
对于气象预测工具来说,飓风和洪水等极端天气尤其重要。不幸的是,这类罕见事件在训练数据中较少出现,这意味着人工智能系统在这些现象上可能会遇到更多困难。
另一个需要考虑的问题是应对观测数据漂移以及数据随时间的其他变化,比如气候变化,这可能会降低基于过去数据训练的模型的准确性。这可以通过定期使用最近几个月的数据对所有模块进行微调,从而适应仪器特性的变化。
对此,研究团(tuán)队(duì)表(biǎo)示,他们将在未来的工作中通过扩展 Aardvark Weather 以支持更多其他预报变量,无论是在其网格化预报中,还是通过其(qí)解(jiě)码(mǎ)器(qì)模(mó)块(kuài),都(dōu)可(kě)以(yǐ)进(jìn)一(yī)步(bù)增(zēng)加(jiā)其(qí)功(gōng)能(néng)。例(lì)如(rú),Aardvark Weather 可以支持多种解码器模(mó)块(kuài),以(yǐ)提(tí)供(gōng)不(bù)同(tóng)类(lèi)型(xíng)的(de)终(zhōng)端(duān)用(yòng)户(hù)预(yù)报(bào),如(rú)飓(jù)风(fēng)、洪(hóng)水(shuǐ)、严(yán)重(zhòng)对(duì)流(liú)、火(huǒ)灾(zāi)和(hé)其(qí)他(tā)极(jí)端(duān)天(tiān)气(qì)预(yù)警(jǐng)。
另(lìng)一(yī)个(gè)令(lìng)人(rén)兴(xìng)奋(fèn)的(de)方(fāng)向(xiàng)是(shì),利(lì)用(yòng)端(duān)到(dào)端(duān)系(xì)统(tǒng)进(jìn)行(xíng)更(gèng)长(zhǎng)时(shí)间(jiān)的(de)预(yù)报(bào),来(lái)生(shēng)成(chéng)季(jì)节(jié)性(xìng)预(yù)报(bào)产(chǎn)品(pǐn)。
此(cǐ)外(wài),增(zēng)加(jiā)更(gèng)多(duō)的(de)观(guān)测(cè)模(mó)式(shì)将(jiāng)允(yǔn)许(xǔ)对(duì)地(de)球(qiú)系(xì)统(tǒng)的(de)其(qí)他(tā)组(zǔ)成(chéng)部(bù)分(fēn)进(jìn)行(xíng)建(jiàn)模(mó)。例(lì)如(rú),用(yòng)于(yú)空(kōng)气(qì)质(zhì)量(liàng)预(yù)报(bào)的(de)大(dà)气(qì)化(huà)学(xué)和(hé)用(yòng)于(yú)海(hǎi)洋(yáng)预(yù)报(bào)的(de)海(hǎi)洋(yáng)参(cān)数(shù)。
他(tā)们(men)设(shè)想(xiǎng),Aardvark Weather 将(jiāng)成(chéng)为(wèi)新(xīn)一(yī)代(dài)端(duān)到(dào)端(duān)气(qì)象(xiàng)预(yù)测(cè)系(xì)统(tǒng)中(zhōng)第(dì)一(yī)个(gè)能(néng)够(gòu)应(yīng)对(duì)这(zhè)些(xiē)多(duō)样(yàng)化(huà)任(rèn)务(wu)的(de)系(xì)统(tǒng)。
作(zuò)者(zhě):锦(jǐn)鲤
