竞赛经历AI气象_nino_厄尔尼诺_预测

ENSO时间预测--构建预测ENSO的深度学习模型,预测未来1-24个月的Nino3.4指数 发生在热带太平洋上的厄尔尼诺-南方涛动(ENSO)现象是地球上最强、最显著的年际气候信号。通过大气或海洋遥相关过程,经常会引发洪涝、干旱、高温、雪灾等极端事件,对全球的天气、气候以及粮食产量具有重要的影响。准确预测ENSO,是提高东亚和全球气候预测水平和防灾减灾的关键。本次赛题是一个时间序列预测问题。本次比赛使用的数据包括CMIP5/6模式的历史模拟数据和美国SODA模式重建的近100多年历史观测同化数据。 阅读详情

竞赛题目

官网地址
问题类型:时间序列预测问题。
基于历史气候观测和模式模拟数据,利用T时刻过去12个月(包含T时刻)的时空序列(气象因子),构建预测ENSO的深度学习模型,预测未来1-24个月的Nino3.4指数,如下图所示:
image.png

数据

东经 0°–360°,南纬 55°到北纬 60°-> 维度(24,72)

  • 海平面温度(SST)
  • 热含量异常(T300)
  • 纬向风异常(Ua)
  • 经向风异常(Va)

SODA数据:可以当成真实数据 100年

CMIP5/CMIP6:可以当成模拟数据(大气模型模拟) CMIP5: 151年 * 15 个模式=2265 140年 * 17 个模式=2380

Label: nino3.4指标

SODA_train、SODA_label、CMIP_train、CMIP_label

评估指标

评分细则说明:根据所提供的n个测试数据,对模型进行测试,得到n组未来1-24个月的序列选取对应预测时效的n个数据与标签值进行计算相关系数和均方根误差,如下图所示。并计算得分。

image-20210401224442956

赛题理解

Nino3.4(西经 170°–120°,南北纬 5°以内区域中的平均 SST 值)就是本次赛题的标签。

训练数据对应的标签数据是当前时刻Nino3.4 SST(170°–120°W,5°S–5°N)异常指数的三个月滑动平均值。三个月滑动平均值为当前月与未来两个月的平均值。红框内的区域SST(解释:计算出来当月的SST均值后,还需要计算未来两个月的SST均值,然后求平均才是本月的nino3.4指标)
image-20210401224652219

根据赛题本意,每一个月,在世界地图上(东经 0°–360°,南纬 55°到北纬 60°),标注了海平面温度(SST)、热含量异常(T300)、纬向风异常(Ua)、经向风异常(Va)数据,地图可以看做是一个4* 24* 72的图片(4个通道数代表SST/T300/UA/VA参数)。一个月对应了一张图片,而且每一张图片都能对应一个Nino3.4指数。
参考EDA
image-20210401224718756

具体来说,需要根据一年(12个月)的气候变化(sst/t300/ua/va),推断出未来2年(24个月)的nino3.4指标。
思路一:根据12张图片(4 * 24 * 72)推断未来24张图片(4 * 24 * 72),再根据推断的图片,计算得到每个月的nino3.4指标(流程1)。
思路二:根据12张图片(4 * 24 * 72)直接预测未来2年(24个月)的nino3.4指标(流程2)。
image-20210401224743945

数据探索

验证nino3.4标签

每一个月的nino3.4指标是根据每一个月的SST指数计算得来的吗(西经 170°–120°,南北纬 5°以内区域中的平均 SST 值,滑动三个月)?验证nino3.4指标是否是由此得来的。

  1. 提取西经 170°–120°,南北纬 5°以内区域中 SST 值,计算其与标签的关系。
  2. 根据测试结果,前24个月的SST指数均值滑动3个月,能够对应上nino3.4指标,但是之后的就对应不上了,但是总体相关系数达到0.991,平均绝对误差为0.087 左右,很奇怪,通过验证数据,没有发现问题所在。
  3. 对CMIP_train数据做同样测试,用SST指数均值滑动3个月,能够对应上nino3.4指标,相关系数以及平均绝对误差都可以对应。是否SODA数据存在问题?CMIP5和CMIP6都经过测试。
  • SODA 数据只有前24个月的数据符合nino3.4指标的构建规则,后面100年的数据趋势符合,但是不能完全重合
  • CMIP 数据符合nino3.4指标的构建规则
    image-20210401230504313
image-20210401225137389

结论

根据官方解释:
准确的label是根据标准1* 1的海温甚至更高精度的海温计算的,而本次比赛5* 5精度的海温计算的肯定有误差。
SODA前24个月的数据一致是因为前24个月没有1* 1的观测数据,只能用这个5* 5计算出来的代替,所以一致。
CMIP数据没有真实样本资料,而SODA观测是有真实样本的。所以SODA的label是更准确的。
数据是没有问题的

缺失值删除

样本个数大致可以看成:
CMIP5+CMIP6+SODA = 2265 + 2380 +100 = 4745
含有缺失值的样本个数有 775个
EDA中虽然说缺失值大多是陆地,但是还是将其删除了

image-20210401225226811

模型构建

思路

  • 模型构建参考了Baseline ,主要思路是利用CNN+LSTM来构建,B榜最高的一次分数是26分。

  • 经纬度外加4个特征,可以看作图片的长、宽和通道(4,24,72)

  • B榜分两次进行训练

  • 第一次是CMIP数据划分8:2 进行训练 将含有空值的样本去除了

  • 利用训练好的模型,在SODA数据上微调,SODA数据划分 8:2

训练过程参考

模型

class simpleSpatailTimeNN(nn.Module):
    
    def __init__
Nino指数解析:从基础概念到全球气候预测应用 Nino指数是衡量厄尔尼诺-南方涛动(ENSO)现象的核心指标,通过监测特定海域温度异常来反映大气-海洋耦合系统的状态变化。其技术原理基于海表温度(SST)异常计算,其中Nino3.4区域(5°N-5°S,120°-170°W)的数据最具气候指示意义。该指数在气候预测领域具有重要价值,能提前6-9个月预警全球气候异常。典型应用场景包括农业产量预测模型构建、能源需求弹性计算和流行病传播预警系统开发。在数据处理时需特别注意3个月滑动平均等降噪技术,并交叉验证NOAA ERSSTv5、JRA-55等多源数据集。随 阅读详情

相关推荐

【数据集】ENSO-基于NOAA发布ONI值

ENSO-基于NOAA发布ONI值

WW、forever的博客 1320

matlabeof代码-Cal_CM:在MATLAB中计算Nino3.4、AMO和PDO指数的教程

matlab eof代码使用 MATLAB 从 SST 计算 Nino3.4、AMO 和 PDO 指数 这是一个关于使用海面温度计算Nino3.4、AMO和PDO指数的教程。 数据说明 这里有1950-2018年的HADISST(828个时间点),还有ENSO ONI指数、AMO指数、长期ERISST衍生的PDO指数,用来评价我们的计算是否正确。 这里用于生成 Nino3.4、AMO 和 PDO 的代码由我编写,EOF 代码由 Chad A. Greene 编写。 分步代码 让我们首先加载 SST。 %% Load data sst=NaN(360,180,828); for i=1950:2018 file_here=['sst_' num2str(i)]; load(file_here); sst(:,:,(1:12)+(i-1950)*12)=sst_here; end 然后我们使用enso34函数计算 Nino3.4 指数。 这个函数只需要4个变量, sst是3D海sst数据集(lon - lat - Time), t是(Time, 2)大小的矩阵,两列分别对应对应的年月, l

获取厄尔尼诺南方涛动指数值:获取 SOI(或 ENSO)值作为从 1866 年到现在的时间序列。-matlab开发

get_soi(start_date,end_date) 检索由 UCAR 使用 Trenberth (1984) 概述的标准化方法计算的南方涛动指数 (SOI) 的每月标准化值,以最大化信号。 请注意,应谨慎使用 1935 年之前的 SOI 值。 1935 年之前大溪地气压值的一致性和质量存在问题。 SOI 或厄尔尼诺南方涛动 (ENSO) 是一种通过西太平洋压力异常测量的气候模式。 正值高表示拉尼娜年,负值低表示厄尔尼诺年。 输入参数:(可选) start_date = Matlab 的 datenum 格式的范围的开始日期(例如 datenum(1936,4,1) 表示 1936 年 4 月 1 日)。 适用于1866 年 1 月或之后,但 1935 年之前的值是可疑的。 start_date 是一个可选输入,可以是在不声明 end_date 的情况下使用。 end_date

nino3.4_nino3.4怎么计算_nino3.4区海温指数及其标准化_nino的计算_

通过读入nino3.4区海温计算3.4区海温指数并进行标准化

NVMe与PCIe的完美结合:高速存储背后的技术解析

本文深入解析了NVMe与PCIe技术如何完美结合,实现高速存储性能的飞跃。从机械硬盘到NVMe SSD的进化历程出发,详细介绍了PCIe总线的高带宽优势与NVMe协议的低延迟设计,以及两者协同工作带来的显著性能提升。通过实测数据对比,展示了NVMe SSD在消费级和企业级应用中的卓越表现,并提供了选购与优化建议。

weixin_29216353的博客 382

从零开始:用RFSOC XCZU47DR搭建软件无线电开发环境(2023最新版)

本文详细介绍了如何使用Xilinx RFSoC XCZU47DR搭建高性能软件无线电(SDR)开发环境,涵盖硬件选型、开发环境配置、射频子系统校准及实战应用开发。特别针对2023年最新技术需求,提供从基础配置到高级优化的完整指南,助力科研人员和工程师快速掌握RFSoC开发技术。

weixin_42525005的博客 525

Type-C快充移动电源芯片避坑指南:IP5356配置全流程(支持PD3.0)

本文详细解析了英集芯IP5356芯片在Type-C快充移动电源中的应用,提供了从芯片选型、原理图设计、PCB布局到PD协议调试的全流程实战指南。文章重点剖析了如何避免散热、EMI及协议握手等常见设计陷阱,并分享了量产前的关键测试验证方法,旨在帮助硬件开发者高效打造稳定可靠的快充产品。

weixin_29235525的博客 868

PyCharm安装PyQt5及工具详细教程

PyCharm是一款功能强大的Python集成开发环境(IDE),而PyQt5是一个用于创建GUI应用程序的流行Python库。在本教程中,我将指导您如何在PyCharm中安装PyQt5及其相关工具,并提供相应的源代码示例。安装完成后,启动PyCharm并创建一个新的项目。为了隔离项目的依赖项,我们建议在PyCharm中使用虚拟环境。在创建项目的过程中,您可以选择创建新的虚拟环境或使用现有的环境。根据您的操作系统,选择适当的版本并按照安装向导的指示进行安装。首先,您需要下载并安装PyCharm。

CfProgram的博客 590

基于深度学习的ECG心电信号异常分类:从数据集到Transformer实战

心电图(Electrocardiogram, ECG)是诊断心血管疾病最常用、最无创的工具。随着可穿戴设备的普及,海量的心电数据需要自动、快速且准确地分析。人工智能,尤其是深度学习,在心电信号分类任务中表现出了超越传统规则算法的能力。本文将深入探讨ECG异常分类的技术细节,从心电数据的生理基础,到数据预处理,再到使用1D-CNN、LSTM、以及前沿的Transformer模型进行实战演练。文章末尾提供了完整的代码以及多个国际公开数据集的获取方式。

YOLO 193

RK3588+YT9215快速拓展以太网口

YT9215支持7个端口的非阻塞数据传输,确保高效的数据流处理;在开发过程中,最重要的一点就是YT9215与RK3588的GMAC连接和配置部分,下面是gmac1对应dtsi文件的修改,包括注释掉rgmii_phy1对应的mdio1,以及gmac1对应的phy-handle部分,同时将gmac1修改成1000Mbps全双工模式。这就是最简单,最快速的RK3588拓展网口的方法了,如果需要用到交换芯片的其他功能,那就不可以直接使用原厂提供的bin,而是需要对YT9215进行另外的驱动开发。

带着耳朵取流浪的博客 2799

SAP UI5 主题设置全解析:从启动参数到运行时切换、跨域白名单与事件监听

SAP UI5主题体系深度解析:从配置到切换的完整指南 摘要:SAP UI5主题机制远不止CSS换肤,其工程化实践涵盖启动配置、运行时API切换、跨库路径映射及安全管控等关键环节。通过bootstrap标签或URL参数设置初始主题,运行时可用Theming.setTheme无刷新切换。自定义主题需配置theme-roots路径,跨域加载需声明sap-allowed-theme-origins白名单。主题切换完成后会触发applied事件,适合执行视觉同步操作。该体系支持多品牌适配、集中式主题管理,在Fior

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 331

halcon第一讲:基本操作

本文通过Blob分析提取出图片中的硬币,来熟悉halcon的基本操作。 1、读取图像,halcon读取图像有三种方式:1)、文件->读取图像;2)、通过助手;3)、代码 *打开窗口 dev_open_window (0, 0, 512, 512, 'black', WindowHandle) *读取图像 read_image (Image,'1.png') 读取的图像如下: 2...

qq_24946843的博客 3万+

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

上一篇: C++调用python脚本
下一篇: 半导体领域知识 - 初级入门
我是小六啊
博客等级 码龄12年 106粉丝 21原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址