天池大赛

IEEE ICDM 2018 全球气象AI挑战赛_算法大赛_赛题与数据_天池大赛

  • 文档(注册之后可以下载)

    大小

    操作

    ossutil命令

  • S*****************************5.zip

    .(7KB)

    下载

    复制命令

  • [************************2.zip

    .(4GB)

    下载

    复制命令


    说明:目前决赛阶段,请各位决赛选手使用上述标题“[20180919]SRAD2018_Test_2.zip”的测试集数据。参赛队可以根据个人的网速或存储情况自行选择下载全部或者部分的SRAD2018训练数据集进行建模,但须对测试集的每组数据均给出预测结果并提交。

    IEEE ICDM 2018 全球气象AI挑战赛——测雨英雄,等你来战!

    问题描述

    参赛队将获取到以历史天气雷达数据集为内容的《标准雷达数据集2018》(英文译名为Standardized Radar Dataset 2018SRAD2018),其中就包含了大量的不同强度、移动轨迹的降雨个例,需要参赛队在数据挖掘过程中使用最先进的机器学习和人工智能的技术来深入挖掘、细致分析降雨雷达图像的移动和增强、减弱的变化规律,预测最准确的参赛队即是造福大湾区市民的“测雨英雄”!

    数据说明

    标准雷达数据集2018SRAD2018)共有32万组数据,其中30万组数据作为训练数据集,1万组数据作为初赛测试集,1万组数据作为决赛测试集。
        (a)训练数据集的每组数据为覆盖6小时、间隔6分钟的雷达样本数据。
        (b)初赛测试集和决赛测试集的每组数据则仅提供前3小时、间隔6分钟的雷达数据,选手需要预测每组数据在后3小时内以30分钟为间隔的雷达图像结果。

    图片 1.png
    <p style="alt: " ";="" animation-delay:="" 0s;="" animation-duration:="" animation-iteration-count:="" 1;="" animation-play-state:="" running;="" animation-timing-function:="" ease;="" border-collapse:="" separate;="" display:="" block;="" font-family:="" calibri;="" font-size:="" 14.666666984558105px;="" font-synthesis:="" weight="" small-caps;="" line-height:="" 16.866666793823242px;="" list-style-position:="" outside;="" list-style-type:="" disc;="" margin-bottom:="" 20px;="" object-fit:="" fill;="" object-position:="" 50%="" center;="" text-align:="" center;"="">赛题及数据示意图

    <p style="alt: " ";="" animation-delay:="" 0s;="" animation-duration:="" animation-iteration-count:="" 1;="" animation-play-state:="" running;="" animation-timing-function:="" ease;="" border-collapse:="" separate;="" display:="" block;="" font-family:="" calibri;="" font-size:="" 14.666666984558105px;="" font-synthesis:="" weight="" small-caps;="" line-height:="" 16.866666793823242px;="" list-style-position:="" outside;="" list-style-type:="" disc;="" margin-bottom:="" 20px;="" object-fit:="" fill;="" object-position:="" 50%="" center;="" text-align:="" left;"="">提交内容

    (a) 参赛选手提交的预报数据结果的网格点范围、分辨率、数值范围和缺测值必须按照SRAD2018格式要求。
    (b) 参赛选手提交的预测数据文件必须PNG格式压缩的ZIP文件,参考submit_sample.zip。如果比赛数据样本为:RAD_000000000001000_[000-030].png,预测结果文件命名为:

    30分钟预测结果:RAD_000000000001000_f001.png
    60分钟预测结果:RAD_000000000001000_f002.png
    90分钟预测结果:RAD_000000000001000_f003.png
     第120分钟预测结果:RAD_000000000001000_f004.png
     第150分钟预测结果:RAD_000000000001000_f005.png
     第180分钟预测结果:RAD_000000000001000_f006.png

    <p style="alt: " ";="" animation-delay:="" 0s;="" animation-duration:="" animation-iteration-count:="" 1;="" animation-play-state:="" running;="" animation-timing-function:="" ease;="" border-collapse:="" separate;="" display:="" block;="" font-family:="" calibri;="" font-size:="" 14.666666984558105px;="" font-synthesis:="" weight="" small-caps;="" line-height:="" 16.866666793823242px;="" list-style-position:="" outside;="" list-style-type:="" disc;="" margin-bottom:="" 20px;="" object-fit:="" fill;="" object-position:="" 50%="" center;="" text-align:="" left;"="">评分标准

    <p style="alt: " ";="" animation-delay:="" 0s;="" animation-duration:="" animation-iteration-count:="" 1;="" animation-play-state:="" running;="" animation-timing-function:="" ease;="" border-collapse:="" separate;="" display:="" block;="" font-family:="" calibri;="" font-size:="" 14.666666984558105px;="" font-synthesis:="" weight="" small-caps;="" line-height:="" 16.866666793823242px;="" list-style-position:="" outside;="" list-style-type:="" disc;="" margin-bottom:="" 20px;="" object-fit:="" fill;="" object-position:="" 50%="" center;="" text-align:="" left;"="">参赛选手提交的预测结果采用客观定量评分办法,该方法基于Heidke技巧评分(Heidke skill score, HSS),HSS方法说明可参考http://www.cawcr.gov.au/projects/verification/,由深圳市气象局和香港天文台联合开发,当预报时效越长和强度越大,所占的评分比重越高,系统会自动的在天池平台上计分和排名,最终前5名选手或队伍将获奖。


    标准雷达数据集2018格式说明

    深圳市气象局与香港天文台根据近年的雷达数据共同建立了《标准雷达数据集2018》,具体说明如下:

    1、标准雷达数据集2018格式说明

    a)数据集覆盖时间:本雷达数据集覆盖时间从2010年至2017年的每年31500:00 UTC71523:54 UTC4个月时间。

    b)雷达数据个案样本:每个雷达数据个案样本覆盖时长为6小时,时间间隔为6分钟,共61个时次。

    c)垂直层次:共1层,海平面高度3km

    d)水平网格点范围:雷达数据样本水平分辨率为0.01度(约1km)、网格数量为501*501(即约500km×500km的区域),如图所示:

    屏幕快照 2018-05-22 下午10.18.03.png

    图:雷达样本覆盖范围示意图

     

    e)数据内容:雷达回波数据经过质量控制,数据范围0-80(单位:dBZ),缺测值为255;数据存储格式见下。

    2、雷达数据存储格式

    a)档案格式:雷达样本数据以灰度图PNG格式存储,每个时次存为一张PNG格式的图片,每个样本共有61个时次。

    b)雷达数据集文件命名规则:雷达数据集文件名是经过加密处理,以序列号进行命名,基本规则为:RAD[3字元][############## 15位序列号][000-060].png
        例如:其中一个数据样本文件名为: 
        该样本第1数据文件为RAD_000000000001000_000.png
        该样本第2数据文件为RAD_000000000001000_001.png
        ……
        该样本第61数据文件为RAD_000000000001000_060.png;

    3、标准雷达数据集2018读取程序

    标准雷达数据集的图像文件读取程序,基本由图片像素的获取色值,其R,G,B同为一个值,该值即为雷达回波的数值。

    aC#代码例子: 

    public byte[] ToArray(Bitmap img)

    {           
      byte[] datas = new byte[501 * 501];
      for (int i = 0; i < 501; i++)
      {
        for (int j = 0; j < 501; j++)

        {
          Color col = img.GetPixel(j, i);
          byte r = col.R;
          datas[i * 501 + j] = r;
         }
        }
       return datas;

    bPython代码例子:

    from scipy.misc import imread
        def image_read(file_path):
        image=imread(file_path)
        return image

    4、注意事项

    对于预报数据,使用者须以上述的PNG格式编码,文件命名规则(包括序列号)、网格点数目、覆盖范围和分辨率须与原来的雷达数据相同,覆盖数值范围和缺测值亦必须符合上述要求。

    <p style="alt: " ";="" animation-delay:="" 0s;="" animation-duration:="" animation-iteration-count:="" 1;="" animation-play-state:="" running;="" animation-timing-function:="" ease;="" background-color:="" rgb(255,="" 255,="" 255);="" border-collapse:="" separate;="" display:="" block;="" font-family:="" "times="" new="" roman";="" font-size:="" 16px;="" font-synthesis:="" weight="" small-caps;="" line-height:="" 18px;="" list-style-position:="" outside;="" list-style-type:="" disc;="" margin-bottom:="" 5px;="" margin-top:="" object-fit:="" fill;="" object-position:="" 50%;="" text-align:="" start;"="">

    <p style="alt: " ";="" animation-delay:="" 0s;="" animation-duration:="" animation-iteration-count:="" 1;="" animation-play-state:="" running;="" animation-timing-function:="" ease;="" border-collapse:="" separate;="" display:="" block;="" font-family:="" "times="" new="" roman";="" font-size:="" 16px;="" font-synthesis:="" weight="" small-caps;="" line-height:="" 18px;="" list-style-position:="" outside;="" list-style-type:="" disc;="" margin-bottom:="" margin-top:="" object-fit:="" fill;="" object-position:="" 50%;="" text-align:="" center;"="" align="center"><span style="font-size: 13px; font-family: " times="" new="" roman";"="">