繼之前松下聲稱自己研發(fā)出了“世界上最好的氣象模式”之后,今年1月在拉斯維加斯召開的國際消費類電子產品展覽會(CES)上,IBM又高調宣布即將發(fā)布“世界上分辨率最高的全球數(shù)值天氣預報模式”——3公里分辨率的GRAF。
IBM此役非常高調
首先由CEO羅睿蘭在CES會議上親自宣布
然后大批媒體跟進報道
“該模型可以擁有世界上最好的短期預測”
消息一傳開,圍觀群眾驚得瓜都掉了:美國GFS全球模式是13公里,歐洲中心的全球模式是9公里,IBM竟然只有3公里?!是如何做到的?觀天者今天來解讀,新聞背后的故事。
GRAF的前世今生
首先,有兩個說法需要糾正。
一、這個模式并不是IBM開發(fā)的
開發(fā)一個數(shù)值天氣預報模式是工作量非常浩大的系統(tǒng)工程,目前還沒有哪個公司能夠承擔這種資本、技術、勞動都很密集的研發(fā)工作。
IBM的全球模式GRAF其框架來源于美國國家大氣科學研究中心(NCAR)和洛斯阿拉莫斯國家實驗室(LANL)聯(lián)合開發(fā)的MPAS(跨尺度預報模式)。NCAR主要負責大氣模型,LANL主要負責海洋和陸地冰模型,IBM完成了后期模式在GPU上的移植。
洛斯阿拉莫斯國家實驗室
可比NCAR有名多了
世界上第一顆原子彈和第一顆氫彈都在此誕生
2014年,美國開始實施下一代天氣預報模式研發(fā)項目(NGGPS),在2014年選定了6個候選模式。經(jīng)過第一階段嚴格評測,MPAS和NOAA地球流體動力學實驗室(GFDL)的FV3模式進入了決賽,而在2016年2選1的PK中,MPAS惜敗,F(xiàn)V3成為了繼承大統(tǒng)的下一代GFS 。
當時就有很多科學家對這個PK結果不滿意,著名氣象學家華盛頓大學Cliff Mass就堅定認為,MPAS明顯優(yōu)于FV3,MPAS更適合對流分辨率(4公里以下)的模擬,EC等機構開發(fā)的下一代模式的分辨率都是在這樣的量級上。
然而劇情反轉讓人措手不及——
兩年后,曾經(jīng)風光無兩的FV3在業(yè)務試運行階段表現(xiàn)不佳,正被美帝人民吐槽為“美國天氣預報的災難”,業(yè)務化進程屢屢受阻;
而被”棄用“的MPAS卻轉角遇到愛,擁抱商業(yè)氣象大佬IBM,得到全球氣象行業(yè)矚目,表現(xiàn)出巨大應用潛力,迎來了自己的春天。
二、這個模式并不是全球3公里
MPAS最主要的特色是使用了一種“非結構化網(wǎng)格”,這種網(wǎng)格的分辨率可以靈活變化——針對關注的區(qū)域可以配置更高的分辨率,在海洋等其它區(qū)域可以降低分辨率以提高計算效率。綜合下來,在陸地區(qū)域,其平均分辨率為3 km。
對于傳統(tǒng)的全球模式+區(qū)域模式來說,也可以在區(qū)域內實現(xiàn)3公里的模式預報,例如美國的高分辨率快速更新系統(tǒng)(HRRR)分辨率也是3公里,在歐洲、日本和我國的北上廣等地區(qū),也都有3公里甚至1公里的區(qū)域模式。
廣州市氣象局1公里超高分辨率
GRAPES區(qū)域數(shù)值預報模式
2017年初就業(yè)務運行了
所以單從分辨率上來說,MPAS并沒有比傳統(tǒng)的數(shù)值預報模式有太大進步,而且這種“非結構化網(wǎng)格”成本驚人,這也是為什么在當年MPAS在決賽中輸給了FV3——MPAS比FV3的人力投入多50%,計算機能力增加量是FV3的10倍,綜合下來,效率只有FV3的三分之二。
IBM為什么要做GRAF
那么問題來了:
既然美國政府都因為成本太高,放棄了MPAS模式,為什么注重投資回報率的商業(yè)公司反而撿回來大力發(fā)展呢?IBM不做科研,也不做慈善,它當然還是看到了商機。
一、占穩(wěn)高性能計算技術高地
限制數(shù)值天氣預報模式發(fā)展的一個重要因素就是計算能力,此前NOAA核算,如果要在業(yè)務上運行MPAS,現(xiàn)有計算能力需要提高28.8倍。因此,為了適應下一代計算技術,全球各家天氣預報模式都在探索基于GPU的運算。
EC從2014年開始探索
使用GPU來對模式計算進行加速
但尚未正式業(yè)務化運行
作為高性能計算的上游技術公司,IBM不缺計算資源,缺的是應用場景,因此這對于IBM來說是個絕佳機會。
為了運行GRAF全球模式,IBM建設了一臺基于OpenPOWER的超級計算系統(tǒng),有84個節(jié)點,每個節(jié)點配備4個GPU及3.5 PB的存儲,在IBM Spectrum LSF的管理下,每天可以處理10TB天氣數(shù)據(jù),帶寬是原來的5.6倍。
如果2019年IBM模式順利上線,將是全球第一個基于GPU的業(yè)務數(shù)值天氣預報模式,IBM由此站穩(wěn)數(shù)值模擬高性能計算的技術高地。
而且,MPAS 的GPU代碼也將會開源,與之完美契合的IBM異構集群將會成為MPAS運行的首選平臺,未來如果MPAS在全球各國業(yè)務、科研、企業(yè)中廣泛使用,必然會推高IBM集群的銷售業(yè)績。
二、挖掘獨家觀測資料價值
得觀測者得天下。對于商業(yè)氣象公司來說,獨家數(shù)據(jù)無疑是核心市場競爭力。和松下一樣,IBM也是從獨家觀測數(shù)據(jù)發(fā)力,向政府氣象部門數(shù)值模式發(fā)出挑戰(zhàn)的。GRAF的獨家數(shù)據(jù),既包括其麾下WU的私人氣象觀測站數(shù)據(jù),也有各種傳感器的上傳數(shù)據(jù)。
在前面的文章中,觀天者曾介紹過Wunderground如何玩轉眾包氣象觀測。2012年WU被TWC收購,2016年又隨著TWC一起收編到了IBM大家庭中。目前,WU擁有規(guī)模最大的私人氣象站觀測網(wǎng),有超過25萬個私人氣象觀測站。
Wunderground官網(wǎng)
是全球訪問量第二大的天氣網(wǎng)站
每月有近5000萬訪客
隨著5G物聯(lián)網(wǎng)時代的到來,對海量增長的新興天氣數(shù)據(jù)的利用是氣象行業(yè)引人注目的新趨勢。每5秒鐘一次的飛機傳感器數(shù)據(jù),千萬量級手機氣壓傳感器數(shù)據(jù),汽車外部氣溫傳感器、雨刷器數(shù)據(jù)以及各種物聯(lián)網(wǎng)低成本傳感器的上傳數(shù)據(jù),都在GRAF的同化資料清單中。
在手機數(shù)據(jù)方面的采集和利用方面,和歐盟相比,美國和中國有關隱私保護法令相對寬松。雖然今年洛杉磯市提出了一項針對IBM的指控,關于TWC違規(guī)收集用戶的精確位置信息,但似乎沒有影響IBM搶先做實物聯(lián)網(wǎng)時代的大數(shù)據(jù)經(jīng)濟。
在GRAF模式中同化這些新興觀測資料,從而反饋更加精確的預報。這種有益的互動,會更加激發(fā)用戶主動上傳觀測、購買預報服務的意愿。
如果同意上傳自己的手機傳感器數(shù)據(jù)
你得到的天氣預報準確率將提高20%
你會拒絕嗎?
三、布局觀測稀疏區(qū)氣象商業(yè)新興市場
雖然大氣無國界,但世界各地的天氣預報水平其實非常不均衡。3公里以上級別的高分辨率模式,僅限于美國、日本、歐洲以及中國的部分地區(qū);而對于缺少靠譜的觀測資料的非洲和南美洲,無論是模式分辨率,還是預報準確率,都差一個檔次。
IBM看到了這背后的商機,從短板入手,專注于提高觀測稀疏區(qū)域(南美洲和非洲)的預報準確率。這些地區(qū)的各國政府氣象部門,以及商業(yè)公司,很有可能會購買IBM的模式產品,提升氣象服務水平。
政府氣象部門往往受限于其服務的行政范圍
僅針對部分區(qū)域開展服務
但商業(yè)公司卻可能擁有更大的格局
面向全球需求,布局全球市場
氣象商業(yè)生態(tài)進化路線
從IBM的發(fā)展歷程中,可以清晰地看到商業(yè)氣象公司的發(fā)展升級的路徑:
最初的TWC是在氣象產業(yè)最下游,為電視臺、網(wǎng)站和報紙等媒體,提供天氣預報產品,主要做的事天氣信息的加工和分發(fā);IBM則從硬件和計算平臺端切入,協(xié)助NOAA開發(fā)短臨預報模式;
2012年TWC收購了Wunderground,開始擁有獨家觀測資料,并在此基礎上對政府公開的模式產品進行后處理,具備了生產信息的能力;IBM則開始從平臺向內容進發(fā),研發(fā)災害管理平臺,應用機器學習算法提升云預測模式。
2016年IBM奔著數(shù)字地球和大數(shù)據(jù)經(jīng)濟的大方向收購了The Weather Company,但怎么利用這些氣象專業(yè)技術?怎么讓Watson和氣象數(shù)據(jù)擦出火花?怎么發(fā)揮900名專業(yè)預報員的作用?怎么把幾十萬個私人氣象站用起來?并沒有給出明確路線;
2017年6月21日,在法蘭克福舉行的國際超級計算大會上IBM宣布了和NCAR的合作計劃,方向明確下來,整合資源,做高時間和空間分辨率的全球模式,”為基于天氣預報作出關鍵決策的企業(yè)帶來巨大利益“,”用納稅人對天氣模型開發(fā)的投資幫助美國企業(yè)在全球市場中競爭“。
2019年宣布即將發(fā)布分辨率最高的全球氣象模式,終于切入氣象服務的最上游。雖然IBM聲稱模式結果是否可供購買“尚未完全確定”,但GRAF的模式產品應該不會向公眾公開。在2B端和GFS競爭,賣給下游氣象服務公司,在2G端搶EC的飯碗,賣給各國政府氣象部門。
觀天者說
近年來,氣象產業(yè)發(fā)展迅速,新玩家不斷涌現(xiàn),角色關系錯綜復雜,相互依存和制約。2016年美國召開聽證會,召集政府氣象部門、氣象學術界、氣象商業(yè)界五位大佬,討論學界商界政府如何合作,共同提升氣象科研水平和服務能力。
群~星~璀~璨~的聽證會
從左到右依次是——
AccuWeather的創(chuàng)始人和CEO
邁爾斯博士Dr.Myers
世界最大的氣象咨詢公司DNT
首席氣象官Jim Block
前松下首席氣象學家現(xiàn)任美國商務部副部長
年輕有為Neil Jacobs
UCAR總裁、此次和IBM合作的主導者
Antonio J. Busalacchi
剛退休的AMS主席,SPIRE Global首席顧問
麥當勞爺爺Dr. MacDonald
觀天者認為,未來無論是政府氣象部門、商業(yè)氣象公司、還是高校科研機構,憑借自身的力量,都很難適應信息技術的快速發(fā)展和氣象產業(yè)的不斷升級。必須在氣象局、氣象公司、高校和公眾的角色定位等核心問題上達成共識,建立三方合作共贏的機制,才能實現(xiàn)從國家氣象事業(yè),到民族氣象產業(yè),以及人類氣象科學的騰飛。
明確政府與公司合作模式
以最大化天氣社會價值的經(jīng)典報告
《Fair Weather: Effective Partnerships
in Weather and Climate Services》
{{item.content}}