讀取1TB的數(shù)據(jù)，需要多長時間？

　　對于一個機(jī)械硬盤來說，它的真實(shí)讀取速度大概是150M/s；固態(tài)硬盤的速度比它快一倍，拿一個固態(tài)硬盤讀1TB的數(shù)據(jù)大概需要一個小時。

　　那么如果想在一秒內(nèi)讀取這些數(shù)據(jù)怎么辦？

　　理想情況下可以找來3000塊固態(tài)硬盤串聯(lián)到一起讀取數(shù)據(jù)，但真實(shí)情況中需要考慮硬盤的不連續(xù)性和網(wǎng)絡(luò)延時，秒級訪問通常還有并發(fā)需求，綜合起來，可能還需要增加幾倍的硬盤數(shù)量。

　　總之，讀取1TB數(shù)據(jù)意味著一塊硬盤讀一個小時，或是幾千塊硬盤同時讀取。

　　而在現(xiàn)實(shí)生活中，我國喀什、三亞和密云３個衛(wèi)星接收站每天接收的總數(shù)據(jù)量就可以突破1TB，2012年升空的資源三號衛(wèi)星每天獲取的數(shù)據(jù)量甚至達(dá)到了10TB。

　　面對這些超級大數(shù)據(jù)，到底應(yīng)該用什么樣的計(jì)算方案來解決？

　　超級傳感器

　　在現(xiàn)實(shí)世界中，很大一部分的數(shù)據(jù)都來源于生活中多種多樣的傳感器：溫度計(jì)測量溫度，X光機(jī)拍攝的骨骼圖像，手機(jī)記錄人的生活軌跡等。這些數(shù)據(jù)經(jīng)過分析，可以幫助人類更好地作出決策。

國家航天局+華為云,共同守護(hù)地球美好家園

　　而在數(shù)據(jù)收集方面，可能沒有什么傳感器比衛(wèi)星更強(qiáng)大了，而這其中最有代表性的非遙感衛(wèi)星莫屬。

　　遙感早在第一次世界大戰(zhàn)期間就被用于收集地面受損等信息的收集，也奠定了此后它在大規(guī)模公共服務(wù)領(lǐng)域的獨(dú)特價值。隨著遙感技術(shù)的發(fā)展，天空中相機(jī)拍攝地面的頻率越來越頻繁，它們能夠捕捉的信息也越來越豐富。從最初的光學(xué)影像到后來的可以收集到地形信息、光譜信息，甚至是夜間的燈光信息等。

　　這些信息可以用來分析森林砍伐、碳循環(huán)和冰川衰減等眾多公共管理事務(wù)和科學(xué)問題。

　　傳感器和相應(yīng)理論的快速發(fā)展注定了遙感數(shù)據(jù)呈現(xiàn)爆發(fā)式增長，而且未來也只會更多，但這也增大了數(shù)據(jù)管理和從中提取出有效信息的難度。有行業(yè)人士認(rèn)為，也許沒有什么能比遙感能產(chǎn)生更多的大數(shù)據(jù)。

　　因此，無論在中國還是美國還是其他任何國家，遙感領(lǐng)域中最讓人頭疼的問題都是如何管理這些數(shù)據(jù)。

　　美國宇航局（NASA）的一名官員Rama Nemani曾舉過這樣一個例子：如果有人想利用遙感數(shù)據(jù)進(jìn)行全球范圍的分析，首先需要從各個信息中心下載這些數(shù)據(jù)——光是這個過程就得持續(xù)幾周到幾個月。之后的分析過程也只能靠自己編寫代碼，無法借鑒其他科學(xué)家所使用的方法。

　　隨著技術(shù)的發(fā)展，科學(xué)家們也曾研究出一些數(shù)據(jù)管理方案，例如以Hadoop為代表的大數(shù)據(jù)解決方案已經(jīng)在很多遙感案例中得到了很好的應(yīng)用。

　　自2010年左右年以來迅速崛起的云計(jì)算，其獨(dú)有的超大規(guī)模分布式儲存能力和并行計(jì)算能力，加之支持異構(gòu)計(jì)算、物理計(jì)算等場景，很好地解決了遙感行業(yè)中的數(shù)據(jù)管理問題。

　　當(dāng)然，此前已擁有小規(guī)模解決方案的遙感行業(yè)對新的商業(yè)解決方案的接受程度仍然有很大的加強(qiáng)空間，因?yàn)樵谛录夹g(shù)面前很多人會欣然接受從0到1的轉(zhuǎn)變，但從“1到更多”的進(jìn)步則需要一些決心。

　　政府部門成上云“急行軍”

　　在遙感領(lǐng)域最先擁抱新技術(shù)的是政府部門。

　　2014年，工信部發(fā)布了可信云認(rèn)證名單，華為等企業(yè)在首批名單之列。這是國內(nèi)權(quán)威機(jī)構(gòu)首次開展云計(jì)算領(lǐng)域的資質(zhì)認(rèn)證，業(yè)內(nèi)有專家認(rèn)為這一進(jìn)展將促進(jìn)政府部門對云服務(wù)的采購。

　　這在當(dāng)年引起了各方的高度關(guān)注。中國信息通信研究院云計(jì)算與大數(shù)據(jù)研究所所長何寶宏在當(dāng)年接受采訪時就預(yù)測，我國政府信息化采購的市場規(guī)模超過500億元人民幣，是當(dāng)時我國公共云服務(wù)市場規(guī)模的十余倍。除此之外，還有近年來頗具影響力的2017年出臺的的三年行動計(jì)劃和2018年的企業(yè)上云指南，這些政策基本覆蓋了政府和企業(yè)的上云行動。尤其是三年行動計(jì)劃指出，支持地方主管部門聯(lián)合云計(jì)算企業(yè)構(gòu)建公共服務(wù)平臺，同時支持制造業(yè)重點(diǎn)領(lǐng)域的行業(yè)協(xié)會開展行業(yè)云建設(shè)。

　　從另一個角度來看，政府積極上云還有經(jīng)濟(jì)方面的考量。在經(jīng)濟(jì)放緩的壓力下，宏觀增加政府投資既符合經(jīng)濟(jì)調(diào)控規(guī)律，同時也提升政府部門運(yùn)行效率并降低運(yùn)行成本。

　　僅是在對地觀測領(lǐng)域，進(jìn)入2018年以來包括國家航天局（科工局）高分辦，我國資源、氣象、海洋三大衛(wèi)星應(yīng)用中心，自然資源部國土衛(wèi)星遙感應(yīng)用中心，國家基礎(chǔ)地理信息中心，發(fā)改委國家地理空間信息中心等等在內(nèi)的政府部門和事業(yè)單位，都在積極應(yīng)用云計(jì)算，以尋求更好的服務(wù)。

　　美國的政策路線與中國也相類似。奧巴馬在2009年上任初期，為了緩解次貸危機(jī)對美國經(jīng)濟(jì)的沖擊，政府一面向市場釋放近8000億美元的復(fù)蘇資金，一面推進(jìn)政府提升效率和降低運(yùn)行成本。這其中就有2010年提出的的“云優(yōu)先”政策，規(guī)定各政府部門在一年半時間內(nèi)，至少挑出三項(xiàng)業(yè)務(wù)“上云”，另外減少政府中數(shù)據(jù)中心數(shù)量，將其總量控制在800個以內(nèi)。亞馬遜云正是在這樣的政策背景下孕育壯大。

　　規(guī)模效應(yīng)開始顯現(xiàn)

　　如果說最初政府部門應(yīng)用云計(jì)算是為了服務(wù)于公共管理，在這一需求得到滿足后，這一能力正在朝著更大的范圍擴(kuò)展。

中國國家航天局代表在地球觀測組織2019年會議周上發(fā)布“高分衛(wèi)星16m數(shù)據(jù)共享服務(wù)平臺”

　　其中具有代表性的一個就是今年世界地球觀測組織（Group on Earth Observations, GEO）在澳大利亞舉行會議周期間，我國國家航天局代表團(tuán)在會議上推出了“高分衛(wèi)星16m數(shù)據(jù)共享服務(wù)平臺”，向世界各國開放我國高分一號和六號衛(wèi)星16m數(shù)據(jù)。

CNSA-GEO平臺

　　在這個數(shù)據(jù)開放項(xiàng)目中，全球用戶都可以通過在線的平臺進(jìn)行查詢和下載兩顆衛(wèi)星的歷史存檔數(shù)據(jù)、基于存檔數(shù)據(jù)生成的全球有效覆蓋一張圖和每日拍攝的16米數(shù)據(jù)，用來分析全球氣候變化、預(yù)測農(nóng)作物長勢，甚至是為用戶所在國家的災(zāi)后救援提供有力支撐。

　　這一項(xiàng)目每天產(chǎn)生的數(shù)據(jù)高達(dá)每天1T，每32天就可以完成一次全球覆蓋；同時用戶也來自世界各國，他們有可能是學(xué)者、科學(xué)家、政府官員或是金融機(jī)構(gòu)中的數(shù)據(jù)專家。面對大量用戶同時在線上發(fā)起的需求，快速、平穩(wěn)地響應(yīng)不僅是功能實(shí)現(xiàn)，更在某種程度上代表了我國在遙感領(lǐng)域的技術(shù)能力。

　　中國此前也有過類似的共享平臺，但用戶大多數(shù)為行業(yè)用戶，需求有限的情況下平臺不需要太大的運(yùn)算能力即可正常運(yùn)行，因此小規(guī)模的計(jì)算方案就可以解決。然而當(dāng)面對這樣的項(xiàng)目，穩(wěn)定的云服務(wù)就幾乎成了唯一的解決方案。在這一項(xiàng)目中，華為云聯(lián)合中科星圖、航天宏圖等參與到了平臺的建設(shè)中，其算力能力為平臺的穩(wěn)定運(yùn)行提供了重要保障。

　　太空是座數(shù)據(jù)“鉆石礦”

　　國家航天局以及相關(guān)的跟太空遙感沾邊的機(jī)構(gòu)和部門，都是數(shù)據(jù)“大戶”。在距離地面350公里乃至宇宙更深處，人類已經(jīng)陸陸續(xù)續(xù)發(fā)射了成千上萬顆衛(wèi)星，這些衛(wèi)星有的將鏡頭對準(zhǔn)地球，形成遙感影像；有的把鏡頭對準(zhǔn)云層，幫助人類更好地了解天氣；也有的像哈勃這樣衛(wèi)星，將鏡頭對準(zhǔn)神秘的外太空，去探索更大的宇宙。

　　這些探索的目的都是收集數(shù)據(jù)，并且在數(shù)據(jù)這座礦山中提煉最珍貴的鉆石。

氣象領(lǐng)域離不開云服務(wù)

　　例如在氣象領(lǐng)域，通過數(shù)據(jù)的運(yùn)算，就可以最大程度地精準(zhǔn)預(yù)測臺風(fēng)路徑，及時地提醒當(dāng)?shù)鼐用穹罏?zāi)避災(zāi)，從而降低自然災(zāi)害帶來的經(jīng)濟(jì)損失，甚至人員傷亡。然而大氣看似只是一團(tuán)氣體，對它的觀測確實(shí)各個維度的，因此產(chǎn)生的數(shù)據(jù)量也十分巨大，更別提要對大氣進(jìn)行模擬和仿真。因此，實(shí)現(xiàn)大氣模型的綜合數(shù)據(jù)處理也一直是氣象業(yè)務(wù)領(lǐng)域的挑戰(zhàn)。

　　挑戰(zhàn)面前，云計(jì)算同樣是“掘鉆”利器。云計(jì)算可以有效擴(kuò)展底層IT系統(tǒng)的擴(kuò)展能力和處理芯片的承載數(shù)據(jù)能力，為天氣的預(yù)測預(yù)報提供幫助。

　　不光是天上的衛(wèi)星，為了更好地了解這個世界，包括中國在內(nèi)的20個國家的科學(xué)家制定了一個龐大的計(jì)劃，在地面上建造一個巨型射電望遠(yuǎn)鏡陣列，即平方公里陣列射電望遠(yuǎn)鏡（簡稱SKA）項(xiàng)目。它們產(chǎn)生的數(shù)據(jù)并不比衛(wèi)星少：SKA項(xiàng)目每年存檔數(shù)據(jù)大約有600PB（約合超過60萬TB）。

　　每一個大型的數(shù)據(jù)項(xiàng)目背后都有一家成熟的云供應(yīng)商。SKA項(xiàng)目背后是華為云，同時華為云也參與到了中國國家氣象局和中國國家航天局等機(jī)構(gòu)的氣象衛(wèi)星算法的創(chuàng)新大賽中，為氣象應(yīng)用提供技術(shù)支持。而在著名的哈勃望遠(yuǎn)鏡背后，也是美國的亞馬遜云提供算力支撐。

　　上述太空相關(guān)強(qiáng)數(shù)據(jù)領(lǐng)域進(jìn)一步發(fā)展的瓶頸，取決于云計(jì)算能力自身的發(fā)展水平，因此云計(jì)算的算力提升和穩(wěn)定服務(wù)更顯得尤為重要。

　　人類在計(jì)算領(lǐng)域的探索欲望無止境。10月，谷歌宣布實(shí)現(xiàn)“量子霸權(quán)”轟動全球，正因它突破了現(xiàn)有計(jì)算機(jī)計(jì)算能力的限制。乍聽上去，這些最前沿的計(jì)算技術(shù)跟普通人的生活相距很遠(yuǎn)。但它們終將隨著技術(shù)的發(fā)展落地到人們的生活之中。

　　十年前，李彥宏和馬化騰對“云計(jì)算”嗤之以鼻，在下一個計(jì)算時代即將來臨之時，谷歌雖然領(lǐng)先了一步，但在我國華為、阿里、騰訊和百度也已經(jīng)展開了激烈的競爭。2019年華為推出的昆侖量子計(jì)算也一定程度上代表中國公司正在逐漸占領(lǐng)一些制高點(diǎn)。

　　科技變化面前，政府在國家競爭和經(jīng)濟(jì)環(huán)境的影響下做了更為積極的嘗試。企業(yè)需要考量綜合經(jīng)濟(jì)性、投入產(chǎn)出比和直觀效果等多方面因素。但二者都應(yīng)該在快速變化中找到屬于自己的“新技術(shù)優(yōu)先”政策，畢竟在科技領(lǐng)域，唯一不變的就是變化本身。