遙感平臺(tái)是遙感過程中乘載遙感器的運(yùn)載工具，主要的遙感平臺(tái)有高空氣球、飛機(jī)、火箭、人造衛(wèi)星、載人宇宙飛船等。遙感器是遠(yuǎn)距離感測(cè)地物環(huán)境輻射或反射電磁波的儀器，除可見光攝影機(jī)、紅外攝影機(jī)、紫外攝影機(jī)外，還有紅外掃描儀、多光譜掃描儀、微波輻射和散射計(jì)、側(cè)視雷達(dá)、專題成像儀、成像光譜儀等。
遙感器搜集到的原始數(shù)據(jù)經(jīng)過接收裝置接收后，進(jìn)行集中式存儲(chǔ)，通常是以非結(jié)構(gòu)化文件的形式保存。原始數(shù)據(jù)的可讀性很差，通常需要進(jìn)行加工處理后，才便于分析。根據(jù)分析內(nèi)容和側(cè)重點(diǎn)不同，原始數(shù)據(jù)的加工處理方法也不同，同一套原始數(shù)據(jù)經(jīng)常需要反復(fù)讀取和處理。最后，處理后的數(shù)據(jù)也會(huì)保存在存儲(chǔ)系統(tǒng)中，可能以非結(jié)構(gòu)化文件形式保存，也可能導(dǎo)入結(jié)構(gòu)化的數(shù)據(jù)庫(kù)中，方便以后查閱，或與前端應(yīng)用系統(tǒng)集成。
需求分析
存儲(chǔ)類型
衛(wèi)星遙感的數(shù)據(jù)處理系統(tǒng)對(duì)存儲(chǔ)類型需求多樣。衛(wèi)星遙感的原始數(shù)據(jù)主要為巨大的非結(jié)構(gòu)化的文件數(shù)據(jù)，這些原始數(shù)據(jù)的存儲(chǔ)、處理需要基于文件系統(tǒng)的非結(jié)構(gòu)化存儲(chǔ)系統(tǒng)作為支撐;經(jīng)處理后的結(jié)果數(shù)據(jù)，通常需要導(dǎo)入數(shù)據(jù)庫(kù)用于后期查詢和應(yīng)用，需要結(jié)構(gòu)化存儲(chǔ)系統(tǒng)來支持;此外，整套系統(tǒng)也有數(shù)據(jù)歸檔備份相關(guān)的需求，需要相應(yīng)的數(shù)據(jù)歸檔備份存儲(chǔ)系統(tǒng)。
存儲(chǔ)容量
衛(wèi)星遙感的原始數(shù)據(jù)量非常巨大，取得這些數(shù)據(jù)的成本和代價(jià)高昂，數(shù)據(jù)的重要性非常高，需要海量的存儲(chǔ)系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行保存。從目前的應(yīng)用情況看，有的系統(tǒng)對(duì)存儲(chǔ)容量的需求會(huì)高達(dá)上百PB級(jí)。
存儲(chǔ)性能
衛(wèi)星遙感的數(shù)據(jù)存儲(chǔ)及處理對(duì)存儲(chǔ)系統(tǒng)的性能要求很高，特別是并發(fā)IO帶寬。主要針對(duì)原始數(shù)據(jù)的非結(jié)構(gòu)存儲(chǔ)系統(tǒng)，在原始數(shù)據(jù)采集導(dǎo)入的時(shí)候需要較高的寫入帶寬，需要通過條帶化等處理方式加快原始數(shù)據(jù)寫入，避免成為性能瓶頸;原始數(shù)據(jù)的處理需要頻繁的讀入原始數(shù)據(jù)，通常都是通過MPIO等數(shù)據(jù)并行方式來加快并行處理速度，這需要非結(jié)構(gòu)存儲(chǔ)系統(tǒng)提供充足的并發(fā)讀帶寬;對(duì)于結(jié)構(gòu)化存儲(chǔ)系統(tǒng)，同樣有很高的性能要求，衛(wèi)星遙感的數(shù)據(jù)庫(kù)非常龐大，前端應(yīng)用系統(tǒng)對(duì)數(shù)據(jù)的查詢調(diào)用開銷很大，需要通過有效的方式提高數(shù)據(jù)庫(kù)的查詢性能，減小前端系統(tǒng)的等待時(shí)間。
可擴(kuò)展性
衛(wèi)星遙感數(shù)據(jù)是海量的，且存儲(chǔ)容量和存儲(chǔ)性能隨著業(yè)務(wù)量的增長(zhǎng)而增長(zhǎng)。通常一套系統(tǒng)的建設(shè)初期數(shù)據(jù)存儲(chǔ)和處理量不大，但未來會(huì)出現(xiàn)爆發(fā)式的增長(zhǎng)。如果采用一次性投入的方式，前期會(huì)造成較大的資源浪費(fèi)，后期存儲(chǔ)系統(tǒng)容量及性能不足的時(shí)候又較難擴(kuò)展。因此，較合理及高性價(jià)比的方案是采用分批建設(shè)，這就要求整套存儲(chǔ)系統(tǒng)具有及高的可擴(kuò)展性，最好能支持在線擴(kuò)展，避免擴(kuò)展時(shí)對(duì)業(yè)務(wù)系統(tǒng)造成中斷。同時(shí)，系統(tǒng)擴(kuò)展時(shí)需要做到存儲(chǔ)容量和性能的線性增長(zhǎng)。
分級(jí)存儲(chǔ)
衛(wèi)星遙感的數(shù)據(jù)量非常巨大，合理的分級(jí)存儲(chǔ)機(jī)制同樣是降低系統(tǒng)整體成本，提高效率的有效手段。存儲(chǔ)系統(tǒng)可分為在線、近線、離線等部分。在線存儲(chǔ)系統(tǒng)的性能最好、容量相對(duì)較小，主要用于存儲(chǔ)和處理“熱點(diǎn)數(shù)據(jù)”;近線存儲(chǔ)系統(tǒng)的性能相對(duì)較低，容量較大，主要用于存放較少訪問的數(shù)據(jù);離線存儲(chǔ)一般為數(shù)據(jù)歸檔備份系統(tǒng)，用于對(duì)歷史數(shù)據(jù)進(jìn)行歸檔，或者對(duì)關(guān)鍵數(shù)據(jù)進(jìn)行備份。
解決方案
根據(jù)對(duì)衛(wèi)星遙感領(lǐng)域的大數(shù)據(jù)需求分析，曙光衛(wèi)星遙感數(shù)據(jù)存儲(chǔ)處理系統(tǒng)的整體解決方案框架如下：
在數(shù)據(jù)存儲(chǔ)層，Parastor分布式并行存儲(chǔ)系統(tǒng)負(fù)責(zé)非結(jié)構(gòu)化衛(wèi)星遙感原始數(shù)據(jù)的存儲(chǔ)，Parastor具有大容量、高帶寬、線性擴(kuò)展、易管理、高性價(jià)比等特性，自動(dòng)支持分級(jí)存儲(chǔ)，支持Windows/Linux等多種客戶端，可通過千兆/萬兆以太網(wǎng)或InfiniBand高速網(wǎng)提供全局共享的統(tǒng)一文件系統(tǒng)存儲(chǔ);結(jié)構(gòu)化存儲(chǔ)系統(tǒng)通過DCstor存儲(chǔ)虛擬化控制系統(tǒng)將磁盤陣列存儲(chǔ)設(shè)備整合成存儲(chǔ)資源池，同樣具有線性擴(kuò)展的特性，支持存儲(chǔ)分級(jí)和自動(dòng)精簡(jiǎn)配置，提供FC SAN訪問接口，用于結(jié)構(gòu)化數(shù)據(jù)庫(kù)存儲(chǔ)，再結(jié)合XData結(jié)構(gòu)化數(shù)據(jù)查詢分析系統(tǒng)，實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)的高速查詢及分析;DBstor歸檔備份系統(tǒng)提供非結(jié)構(gòu)化文件及結(jié)構(gòu)化數(shù)據(jù)庫(kù)的歸檔或備份，支持磁帶庫(kù)、虛擬帶庫(kù)等存儲(chǔ)設(shè)備。
在應(yīng)用層，數(shù)據(jù)采集接收系統(tǒng)負(fù)責(zé)接收衛(wèi)星數(shù)據(jù)資料，并將這些原始數(shù)據(jù)并發(fā)寫入Parastor分布式并行存儲(chǔ)系統(tǒng);數(shù)據(jù)處理高性能計(jì)算集群負(fù)責(zé)原始數(shù)據(jù)的加工處理，由統(tǒng)一的作業(yè)調(diào)度系統(tǒng)進(jìn)行資源管理和任務(wù)分配，Parastor的高帶寬為數(shù)據(jù)處理的數(shù)據(jù)并行提供了充分保障，數(shù)據(jù)計(jì)算處理完成后，通過數(shù)據(jù)庫(kù)服務(wù)器寫入到DCstor結(jié)構(gòu)化存儲(chǔ)資源池中。前端應(yīng)用服務(wù)器可通過XData數(shù)據(jù)查詢分析系統(tǒng)進(jìn)行結(jié)構(gòu)數(shù)據(jù)的快速查詢及分析，前端應(yīng)用服務(wù)器也可對(duì)Parastor上的原始數(shù)據(jù)進(jìn)行查詢及分析。
整套系統(tǒng)通過曙光Gridview監(jiān)控管理平臺(tái)對(duì)存儲(chǔ)系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)、計(jì)算集群、應(yīng)用系統(tǒng)等進(jìn)行統(tǒng)一監(jiān)控和管理。
曙光衛(wèi)星遙感領(lǐng)域大數(shù)據(jù)整體解決方案，針對(duì)衛(wèi)星遙感的行業(yè)應(yīng)用特點(diǎn)，提供了多種類型的存儲(chǔ)資源，支持Windows/Unix/Linux等異構(gòu)平臺(tái)，存儲(chǔ)系統(tǒng)具有大容量、高并發(fā)、高帶寬、高性能、高可擴(kuò)展性等典型特征，滿足衛(wèi)星遙感的數(shù)據(jù)存儲(chǔ)和處理分析需求，還通過分級(jí)存儲(chǔ)、自動(dòng)精簡(jiǎn)配置等方式提高存儲(chǔ)資源的利用效率、降低投入和運(yùn)行成本。大數(shù)據(jù)存儲(chǔ)系統(tǒng)與數(shù)據(jù)處理系統(tǒng)、前端應(yīng)用系統(tǒng)等無縫結(jié)合，并提供了統(tǒng)一的監(jiān)控和管理平臺(tái)，易于管理和使用。
{{item.content}}