摘要: 軟件是大數(shù)據(jù)的挖掘機(jī)和價(jià)值提煉的工廠(chǎng)。通過(guò)專(zhuān)業(yè)的軟件能將數(shù)據(jù)資源變?yōu)榭梢猿掷m(xù)盈利的數(shù)據(jù)資產(chǎn)，并為業(yè)務(wù)的持續(xù)改進(jìn)提供真正的幫助。雖然各種數(shù)據(jù)工具已發(fā)展多年，但目前的各種大數(shù)據(jù)平臺(tái)的地理空間數(shù)據(jù)存儲(chǔ)支持、地理空間分析能力和時(shí)空可視化能力仍然還比較欠缺，在用于智慧城市、資源環(huán)境等專(zhuān)業(yè)領(lǐng)域應(yīng)用時(shí)，迫切需要將大規(guī)模集群的處理能力和經(jīng)典GIS的算法、模型緊密結(jié)合起來(lái)，讓GIS具有時(shí)空大數(shù)據(jù)一體化處理的能力，將GIS融入大數(shù)據(jù)技術(shù)的主流，能在各種大數(shù)據(jù)平臺(tái)上高效地使用。

　　前言

　　隨著信息技術(shù)的飛速發(fā)展，尤其是手機(jī)、攝像頭、傳感器等等各種智能設(shè)備的大量出現(xiàn)，數(shù)據(jù)量快速增長(zhǎng)，數(shù)據(jù)類(lèi)型日趨多樣，應(yīng)用需求日新月異，給傳統(tǒng)的IT架構(gòu)帶來(lái)了巨大的挑戰(zhàn)。這也催生了一個(gè)全新的大數(shù)據(jù)產(chǎn)業(yè)，使大數(shù)據(jù)成為近幾年來(lái)非常熱門(mén)的一個(gè)新詞。雖然各種數(shù)據(jù)工具已發(fā)展多年，但目前的各種大數(shù)據(jù)平臺(tái)的地理空間數(shù)據(jù)存儲(chǔ)支持、地理空間分析能力和時(shí)空可視化能力仍然還比較欠缺，在用于智慧城市、資源環(huán)境等專(zhuān)業(yè)領(lǐng)域應(yīng)用時(shí)，迫切需要將大規(guī)模集群的處理能力和經(jīng)典GIS的算法、模型緊密結(jié)合起來(lái)，讓GIS具有時(shí)空大數(shù)據(jù)一體化處理的能力，將GIS融入大數(shù)據(jù)技術(shù)的主流，能在各種大數(shù)據(jù)平臺(tái)上高效地使用。

　　大數(shù)據(jù)時(shí)代軟件更具價(jià)值。大家都一致認(rèn)為，大數(shù)據(jù)具有“四V”的特點(diǎn)，即海量（Volume）、多樣性（Variety）、高速（Velocity）和Value（價(jià)值）。這既是大數(shù)據(jù)的幾個(gè)方面，也是解決大數(shù)據(jù)問(wèn)題的幾個(gè)層次：首先要解決大量數(shù)據(jù)的存儲(chǔ)訪(fǎng)問(wèn)的問(wèn)題，其次要能對(duì)多種多樣的數(shù)據(jù)進(jìn)行存取、處理以及語(yǔ)意解析，第三要滿(mǎn)足時(shí)效性尤其是對(duì)于流式數(shù)據(jù)的應(yīng)用，第四要從數(shù)據(jù)中能挖掘出價(jià)值。與采礦一樣，原始礦的價(jià)值很低，而經(jīng)過(guò)提煉、加工以后就能產(chǎn)生越來(lái)越多的附加值。沒(méi)有好的軟件，再多的數(shù)據(jù)也只是礦山資源，無(wú)法產(chǎn)生足夠的價(jià)值。對(duì)于數(shù)據(jù)的獲取、清洗、處理、分析、應(yīng)用，都需要耗費(fèi)大量的計(jì)算資源和人力成本，只有對(duì)數(shù)據(jù)進(jìn)行深加工和深度應(yīng)用，開(kāi)拓出足夠的應(yīng)用市場(chǎng)，數(shù)據(jù)才具有用戶(hù)價(jià)值，這就需要相應(yīng)的軟件支持才能完成。軟件是大數(shù)據(jù)的挖掘機(jī)和價(jià)值提煉的工廠(chǎng)。因此，擁有的數(shù)據(jù)多固然好，但也可能大幅度增加成本，而軟件能力才是大數(shù)據(jù)時(shí)代的決勝法寶。通過(guò)專(zhuān)業(yè)的軟件能將數(shù)據(jù)資源變?yōu)榭梢猿掷m(xù)盈利的數(shù)據(jù)資產(chǎn)，并為業(yè)務(wù)的持續(xù)改進(jìn)提供真正的幫助。GIS提供了時(shí)空數(shù)據(jù)管理、空間分析算法和空間可視化能力，是讓數(shù)據(jù)增值、業(yè)務(wù)增效的強(qiáng)大工具。

　　如何構(gòu)建大數(shù)據(jù)時(shí)代的GIS呢？地理空間數(shù)據(jù)一開(kāi)始就具有大數(shù)據(jù)的各個(gè)特點(diǎn)，數(shù)據(jù)量大、結(jié)構(gòu)復(fù)雜，在傳統(tǒng)的計(jì)算技術(shù)和架構(gòu)下，其處理和利用具有很大的挑戰(zhàn)，尤其是還要與各種IT環(huán)境進(jìn)行集成應(yīng)用，計(jì)算能力經(jīng)常捉襟見(jiàn)肘，需要開(kāi)發(fā)各種關(guān)鍵技術(shù)解決效能的問(wèn)題。在發(fā)展的過(guò)程中，SuperMap研發(fā)了SDX（空間數(shù)據(jù)擴(kuò)展）技術(shù)實(shí)現(xiàn)多源數(shù)據(jù)的無(wú)縫集成，組件化GIS技術(shù)使地理空間分析功能嵌入各種專(zhuān)業(yè)應(yīng)用系統(tǒng)，網(wǎng)絡(luò)GIS技術(shù)提供REST API實(shí)現(xiàn)基于服務(wù)的集成。隨著多核CPU的發(fā)展，進(jìn)一步研發(fā)了基于多線(xiàn)程和OpenMP的并行處理技術(shù)，大幅度提升了單機(jī)處理的性能。從2012年開(kāi)始，我們開(kāi)始進(jìn)行Hadoop系統(tǒng)研究，并嘗試與專(zhuān)業(yè)GIS功能進(jìn)行集成；2016年實(shí)現(xiàn)了第一個(gè)基于Spark的GIS組件版本-SuperMap s for Spark，可以直接在Spark系統(tǒng)上運(yùn)行GIS專(zhuān)業(yè)分析功能；2017年SuperMap平臺(tái)產(chǎn)品全面走向分布式集群的技術(shù)架構(gòu)，可以充分利用虛擬化存儲(chǔ)、大規(guī)模集群和分布式內(nèi)存計(jì)算架構(gòu)的強(qiáng)大處理能力。

　　隨著SuperMap下一代GIS平臺(tái)的推出，GIS的時(shí)空大數(shù)據(jù)處理的八個(gè)關(guān)鍵能力得到了大幅提升，具體包括：1、大規(guī)模虛擬存儲(chǔ)；2、分布式計(jì)算架構(gòu)；3、云計(jì)算及一體化；4、流式數(shù)據(jù)的處理；5、三維與虛擬現(xiàn)實(shí)；6、多終端快速應(yīng)用；7、開(kāi)源與社區(qū)發(fā)展；8、容器與持續(xù)交付。從此，GIS不再局限于存儲(chǔ)和計(jì)算能力的大小，可以實(shí)現(xiàn)大規(guī)模的數(shù)據(jù)處理和模型分析，讓大尺度的時(shí)空間研究成為可能。GIS進(jìn)入了“大”的時(shí)代，開(kāi)始真正融入IT主流之中，地理空間信息技術(shù)和應(yīng)用正面臨前所未有的大發(fā)展機(jī)遇。

　　1　大規(guī)模虛擬存儲(chǔ)

　　大數(shù)據(jù)系統(tǒng)的首要問(wèn)題是存儲(chǔ)問(wèn)題。隨著多種類(lèi)型低價(jià)值含量的數(shù)據(jù)大量產(chǎn)生，傳統(tǒng)的文件系統(tǒng)和數(shù)據(jù)庫(kù)方案已經(jīng)難以滿(mǎn)足海量數(shù)據(jù)低成本存儲(chǔ)和高效率處理的要求。近年來(lái)，各種虛擬存儲(chǔ)技術(shù)得到了快速發(fā)展，在各種新型的互聯(lián)網(wǎng)平臺(tái)中得到廣泛的應(yīng)用。地理空間數(shù)據(jù)存儲(chǔ)方案需要從傳統(tǒng)的文件系統(tǒng)和關(guān)系數(shù)據(jù)庫(kù)向分布式、虛擬化的軟件定義存儲(chǔ)系統(tǒng)轉(zhuǎn)變，從而建立起大規(guī)模的海量時(shí)空數(shù)據(jù)存儲(chǔ)和處理能力，適應(yīng)未來(lái)業(yè)務(wù)發(fā)展的需要。

　　虛擬存儲(chǔ)系統(tǒng)可以分為分布式文件系統(tǒng)、集群式關(guān)系數(shù)據(jù)庫(kù)以及NoSQL/NewSQL存儲(chǔ)系統(tǒng)等三種主要類(lèi)型。其中，虛擬文件系統(tǒng)突破了單機(jī)文件系統(tǒng)容量較小和傳統(tǒng)磁盤(pán)陣列價(jià)格昂貴的制約，實(shí)現(xiàn)了多份副本的并行IO來(lái)增加訪(fǎng)問(wèn)帶寬以及具有負(fù)載均衡、容錯(cuò)、動(dòng)態(tài)擴(kuò)容等高級(jí)特性，并且可以部署在云計(jì)算環(huán)境中，支持大文件、內(nèi)存緩存、空間共享、REST訪(fǎng)問(wèn)等特性，這類(lèi)系統(tǒng)以Hadoop的HDFS為代表，還有Ceph、IPFS等等；集群式關(guān)系數(shù)據(jù)庫(kù)主要通過(guò)在傳統(tǒng)DBMS上增加分布式集群和分布式事務(wù)處理來(lái)實(shí)現(xiàn)，如基于PostgreSQL的集群、基于MySQL的集群，也有基于容器技術(shù)重新開(kāi)發(fā)的CrateDB等，這類(lèi)系統(tǒng)的優(yōu)點(diǎn)是可以較好地支持SQL和事務(wù)處理，因?yàn)榕c原有的數(shù)據(jù)庫(kù)基本兼容，便于數(shù)據(jù)遷移和系統(tǒng)擴(kuò)容，原有的管理技能和軟件也可以重用，系統(tǒng)軟件開(kāi)源免費(fèi)，使用成本較低，便于多節(jié)點(diǎn)集群的安裝部署；統(tǒng)稱(chēng)為NoSQL/NewSQL的存儲(chǔ)系統(tǒng)通過(guò)降低數(shù)據(jù)庫(kù)的ACID和事務(wù)要求，大幅度提高了數(shù)據(jù)處理的性能，而且更好地適應(yīng)多類(lèi)型非結(jié)構(gòu)化數(shù)據(jù)的管理，開(kāi)發(fā)維護(hù)更為簡(jiǎn)便，總體成本(TCO)大幅度降低，在各種新興的互聯(lián)網(wǎng)服務(wù)中得到廣泛的使用，典型的系統(tǒng)包括MongoDB、H 、Cassandra、Redis等等。

　　目前各種虛擬存儲(chǔ)系統(tǒng)多種多樣，面向的主要用途和適應(yīng)環(huán)境也各不相同。如何既能充分利用各種系統(tǒng)的優(yōu)勢(shì)，又能很好地實(shí)現(xiàn)共享和交換；既能提供一致的數(shù)據(jù)存取和訪(fǎng)問(wèn)，又能實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)適應(yīng)多種應(yīng)用環(huán)境，提升數(shù)據(jù)資產(chǎn)的價(jià)值呢？我們?cè)诮梃bSDX+（空間數(shù)據(jù)擴(kuò)展增強(qiáng)）實(shí)現(xiàn)多源數(shù)據(jù)無(wú)縫集成和GDB-CLI(虛擬空間數(shù)據(jù)接口)設(shè)計(jì)思路的基礎(chǔ)上，設(shè)計(jì)并開(kāi)始研發(fā)虛擬化時(shí)空數(shù)據(jù)一體化服務(wù)系統(tǒng)-DaaS (Data as a Service)，實(shí)現(xiàn)統(tǒng)一的REST服務(wù)框架，可以接入多種數(shù)據(jù)存儲(chǔ)系統(tǒng)，同時(shí)兼容已有數(shù)據(jù)庫(kù)系統(tǒng)，可以實(shí)現(xiàn)分布式、多層級(jí)的空間數(shù)據(jù)存儲(chǔ)和服務(wù)，支持云與本地?cái)?shù)據(jù)一體化管理。通過(guò)統(tǒng)一的開(kāi)放接口，逐步接入Hadoop軟件生態(tài)的存儲(chǔ)系統(tǒng)、MongoDB等各種新型大規(guī)模存儲(chǔ)系統(tǒng)，同時(shí)支持PostgreSQL集群、MySQL集群以及其它已有數(shù)據(jù)庫(kù)的訪(fǎng)問(wèn)。

　　現(xiàn)代信息系統(tǒng)中，數(shù)據(jù)在不斷地產(chǎn)生，隨著存儲(chǔ)量的增加其維護(hù)成本不斷上升，但其價(jià)值卻在不斷消減。如果對(duì)數(shù)據(jù)充分及時(shí)地利用，可能使其成為一項(xiàng)不斷增值的資產(chǎn)，而如果不能恰當(dāng)使用也可能成為負(fù)擔(dān)，在出現(xiàn)數(shù)據(jù)泄漏等事件時(shí)甚至于造成嚴(yán)重的損失。數(shù)據(jù)的價(jià)值在于使用而不是擁有，數(shù)據(jù)越用越有價(jià)值。因此，建立可持續(xù)發(fā)展的數(shù)據(jù)資產(chǎn)基礎(chǔ)設(shè)施，讓數(shù)據(jù)資產(chǎn)滿(mǎn)足最多樣的應(yīng)用需求，實(shí)現(xiàn)保值增值、持續(xù)利用是建設(shè)大數(shù)據(jù)系統(tǒng)的頭等大事。

　　2   分布式計(jì)算架構(gòu)

　　隨著摩爾定律的失效，已經(jīng)很難單純依賴(lài)CPU主頻的提升加快運(yùn)算速度，因此多核多CPU的系統(tǒng)開(kāi)始大量出現(xiàn)。通過(guò)多線(xiàn)程、多進(jìn)程技術(shù)進(jìn)行任務(wù)劃分和并行計(jì)算，或者通過(guò)CUDA和OpenCL等基于顯卡機(jī)制的并行計(jì)算引擎，可以進(jìn)一步突破單CPU的運(yùn)算能力，如SuperMap 8C的多線(xiàn)程支持、多進(jìn)程服務(wù)和基于OpenMP、CUDA的高性能空間分析算法大幅度提升了空間數(shù)據(jù)處理和模型分析的效率，提供了近乎實(shí)時(shí)的可視化能力?，F(xiàn)在隨著大數(shù)據(jù)的出現(xiàn)，計(jì)算能力再一次遇到了瓶頸，需要進(jìn)一步實(shí)現(xiàn)從多核系統(tǒng)到大規(guī)模集群的全面進(jìn)化。Hadoop系統(tǒng)的MapReduce模塊是新一代集群計(jì)算的先行者，但是主要設(shè)計(jì)用于批量處理，由于其啟動(dòng)慢、部署復(fù)雜、缺乏迭代計(jì)算能力等不足，正在被基于分布式內(nèi)存計(jì)算模型的Spark以及更加適合流式計(jì)算的F 取代。這一由Apache基金會(huì)主導(dǎo)的以Hadoop/Spark為主的開(kāi)源大數(shù)據(jù)生態(tài)系統(tǒng)已經(jīng)逐步成為大數(shù)據(jù)領(lǐng)域事實(shí)上的標(biāo)準(zhǔn)，眾多的發(fā)行版本和商業(yè)版本、解決方案都基于該體系架構(gòu)開(kāi)發(fā)，如大數(shù)據(jù)服務(wù)云Databricks、Amazon以及IBM、Oracle等的大數(shù)據(jù)軟件產(chǎn)品和解決方案等等。

　　隨著各種定位系統(tǒng)、衛(wèi)星遙感、無(wú)人機(jī)攝影、智能測(cè)量設(shè)備的快速發(fā)展，空間數(shù)據(jù)量快速增加、處理要求大幅提高，將GIS核心功能融入Spark體系，從而為用戶(hù)提供一體化的大規(guī)模分布式時(shí)空數(shù)據(jù)處理平臺(tái)，正生逢其時(shí)。最新的SuperMap GIS平臺(tái)全面支持Spark計(jì)算體系，形成了完整的大數(shù)據(jù)解決方案，包括GIS核心引擎、客戶(hù)端SDK和各種應(yīng)用系統(tǒng)三個(gè)主要部分。GIS核心引擎可以基于Scala直接支持Spark的運(yùn)行環(huán)境，也可以支持Python從各種大數(shù)據(jù)分析前端軟件中使用，通過(guò)將i s for Spark服務(wù)集成到iServer系列中，可以提供基于REST接口的分布式空間分析模型計(jì)算服務(wù)，其分析結(jié)果可以通過(guò)基于i s的專(zhuān)業(yè)應(yīng)用以及iDesktop、iDesktop Cross、iMobile、iClient等各種二三維一體化的客戶(hù)端快速呈現(xiàn)出來(lái)。

　　GIS核心技術(shù)體系從單CPU和多核架構(gòu)發(fā)展到分布式架構(gòu)是一個(gè)巨大的飛躍，意味著GIS系統(tǒng)能夠充分利用現(xiàn)代計(jì)算硬件和數(shù)據(jù)中心所提供的大規(guī)模存儲(chǔ)、分布式內(nèi)存、集群管理與調(diào)度的強(qiáng)大能力，傳統(tǒng)GIS軟件一直面臨的存儲(chǔ)和計(jì)算資源不足的問(wèn)題將不復(fù)存在，有利于開(kāi)展大規(guī)模的應(yīng)用系統(tǒng)建設(shè)和高精度、大尺度的時(shí)空過(guò)程與空間關(guān)系的研究。我們可以看到，新型的應(yīng)用系統(tǒng)和突破性地理空間模型與算法將會(huì)大量地出現(xiàn)，推動(dòng)地理信息科學(xué)、地理學(xué)的新認(rèn)知以及資源、環(huán)境利用水平和災(zāi)害應(yīng)對(duì)、城市規(guī)劃等能力的大幅度提升。

　　3　云計(jì)算及一體化

　　云計(jì)算提供了基于計(jì)算基礎(chǔ)設(shè)施共享化利用的模式和方法，一方面可以動(dòng)態(tài)調(diào)用計(jì)算資源促進(jìn)高效率的使用，另一方面也提供了快速集結(jié)大規(guī)模計(jì)算能力的可能。國(guó)外的Amazon/Google/Microsoft/IBM等公司都提供了超大規(guī)模的數(shù)據(jù)中心服務(wù)，中國(guó)的阿里云、百度云、騰訊云等也提供了豐富可用的云計(jì)算服務(wù)，基于容器技術(shù)（Docker）提供容器云的初創(chuàng)公司也大量涌現(xiàn)，如七牛、青云等。在大型云計(jì)算數(shù)據(jù)中心，既能進(jìn)行資源的集中管理和切分租用，也能實(shí)現(xiàn)大規(guī)模主機(jī)集群的快速構(gòu)建。過(guò)去的數(shù)據(jù)中心主要以傳統(tǒng)的主機(jī)租用管理為主，而現(xiàn)在基于Hadoop/Spark的分布式集群已經(jīng)成為高端數(shù)據(jù)中心的標(biāo)配。由于Docker技術(shù)的快速發(fā)展，基于容器技術(shù)的云計(jì)算服務(wù)能夠進(jìn)一步大幅度降低運(yùn)維成本、提供更為靈活的調(diào)度和快速部署能力，尤其是可以在多個(gè)云計(jì)算中心以及公有云和私有云中心實(shí)現(xiàn)快速的遷移、部署，因此，云計(jì)算的核心架構(gòu)已經(jīng)從基于虛擬機(jī)技術(shù)的主機(jī)租用向基于容器技術(shù)和微服務(wù)、基于Hadoop/Spark的分布式集群方向快速發(fā)展。

　　基于容器的云計(jì)算技術(shù)，可以使業(yè)務(wù)模塊按照微服務(wù)方式進(jìn)行封裝，并在需要部署時(shí)快速組裝。容器實(shí)例可以在公有云、專(zhuān)用云、行業(yè)云以及私有云上以一致的方式開(kāi)發(fā)、測(cè)試和運(yùn)行，并按照需要進(jìn)行部署，這將大幅度降低云服務(wù)開(kāi)發(fā)的難度和運(yùn)維的成本?；谠朴?jì)算的GIS融合架構(gòu)，也須全面支持Docker容器技術(shù)，并按照微服務(wù)架構(gòu)的概念模型進(jìn)行設(shè)計(jì)、開(kāi)發(fā)和部署。SuperMap iServer   /   iExpress   /    iPortal    /    iManager已經(jīng)全面支持容器技術(shù)，按照容器技術(shù)規(guī)范和微服務(wù)架構(gòu)，可以在多種云計(jì)算數(shù)據(jù)中心快速部署，實(shí)現(xiàn)與各種計(jì)算基礎(chǔ)設(shè)施的融合服務(wù)，并提供系統(tǒng)運(yùn)維的自動(dòng)化管理。此外，企業(yè)用戶(hù)和個(gè)人用戶(hù)也可以通過(guò)地圖慧和online在線(xiàn)平臺(tái)直接使用。

　　基于容器技術(shù)的微服務(wù)架構(gòu)，使GIS真正實(shí)現(xiàn)了基于云計(jì)算的模塊化部署，實(shí)現(xiàn)了“多云”的統(tǒng)一管理和融合服務(wù)，讓地理空間信息完全融入云計(jì)算基礎(chǔ)設(shè)施之中，成為大型數(shù)據(jù)中心的核心能力之一，成為智慧城市、資源環(huán)境等多種行業(yè)領(lǐng)域不可或缺的重要組成，為其提供地理空間數(shù)據(jù)管理、時(shí)空模型分析、時(shí)空可視化、共享API服務(wù)、多種應(yīng)用服務(wù)等關(guān)鍵功能。

　　4  流式數(shù)據(jù)的處理

　　隨著地理空間信息技術(shù)的快速發(fā)展，GIS系統(tǒng)的數(shù)據(jù)源已經(jīng)發(fā)生了巨大的變化。傳統(tǒng)地理空間數(shù)據(jù)主要來(lái)自于傳統(tǒng)的存量地圖的數(shù)字化和通過(guò)各種測(cè)量手段（平板儀、全站儀等）測(cè)繪而來(lái)，以靜態(tài)的矢量地圖為主，更新慢、精度低，現(xiàn)勢(shì)性較弱。新型的測(cè)繪作業(yè)大量采用了基于攝影測(cè)量的方法進(jìn)行數(shù)據(jù)制作，來(lái)自于衛(wèi)星、飛機(jī)、無(wú)人機(jī)、測(cè)量車(chē)等載體產(chǎn)生的大量影像、視頻、雷達(dá)和定位等數(shù)據(jù)成為測(cè)繪成果數(shù)據(jù)生產(chǎn)的主要數(shù)據(jù)源。而最新的設(shè)備如全景相機(jī)、街景相機(jī)、視頻衛(wèi)星、LiDAR等系統(tǒng)已經(jīng)可以獲取全方位的圖像和空間信息，部分已經(jīng)支持以流方式提供動(dòng)態(tài)的信息。傳統(tǒng)的固定存儲(chǔ)、靜態(tài)制圖、定期更新的作業(yè)模式將退居次要地位，從而導(dǎo)致數(shù)據(jù)的存儲(chǔ)、處理、分析和應(yīng)用的模式、流程也將發(fā)生根本性的變化。

　　以“流”方式提供持續(xù)的數(shù)據(jù)，實(shí)時(shí)進(jìn)行處理，動(dòng)態(tài)進(jìn)行應(yīng)用的LiveGIS成為大數(shù)據(jù)時(shí)代的GIS的新特征。由于數(shù)據(jù)類(lèi)型和處理要求的巨大變化，GIS的體系結(jié)構(gòu)也將發(fā)生相應(yīng)的改變?；诜植际接?jì)算架構(gòu)，采用Spark Stream作為流式數(shù)據(jù)的基礎(chǔ)框架，集成Kafka等多種消息中間件，將實(shí)時(shí)消息的接收、處理和高性能存儲(chǔ)、實(shí)時(shí)空間分析融為一體，構(gòu)成時(shí)空一體化的滿(mǎn)足LiveGIS需求的軟件平臺(tái)，是目前最好的流式數(shù)據(jù)應(yīng)用方案，在電子商務(wù)、社交媒體、物流配送、交通運(yùn)輸?shù)阮I(lǐng)域已經(jīng)有大量的成功應(yīng)用。最新的SuperMap GIS平臺(tái)中，我們將這一方案與專(zhuān)業(yè)GIS的功能實(shí)現(xiàn)了融合，從而將實(shí)時(shí)流數(shù)據(jù)與GIS的空間分析與可視化展示能力實(shí)現(xiàn)了完美的結(jié)合，大幅度提升了GIS的能力，進(jìn)一步拓展了GIS的應(yīng)用空間。

　　強(qiáng)大的后端處理能力與靈活的移動(dòng)應(yīng)用結(jié)合，可以為物聯(lián)網(wǎng)、智能設(shè)備的構(gòu)建提供時(shí)空數(shù)據(jù)處理的可靠平臺(tái)，能夠隨著業(yè)務(wù)規(guī)模的發(fā)展平滑地?cái)U(kuò)容，在不同的應(yīng)用環(huán)境中進(jìn)行快速的遷移，成為未來(lái)智慧城市建設(shè)和運(yùn)行的基石。

　　5　三維與虛擬現(xiàn)實(shí)

　　最近幾年，三維相關(guān)的信息技術(shù)取得了驚人的發(fā)展。顯卡計(jì)算能力突飛猛進(jìn)，OpenGL/OpenCL/WebGL等軟件支持能力和標(biāo)準(zhǔn)規(guī)范得到快速發(fā)展，尤其是VR/AR技術(shù)和智能頭盔、混合現(xiàn)實(shí)眼鏡等硬件取得的突破，使數(shù)字化的三維空間應(yīng)用進(jìn)入了一個(gè)全新的階段。對(duì)于GIS領(lǐng)域來(lái)說(shuō)，得益于通用計(jì)算技術(shù)的快速發(fā)展，取得了傾斜攝影融合和二三維一體化兩個(gè)最為關(guān)鍵的技術(shù)進(jìn)步，解決了全三維地理數(shù)據(jù)的快速獲取、模型構(gòu)建到終端應(yīng)用的全流程問(wèn)題，為區(qū)域規(guī)劃、城市建設(shè)、資源環(huán)境管理等應(yīng)用開(kāi)啟了全新的可能。SuperMap平臺(tái)的三維GIS技術(shù)已經(jīng)融入到了每一個(gè)產(chǎn)品，提供了從數(shù)據(jù)入庫(kù)、服務(wù)發(fā)布、分析應(yīng)用、Web訪(fǎng)問(wèn)、移動(dòng)應(yīng)用的全面解決方案，支持服務(wù)器、組件、移動(dòng)端、Web、桌面的所有軟件，與現(xiàn)有的數(shù)據(jù)庫(kù)和云計(jì)算等IT基礎(chǔ)設(shè)施完美融合。

　　通過(guò)GIS與BIM（建筑信息模型）的結(jié)合，擅長(zhǎng)宏觀管理和空間分析的GIS應(yīng)用進(jìn)一步拓展到了更為細(xì)節(jié)的領(lǐng)域，可以實(shí)現(xiàn)建筑部件、設(shè)備級(jí)別的對(duì)象化管理，為智慧建筑、物聯(lián)網(wǎng)的發(fā)展提供可靠的三維信息支撐平臺(tái)；將VR/AR技術(shù)引入GIS，讓城市規(guī)劃、管理得到身臨其境的感受，為國(guó)土整治、市政管理、城市規(guī)劃等公共服務(wù)提供更先進(jìn)的技術(shù)手段和全時(shí)空的數(shù)字化城市基礎(chǔ)設(shè)施；移動(dòng)三維GIS不僅方便了數(shù)據(jù)采集，更提供現(xiàn)場(chǎng)管理的強(qiáng)大功能，也為更廣泛的空間規(guī)劃、利用、優(yōu)化的公眾參與提供了非常好的技術(shù)途徑。

　　三維GIS已經(jīng)成為時(shí)空大數(shù)據(jù)的不可分割的重要組成部分。未來(lái)三維GIS將進(jìn)一步向?qū)嶓w化發(fā)展，從而可以直接支持實(shí)體模型的布爾操作，將物理引擎、碰撞檢測(cè)等引入GIS系統(tǒng)，可以更好地實(shí)現(xiàn)模型仿真和實(shí)時(shí)空間模擬，增強(qiáng)規(guī)劃、設(shè)計(jì)、管線(xiàn)、交通、建設(shè)等行業(yè)應(yīng)用的深度，拓展自動(dòng)駕駛、高精度導(dǎo)航、場(chǎng)站管理等新興應(yīng)用領(lǐng)域。

　　6　多終端快速應(yīng)用

　　軟件是數(shù)據(jù)價(jià)值的放大器。數(shù)據(jù)用的越多，數(shù)據(jù)越有價(jià)值，這需要多樣化的軟件平臺(tái)提供支撐。軟件不僅需要具備強(qiáng)大的數(shù)據(jù)處理能力，更應(yīng)具有多樣化的應(yīng)用能力，包括與各種IT環(huán)境的融合和在多種移動(dòng)端設(shè)備上的應(yīng)用?？蛻?hù)端可以按照不同設(shè)備、操作系統(tǒng)、運(yùn)行環(huán)境、開(kāi)發(fā)語(yǔ)言的區(qū)分，需要支持的客戶(hù)端類(lèi)型越多，適應(yīng)的范圍越廣，意味著同樣數(shù)據(jù)的受眾就會(huì)越多，數(shù)據(jù)發(fā)揮價(jià)值的潛力就越大。

　　SuperMap GIS平臺(tái)體系中，具有非常豐富的客戶(hù)端支持?；?NET的iDesktop和基于Java的iDesktop Cross桌面軟件，可以直接訪(fǎng)問(wèn)大型存儲(chǔ)和云計(jì)算資源，給專(zhuān)業(yè)用戶(hù)提供工作站級(jí)的地理空間數(shù)據(jù)處理和制圖、分析功能；iClient提供適應(yīng)多種瀏覽器的WebGIS功能，可以在幾乎所有支持的操作系統(tǒng)上運(yùn)行，無(wú)需安裝軟件就可以共享訪(fǎng)問(wèn)服務(wù)端的數(shù)據(jù)，執(zhí)行在線(xiàn)分析、實(shí)現(xiàn)可視化；iMobile提供iOS和Android的運(yùn)行和開(kāi)發(fā)，也支持如元心OS等國(guó)產(chǎn)嵌入式操作系統(tǒng)，提供隨時(shí)可用的專(zhuān)業(yè)級(jí)GIS功能，很多合作伙伴基于此開(kāi)發(fā)了滿(mǎn)足專(zhuān)業(yè)需求的手持和車(chē)載測(cè)繪設(shè)備。

　　SuperMap是目前支持終端最多的GIS平臺(tái)，桌面、Web和移動(dòng)端都提供了終端SDK，支持云服務(wù)API的訪(fǎng)問(wèn)，可以通過(guò)SDK、插件框架等來(lái)開(kāi)發(fā)豐富多彩的應(yīng)用。而且，支持飛騰、龍芯等國(guó)產(chǎn)CPU芯片，支持麒麟等多種國(guó)產(chǎn)操作系統(tǒng)。這必將促進(jìn)時(shí)空大數(shù)據(jù)的處理、分析和多樣化應(yīng)用，釋放出大數(shù)據(jù)的潛力，充分發(fā)揮出各種數(shù)據(jù)的應(yīng)用價(jià)值。

? 　　7　開(kāi)源與社區(qū)發(fā)展

　　開(kāi)源和社區(qū)是推動(dòng)現(xiàn)代軟件業(yè)發(fā)展的助推器，尤其是github.com的出現(xiàn)，讓全球各地的開(kāi)發(fā)者在同一個(gè)代碼倉(cāng)庫(kù)上協(xié)作和交流，極大地加快了軟件的發(fā)展進(jìn)程。在中國(guó)也有oschina.net等類(lèi)似的在線(xiàn)軟件倉(cāng)庫(kù)托管和交流平臺(tái)。軟件開(kāi)源和代碼在線(xiàn)托管模式的出現(xiàn)打破了傳統(tǒng)的封閉研發(fā)流程，使軟件研發(fā)的流程外部化，與整個(gè)社區(qū)、用戶(hù)都鏈接為一體，提高了軟件研發(fā)的效率、質(zhì)量，使超大規(guī)模的軟件協(xié)作開(kāi)發(fā)成為可能。以Apache Hadoop/Spark為核心的開(kāi)源軟件系統(tǒng)已經(jīng)成為大數(shù)據(jù)生態(tài)體系的中流砥柱，眾多的發(fā)行版本和商業(yè)版本、解決方案都基于該體系架構(gòu)開(kāi)發(fā)，如大數(shù)據(jù)服務(wù)云Databricks、Amazon以及IBM、Oracle等的大數(shù)據(jù)軟件產(chǎn)品和解決方案等等。

　　GIS與Apache大數(shù)據(jù)軟件生態(tài)體系的融合，依托開(kāi)源社區(qū)實(shí)現(xiàn)可持續(xù)發(fā)展，一方面可以利用開(kāi)源大數(shù)據(jù)軟件的分布式計(jì)算能力來(lái)大幅度增強(qiáng)GIS解決方案的可用性，另一方面為開(kāi)源大數(shù)據(jù)方案添加地理空間數(shù)據(jù)處理支持，促進(jìn)開(kāi)源軟件社區(qū)和用戶(hù)對(duì)空間數(shù)據(jù)更為廣泛的利用。SuperMap GIS平臺(tái)最新版本基于Spark 2.x的架構(gòu)，實(shí)現(xiàn)GIS的大數(shù)據(jù)分析引擎和分布式計(jì)算能力，大幅度提高了大數(shù)據(jù)處理、分析的效率和容量規(guī)模。同時(shí)，開(kāi)源的iClient、iDesktop Cross和i s的Python腳本支持可以完成大數(shù)據(jù)批量處理、網(wǎng)絡(luò)發(fā)布等大量任務(wù)，大家可以方便地使用，也歡迎提交建議和進(jìn)行改進(jìn)。

　　開(kāi)源軟件和閉源軟件各有其優(yōu)缺點(diǎn)，開(kāi)源軟件參與度高、改進(jìn)較快、創(chuàng)新能力強(qiáng)，但是相對(duì)來(lái)講，閉源軟件具有測(cè)試嚴(yán)謹(jǐn)、版本控制嚴(yán)格、持續(xù)性強(qiáng)，有專(zhuān)業(yè)的支持隊(duì)伍等優(yōu)點(diǎn)。現(xiàn)實(shí)的解決方案中，已經(jīng)很少純粹的開(kāi)源或閉源技術(shù)棧，將二者相結(jié)合來(lái)構(gòu)建最佳的解決方案將是主流的模式。

　　8　容器與持續(xù)交付

　　在互聯(lián)網(wǎng)的推動(dòng)下，軟件工程方法已經(jīng)實(shí)現(xiàn)了全面進(jìn)化。隨著Git/Gitlab/Github的發(fā)展和廣泛使用，分布式版本管理代替了傳統(tǒng)的集中式軟件開(kāi)發(fā)方法；社區(qū)化開(kāi)發(fā)、開(kāi)放代碼審計(jì)，自動(dòng)化測(cè)試、持續(xù)集成系統(tǒng)成為互聯(lián)網(wǎng)模式下軟件研發(fā)的標(biāo)配；Docker容器技術(shù)是比虛擬化更為底層的軟件部署方法，可以在Linux內(nèi)核上直接運(yùn)行，可以對(duì)軟件進(jìn)行打包和運(yùn)行環(huán)境隔離，便于實(shí)現(xiàn)更靈活組裝的微服務(wù)架構(gòu)，從而可以快速部署到云計(jì)算中心，還可以在不同云計(jì)算中心間方便地遷移。為了滿(mǎn)足網(wǎng)絡(luò)在線(xiàn)平臺(tái)的快速更新要求，持續(xù)交付理念和DevOps方法也開(kāi)始加速發(fā)展，并且與Mesos\Kubernetes等集群管理系統(tǒng)實(shí)現(xiàn)集成?；谌萜骷夹g(shù)和持續(xù)交付的自動(dòng)化流程大大加快了軟件版本更新和Bug修復(fù)的速度，讓軟件開(kāi)發(fā)實(shí)現(xiàn)了快速反應(yīng)，通過(guò)快速迭代大大加快了軟件創(chuàng)新的速度，同時(shí)有效降低了系統(tǒng)問(wèn)題導(dǎo)致的風(fēng)險(xiǎn)。

　　為了實(shí)現(xiàn)快速迭代、現(xiàn)場(chǎng)測(cè)試、運(yùn)行驗(yàn)證和可控交付，一般將整個(gè)系統(tǒng)分為開(kāi)發(fā)區(qū)、驗(yàn)證區(qū)和運(yùn)行區(qū)三個(gè)部署區(qū)域。其中，開(kāi)發(fā)區(qū)包含開(kāi)發(fā)工具、源代碼、測(cè)試數(shù)據(jù)、構(gòu)建系統(tǒng)、用例庫(kù)、測(cè)試系統(tǒng)；驗(yàn)證區(qū)包括驗(yàn)證數(shù)據(jù)和驗(yàn)證系統(tǒng)、評(píng)估系統(tǒng)；運(yùn)行區(qū)為生產(chǎn)環(huán)境，分為當(dāng)前系統(tǒng)和最新系統(tǒng)兩個(gè)部分，可以執(zhí)行灰度發(fā)布，即通過(guò)AB測(cè)試來(lái)逐步遷移系統(tǒng)的版本。超圖軟件研究院為了保障GIS基礎(chǔ)平臺(tái)的研發(fā)，解決多版本、多平臺(tái)GIS研發(fā)的復(fù)雜性和可靠性問(wèn)題，構(gòu)建了完整的持續(xù)集成系統(tǒng)，實(shí)現(xiàn)了軟件構(gòu)建、集成、測(cè)試的自動(dòng)化流程。為了適應(yīng)向在線(xiàn)平臺(tái)發(fā)展，地圖慧平臺(tái)和在線(xiàn)服務(wù)平臺(tái)逐步建立了面向持續(xù)交付和DevOps的機(jī)制。目前，SuperMap iServer   /   iExpress   /    iPortal    /    iManager系列產(chǎn)品已經(jīng)可以支持容器技術(shù)和微服務(wù)架構(gòu)，并集成到用戶(hù)的持續(xù)交付系統(tǒng)之中，成為持續(xù)運(yùn)行的IT基礎(chǔ)設(shè)施的一個(gè)有機(jī)組成部分。

　　時(shí)空大數(shù)據(jù)系統(tǒng)不僅要能夠處理動(dòng)態(tài)變化的流式數(shù)據(jù)，而且軟件系統(tǒng)本身也應(yīng)該像生產(chǎn)流水線(xiàn)一樣，能夠不斷地發(fā)展、不斷地自我更新。容器和持續(xù)交付技術(shù)使軟件可以像數(shù)據(jù)一樣方便地遷移，從而實(shí)現(xiàn)軟件和數(shù)據(jù)按需部署，快速進(jìn)行規(guī)模伸縮，提升大數(shù)據(jù)系統(tǒng)運(yùn)行的效率和可用性。借助于云計(jì)算架構(gòu)、虛擬化技術(shù)、容器技術(shù)，建立持續(xù)集成、持續(xù)交付支撐下的DevOps工作流程，徹底打通傳統(tǒng)軟件開(kāi)發(fā)、測(cè)試、驗(yàn)證、部署過(guò)程與生產(chǎn)系統(tǒng)的運(yùn)維、管理、更新的通道，實(shí)現(xiàn)快速反應(yīng)、動(dòng)態(tài)修復(fù)、即時(shí)更新，是未來(lái)軟件工程發(fā)展的主流方向，也是滿(mǎn)足未來(lái)實(shí)時(shí)大數(shù)據(jù)處理和應(yīng)用的必由之路。

　　結(jié)語(yǔ)

　　跟隨IT時(shí)代飛速前進(jìn)的步伐，GIS的時(shí)空大數(shù)據(jù)處理的關(guān)鍵能力得到大幅提升，將給用戶(hù)帶來(lái)巨大的價(jià)值。大規(guī)模虛擬存儲(chǔ)讓用戶(hù)可以永久保存其數(shù)據(jù)資產(chǎn)，通過(guò)高效利用使其不斷增值，實(shí)現(xiàn)數(shù)據(jù)價(jià)值的最大化；分布式計(jì)算架構(gòu)讓大量數(shù)據(jù)處理無(wú)需等待、模型分析唾手可得，節(jié)約寶貴的時(shí)間；云計(jì)算技術(shù)有利于提升數(shù)據(jù)中心的管理和運(yùn)維能力，公有云和私有云的一體化可以更好地滿(mǎn)足專(zhuān)業(yè)用戶(hù)的需求；流式數(shù)據(jù)的處理能力，讓空間化的即時(shí)協(xié)同成為可能，為社會(huì)網(wǎng)絡(luò)分析、物聯(lián)網(wǎng)、智慧城市等的發(fā)展鋪平了道路，再也無(wú)需擔(dān)心高并發(fā)、大容量的實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)和即時(shí)處理的問(wèn)題；三維與虛擬現(xiàn)實(shí)技術(shù)建立了一個(gè)現(xiàn)實(shí)空間的“數(shù)字鏡像”，對(duì)于空間管理、城市運(yùn)維提供了高精度的數(shù)字化手段，有利于大幅度提升管理效率和服務(wù)質(zhì)量；多種類(lèi)型終端的快速應(yīng)用讓時(shí)空大數(shù)據(jù)無(wú)處不在，隨時(shí)可用，充分發(fā)揮數(shù)據(jù)的使用價(jià)值；開(kāi)源軟件的融合與社區(qū)發(fā)展的對(duì)接，不僅有利于技術(shù)的持續(xù)發(fā)展和專(zhuān)業(yè)人才的成長(zhǎng)和培養(yǎng)，還讓用戶(hù)免于供應(yīng)商鎖定，減少系統(tǒng)風(fēng)險(xiǎn)，降低運(yùn)維成本；容器技術(shù)與持續(xù)交付模式使一體化DevOps流程成為可能，使軟件發(fā)行和Bug修復(fù)的周期大幅度縮短，有利于應(yīng)對(duì)軟件規(guī)模的快速增長(zhǎng)和系統(tǒng)復(fù)雜性日趨嚴(yán)重帶來(lái)的若干嚴(yán)峻問(wèn)題，大幅度降低單元運(yùn)行成本，為業(yè)務(wù)系統(tǒng)的效率提升提供堅(jiān)實(shí)而靈活的基礎(chǔ)架構(gòu)。

　　通過(guò)將最新的大數(shù)據(jù)技術(shù)、軟件工程技術(shù)、持續(xù)交付技術(shù)、三維與虛擬現(xiàn)實(shí)技術(shù)、云計(jì)算技術(shù)等與GIS融合，GIS已經(jīng)翻開(kāi)了一個(gè)新的篇章，真正融入了IT的主流。一方面增強(qiáng)了各種信息系統(tǒng)的時(shí)空分析和可視化能力，同時(shí)也為資源、環(huán)境、能源、城市的發(fā)展提供了強(qiáng)大的地理空間信息支撐平臺(tái)。GIS正在從以靜態(tài)制圖為主的傳統(tǒng)應(yīng)用向動(dòng)態(tài)、實(shí)時(shí)的空間大數(shù)據(jù)分析方向快速發(fā)展。GIS的“大”時(shí)代正在到來(lái)，為可持續(xù)發(fā)展、地球信息科學(xué)、地理學(xué)的發(fā)展提供了全新的可能，為相關(guān)產(chǎn)業(yè)的深度融合、做大做強(qiáng)提供了前所未有的發(fā)展機(jī)遇。