以下是Esri中國(guó)信息技術(shù)有限公司副總裁沙志友先生,以《智能GIS的地理大數(shù)據(jù)技術(shù)實(shí)戰(zhàn)》為主題的精彩演講實(shí)錄(未經(jīng)本人核實(shí))。
沙志友:GIS發(fā)展到今天有什么困難呢?還是有很多挑戰(zhàn),包括地理信息數(shù)據(jù)獲取的手段,越來(lái)越豐富,但是同時(shí)獲取的成本也在降低,使得我們的數(shù)據(jù)種類,真正的地理信息變成大數(shù)據(jù)。
這些大數(shù)據(jù)的價(jià)值如何進(jìn)行體現(xiàn)?以及單體的價(jià)值,大家看起來(lái),價(jià)值還不是太大,但整體的數(shù)據(jù)量上來(lái)以后,大數(shù)據(jù)價(jià)值如何進(jìn)一步的深度挖掘和分析?另外是我們的GIS系統(tǒng)建設(shè)周期,要求越來(lái)越短,相信在座的各位和我一樣,有很深入的感受,有很多的用戶需求,能不能給我建一個(gè)系統(tǒng),三個(gè)禮拜或者兩個(gè)禮拜上線,直接符合我的系統(tǒng)拿過來(lái)直接用就可以了。
還有另一個(gè)挑戰(zhàn),GIS發(fā)展到今天,已經(jīng)建設(shè)了大量的信息系統(tǒng),傳播的已有的信息系統(tǒng),如何進(jìn)一步發(fā)揮價(jià)值,如何解決信息集成和數(shù)據(jù)共享問題,這又是一個(gè)挑戰(zhàn)。
每一個(gè)崗位和角色,每一個(gè)系統(tǒng)之間的共享和分享需求,協(xié)同工作的需求,要求越來(lái)越強(qiáng)烈,因?yàn)槊恳粋€(gè)人都講究信息化,都在采用信息化的舍短去解決日常工作中遇到的困難,和過去相比,GIS并不是某一些專業(yè)人員所能使用的系統(tǒng),是所有的這些人員,包括單位內(nèi)部的領(lǐng)導(dǎo)和一線的人員,所有的系統(tǒng)包括日常的辦公系統(tǒng),或許都需要使用,我們現(xiàn)在獲取系統(tǒng)的手段很豐富,每個(gè)人都有自己的平板,也有自己的手機(jī),通過這些事兒,按理說都應(yīng)該能訪問地理信息系統(tǒng)。
現(xiàn)在這些系統(tǒng)是否伴隨著技術(shù)的發(fā)展,提供相關(guān)的技術(shù)呢?我們的系統(tǒng)建設(shè)是否是有點(diǎn)力不從心,帶著話題,我們現(xiàn)在的GIS系統(tǒng)建設(shè)是呼喚著全新的地理信息系統(tǒng)技術(shù)的出現(xiàn),把它稱之為智能的GIS,為什么?
因?yàn)镚IS并不是自己獨(dú)自發(fā)展的,是和業(yè)內(nèi)的全新技術(shù)結(jié)合在一起的,比如最簡(jiǎn)單的,這幾個(gè)詞大家非常熟悉,云計(jì)算、大數(shù)據(jù)、五蓮?fù)跻苿?dòng)互聯(lián)網(wǎng),每一項(xiàng)都在深切影響我們的地理信息系統(tǒng),地理信息的技術(shù),物聯(lián)網(wǎng)影響的是地理信息系統(tǒng)獲取和感知的手段,而云計(jì)算影響的是我們的信息系統(tǒng)建設(shè)的架構(gòu)。大數(shù)據(jù)影響的是決策和分析的方式和思維,移動(dòng)互聯(lián)網(wǎng)影響的是獲取和使用地理信息系統(tǒng)應(yīng)用的方式和渠道。
時(shí)間關(guān)系,我在這兒不能把智能的GIS整個(gè)技術(shù)分享清楚,在這些就具體的大數(shù)據(jù)環(huán)節(jié),給大家分享一下,到底我們?cè)诖髷?shù)據(jù)這一塊有什么探索。
如果要解決地理大數(shù)據(jù)的需求,必須要分析大數(shù)據(jù)的時(shí)代,隨著各項(xiàng)技術(shù)的發(fā)展,地理信息的獲取手段有更多樣化的方式,更低的成本。又增加了許多的一黃色部分標(biāo)志的地理一方面的內(nèi)容,使得地理數(shù)據(jù)真正變成了大的數(shù)據(jù)。
對(duì)于地理大數(shù)據(jù),除了數(shù)據(jù)的種類和獲取方式有變化,對(duì)地理數(shù)據(jù)的使用的需求有一些全新的思考和轉(zhuǎn)變。第一是地理大數(shù)據(jù)到底是不是數(shù)據(jù)的樣子的變化,大家肯定是否定的,地理大數(shù)據(jù)一來(lái)數(shù)據(jù)量確實(shí)上了很大的臺(tái)階。
第二有很多方面的特色,剛才很多專家認(rèn)識(shí)到了,在這兒我只補(bǔ)充一句,就是地理大數(shù)據(jù)種類發(fā)生了變化,有結(jié)構(gòu)化的數(shù)據(jù)、非結(jié)構(gòu)化的數(shù)據(jù),有視頻的數(shù)據(jù),從過去的數(shù)據(jù)變成了4維高頻的數(shù)據(jù),這代表地理大數(shù)據(jù)如何接入物聯(lián)網(wǎng)傳感器各種信息,這是第一個(gè)地理大數(shù)據(jù),并不僅僅是數(shù)據(jù)量的變化。
第二地理大數(shù)據(jù)帶來(lái)的分析方式和過去有很大的區(qū)別,從過去傳統(tǒng)的審慎的角色,變成了過去高效的角色,過去數(shù)據(jù)獲取成本很高,使得數(shù)據(jù)量少,在有限的數(shù)據(jù)情況下,要做一個(gè)靠譜的結(jié)果,必須要經(jīng)過緩慢的算法才能得出。
現(xiàn)在的數(shù)據(jù)非常大,是一個(gè)總量的數(shù)據(jù),拿著總量數(shù)據(jù),只需要把數(shù)據(jù)放在里面,大家肉眼就能看出來(lái),就可以得到快速的決策的結(jié)果。大家知道在上海發(fā)生的踩踏事件,過去大家會(huì)說對(duì)普通人群的監(jiān)測(cè),如果大家拿著手機(jī),幾十億條數(shù)據(jù)同時(shí)監(jiān)測(cè)外灘的情況,可以快速的獲取結(jié)果,來(lái)幫助我們進(jìn)行實(shí)時(shí)的快速響應(yīng),避免悲劇產(chǎn)生。
第三是大數(shù)據(jù)是資源,必須通過交換共享才能發(fā)揮價(jià)值,這和需求是一致的,數(shù)據(jù)要在我們的角色和部門以及系統(tǒng)之間才能承載,這是為什么很多地方都在成立大數(shù)據(jù)交易所的原因,正因?yàn)榈乩泶髷?shù)據(jù)需求發(fā)生了變化,對(duì)我們的技術(shù)和關(guān)鍵的基礎(chǔ)也產(chǎn)生了很大的挑戰(zhàn)。
第一是數(shù)據(jù)采集和接入的方式發(fā)生了變化,因?yàn)閿?shù)據(jù)來(lái)源發(fā)生了變化,怎么通過地理信息的軟件技術(shù),接入數(shù)據(jù)?第一無(wú)人機(jī),大家知道無(wú)人機(jī)現(xiàn)在非常低,每一個(gè)人都可能買得起,都可以用無(wú)人機(jī)做類似的事情,比如去野外把地拍了一圈,回來(lái)地理信息的照片,就可以做一個(gè)影響圖,時(shí)間非常短,一個(gè)小時(shí)的時(shí)間就可以通過無(wú)人機(jī)獲取地理大數(shù)據(jù)。
不僅可以進(jìn)行影像,還可以有地表的信息,直接獲取城市的三維模型,成本和過去相比,大數(shù)據(jù)給我們帶來(lái)了很大的變化。
物聯(lián)網(wǎng)的數(shù)據(jù)信息,有很多和這個(gè)相關(guān)的,包括三類,第一類是位置變化的信息,車輛和人員,第二是位置不變,但是狀態(tài)發(fā)生變化的信息,各種傳感器和溫濕度的信息。第三是發(fā)生各類事件的信息,城市的各種活動(dòng)和物件的變化,各種案件險(xiǎn)情的變化,我們同樣在地理信息軟件中需要直接去管理和接入這些數(shù)據(jù)信息,這是直接接入的,飛機(jī)對(duì)機(jī)場(chǎng)周邊影響的噪音傳感器的監(jiān)控,這是直接接入社交網(wǎng)站的發(fā)到微博的信息,這是大數(shù)據(jù)時(shí)代,我們對(duì)地理信息技術(shù)的改造。第三個(gè)數(shù)據(jù)來(lái)源是既有的數(shù)據(jù),很重要的數(shù)據(jù)來(lái)源是已有系統(tǒng)的數(shù)據(jù),這是我們的財(cái)富,需要充分的利用起來(lái),通過數(shù)據(jù)創(chuàng)造數(shù)據(jù)創(chuàng)造價(jià)值,如何直接去管理和使用已有既有的數(shù)據(jù)?這是一個(gè)方式,我們需要對(duì)數(shù)據(jù)進(jìn)行清洗管理清洗加載,在大數(shù)據(jù)時(shí)代大家聽到一個(gè)最熟悉的詞就是數(shù)據(jù)的清洗,怎么做?對(duì)已有的數(shù)據(jù)進(jìn)行清理。
第二對(duì)地理大數(shù)據(jù)的分析挖掘技術(shù),傳統(tǒng)的地理信息的強(qiáng)項(xiàng),就是對(duì)信息的挖掘,有很多的空間分析的方式,最簡(jiǎn)單的一條道路周邊200米是一個(gè)鐵路的緩沖區(qū),在大數(shù)據(jù)時(shí)代,過去傳統(tǒng)的地理分析的技術(shù),是否能滿足大家的需要?這張圖是紐約出租車的1.7億數(shù)據(jù),通過1.7條數(shù)據(jù)按照傳統(tǒng)的GIS方式做熱點(diǎn)分析,幾乎不現(xiàn)實(shí),所以很多企業(yè),他們是自己寫一寫算法,這對(duì)地理信息和傳統(tǒng)產(chǎn)生了大的挑戰(zhàn),我們需要?jiǎng)?chuàng)新從過去的單點(diǎn)的計(jì)算變成分布式的計(jì)算架構(gòu),這是對(duì)基礎(chǔ)的軟件提供了一個(gè)高的目標(biāo)。
這是全新的地理信息軟件的架構(gòu)描述,不給大家詳細(xì)介紹了,這是離線的數(shù)據(jù)計(jì)算。如果對(duì)實(shí)時(shí)的數(shù)據(jù)接入和離線的接入有一點(diǎn)不同,不同在它提供了數(shù)據(jù)流的抓取和動(dòng)態(tài)處理的能力,以及動(dòng)態(tài)輸出的能力,這是對(duì)實(shí)時(shí)地理大數(shù)據(jù)的改造。
通過這方面的改造,我們可以得到更為優(yōu)秀的地理分析技術(shù)方面和能力方面的提升,比如這個(gè)體現(xiàn)了1.7億條的紐約出租車數(shù)據(jù)進(jìn)行分析的一些成像,隨著計(jì)算節(jié)點(diǎn)的增加,整個(gè)計(jì)算的時(shí)間是極大的縮短,可以保證我們快速的得到最終的結(jié)果。
我們通過對(duì)電信的,廣東省的電信數(shù)據(jù),是2T左右,26億條數(shù)據(jù),作為一個(gè)簡(jiǎn)單的網(wǎng)格的聚合中心,可以反映全省的經(jīng)濟(jì)和龍頭分布情況,可以反映某方面的特征變化,這個(gè)計(jì)算也同樣通過全新的地理大數(shù)據(jù)的計(jì)算,可以快速的得到結(jié)果。第三個(gè)案例是對(duì)金融交易方面的分析,大家說金融交易不是普通的交易數(shù)據(jù)嗎?怎么有位置信息?很多的交易是通過ATM機(jī)進(jìn)行的,每一個(gè)都有位置,我們可以通過數(shù)據(jù)來(lái)發(fā)掘一些違規(guī)操作,比如如果在同一段時(shí)間,一個(gè)小時(shí)之內(nèi),所有ATM機(jī)往同一個(gè)帳號(hào)進(jìn)行轉(zhuǎn)賬交易,大家想肯定有貓膩所在,通過這些計(jì)算可以快速的挖掘這個(gè)交易當(dāng)中的特殊的數(shù)據(jù)。
在GIS傳統(tǒng)領(lǐng)域國(guó)土領(lǐng)域也進(jìn)行大數(shù)據(jù)分析,進(jìn)入一個(gè)簡(jiǎn)單的查詢操作,也很難,如果按照傳統(tǒng)的地理信息技術(shù)很難實(shí)現(xiàn),必須要大數(shù)據(jù)分析的方法。
剛才說的那些是對(duì)點(diǎn)、線、面一些數(shù)據(jù)的計(jì)算,我們同樣也需要進(jìn)行改造,這是對(duì)光伏電廠的計(jì)算數(shù)據(jù),輸入的是什么?是整個(gè)區(qū)域的降雨量、溫度、地表覆蓋等數(shù)據(jù)信息,這些數(shù)據(jù)信息也可以進(jìn)行計(jì)算,這是在計(jì)算層面上呼喚全新的地理信息技術(shù)。
第三是展示層面,因?yàn)榇髷?shù)據(jù)有很大的特點(diǎn),不可能按照過去的方式,把每一個(gè)要素展示出來(lái),所以需要?jiǎng)?chuàng)造新的方式方法,第一個(gè)方式是解決了多來(lái)源的大數(shù)據(jù)展示,怎么展示?采用的是多圖表聯(lián)動(dòng)的方式解決多數(shù)據(jù)來(lái)源的展示問題。第二怎么解決時(shí)空數(shù)據(jù)的展示問題,除了哪一個(gè)時(shí)間播放視頻之外,還可以通過時(shí)空立方體展示地理信息,什么意思?XY是空間的分布,縱向是時(shí)空的分布,我們可以做不同方向,可以直接進(jìn)行分析。第三是當(dāng)數(shù)據(jù)量上來(lái),在地圖上怎么展示?在座各位都不想看到這張圖,沒有任何意義,看不到任何規(guī)律,進(jìn)行地圖刷新很慢,需要新方式,通過網(wǎng)格聚合方式,每一個(gè)王和諧一個(gè)數(shù)字,告訴大家有多少數(shù)字,也可以從空間分布角度來(lái)呈現(xiàn),通過這些有技巧的方式,來(lái)對(duì)大數(shù)據(jù)進(jìn)行可視化的操作。
這些只是單純技術(shù)方面,是否能支撐地理大數(shù)據(jù)系統(tǒng)的建設(shè),還是需要很多的架構(gòu)考慮。
第一個(gè)架構(gòu)是單節(jié)點(diǎn)地理大數(shù)據(jù)中心,如何建設(shè)?基礎(chǔ)層面是圍繞云的基礎(chǔ)設(shè)施,其次是地理大數(shù)據(jù)存儲(chǔ)模塊,可以支持多樣化數(shù)據(jù)的,除了關(guān)系型的還有非關(guān)系型的管理,這方面要搭建不同需求的框架,你有食量計(jì)算有的是非結(jié)構(gòu)化的,然后構(gòu)建統(tǒng)一大數(shù)據(jù)的服務(wù)接口,這是直接接觸的門戶,最后需要后臺(tái)的運(yùn)營(yíng)管理平臺(tái),這是單中心的地理大數(shù)據(jù)結(jié)構(gòu),很多時(shí)候特別大數(shù)據(jù)時(shí)代,多個(gè)中心多個(gè)部門之間的聯(lián)動(dòng)和需求越來(lái)越強(qiáng)烈,單中心并不能滿足大家的需求,所以這個(gè)時(shí)候我們還有很多的多中心的模式。
第一個(gè)模式是物理上集中,邏輯上分開的架構(gòu),邏輯上遇到了級(jí)別的平臺(tái),物理上是分開的狀態(tài),時(shí)間上不介紹具體架構(gòu)。
最后一個(gè)架構(gòu)是我一個(gè)獨(dú)立的中心,不能滿足大家所有人的需求,我也沒有能力做物理的東西,要聯(lián)合多個(gè)不同的部門,構(gòu)建大數(shù)據(jù)的平臺(tái),這時(shí)候很容易理解,多個(gè)物理分開的大數(shù)據(jù)中心,這些大數(shù)據(jù)中心,可以通過非常好的手段,把數(shù)據(jù)中心的管理和數(shù)據(jù)的流通,服務(wù)接口的流通,變成統(tǒng)一的整體。統(tǒng)一的整體依然對(duì)更多的部門提供服務(wù),這是物理分開的多中心聯(lián)合的大數(shù)據(jù)系統(tǒng)建設(shè)框架。時(shí)間關(guān)系不展開講。
總結(jié)一句話,我們有很多對(duì)應(yīng)的解決方式和方法,這和我們的技術(shù)是分開的,無(wú)論是大數(shù)據(jù)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng),這些所有的技術(shù)融到了地理信息的領(lǐng)域,影響到了地理信息的軟件,產(chǎn)生了智能化的GIS的發(fā)展,這是為大家提供的基本的發(fā)展和趨勢(shì)的匯報(bào),報(bào)告就到這兒謝謝。
{{item.content}}