Ganos是阿里云時(shí)空PaaS服務(wù)的自研核心引擎。Ganos已作為云數(shù)據(jù)庫(kù)時(shí)空引擎與數(shù)據(jù)庫(kù)平臺(tái)融合,建立了以自研云原生數(shù)據(jù)庫(kù)POLARDB為基礎(chǔ),聯(lián)合NoSQL大數(shù)據(jù)平臺(tái)(Ali-HBASE和X-Pack Spark)的完整時(shí)空地理信息云化管理解決方案。
HBase Ganos為PB級(jí)分布式、大規(guī)模時(shí)空數(shù)據(jù)管理而生,主打NoSQL時(shí)空大數(shù)據(jù)處理能力,兼容HBase、Spark、GeoMesa、GeoServer等廣泛開(kāi)源生態(tài),內(nèi)置了時(shí)空索引算法、空間拓?fù)鋷缀嗡惴?、遙感影像處理算法等,可廣泛應(yīng)用于空間/時(shí)空/遙感大數(shù)據(jù)存儲(chǔ)、查詢、分析與數(shù)據(jù)挖掘場(chǎng)景。
01
新版本特性
全球首發(fā)時(shí)空柵格引擎云服務(wù),支撐航天航空遙感云計(jì)算與智能化發(fā)展
對(duì)地觀測(cè)技術(shù)的快速發(fā)展正促使遙感應(yīng)用走向在線化和服務(wù)化。全新的云上時(shí)空柵格數(shù)據(jù)引擎面向未來(lái)遙感大數(shù)據(jù)云端智能分析計(jì)算需求而設(shè)計(jì),采用了極為靈活的時(shí)空數(shù)據(jù)組織方式,在保留多時(shí)相、多分辨率且每一寸像素光譜信息的同時(shí),兼顧傳統(tǒng)遙感應(yīng)用的快速瀏覽需求。
引擎內(nèi)置的ETL工具可以打通OSS、HBase、POLARDB/PG等數(shù)據(jù)存儲(chǔ)產(chǎn)品,支持柵格數(shù)據(jù)的全自動(dòng)化快速入庫(kù),包含投影轉(zhuǎn)換、數(shù)據(jù)分塊和索引創(chuàng)建等。柵格數(shù)據(jù)存儲(chǔ)組織支持多種模式,常用的包括全球標(biāo)準(zhǔn)格網(wǎng)剖分和本地坐標(biāo)系格網(wǎng)剖分(見(jiàn)下圖)。
此外,2.5版本發(fā)布全新的時(shí)空Cover數(shù)據(jù)模型。Cover模型物理上維護(hù)每一幅遙感影像的獨(dú)立性,同時(shí)支持海量遙感影像基于時(shí)相和空間條件的動(dòng)態(tài)拼接,邏輯上實(shí)時(shí)生成時(shí)空動(dòng)態(tài)一張圖,為遙感智能化分析計(jì)算應(yīng)用提供強(qiáng)大數(shù)據(jù)模型支撐。
與X-Pack Spark、 GeoTools集成,提供兼容OGC標(biāo)準(zhǔn)的空間數(shù)據(jù)訪問(wèn)接口
2.5版本提供了更全面的訪問(wèn)方式,包括基于GeoTools API的訪問(wèn)、支持GeoJson作為時(shí)空數(shù)據(jù)結(jié)構(gòu)的REST API、以及空間GeoSQL支持,可最大程度兼容不同用戶需求。其中,Ganos Spark模塊提供了一系列UDF空間算子實(shí)現(xiàn)了基于OGC標(biāo)準(zhǔn)的GeoSQL的空間數(shù)據(jù)查詢,例如:
這些空間算子主要包括Geometry Constructors函數(shù)、Geometry Accessors函數(shù)、Geometry Cast函數(shù)、Geometry Editors函數(shù)、Geometry Outputs函數(shù)、Spatial Relationships函數(shù)以及Geometry Processing函數(shù)等,算子功能將按需擴(kuò)展。
2.5版本支持豐富的時(shí)空幾何數(shù)據(jù)、時(shí)空軌跡數(shù)據(jù)建模,數(shù)據(jù)類(lèi)型包括點(diǎn)、線、面等時(shí)空對(duì)象。在此基礎(chǔ)上,還提供了完備的時(shí)空模型操作能力,既可以支持空間范圍查詢,也支持“時(shí)間+空間”的多維查詢。
在性能優(yōu)化方面,采用了空間謂詞下推技術(shù),查詢時(shí)可將空間過(guò)濾條件下推到存儲(chǔ)層執(zhí)行,從而減少I(mǎi)/O開(kāi)銷(xiāo),降低查詢時(shí)延。另外,結(jié)合阿里云X-Pack可構(gòu)建強(qiáng)大的時(shí)空分析平臺(tái),借助空間分區(qū)、分區(qū)索引、基于內(nèi)存索引以及Fast Spatial Jion等性能優(yōu)化手段,可大幅提高查詢分析性能。
在成本控制方面,針對(duì)時(shí)空數(shù)據(jù)寫(xiě)入膨脹的問(wèn)題,新版本在索引生成、時(shí)空模型編碼、冷熱分離存儲(chǔ)等方面進(jìn)行了全面優(yōu)化。在索引生成階段,對(duì)索引的控制力度更細(xì),可按需建立索引;
在時(shí)空編碼方面,使用了TWKB編碼,同時(shí)用戶可指定寫(xiě)入數(shù)據(jù)的精度,減少數(shù)據(jù)的存儲(chǔ)長(zhǎng)度;在冷熱分離存儲(chǔ)方面,借助阿里云OSS存儲(chǔ),可使得存儲(chǔ)成本下降70%以上。
02
典型應(yīng)用場(chǎng)景
01 航空航天遙感應(yīng)用
對(duì)地觀測(cè)、商業(yè)航天、無(wú)人機(jī)測(cè)繪等快速發(fā)展,積累了大量的遙感影像數(shù)據(jù)。數(shù)據(jù)規(guī)模的不斷擴(kuò)大給數(shù)據(jù)時(shí)空化組織以及大數(shù)據(jù)和智能化應(yīng)用帶來(lái)了極大挑戰(zhàn)。未來(lái)需要探索數(shù)據(jù)在線、應(yīng)用能力在線、用戶購(gòu)買(mǎi)服務(wù)模式。Ganos可以為云平臺(tái)商、衛(wèi)星數(shù)據(jù)廠商、平臺(tái)服務(wù)商等構(gòu)建遙感智能化大數(shù)據(jù)云平臺(tái)提供時(shí)空云基礎(chǔ)設(shè)施支撐,解決最底層關(guān)鍵技術(shù),并在傳統(tǒng)編目化管理和切片化應(yīng)用基礎(chǔ)上獲得全新架構(gòu)的快速演進(jìn),從而在遙感智能化浪潮中聚焦業(yè)務(wù)并獲得先機(jī)。
02 互聯(lián)網(wǎng)出行
互聯(lián)網(wǎng)出行涉及到運(yùn)力的調(diào)度、拼車(chē)、供需預(yù)測(cè)、熱力圖等業(yè)務(wù)。以供需預(yù)測(cè)為例,基于對(duì)歷史軌跡數(shù)據(jù)的分析,并結(jié)合實(shí)時(shí)訂單數(shù)據(jù),預(yù)測(cè)當(dāng)前訂單密集區(qū)域的分布,提高接單概率并減少司機(jī)空駛時(shí)間。這背后涉及到大量時(shí)空型數(shù)據(jù)和業(yè)務(wù)信息的快速讀取,并結(jié)合業(yè)務(wù)算法進(jìn)行預(yù)測(cè),利用HBase Ganos可有力支持該業(yè)務(wù)場(chǎng)景。
03 傳感網(wǎng)與實(shí)時(shí)GIS
在環(huán)保、氣象、水利、航海航空監(jiān)測(cè)等領(lǐng)域,需要通過(guò)各種傳感器獲取天、空、地、海不同地理現(xiàn)象、事件、要素的全生命周期多尺度監(jiān)測(cè)指標(biāo),比如污染監(jiān)測(cè)、水位監(jiān)測(cè)、降雨量監(jiān)測(cè)、航標(biāo)監(jiān)測(cè)等。HBase Ganos可以為構(gòu)建實(shí)時(shí)GIS大數(shù)據(jù)應(yīng)用提供穩(wěn)定、可靠、彈性、免運(yùn)維的PaaS服務(wù),為地理國(guó)情常態(tài)化監(jiān)測(cè)和智慧城市建設(shè)提供基礎(chǔ)平臺(tái)。
04 車(chē)聯(lián)網(wǎng)
海量的車(chē)輛終端在不斷地產(chǎn)生軌跡數(shù)據(jù),軌跡數(shù)據(jù)包含了時(shí)間和空間位置。利用HBase Ganos,實(shí)時(shí)監(jiān)測(cè)車(chē)輛的行駛軌跡、是否偏航、是否進(jìn)入某個(gè)限制區(qū)域等。除了實(shí)時(shí)監(jiān)控外,還可以進(jìn)行時(shí)空查詢,如查詢某段時(shí)間的軌跡,某段時(shí)間進(jìn)入該區(qū)域的車(chē)輛等。結(jié)合大數(shù)據(jù)分析框架(如Spark)還可以進(jìn)行穿越分析、區(qū)域分布熱力圖等。
05 智慧物流與外賣(mài)遞送
在物流與外賣(mài)等領(lǐng)域,需要實(shí)時(shí)監(jiān)控車(chē)輛、騎手的位置,以便進(jìn)行可靠的時(shí)間預(yù)測(cè)等服務(wù)。車(chē)輛和騎手的位置需要實(shí)時(shí)上報(bào),云端需要處理高并發(fā)寫(xiě)入并進(jìn)行實(shí)時(shí)路徑規(guī)劃、偏航監(jiān)測(cè)等計(jì)算,背后都需要大量的時(shí)空計(jì)算。
03
典型案例&架構(gòu)
01
航海船舶大數(shù)據(jù)平臺(tái)
場(chǎng)景:全球AIS船舶實(shí)時(shí)位置數(shù)據(jù),每天上億條軌跡寫(xiě)入,要求軌跡時(shí)空/時(shí)序查詢秒級(jí)響應(yīng),具體包括:
• 監(jiān)管區(qū)域?qū)崟r(shí)地理圍欄判斷;
• 軌跡區(qū)域回放(指定區(qū)域+指定時(shí)間段);
• 軌跡回放(指定時(shí)間段查詢)。
架構(gòu)說(shuō)明:
• AIS等數(shù)據(jù)經(jīng)過(guò)Spark平臺(tái)清洗、融合完成后,構(gòu)建數(shù)倉(cāng);
• 對(duì)外提供查詢的數(shù)據(jù)存儲(chǔ)到HBase Ganos中,可供前端各類(lèi)應(yīng)用進(jìn)行時(shí)空查詢(如地理圍欄、軌跡回放等);
• 整體系統(tǒng)的查詢時(shí)間在毫秒級(jí),數(shù)據(jù)清洗在分鐘級(jí)。
02
位置服務(wù)平臺(tái)
場(chǎng)景:實(shí)時(shí)采集車(chē)輛設(shè)備軌跡,40萬(wàn)+終端設(shè)備,3萬(wàn)+軌跡點(diǎn)/秒峰值;對(duì)外提供實(shí)時(shí)位置查詢、地理圍欄、軌跡相似度判斷等服務(wù);
架構(gòu)說(shuō)明:
• 利用POLARDB Ganos的MOD移動(dòng)對(duì)象數(shù)據(jù)庫(kù)保存業(yè)務(wù)、GIS和行程軌跡現(xiàn)勢(shì)數(shù)據(jù),而HBase Ganos保留所有歷史軌跡庫(kù);
• 當(dāng)歷史數(shù)據(jù)量較大時(shí),可通過(guò)冷數(shù)據(jù)自動(dòng)轉(zhuǎn)儲(chǔ)功能,將數(shù)據(jù)存放到OSS中,減少70%以上的成本;
• 百億量級(jí)的軌跡查詢(比如查詢某段時(shí)間、某空間范圍內(nèi)經(jīng)過(guò)的軌跡)只需亞秒級(jí);
與X-Pack Spark平臺(tái)無(wú)縫銜接,可以提供類(lèi)似軌跡相似度、OD分析等強(qiáng)大功能。
03
遙感大數(shù)據(jù)管理與智能服務(wù)平臺(tái)
場(chǎng)景:完全在線化大規(guī)模遙感影像數(shù)據(jù)入庫(kù)、查詢、分析和AI智能服務(wù)。
痛點(diǎn):
• 遙感影像數(shù)據(jù)體量大且增量快,存儲(chǔ)、計(jì)算擴(kuò)展不靈活;
• 以原始文件為單位管理模式粗放,數(shù)據(jù)結(jié)構(gòu)不統(tǒng)一,上層調(diào)用復(fù)雜;
• 傳統(tǒng)靜態(tài)切片方式管理顯示速度快,但光譜信息丟失,無(wú)法有效支撐實(shí)時(shí)分析場(chǎng)景和AI場(chǎng)景;
• 多源空間數(shù)據(jù)融合查詢分析困難。
架構(gòu)說(shuō)明:
• 原始數(shù)據(jù)采用OSS高性價(jià)比存儲(chǔ),冷熱分離;
• 影像數(shù)據(jù)庫(kù)采用SQL+NoSQL構(gòu)建時(shí)空序列影像,容量無(wú)上限,存儲(chǔ)與計(jì)算分離,極致彈性;
• 數(shù)據(jù)完全結(jié)構(gòu)化存儲(chǔ)和組織,保留原始像元信息,有效支撐各類(lèi)分析計(jì)算場(chǎng)景;
• 與X-Pack Spark集成,ETL與多源空間數(shù)據(jù)分析處理更便捷,可進(jìn)一步集成阿里天巡平臺(tái),實(shí)現(xiàn)遙感AI能力集成。
{{item.content}}