777精品久无码人妻蜜桃,国产日本精品视频在线观看 ,国产亚洲99久久精品熟女av,brazzersvideosex欧美最新版,人人爽人人人爽人人爽

分享
Scan me 分享到微信

網(wǎng)格計(jì)算:空間數(shù)據(jù)基礎(chǔ)設(shè)施的基石?

 空間數(shù)據(jù)基礎(chǔ)設(shè)施的數(shù)據(jù)檢索和處理的標(biāo)準(zhǔn)及規(guī)范,是否同并行的網(wǎng)格計(jì)算以及存儲(chǔ)基礎(chǔ)設(shè)施相兼容?盡管將空間數(shù)據(jù)基礎(chǔ)設(shè)施服務(wù)和網(wǎng)格基礎(chǔ)設(shè)施相結(jié)合是一種必然的趨勢(shì),仍然有一些概念上的分歧需要在這個(gè)過程中得以解決。

  在20世紀(jì)90年代,一個(gè)新的概念計(jì)算方法被網(wǎng)格計(jì)算的領(lǐng)軍人物Ian Foster引入,他認(rèn)為網(wǎng)格計(jì)算已經(jīng)作為一個(gè)重要的新領(lǐng)域而出現(xiàn),與傳統(tǒng)的分布式計(jì)算不同,網(wǎng)格計(jì)算致力于大規(guī)模的資源共享、創(chuàng)新型應(yīng)用以及一些的高性能應(yīng)用。在過去的幾年里,地理空間行業(yè)的研究人員一直在努力研究網(wǎng)格計(jì)算對(duì)于空間數(shù)據(jù)基礎(chǔ)設(shè)施(SDI)的潛能。利用網(wǎng)格的強(qiáng)大計(jì)算能力,能否有可能在處理空間領(lǐng)域的任務(wù)時(shí)有所突破呢?

  空間數(shù)據(jù)基礎(chǔ)設(shè)施的數(shù)據(jù)檢索和處理的標(biāo)準(zhǔn)及規(guī)范,是否同并行的網(wǎng)格計(jì)算以及存儲(chǔ)基礎(chǔ)設(shè)施相兼容?盡管將空間數(shù)據(jù)基礎(chǔ)設(shè)施服務(wù)和網(wǎng)格基礎(chǔ)設(shè)施相結(jié)合是一種必然的趨勢(shì),仍然有一些概念上的分歧需要在這個(gè)過程中得以解決。這篇文章對(duì)其中的一些分歧進(jìn)行了討論,同時(shí)介紹了由德國研究教育部資助的研究項(xiàng)目GDI-Grid的概況。在訪問地球觀測(cè)數(shù)據(jù)清單或者國內(nèi)外數(shù)據(jù)中心的數(shù)據(jù)庫時(shí),傳統(tǒng)的空間數(shù)據(jù)基礎(chǔ)設(shè)施的資源就顯得非常有限 。在處理大型數(shù)據(jù)集時(shí),這種情況尤甚。

  例如,計(jì)算一個(gè)陸生植被指數(shù)需要數(shù)以萬億字節(jié)地圖代數(shù)數(shù)據(jù),而本地工作站一般是無法完成這樣的任務(wù)的。還有一些其他處理任務(wù)也會(huì)耗盡傳統(tǒng)空間基礎(chǔ)設(shè)施的資源,因?yàn)樗鼈兊乃惴◤?fù)雜,數(shù)據(jù)量又大,例如氣候模型的生成或精確模擬城市中的噪聲傳播。

  網(wǎng)格基礎(chǔ)設(shè)施給我們展示了數(shù)以千計(jì)的CPU的處理能力和存儲(chǔ)大量數(shù)據(jù)的能力,這些性能使其成為在可接受的時(shí)間范圍內(nèi)、具有強(qiáng)可靠性的處理任務(wù)的理想平臺(tái)。潛在的優(yōu)勢(shì)還包括:具有在所謂的虛擬組織成員中共享存儲(chǔ)和計(jì)算資源的手段,因此降低硬件獲取手段的初始成本;對(duì)存儲(chǔ)和計(jì)算資源的增長(zhǎng)需求可以進(jìn)行安全、可靠的事務(wù)處理。

  空間數(shù)據(jù)基礎(chǔ)設(shè)施和網(wǎng)格基礎(chǔ)設(shè)施的區(qū)別

  由于傳統(tǒng)的SDI和網(wǎng)格基礎(chǔ)設(shè)施的概念相去甚遠(yuǎn),需要一個(gè)基于網(wǎng)格的SDI實(shí)際安裝(將傳統(tǒng)的OGC標(biāo)準(zhǔn)SDI服務(wù)連接到一個(gè)網(wǎng)格基礎(chǔ)設(shè)施的后端)來解決多種不兼容。尤其是服務(wù)描述、服務(wù)接口、服務(wù)狀態(tài)和安全機(jī)制,都采用了不同的方法。

  服務(wù)描述

  網(wǎng)格服務(wù)總是使用WSDL(網(wǎng)絡(luò)服務(wù)描述語言)來描述服務(wù)方式和輸入?yún)?shù)。另一方面,對(duì)于不同的操作(例如描述要素類型、描述Coverage等),OGC網(wǎng)絡(luò)服務(wù)使用同特定服務(wù)元數(shù)據(jù)一樣的功能文件來描述。WSDL文件和功能文件差異很大并且不能夠相互轉(zhuǎn)換。為了在網(wǎng)格基礎(chǔ)設(shè)施內(nèi)部署OGC網(wǎng)絡(luò)服務(wù),必須要手動(dòng)創(chuàng)建一個(gè)WSDL描述,因?yàn)槟壳斑€沒有一種能夠自動(dòng)創(chuàng)建這種描述的方法。

  服務(wù)接口

  對(duì)OGC網(wǎng)絡(luò)服務(wù)支持的一系列操作在OGC服務(wù)規(guī)范文件中定義,可以通過不同的方式來調(diào)用這些操作,但是首選的方式是通過HTTP-GET獲取鍵值對(duì),以及請(qǐng)求在XML文件中編碼并通過HTTP-POST傳送。此外,大多數(shù)最近的服務(wù)規(guī)范包括指示,使用SOAP來調(diào)用操作。網(wǎng)格服務(wù)通常是通過一個(gè)網(wǎng)格中間件來解決的。舉例來說,Globus Toolkit 4 使用SOAP來傳遞服務(wù)呼叫。那些不支持SOAP或者沒有WSDL描述的服務(wù)可能無法集成在一個(gè)網(wǎng)格工作流中。

  服務(wù)狀態(tài)

  除了使用SOAP進(jìn)行通訊和使用WSDL來描述外,一些網(wǎng)格服務(wù)還實(shí)現(xiàn)了由結(jié)構(gòu)化信息標(biāo)準(zhǔn)促進(jìn)組織(OASIS)開發(fā)的網(wǎng)絡(luò)服務(wù)資源框架(WSRF)。傳統(tǒng)的網(wǎng)絡(luò)服務(wù)(即非網(wǎng)格服務(wù))以及OGC網(wǎng)絡(luò)服務(wù)都是無狀態(tài)的,WSRF服務(wù)之間在調(diào)用的時(shí)候能管理各自的狀態(tài)信息。這些信息當(dāng)作資源存儲(chǔ)在服務(wù)后端。每一個(gè)服務(wù)端點(diǎn)有都有自己的統(tǒng)一資源標(biāo)識(shí)符(URI),這些標(biāo)識(shí)符可以用來訪問存儲(chǔ)信息。對(duì)于之后的計(jì)算來說,存儲(chǔ)計(jì)算中間結(jié)果是必須的,這在狀態(tài)化服務(wù)中是很常見的。

  OGC規(guī)范(除了網(wǎng)絡(luò)處理服務(wù)WPS)還沒有任何關(guān)于服務(wù)狀態(tài)的說明。WPS規(guī)范的一個(gè)可選部分引入了用于在外部資源上存儲(chǔ)運(yùn)行結(jié)果的請(qǐng)求參數(shù),但是由于該部分規(guī)范是可選的,因此當(dāng)前還沒有得到廣泛的支持。

  安全機(jī)制

  OGC規(guī)范對(duì)于涉及安全的問題仍然沒有任何表述說明,通常使用安全的HTTP(HTTPS)來確保傳輸協(xié)議的安全性。此外,對(duì)于一種服務(wù)中如何鑒定不同的用戶還沒有規(guī)定。因此,傳統(tǒng)空間數(shù)據(jù)基礎(chǔ)設(shè)施的安全機(jī)制是根據(jù)特定的項(xiàng)目而建立的,不同的供應(yīng)商通過不同的方式應(yīng)對(duì)安全問題。對(duì)于網(wǎng)格基礎(chǔ)設(shè)施,這樣低層次的安全防范是不夠的。

  安全機(jī)制是至關(guān)重要的,有了安全機(jī)制,每個(gè)資源就能允許特定的用戶訪問,否則網(wǎng)格基礎(chǔ)設(shè)施的大規(guī)模計(jì)算和存儲(chǔ)能力很可能被濫用。所以,安全是網(wǎng)格基礎(chǔ)設(shè)施的一個(gè)非常重要的因素,如果在網(wǎng)格基礎(chǔ)設(shè)施中使用OGC網(wǎng)絡(luò)服務(wù),這些服務(wù)必須要提供用戶認(rèn)證手段和網(wǎng)格資源通信加密功能。

  案例研究:GDI-Grid項(xiàng)目

  GDI-Grid項(xiàng)目(GDI是德國空間數(shù)據(jù)基礎(chǔ)設(shè)施的縮寫)是由德國研究教育部資助的一項(xiàng)國家研究項(xiàng)目,該項(xiàng)的目的是將標(biāo)準(zhǔn)化的空間基礎(chǔ)設(shè)施組件與網(wǎng)格基礎(chǔ)設(shè)施結(jié)合,同時(shí)解決上述的兼容性問題。結(jié)合這些技術(shù)的目的有兩個(gè):

  首先,最重要的一點(diǎn)是它能夠幫助用戶使用標(biāo)準(zhǔn)的方式訪問高級(jí)存儲(chǔ)器和網(wǎng)格基礎(chǔ)設(shè)施的計(jì)算資源。此外,它使得網(wǎng)格技術(shù)的用戶能夠?qū)⒌乩砜臻g服務(wù)技術(shù)融入到網(wǎng)格工作流中,并包含一系列的網(wǎng)格服務(wù)調(diào)用。
[page]
 

  GDI-Grid的目標(biāo)

  該項(xiàng)目的一個(gè)目標(biāo)是:適應(yīng)空間數(shù)據(jù)基礎(chǔ)設(shè)施和網(wǎng)格基礎(chǔ)設(shè)施的構(gòu)建基礎(chǔ),并實(shí)現(xiàn)兩者之間的通訊。通過將地理空間社區(qū)的成員同網(wǎng)格社區(qū)的成員聯(lián)合起來,將這兩部分進(jìn)行匹配需要從兩個(gè)角度來考慮:考察如何擴(kuò)展網(wǎng)格組件來解決OGC Web服務(wù)和辨認(rèn)方式,以及如何通過修改的OGC Web服務(wù)使他們能與網(wǎng)格資源通訊。


  進(jìn)一步需要處理的問題包括創(chuàng)建和確認(rèn)自動(dòng)化的網(wǎng)格工作流,以及使用網(wǎng)格計(jì)算資源形成數(shù)據(jù)處理的方法。對(duì)不同來源的數(shù)據(jù)進(jìn)行融合,概括并豐富數(shù)據(jù)是通過OGC標(biāo)準(zhǔn)服務(wù)接口實(shí)施訪問格網(wǎng)資源的一些處理步驟。

  下面有三個(gè)案例來展示該研究成果的可能用途。這些案例中的任務(wù)也能使用傳統(tǒng)的空間基礎(chǔ)設(shè)施來完成,這里我們只是為了充分利用基于空間基礎(chǔ)設(shè)施的網(wǎng)格計(jì)算的優(yōu)勢(shì)。

  場(chǎng)景1:噪聲傳播

  計(jì)算噪音傳播是城市規(guī)劃中一個(gè)很重要的手段,歐盟指令2002/49/EC中指出,歐洲國家建設(shè)高速公路或者鐵路時(shí),噪聲傳播計(jì)算是必要要進(jìn)行的。該方案旨在將現(xiàn)有的生成噪音傳播仿真的工作流轉(zhuǎn)移到網(wǎng)格中。對(duì)于某些城市來說,由于受多種因素的影響,噪聲傳播是非常復(fù)雜的。

  由于數(shù)據(jù)量大,并且涉及到的很多算法,詳細(xì)的聲學(xué)模擬計(jì)算速度需要提升。在GDI-Grid項(xiàng)目中提供了加速該任務(wù)的方法,將研究區(qū)域切成一個(gè)瓦片集。這些瓦片是單獨(dú)處理的,從而將計(jì)算也隔離開來,這樣就能同時(shí)利用多個(gè)計(jì)算資源。因此,工作流需要改進(jìn),包括必要的預(yù)處理和后期處理步驟,例如分割和合并數(shù)據(jù)集等。除了驅(qū)動(dòng)網(wǎng)格的服務(wù),還需要?jiǎng)?chuàng)建一個(gè)對(duì)應(yīng)的用戶接口。

  場(chǎng)景2:洪水仿真

  漢堡應(yīng)用技術(shù)大學(xué)在網(wǎng)格環(huán)境中采用了一個(gè)現(xiàn)有的洪水預(yù)測(cè)生產(chǎn)模型。洪水預(yù)報(bào)模型可以用來測(cè)定洪水發(fā)生時(shí)的水浸范圍,地方政府可以使用該模型對(duì)可能的損失做出預(yù)測(cè),并且給危險(xiǎn)地區(qū)的居民提供預(yù)警措施。在城市地區(qū)預(yù)測(cè)洪水時(shí),不僅要考慮到基本地形,還應(yīng)包括詳細(xì)的3D城市模型。因此為了更精確的進(jìn)行模擬,需要非常高分辨率的空間數(shù)據(jù)集,這樣就極大的增加了需要處理的數(shù)據(jù)量。在該項(xiàng)目中,開發(fā)了一個(gè)精密的并行計(jì)算裝置,可以提高洪水預(yù)測(cè)模型生成的速度。

  場(chǎng)景3:緊急路徑選擇

  基于高質(zhì)量的基礎(chǔ)數(shù)據(jù)的路徑算法是十分復(fù)雜的。在一個(gè)典型的災(zāi)害管理案例中,在發(fā)生狀況時(shí),危險(xiǎn)區(qū)域是難以確定的,這就大大增加了逃生路徑的復(fù)雜程度。有毒氣體或火勢(shì)的蔓延也許會(huì)導(dǎo)致交通要道癱瘓,因此疏散計(jì)劃不能耗時(shí)太長(zhǎng)。在這種情形下,要確保疏散計(jì)劃及時(shí)有效,那么加快路徑算法的計(jì)算速度是十分必要的。要結(jié)合實(shí)時(shí)傳感器的測(cè)量和類似前文所述的洪水預(yù)報(bào)模型的仿真,此外,還有不斷增加的路徑算法的復(fù)雜度和相關(guān)數(shù)據(jù)的數(shù)量。這樣的案例中,網(wǎng)格計(jì)算也許是一種可以滿足額外計(jì)算資源的方案。

  但我們必須認(rèn)識(shí)到,速度的提升伴隨著這樣的問題:由于大多數(shù)用戶在分享相同的網(wǎng)格資源,所以實(shí)際上實(shí)時(shí)應(yīng)用程序仍沒有使用網(wǎng)格技術(shù)。對(duì)于一個(gè)實(shí)時(shí)可靠的應(yīng)用程序,還將開發(fā)新的算法來確保服務(wù)的質(zhì)量。

  經(jīng)驗(yàn)和教訓(xùn)

  通過將網(wǎng)格基礎(chǔ)設(shè)施的存儲(chǔ)器和計(jì)算后端(擁有一個(gè)遵循OGC服務(wù)規(guī)范前端的網(wǎng)格基礎(chǔ)設(shè)施)進(jìn)行綁定,SDI用戶能夠獲得由網(wǎng)格所提供的強(qiáng)大的存儲(chǔ)和處理功能。由于GDI-Grid提供了保持傳統(tǒng)服務(wù)接口的功能,用戶操作的復(fù)雜度保持在相對(duì)較低的水平。像WFS和WCS這樣的OGC標(biāo)準(zhǔn)數(shù)據(jù)訪問服務(wù),因?yàn)榫W(wǎng)格基礎(chǔ)設(shè)施提供的存儲(chǔ)資源而受益,數(shù)據(jù)處理服務(wù)WPS也通過網(wǎng)格提供的強(qiáng)大計(jì)算資源受益。對(duì)于大的數(shù)據(jù)集來說,網(wǎng)格技術(shù)的優(yōu)勢(shì)非常明顯,但是網(wǎng)格技術(shù)的使用需要很高的成本。身份驗(yàn)證和網(wǎng)格安全基礎(chǔ)設(shè)施(GSI)的整合,延緩了請(qǐng)求響應(yīng)的周期。

  在處理相當(dāng)小的數(shù)據(jù)集時(shí),這個(gè)效果十分明顯,尤其是在沒有并行算法的情況下。由于有很多問題需要解決,處理的并行化很復(fù)雜。過程本身是否能夠被并行化?如果不能,那么是否可以推斷,在處理之后才進(jìn)行空間數(shù)據(jù)分析和結(jié)果處理的并行化呢?

  在當(dāng)前網(wǎng)格環(huán)境中無法實(shí)現(xiàn)性能估計(jì),因?yàn)樗械奶幚砉ぷ饕呀?jīng)根據(jù)當(dāng)前工作量被部署在了網(wǎng)格中間件當(dāng)中。在某些情況下,處理工作在開始前會(huì)在堆棧中駐留幾個(gè)小時(shí)。這也阻礙了與傳感器的實(shí)時(shí)數(shù)據(jù)整合。無論如何,在當(dāng)前大規(guī)模數(shù)據(jù)和高復(fù)雜處理程序占主流的形勢(shì)下,網(wǎng)格基礎(chǔ)設(shè)施還是比標(biāo)準(zhǔn)的計(jì)算平臺(tái)有更大的優(yōu)勢(shì)。

  速度成本盈虧函數(shù)的臨界點(diǎn),需要在案例研究的基礎(chǔ)上確定。此外,計(jì)算臨界點(diǎn)的方法還不是很確定,根據(jù)處理器的數(shù)目、并行計(jì)算平臺(tái)以及作為函數(shù)輸入數(shù)據(jù)的參數(shù)的大小不同而不同,一般來說是線性的,就如指數(shù)函數(shù)和對(duì)數(shù)函數(shù)一樣。


 

  上面所述的這些缺點(diǎn),尤其是處理邏輯復(fù)雜并行化的需求,還沒有說明一個(gè)事實(shí):大部分計(jì)算資源的分布式計(jì)算都能顯著地減少計(jì)算時(shí)間。但是,這不是網(wǎng)格帶來的計(jì)算速度的提高。通過使用由本地的服務(wù)器集群提供的分布式計(jì)算也可以達(dá)到同樣的效果。

  當(dāng)然,網(wǎng)格計(jì)算具有本地服務(wù)器集群所不具備的一些特征,其最大的區(qū)別在于,網(wǎng)格能夠在需求增加時(shí)提供非常多的計(jì)算資源。

  如果給定程序能夠被分解為可以獨(dú)立執(zhí)行的多個(gè)子程序,網(wǎng)格基礎(chǔ)設(shè)施有可能實(shí)現(xiàn)同時(shí)執(zhí)行多個(gè)子程序,從而大大的加快了整個(gè)進(jìn)程。而服務(wù)器集群在同時(shí)執(zhí)行多個(gè)子程序時(shí)是有個(gè)數(shù)上限的。網(wǎng)格基礎(chǔ)設(shè)施的尺度優(yōu)勢(shì)也應(yīng)用到了存儲(chǔ)資源方面。而且網(wǎng)格基礎(chǔ)設(shè)施提供了更高的安全級(jí)別,如果沒有安全防范,網(wǎng)格計(jì)算根本不可能實(shí)現(xiàn),因此網(wǎng)格基礎(chǔ)設(shè)施從本質(zhì)上支持復(fù)雜的安全機(jī)制。在本地端的服務(wù)器集群上建立相對(duì)較高級(jí)別的安全機(jī)制需要花費(fèi)大量的時(shí)間和精力。(編譯/徐瑞娜 洪敏)

喜歡您正在閱讀的內(nèi)容嗎?歡迎免費(fèi)訂閱泰伯每周精選電郵。 立即訂閱

參與評(píng)論

【登錄后才能評(píng)論哦!點(diǎn)擊

  • {{item.username}}

    {{item.content}}

    {{item.created_at}}
    {{item.support}}
    回復(fù){{item.replynum}}
    {{child.username}} 回復(fù) {{child.to_username}}:{{child.content}}

更多精選文章推薦