北京時間9月20日消息，據(jù)國外媒體報道，谷歌將GPS天線和高精度的原子鐘裝到了它的服務器中，并通過Spanner系統(tǒng)創(chuàng)造性地讓全球多個數(shù)據(jù)中心和數(shù)百萬臺服務器之間保持信息同步。

谷歌利用GPS數(shù)據(jù)庫保持全球信息同步

　　谷歌的神奇魔棒

　　三年前，有人問一位名為維杰·吉爾(Vijay Gill)谷歌高級工程師，如果給他一根魔棒，他會用它來做什么。

　　當時，吉爾正幫助谷歌運行其網(wǎng)絡帝國背后的龐大數(shù)據(jù)中心網(wǎng)絡。在美國舊金山商業(yè)區(qū)的一次會議上，他談論了全球業(yè)務所面臨的獨特挑戰(zhàn)。負責監(jiān)管Facebook數(shù)據(jù)中心的喬納森-黑爾格(Jonathan Heilger)坐在離吉爾幾個席位的地方。正是他問了吉爾這個問題：如果他有一個魔棒，他會給谷歌的數(shù)據(jù)中心增添一些什么東西。

　　吉爾在回答前略微猶豫了一下。在回答的時候，他似乎顯得有些含糊其辭。但是，他的意思似乎是他會用這根魔棒來打造一個單獨的系統(tǒng)，自動而迅速地處理所有谷歌數(shù)據(jù)中心的信息。接著，他暗示谷歌已經(jīng)建立了一個這樣的系統(tǒng)。“你如何在全球范圍內(nèi)管理這個系統(tǒng)，并進行優(yōu)化呢?”他說，“這就是最有趣的部分。”

　　這聽起來是一個非常棘手的問題。但是，在大約四個月后，谷歌又透露了另一條消息。在蒙大拿山區(qū)的一次研討會上，谷歌最舉足輕重的工程師之一杰夫·迪恩(Jeff Dean)透露，該網(wǎng)絡巨頭正在研制一種名為Spanner的東西，并形容它是“跨越我們所有數(shù)據(jù)中心的存儲和計算系統(tǒng)”。他表示，該計劃的目的是同時處理全球“數(shù)百乃至數(shù)千個”數(shù)據(jù)中心的1000萬臺服務器中的數(shù)據(jù)。

　　該項目的覆蓋范圍令人難以想象。但是，迪恩并未透露相關詳情。而且，目前尚不清楚，谷歌是否正在其現(xiàn)有的數(shù)據(jù)中心使用這個平臺。

　　Spanner項目

　　本周，據(jù)科技博客GigaOm和ZDnet報道，谷歌已發(fā)表了一篇研究論文，詳細闡述了Spanner的情況。谷歌聲稱，這是首個能在全球數(shù)據(jù)中心網(wǎng)絡快速存儲和檢索信息的數(shù)據(jù)庫，而且，它還能夠保持信息的“一致性”，即任何用戶在任何時候均能夠看到同樣的信息。多年來，它一直推動著該公司廣告系統(tǒng)和其他各種網(wǎng)絡服務的發(fā)展。

　　Spanner借用了谷歌為其數(shù)據(jù)中心打造的其他大規(guī)模軟件平臺的技術，但是，從本質(zhì)上來說，它是全新的東西。Spanner接入到了裝有超精確原子鐘或GPS天線(類似于智能手機上的那種)的服務器網(wǎng)絡上，并利用這些計時器在這樣龐大的網(wǎng)絡上精確地同步發(fā)行數(shù)據(jù)。你沒有聽錯，谷歌將GPS天線和精確的原子鐘裝到了它的服務器中。

　　“這是很了不起的事情，而且確實具有創(chuàng)造性。”數(shù)據(jù)存儲公司Basho的首席架構師安迪·格羅斯(Andy Gross)說。該公司開發(fā)的開源數(shù)據(jù)庫Riak已運行在數(shù)千臺服務器上，但是仍然沒有Spanner的覆蓋面廣。“傳統(tǒng)的智慧認為，在全球范圍內(nèi)像這樣的時間同步是不現(xiàn)實的。”

　　Spanner項目聽起來就像是一項不同尋常的事業(yè)，當然，它也要處理日常工作中遇到的一般問題。很少有公司像谷歌這樣被迫如此迅速地處理如此多的數(shù)據(jù)。但是，谷歌大規(guī)模數(shù)據(jù)中心的技術總會流向技術領域中的其他公司。最典型的例子就是廣泛使用的大數(shù)據(jù)平臺Hadoop，它就模擬了谷歌的技術。而且，這種發(fā)展趨勢可能會持續(xù)下去。

　　“如果你希望知道未來大規(guī)模、高性能的數(shù)據(jù)處理架構是什么樣子的，我建議你讀一讀谷歌剛剛發(fā)表的研究論文。”Hadoop開源軟件整體方案供應商Cloudera 公司的CEO邁克·奧爾遜(Mike Olson)最近在硅谷的一次活動中說。據(jù)Cloudera公司的產(chǎn)品副總裁查爾斯·澤德勒維斯基(Charles Zedlewski)稱，該公司(在招聘谷歌前工程師后)已聽說了Spanner，它最終可能會將該論文中的思想轉(zhuǎn)變成它的軟件。

　　Facebook正在打造類似于Spanner的系統(tǒng)，其目的也是同時處理多個數(shù)據(jù)中心的信息。我們通過與Facebook交流獲悉，該公司的這個系統(tǒng)名為Prism，與谷歌的Spanner完全不同。但是，它表明其他公司現(xiàn)在正在想法處理谷歌在過去幾年中遇到的問題。

　　這篇有關Spanner的論文有很多人署名，但其中有兩位非常杰出：杰夫-迪恩和桑杰-格瑪沃特(Sanjay Ghemawat)。在從昔日電腦巨頭DEC研究部門跳槽到谷歌后，迪恩和格瑪沃特幫助谷歌設計了三個大規(guī)模軟件平臺，它們對于其他互聯(lián)網(wǎng)公司產(chǎn)生了較大的影響。MapReduce和Google File System最終導致了Hadoop的誕生，而BigTable幫助孕育出了一系列適合于存儲和檢索大量信息的NoSQL數(shù)據(jù)庫。

　　Spanner利用了BigTable的技術，但是它走得更遠。BigTable常用于在單個數(shù)據(jù)中心的數(shù)千臺服務器上存儲信息，而Spanner則更進一步，在數(shù)百萬個服務器和多個數(shù)據(jù)中心存儲信息。

　　這個平臺最具創(chuàng)意的部分就是谷歌所謂的TrueTime API。API是應用程序編程接口的意思，但在這里，它是指其服務器接入的中央數(shù)據(jù)傳送專線?；旧?，TrueTime就使用GPS天線和原子鐘來維持谷歌整個網(wǎng)絡的運行。GPS天線利用了全球定位系統(tǒng)(Global Position System)，該系統(tǒng)利用一系列太空衛(wèi)星來跟蹤時間和地理位置，而原子鐘則利用單個原子屬性來保持準確的時間。

　　用計時器保證服務器網(wǎng)絡同步

　　谷歌拒絕討論Spanner。“這篇論文已說得很清楚了。”該公司發(fā)言人說。但是，她指出了該論文中突出強調(diào)API重要性的部分。“我們的設計中有一個方面非常突出。”這篇論文寫道，“Spanner功能組的關鍵就是TrueTime。”

　　要理解TrueTime，你就必須弄清楚現(xiàn)有數(shù)據(jù)庫的局限性。現(xiàn)在有很多數(shù)據(jù)庫是專門用于在數(shù)千臺服務器上存儲數(shù)據(jù)的。其中大多數(shù)借鑒了谷歌的BigTable數(shù)據(jù)庫或亞馬遜的類似存儲系統(tǒng)Dynamo。它們運行良好，但是卻無法同時處理多個數(shù)據(jù)中心的信息——至少不能夠讓多個數(shù)據(jù)中心的信息始終保持一致。

　　據(jù)Basho公司的首席架構師安迪-格羅斯稱，問題的關鍵在于服務器必須不斷地交流，以確保它們能夠正確存儲和檢索數(shù)據(jù)。Basho公司的Riak數(shù)據(jù)庫是在亞馬遜Dynamo的基礎上開發(fā)出來的。如果你在多個地理位置的數(shù)據(jù)中心來運行它，你就可能會讓系統(tǒng)崩潰。“你必須不斷地交流，以確定所有交易的秩序是正確的。”格羅斯說，“潛在的制約因素通常是建立快速數(shù)據(jù)庫的成本高得令人望而卻步。”

　　大數(shù)據(jù)公司10gen的首席執(zhí)行官麥克斯·希雷森(Max Schireson)從不同的角度進行了解釋。該公司的 MongoDB數(shù)據(jù)庫效法了BigTable。希雷森稱，假設你用一種網(wǎng)絡服務在兩個銀行賬戶之間轉(zhuǎn)賬，其中一個銀行賬戶在歐洲，另一個在亞洲。如果你在歐洲，這種轉(zhuǎn)賬過程似乎能夠完成。但是，對于在亞洲的某個人來說，它可能完成不了，因為存在通信延遲的問題。

　　他繼續(xù)說，可能還存在這樣的情況：一個觀察者在同一時間看到兩個銀行賬戶都有這筆錢。簡而言之，該服務可能無法總像廣告標榜的那樣完美，因為每個人看到的數(shù)據(jù)并不相同。在這個例子中，數(shù)據(jù)是不一致的。

　　如果再看看數(shù)以百萬計的人使用的服務，你可以看出這個問題有多大。“如果有大量的人訪問分布于世界各地的大量的系統(tǒng)，由于它們相互之間的通信延遲時間較長，因此你就很難保持所有的事情同步。”他說，“如果你增加那些影響因素，同步就會變得更加困難。”

　　借助于TrueTime，Spanner成功解決了這個問題，它采用的方法令所有人感到意外。谷歌不是著眼于改善服務器之間的通信，而是在其服務器網(wǎng)絡上到處安裝時鐘。它將GPS天線或原子鐘安裝到各種不同的服務器上，與TrueTime API協(xié)同工作。最終，這些計時器保證了整個服務器網(wǎng)絡同步運行。

　　谷歌做法值得借鑒

　　“(除了谷歌外)當前有許多研究專注于機器之間的復雜的協(xié)調(diào)協(xié)議……但是，谷歌卻采用了完全不同的方法。”格羅斯說，“通過使用高精度的時鐘和一個對時間非常靈敏的API，Spanner可讓服務器節(jié)點不必經(jīng)過復雜的通信就能夠變得協(xié)調(diào)一致。”

　　簡而言之，TrueTime API利用了這些重要的計時器，而網(wǎng)絡上的服務器則利用了這些API。然后，TrueTime告訴服務器當前有多少“不確定性”，然后，它們就會相應地調(diào)整其讀數(shù)。

　　普通服務器利用公共原子鐘來保持準確的時間。但是，格羅斯認為這一方法還不夠準確。谷歌更進一步，直接在自己的服務器上安裝了原子鐘和GPS天線。

　　最初，該系統(tǒng)是用來幫助整個谷歌帝國投放廣告，但是后來，它已經(jīng)擴展到谷歌其他形形色色的服務當中。該系統(tǒng)還幫助谷歌在其整個網(wǎng)絡中復制和轉(zhuǎn)移數(shù)據(jù)，從而幫助該公司的數(shù)據(jù)中心進行維修和升級，甚至安全渡過眾多的網(wǎng)絡危機。三年前，當吉爾第一次提到Spanner的時候，他說，由于溫度過高，谷歌自動將大量數(shù)據(jù)從需要暫時關閉的設備中轉(zhuǎn)移出了。

　　問題的關鍵是，除非你在服務器中添加硬件，否則你無法使用Spanner。在這篇論文中，谷歌聲稱原子鐘的成本并不高，而且10gen公司的總裁麥克斯-希雷森表示，其他企業(yè)也安裝了類似的設備。但是，Basho公司的格羅斯和Cloudera公司的澤德勒維斯基均認為，它的成本仍然太高，不適合推廣使用。

　　格羅斯稱，對于像Basho這樣的公司來說，建立依賴于這種設備的系統(tǒng)并沒有意義。而就Cloudera公司而言，澤德勒維斯基也說過類似的話。即便他們看到了Spanner的未來。

　　就像許多其他NoSQL公司一樣，Basho公司的目標就是服務于大型網(wǎng)絡公司和其他需要處理大規(guī)模網(wǎng)絡數(shù)據(jù)的公司。而格羅斯聲稱Spanner背后的基本理念可以幫助該公司做到這一點。

　　他說：“谷歌往往走在開源技術的前沿。不是每個人都能夠買得起原子鐘，但是我們可以從中學習他們所用到的方法。只要看一看谷歌的做法，你就能從中受益匪淺。”