3月23日，百度云首席架構(gòu)師林仕鼎在開發(fā)者大會現(xiàn)場與大家分享了百度云的技術(shù)架構(gòu)和理念。

    以下為百度云首席架構(gòu)師林仕鼎演講實錄：

    百度首席架構(gòu)師林仕鼎：大家好，剛剛Robin闡述了我們的百度云戰(zhàn)略的愿景，作為云戰(zhàn)略的工程師角度來講，可以分享我們的理想和夢想。

    我們先從百度云計算的技術(shù)開始說起。搜索引擎是云計算技術(shù)最典型的應(yīng)用，我們在十幾年做開發(fā)引擎的過程中，也積累了一套云計算的技術(shù)。這個技術(shù)就是以數(shù)據(jù)中心、網(wǎng)絡(luò)、服務(wù)器硬件的架構(gòu)，加上大規(guī)模數(shù)據(jù)存儲和處理為代表的軟件基礎(chǔ)架構(gòu)。我們在軟硬件的基礎(chǔ)架構(gòu)上搭建一層數(shù)據(jù)挖掘分析與新興的算法，以及數(shù)據(jù)倉庫等智能的算法。我們把軟件的基礎(chǔ)架構(gòu)和數(shù)據(jù)智能通常叫做大數(shù)據(jù)的集成。軟硬件的基礎(chǔ)架構(gòu)我們起一個名字叫數(shù)據(jù)中心的計算。

    這樣的云計算技術(shù)對于百度的產(chǎn)品，我們叫做一種推動作用，更準(zhǔn)確的來說，就是以前不能做的事情現(xiàn)在能做了，以前能做的事情現(xiàn)在可以做得更好。大家很清楚，我們互聯(lián)網(wǎng)業(yè)務(wù)是成功發(fā)展的狀態(tài)。很多時候有很多新的業(yè)務(wù)要發(fā)展，但是受限于技術(shù)，其實不能用業(yè)務(wù)來推動公司的發(fā)展，因為基礎(chǔ)架構(gòu)的構(gòu)建非常重要。大家在業(yè)內(nèi)開玩笑說，是由你的痛苦來驅(qū)動公司的發(fā)展，遇到問題再去改，這樣的速度很慢。有了云計算以后，我們可以改變這樣的情況，由系統(tǒng)架構(gòu)驅(qū)動這個業(yè)務(wù)發(fā)展。 甚至我們可以通過數(shù)據(jù)分析的方法，用數(shù)據(jù)驅(qū)動這個公司的業(yè)務(wù)發(fā)展。這是我們對云計算技術(shù)的認(rèn)識。

    云計算在百度已經(jīng)做了很多年了，只不過以前這些技術(shù)主要是為搜索引擎服務(wù)，這時候我們還叫做專有云，包括綠色環(huán)保IT的建設(shè)，高效的網(wǎng)絡(luò)和服務(wù)器的計算，以及大規(guī)模存儲，大規(guī)模計算，還有實時存儲與計算。我們有時候在想，我們有了這么好的技術(shù)，我們可以把幾百個pp的數(shù)據(jù)處理，我們可以讓這些數(shù)據(jù)開放出來，服務(wù)更多的開發(fā)者。到了2007年我們做了很多工作，首先我們是把我們的服務(wù)API開發(fā)出來，比如說搜索的API，地圖的API等等，以前這些只是讓用戶使用，現(xiàn)在是開放出來了，讓開發(fā)者也使用。

    這些技術(shù)的程序員和開發(fā)者，我們怎么把這個技術(shù)更好的研發(fā)出來，服務(wù)開發(fā)者，現(xiàn)在我們開發(fā)互聯(lián)網(wǎng)服務(wù)的時候，主要用這個lan的架構(gòu)，也有服務(wù)器，我們?nèi)ゴ罱ㄒ粋€云存儲，云的數(shù)據(jù)庫，還有云的消息溝通機(jī)制，然后構(gòu)建一個云服務(wù)組件，java我們也在開發(fā)中。百度除了做搜索引擎，我們還有百度貼吧，很多的在線服務(wù)，里面有很多功能，比如說接收器、留言板，這些通用功能也是必要的，我們把這些也開放出來了，規(guī)范這個接口，這樣大家直接通過這些接口就可以調(diào)用以前在百度的服務(wù)內(nèi)容。

    然后我們還統(tǒng)一搭建了CPU的應(yīng)用，這就形成了SaaS的平臺，我今天會講兩個，一個是我們的存儲技術(shù)，存儲是一個最通用的需求，我們做了很多年。因為百度的業(yè)務(wù)很多，根據(jù)百度業(yè)務(wù)的特點，我們做三個存儲系統(tǒng)，一個是Mola，這個系統(tǒng)是低延時、高并發(fā)在線的K/V存儲。

    還有就是海量高吞吐網(wǎng)頁存儲，BDDB，我們做搜索引擎需要把所有網(wǎng)頁都打開一遍。

    還有一套系統(tǒng)是離線系統(tǒng)，HDFS，離線數(shù)據(jù)備份。這個問題都是共性的，你怎么能夠處理一個超大規(guī)模的存儲引擎，怎么實現(xiàn)它的管理、運(yùn)維和容錯，我們應(yīng)該改正這種情況。從2011年開始我們在設(shè)計新的存儲系統(tǒng)，這套存儲系統(tǒng)我們希望能夠屏蔽掉剛才說的Table、File、Object，然后統(tǒng)一到pad上，我們還基于內(nèi)存搭建了一個分布式數(shù)據(jù)結(jié)構(gòu)。

    為了屏蔽這些系統(tǒng)的差異，我們搭建一個數(shù)據(jù)訪問層，便于開發(fā)者內(nèi)部的應(yīng)用，可以更好的用這些不同的系統(tǒng)。我們發(fā)現(xiàn)這個存儲系統(tǒng)它還是落后的，為什么呢？百度現(xiàn)在所有的業(yè)務(wù)有一個特點，每一個用戶他自己的數(shù)據(jù)量，包括他的服務(wù)器量其實并沒有那么大，總量很大，這就意味著我們的數(shù)據(jù)存儲要有變化，我們要做云，情況發(fā)生了變化，每一個用戶會上傳下載更多的數(shù)據(jù)，我們就需要再做一套新的系統(tǒng)，我們希望這套系統(tǒng)在全國內(nèi)搭建，我們在華北、華南各搭建了一套搜索引擎，它會有好幾個數(shù)據(jù)中心組成，用高清網(wǎng)絡(luò)來處理的。

   為了再度降低用戶的延遲，我們又搭建了一套CDI的節(jié)點，這個并不是很大，搭建很多的接口。這個系統(tǒng)在每個機(jī)型上都可以寫入，這樣我們可以極大的降低用戶讀寫的延遲。這給我們技術(shù)也帶來很大的挑戰(zhàn)，在各個機(jī)型上都可以寫入的話，我們需要處理EC的問題和讀寫同步的問題。最開始我們是有需求，我們從這個技術(shù)出發(fā)，去設(shè)計，然后我們發(fā)現(xiàn)這個技術(shù)會更好，我們會做統(tǒng)一的技術(shù)，但是因為有新的業(yè)務(wù)發(fā)展，我們又要設(shè)計新的業(yè)務(wù)系統(tǒng)，百度有很多技術(shù)就是在需求和技術(shù)發(fā)展之間來做不斷的更新迭代，我們從技術(shù)出發(fā)做我們的技術(shù)，然后又有新的需求，再反過來做新的技術(shù)。這樣的迭代過程中產(chǎn)生了很多的技術(shù)，這個技術(shù)在得不是廣為使用的，今天我們希望把這個技術(shù)逐漸的開放出來，讓更多的開發(fā)者跟我們一樣去應(yīng)用這個技術(shù)。

    另外一個在線服務(wù)開發(fā)的技術(shù)挑戰(zhàn)，比如說百度的貼吧大概有100多個模塊，他可能產(chǎn)生幾百個到千的量級和小的服務(wù)，這樣一個系統(tǒng)KPI需要變化，我們需要改進(jìn)。然后很多時候你有業(yè)務(wù)需求，你要改善你的存儲，做一個迭代，然后明天又做一個迭代，你會遇到很多的問題。然后對于這樣一個問題，我們也在思考，怎么能夠把這個系統(tǒng)做得更好，這邊有一個需求你去打一下，那邊有一個需求你又去打一下，會比較亂，從去年開始我們在搜索一個開發(fā)方法。我們覺得做一個在線的服務(wù)，有幾個步驟，比如說先有想法，把這個想法之后實現(xiàn)原型，然后再設(shè)計一個系統(tǒng)，最后出現(xiàn)產(chǎn)品?？梢栽谧铋_始的時候就可以通過數(shù)據(jù)收集的方法來驗證，然后你需要開發(fā)，這時候我們有開發(fā)框架，使你可以很快的做你的原型。然后你的原型系統(tǒng)也有一個測試，這個測試也是基于測試框架的，這是一個新的業(yè)務(wù)，有一個模擬現(xiàn)場，然后通過應(yīng)用引擎部署運(yùn)維，你對一個功能你就做兩個，AB兩種方法，讓用戶去檢驗究竟哪一種方法是好的。通過數(shù)據(jù)收集、數(shù)據(jù)分析幫你選擇哪一種方法是好的。開發(fā)過程中我們從想法、原型、系統(tǒng)、產(chǎn)品各個階段都有數(shù)據(jù)收集，以前是內(nèi)部使用的，現(xiàn)在我們開放出來了。

    這套系統(tǒng)有什么收益呢？有兩個收益，前端成本下降30%，Bug下降40%。減少高階技術(shù)人員投入，降低研發(fā)時間，更多的新秀可以參與其中，去開發(fā)一個很難做的系統(tǒng)。做三個例子，我們部分使用的開發(fā)方法之后，他人員的消耗會下降50%，當(dāng)我們?nèi)渴褂眠@套方法，他又可以下降30%，更重要的是對于百度來說，我們只用一兩個工程師，就把這樣一個系統(tǒng)做完了。這幾年百度在做新產(chǎn)品的速度，確實比以前快了。我們有云計算，我們有在線開發(fā)的方法和流程支持，我們應(yīng)該把它開放出來，讓更多的開發(fā)者也可以跟我們一樣用這樣的方法，去服務(wù)網(wǎng)民，這就是我們開放的平臺。

    首先是把產(chǎn)品API開放了，然后有更多開放云平臺，在這個平臺之上我們有一套完善的開發(fā)工具和流程，我們就以測試為例，我們可以提供自動化測試、移動設(shè)備接入、模擬設(shè)備管理，對于開發(fā)者我們還有客戶端工具，還有ID插件等各種各樣的支持。

    剛才說了很多云上的優(yōu)勢，我們有了更多云上的技術(shù)，我們有這么多的優(yōu)勢，但是現(xiàn)在我們看移動開發(fā)，我們怎么利用云的優(yōu)勢幫助移動開發(fā)者解決他的問題，總結(jié)起來有這幾個方面。對移動開發(fā)者來說，它的數(shù)據(jù)碎片化，你在用A的數(shù)據(jù)，B是找不到的。你PC上的數(shù)據(jù)在手機(jī)上也很難訪問，這是應(yīng)用的問題。對開發(fā)者來說面臨終端多樣性的環(huán)境，你有iPad，有手機(jī)，還有PC，你在寫一個應(yīng)用的時候，你不得不為每一個平臺，每一個系統(tǒng)單獨搭建一個應(yīng)用。當(dāng)然非技術(shù)因素，推廣運(yùn)營困難，變現(xiàn)能力有限。

    我們應(yīng)該怎么解決這些問題呢？兩個辦法。一個，對于開放云的平臺我們進(jìn)行重組，把它變成了以個人為中心的組織方式，我們知道在以前的云平臺，他是一個以應(yīng)用為中心的平臺，應(yīng)用生成資源，然后用戶在這些已有資源里來使用。今天我們換了，我們把它變成一個人為中心組織這些資源，對用戶來說，在云端上有了一個自己私有的云存儲，而你的那些應(yīng)用其實是幫你組織，幫你管理，幫你展現(xiàn)這些數(shù)據(jù)，在云端提供一個應(yīng)用，而這個應(yīng)用就幫他組織和管理這些數(shù)據(jù)，對于這個應(yīng)用來說，如果他需要的話，他有可能會用到我們整個云平臺上的資源來去做一件事，在以前這種環(huán)境中是做不到的。這里就解決了數(shù)據(jù)的碎片化問題，以用戶為中心重組之后，應(yīng)用就可以集中。

    有了這些還不夠，還有開發(fā)者終端的問題，你有手機(jī)，有PC，有你的Pad，跑的環(huán)境不一樣，我們有這邊的云。其實我們在想我們怎么才能解決問題呢？我們提出了一個新的想法，如果說我們能構(gòu)建一個OS，這個OS是跨越云和端兩端的，對用戶來說還會遇到一個問題，他怎么去發(fā)現(xiàn)這個應(yīng)用，去安裝這個應(yīng)用，最后我們還會提供一個應(yīng)用平臺的支持。這里面有搜索、推送、瀏覽等各種功能，可以很好的解決App Store帶來的問題。

    百度OS支持網(wǎng)頁的App化，舉個例子，這個圖是一個上線的圖，左邊是一個比較理想的展現(xiàn)，大家可以看到其實我們在不同設(shè)備上做同一個事情，就是瀏覽這些網(wǎng)頁，但是因為不同設(shè)備的特點，它的交互方式是不一樣的。我們在PC的瀏覽器上，用得是滾動這種方式做瀏覽，在移動設(shè)備上更多的是點擊，或者是拖動，但是同一種產(chǎn)品，只是應(yīng)用設(shè)備的特點，需要有不同的交互。對每一種產(chǎn)品單獨做開發(fā)是很困難的，我們在想因為我們有數(shù)據(jù)，我們做搜索引擎，基本上這些網(wǎng)頁數(shù)據(jù)我們都有，我們可以分析，我們可以判斷這個究竟是一個什么場景。然后對這些資源進(jìn)行分析之后，我們就可以分析出里面的產(chǎn)品，然后對里面的產(chǎn)品去做一個轉(zhuǎn)換，轉(zhuǎn)換，我們再應(yīng)用到具體的物理產(chǎn)品中去，我們可以做終端適配。這個事情，我們看以前很多代理模式也能做到，但是我們有了這個技術(shù)以后會做得更好。

    第二件事情，百度云OS支持新型WebApp架構(gòu)，云增強(qiáng)的webview，MVC編程框架，云與端聯(lián)合執(zhí)行。對于UI無來說，我們可以異步調(diào)用，我們可以做更好的組建。然后我們做了一件事情，去把這個邏輯和UI分開，異步調(diào)用，我們把這些邏輯分?jǐn)偟揭粋€一個小服務(wù)里面，這些小服務(wù)的調(diào)動方法和接口是一致的，他既可以在云上執(zhí)行，也可以在端上執(zhí)行。我們還可以在我們的平臺里面，我們在云端里內(nèi)置這些服務(wù)，這些服務(wù)對你的UI來說是一樣的，這就是我們新型的WebApp的特點，我們用云端的數(shù)據(jù)支持和分析來支持View實現(xiàn)。這是一個很有意思的概念和架構(gòu)。

    怎么做這個完整的架構(gòu)呢？我們先透露一下技術(shù)架構(gòu)。一個是支持webApp的開發(fā)框架，然后做云端數(shù)據(jù)分析，我們可以做更好的交互場景，我們會做很多變化，就會從這個里面分析出來這是一個什么場景，然后映射到不同的顯示設(shè)備上。做到這一點，我們對webkit做一個分析，優(yōu)化、架構(gòu)調(diào)整，這是WebApp的內(nèi)容。對于國際上，他會應(yīng)用在這兩端，一段是移動端，有一個Kernel支持它。在云上的部分，主要是按個人的方式組織開放云的平臺，以及我們有數(shù)據(jù)挖掘和分析的支持，在云和端這兩邊，我們也做了一個技術(shù)，使得它可以做更高效的通信和傳輸，今天下午的里面我們會對這些技術(shù)做更詳細(xì)的介紹，有興趣歡迎大家做論壇。

    大家可能也很好奇，我們做了這么多工作，究竟什么時候能夠用到？我們有一個技術(shù)路線圖，今天我們會發(fā)布三個，第一個是個人云存儲PCS，然后是應(yīng)用引擎BAE2.0，還有一個移動測試環(huán)境MIC，在Q2階段是移動建站工具。在Q3的時候，有一個WebApp框架1.0版的發(fā)布，同時提供一個云測試平臺，Q4階段是云OSPreview。這個UI的技術(shù)，剛才講了很多，從技術(shù)上我們也認(rèn)為是在做一個很有意思的事情，有可能會改變整個互聯(lián)網(wǎng)的環(huán)境，我們也希望大家有興趣，可以今天下午到我們的論壇里，跟我們做更深入的討論和交流。這是我這部分的分享，謝謝大家。