Big Data大概是繼云計(jì)算之后，最熱門(mén)的科技名詞了。一些科技廠(chǎng)商不約而同，紛紛打出Big Data口號(hào)，情況就像云計(jì)算熱潮一樣。那么Big Data到底是怎么回事?

　　Big Data照字面翻譯，就是“大數(shù)據(jù)”,而這個(gè)“大”,最起碼包含3種意思：大量的數(shù)據(jù)存儲(chǔ)、很大的數(shù)據(jù)、很大的數(shù)據(jù)庫(kù)。所以就中文譯名來(lái)看，不論是翻成“大數(shù)據(jù)”或“海量數(shù)據(jù)”,其實(shí)都只能道出Big Data的部分特性。然而，不管是大數(shù)據(jù)或是海量數(shù)據(jù)，都指向一個(gè)共同的趨勢(shì)，就是數(shù)據(jù)增長(zhǎng)的速度越來(lái)越快，而之所以能構(gòu)成Big Data這個(gè)新議題，就在于數(shù)據(jù)量之大已不同之前，目前的技術(shù)已經(jīng)難以處理。

　　以前只有少數(shù)的產(chǎn)業(yè)會(huì)面臨海量數(shù)據(jù)處理、分析的需求，例如氣象、基因、科學(xué)仿真，或是金融交易詐欺分析等等，但隨著科技應(yīng)用的改變，有更多的產(chǎn)業(yè)也面臨海量數(shù)據(jù)分析的挑戰(zhàn)。例如搜索引擎廠(chǎng)商要索引全球的網(wǎng)頁(yè)，就是一個(gè)艱巨的任務(wù);電子商務(wù)企業(yè)要掌握顧客消費(fèi)行為，所要分析的數(shù)據(jù)也越來(lái)越多。

　　以eBay的使用經(jīng)驗(yàn)為例，看到國(guó)外媒體的看到稿件上寫(xiě)著eBay的數(shù)據(jù)庫(kù)每天增加50TB,一度懷疑是不是粗心把5TB多加了個(gè)零，結(jié)果真的是50TB.因?yàn)閑Bay每天最少都有數(shù)百萬(wàn)次的商品查詢(xún)，數(shù)據(jù)庫(kù)每日增加1.5兆筆記錄，而數(shù)據(jù)庫(kù)的總?cè)萘縿t已超過(guò)9PB.所以，不僅每天新增的數(shù)據(jù)量龐大，連數(shù)據(jù)庫(kù)也是超級(jí)龐大，而要從中分析顧客的瀏覽、消費(fèi)行為，就是一件困難的事情。

　　大家熟悉的Facebook社交網(wǎng)站，每天都有數(shù)億用戶(hù)留下龐大的數(shù)據(jù)，甚至其中有很大的比例是圖片、影片等傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)較不擅長(zhǎng)的非結(jié)構(gòu)化數(shù)據(jù)。這不僅挑戰(zhàn)社交網(wǎng)站廠(chǎng)商如何管理，對(duì)于想利用社交網(wǎng)站來(lái)掌握消費(fèi)者動(dòng)態(tài)的企業(yè)而言，所面臨的挑戰(zhàn)也是前所未有的。

　　美國(guó)最大的超市Wal-Mart,既要分析顧客在網(wǎng)站上的購(gòu)物行為，還要分析消費(fèi)者是通過(guò)哪些關(guān)鍵詞的搜索跳轉(zhuǎn)而來(lái)，甚至，Wal-Mart想要進(jìn)一步分析顧客在Facebook等社交網(wǎng)站的動(dòng)態(tài)。Wal-Mart過(guò)去通過(guò)結(jié)賬數(shù)據(jù)分析，將啤酒與紙尿布擺在一起，促進(jìn)了啤酒的銷(xiāo)售量，此舉令人津津樂(lè)道。然而，這已經(jīng)是屬于事后分析，未來(lái)他們想要更主動(dòng)了解顧客在社交網(wǎng)站反應(yīng)的個(gè)人狀態(tài)，早一步掌握潛在的消費(fèi)需求，有可能他們以后會(huì)比父親更快知道女兒懷孕了。

　　其實(shí)制造業(yè)也面臨相同的挑戰(zhàn)，例如隨著晶圓的規(guī)格越來(lái)越精細(xì)，要掌握更精細(xì)的制程分析數(shù)據(jù)以確保準(zhǔn)確率，就必須分析比過(guò)去還要多很多的數(shù)據(jù)。那么如何有能力分析海量數(shù)據(jù)，以及在可接受的時(shí)間內(nèi)完成數(shù)據(jù)分析，就是個(gè)關(guān)鍵了。為此，很多公司就早早布局Big Data的關(guān)鍵技術(shù)──Hadoop.

　　未來(lái)會(huì)有更多的產(chǎn)業(yè)要面臨龐大數(shù)據(jù)量的挑戰(zhàn)，而目前走在前頭的企業(yè)，都不約而同的采用Hadoop這樣的技術(shù)來(lái)克服難題。

　　Hadoop是基于Google搜索引擎的分布式計(jì)算技術(shù)，Google的哲學(xué)是螞蟻雄兵精神，利用大量平價(jià)的服務(wù)器，搭配平行計(jì)算架構(gòu)，以最符合經(jīng)濟(jì)效益的方式創(chuàng)造龐大的計(jì)算量。當(dāng)Hadoop以此技術(shù)發(fā)展出海量數(shù)據(jù)平臺(tái)，對(duì)企業(yè)而言無(wú)疑是一道克服海量數(shù)據(jù)挑戰(zhàn)的曙光，因?yàn)槠髽I(yè)可以不再依賴(lài)價(jià)格高昂的大型專(zhuān)屬設(shè)備，而可以通過(guò)自建大量x86服務(wù)器群集來(lái)解決。

　　最近，Hadoop終于發(fā)表1.0正式版，就像是只要給我一個(gè)支點(diǎn)，就能撐起地球，Hadoop或許就是撐起B(yǎng)ig Data的那個(gè)支點(diǎn)。(路途)