處理大量APP開發(fā)的數(shù)據(jù)
- 編輯：admin -在花了幾頁篇幅討論過要使存儲成本與數(shù)據(jù)價值相匹配，消除那些價值非常低的數(shù)據(jù)后，現(xiàn)在讓我們把注意力轉(zhuǎn)回到一- 個更激動人心的問題上，即當(dāng)我們的數(shù)據(jù)都是有價值的，但它們太多了，以至于我們不能高效地處理它們時，我們應(yīng)該怎么做呢?
在花了幾頁篇幅討論過要使存儲成本與數(shù)據(jù)價值相匹配，消除那些價值非常低的數(shù)據(jù)后，現(xiàn)在讓我們把注意力轉(zhuǎn)回到一- 個更激動人心的問題上，即當(dāng)我們的數(shù)據(jù)都是有價值的，但它們太多了，以至于我們不能高效地處理它們時，我們應(yīng)該怎么做呢?
如果你曾經(jīng)上過代數(shù)課，那么很可能你已經(jīng)知道這個問題的答案了。還記得你的代數(shù)或微積分老師曾教過你的，在解方程之前，要把它們簡化嗎?同樣地，這種幫助你成功解決數(shù)學(xué)問題的建議也能夠幫助你成功解決處理大量數(shù)據(jù)的問題。
如果可以輕松地把數(shù)據(jù)分段或者把它們關(guān)聯(lián)到服務(wù)上，那么我們只需應(yīng)用在第22章到第24章中學(xué)到的概念即可。AKF擴(kuò)展立方就能夠解決你的需求。但當(dāng)你需要遍歷整個數(shù)據(jù)集才能生成一個答案，如要統(tǒng)計美國國會圖書館中所有圖書中的單詞數(shù)量，或者要盤點某個非常大且很復(fù)雜的存貨系統(tǒng)時，又該如何做呢?如果我們想迅速地做完這種事，我們就需要找到一種有效的分布工作的方法。這種工作分布可以采用多次遍歷系統(tǒng)的形式，第- -次遍歷分析(或映射)工作，第二次遍歷計算(或簡化)工作。Google引人了一種軟件框架來支持這種大型數(shù)據(jù)集的分布式處理，稱為MapReduce。“下面是對這種模型的描述以及如何應(yīng)用它來解決較大問題的示例。
簡而言之，MapReduce具有一個映射( map)函數(shù)和一個簡化( reduce)函數(shù)。映射函數(shù)的輸人是一個鍵值對，它會生成一個中間的鍵值對。外行可能不會立刻發(fā)現(xiàn)它的有用之處，但這里的目的是讓一個APP開發(fā)分布式進(jìn)程為另一個分布式進(jìn)程創(chuàng)造出有用的中間信息，以便后者進(jìn)行編譯。輸人的鍵可能是文檔的名字，或者是指向文檔中的一段的名字或指針。值可以是文檔中所有詞語構(gòu)成的內(nèi)容。在我們的分布式存貨系統(tǒng)中，鍵可以是存貨的地點，值可以是這個地點貨物的名字，庫存中的每項貨物名字都會出現(xiàn)一次。例如，如果你有五個螺絲和兩枚釘子，那么值可能是螺絲、螺絲、螺絲、螺絲、螺絲、釘子、釘子。