通過閱讀Google的三篇論文的閱讀與分析，我的大資料的分析有了新的認識，它們分別是GFS和MapRedudce和BigTable的代碼。大資料的分析是非常復雜，單純通過傳統的資料的分析方法不能全面的對大資料進行全面并且合理的分析，我們需要用具有一定高級的資料結構和演算法進行分析。
這三篇論文中的資料結構是將大的資料進行分割，在對每個資料進行分別儲存并處理，之后在進行匯總集合并處理，這樣就將就將機算計不能一次性不能重復運作的問題，分割成了簡單的問題，而計算機對簡單或機械重復進行處理效率很高，Google的三篇論文看起來基本結構很簡單，但這的確大大提高了資料運行的效率，這也是對機算機作業效率的進一步總結。
GFS儲存系統由master和chunksrever組成，通過master對資料的對相關資料的分割與連接，大大提高了各單元chunksrever相互之間的資訊傳遞，而這個資料結構最復雜的是master的管理，所以當master出現，GFS就會出現后備系統進行替換，保證管理層master正常運轉，而檔案的儲存是以linux檔案系統自己儲存。MapRedudce是對GFS是對分割儲存的資料進行利用，MapRedudce由Map和redudce組成，Map的功能類似與master是將GFS的進行映射，即是將資料進行連接并使之還原，在這時GFS儲存資料的優勢就體現出來了，即cpu可以對多個資料的同時處理，這樣只要對cpu進行硬體上的優化和資料處理系統的優化，就可以從多方面對資料處理優化達到更好的效果。
BigTable是對GFS和MapRedudce進一步分解與細化，即以一個GFS為單位，以GFS的數分解方法進行分解將資料進一步單元化，讓資料的處理更加簡單，易于計算機處理。
通過這三個理論，資料被分成幾個數量級，每層由master與Map進行分割與整合，在逐層遞進并匯總，通過這樣的方式進行同時進行多個的機械的運算，而計算機的機械運算速率是非常快的和準確的，這樣就最大限度的利用了計算機的優點，這樣也一個復雜的大資料分析變成了一個用計算機處理的簡單問題。
另外Google還在研發其他的資料處理方式，來進一部完善全球的計算機程式。在Google思路的引領之下，同樣涌現出一些其他專案，比如:Apache Drill ，Apache Giraph等。Google近幾年來的大資料對世界都產生了巨大的影響，我相信在未來的大資料界將會是對世界產生巨大影響的的一個領域。
轉載請註明出處，本文鏈接：https://www.uj5u.com/qukuanlian/33271.html
標籤：區塊鏈技術
上一篇：排障集合——Nginx和Apache設定系統服務systemctl start時報錯，Job for nginx.service failed because the control process