谷歌三篇論文讀后感
Google的三篇技術論文意味著世界進入了大資料時代,資料計算速度的極大提升,為各個領域提供了新思路。Google的三篇論文分別介紹Google-Bigtable,Google-MapReduce和Google-File-System三個谷歌重要的工具,而這三個工具也在我們的生活中起到了極大的作用。
如GFS是一個面向大規模資料密集型應用的、可伸縮式的分布式檔案系統。它提供了災難冗余的能力。為大量客戶機提供了高性能的服務。GFS完全滿足了我們對存盤的需求,GFS已經作用于那些大規模資料集的研究和開發作業。Google已經針對不同的應用部署了多套GFS集群,最大的一個集群擁有超過1000個存盤節點,超過300TB的硬碟空間,被不同機器上的數百個客戶端連續不斷的頻繁訪問。
而Map-Reduce是一個編程模型,也是一個處理和生成超大資料集的演算法模型的相關實作。采用Map-Redue架構的程式能夠在大量的普通配置的計算機上實作并行化處理,能夠極大的方便編程人員在不會分布式并行編程的情況下,將自己的程式運行在分布式系統上。Bigtable是一個分布式的結構化資料存盤系統,它被設計用來處理海量資料,論文中描述了Bigtable提供的簡單的資料模型,利用這個模型,用戶可以動態的控制資料的分布和格式。且為了讓普通計算機更好的進行資料處理,谷歌又設計了一個分布式的結構化資料儲存系統來幫助PC機存盤資料。Big Table通過集群管理系統來調度任務、管理共享的機器上的資源、機器故障處理、以及監視機器的狀態。
谷歌三篇論文對生活中的很多方面影響非常之大。例如天氣預報、外來城市人口統計等很多現實問題都需要處理以TB計算的大量資料集,而這個問題隨著Mapreduce的到來迎刃而解。不僅降低了高性能電腦的成本,還增加了容錯率,且并行處理減少了大量時間。又如在醫學方面有更大的發展空間和利用率,利用大資料預測流感流行,霧霾和PM2.5與肺癌的關系也可以通過大資料得到支持,整合醫療衛生領域的資料和環境監測的資料便可以得出可靠結果。大資料時代,人類基因組計劃產生海量基因組系列資料進一步豐富資料源,為個體化醫療奠定基礎。在大資料爆炸時代,臨床研究結果將會對臨床實踐有更好的指導作用,更好的服務于患者。
谷歌通過這一系列的創新、改進、優化,使得大資料處理變得更加簡單可靠,讓大資料處理的發展進入了一個新的臺階。也使得依靠大資料處理的產業也進入了一個新的發展階段。隨著發展水平的不斷進步,大資料已經應用到各個領域,但這僅僅只是個開始,我們正慢慢向人工智能、大資料進軍。
馬云曾經說過:“21世紀的競爭是資料的競爭,誰掌握了資料,誰就掌握了未來。”可見,大資料在當今社會的重要性,我們的生活中處處被資料包圍著。大資料與云計算在各個作業領域中都扮演著極其重要的角色。作為一名計算機專業的學生,更知道大資料對我們的重要性,總之,大資料對于促進社會發展、國家富強具有重要意義。我們應該學習大資料,并且應用到我們的生活中,使它發揮最大的作用。
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/150081.html
標籤:非技術區
上一篇:【詳細】Python基礎(二)
下一篇:模擬登陸——以github為例
