對于海量資料的處理,有數以百計的、專用的計算方法,但是如何處理并行計算、如何分發資料、如何處理錯誤?這些問題使得原本簡單的運算變得難以處理。為了解決上訴的復雜問題,設計了一個新的抽象模型。使用這個模型只需要進行簡單的運算,可以不用關心復雜細節,容易實作大規模并行化計算,由于我的專業是國際經濟與貿易,這一點和專業結合思考的話,我能想到,在國際貿易中,買賣雙方需要通過交易磋商,用合同來明確約定貨物交付的地點、運輸中的風隙訓分、運輸手續和貨運保險手續由誰辦理、取得各種進出口所需要的檔案和進出口手續由誰辦理,以及在辦理這些手續中所要支出的費用,如運費、保險費、進出口環節關稅和其他費用由誰支付,等等。如果貿易雙方就這些事項進行逐一商討,不僅會耗費大量時間和精力,還可能會因考慮不周而使合同無法履行,甚至產生爭議和糾紛,因此,在長期的國際貿易實踐中,人們用一些簡短的概念和外文字母縮寫來明確買賣雙方責任、費用和風隙訓分界限,約定買賣雙方交接貨物中各自應盡的義務。盡管我們在國際貿易中有很多方法和手段進行磋商,但由于上文提到的,注意磋商每一細節得不嘗試,于是人們改用貿易術語,不同的貿易術語有著不同的含義,貿易術語就像是結果,在實踐中確定貿易術語的程序就像是計算、容錯、資料分布、負載均衡等復雜細節。簡化復雜細節,不僅在Mapreduce中有應用,在國際貿易以及生活在很多方面都有應用,而簡化復雜細節,也是我們在作業學習中需要用到的技巧。
MapReduce 模型可以有多種不同的實作方式。如何正確選擇取決于具體的環境。例如,一種實作方式適用于小型的共享記憶體方式的機器,另外一種實作方式則適用于大型 NUMA 架構的多處理器的主機,而有的實作方式更適合大型的網路連接集群。在國際貿易中,雙方為了達成合作,在國際商務談判中,談判技巧也會根據具體環境的不同而改變,談判程序中小組人數、分工也是隨談判具體情況而改變。根據具體的環境來選擇不同的Mapreduce的不同實作方式,根據不同的環境來確定不同都談判團隊和談判技巧。在作業學習程序中,我們也是根據不同任務的輕重緩急安排自己的計劃。
通過將 Map 呼叫的輸入資料自動分割為 M 個資料片段的集合,Map 呼叫被分布到多臺機器上執行。輸入的資料片段能夠在不同的機器上并行處理。在國際商務談判中,談判組的每個成員有不同的角色,分為主談、輔談等等,但談判程序是多個成員為了共同的目標一起進行的,這一點與“輸入的資料片段能夠在不同的機器上并行處理”有異曲同工之處。
通過對Mapreduce中文版的閱讀,發現其中很多方面的思想都能與我所學的專業知識思想相結合,學習的程序是無止境的,結合不同學科的程序也是奇妙和有趣的。感謝《大資料與人工智能》這門課程開闊了我的眼界,也讓自己從另一個角度思考國際經濟與貿易的專業知識。(最后,想說明的是,這是一份遲交的讀后感,也不清楚老師會不會再進行檢索,但是很感謝老師引導我們從這門課程的角度思考自己的專業和生活。)
轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/75253.html
標籤:非技術區
