主頁 > 資料庫 > 分布式大資料處理Hadoop學習與探索1:虛擬機

分布式大資料處理Hadoop學習與探索1:虛擬機

2022-08-11 13:27:55 資料庫

一、實驗環境

  1. 系統:window 10
  2. 配置:記憶體16GB;可用磁盤:300G;cpu核心數:8
  3. 使用軟體與版本:
    vmware 15.5 pro
    linux CentOS 7.5
  • 如何查看cpu核心數:https://www.cnblogs.com/zhangchao0515/p/15250319.html
    (完成難度:低)

二、學習探索內容

  1. 基本需求:完成linux虛擬機創建啟動,并使用linux虛擬機搭建Hadoop分布式大資料處理環境,
  2. 進階1:基于Hadoop環境,完成離線、實時資料處理任務,并使環境、任務穩定運行一段時間,
  3. 進階2:學習探索虛擬機搭建、大資料環境搭建程序中磁盤、記憶體、網路等指標的范圍與需求,
  4. 進階3:學習探索Hadoop大資料組件的基礎配置與配置調優,
  5. 進階4:搭建、維護k8s集群,

三、安裝vmware

參考博客:https://www.cnblogs.com/fuzongle/p/12760193.html
(完成難度:低)

四、使用vmware創建虛擬機

1. CentOS7.5鏡像下載:鏈接:https://pan.baidu.com/s/18hdcWE4tYQOxMov2w0IlBQ?pwd=486k 提取碼:486k
2. 安裝程序參考:https://blog.csdn.net/bdqn_zyjy/article/details/120975586

(完成難度:中等)
根據這篇博客,我們就可以搭建一個linux虛擬機,其中的記憶體、磁盤、cpu數、核心數可根據宿主機配置與需求修改,下面會詳細分析一下,

3. 安裝位置與磁盤

安裝位置不建議放默認的C盤,可以在其他盤創建一個專門存放虛擬機的檔案夾,關于虛擬機磁盤大小,即使給虛擬機分配了100GB磁盤,只是創建、啟動并不會占用多少宿主機磁盤(啟動會占用記憶體),但是再后續使用的程序中虛擬機下載安裝軟體、存放資料,會增大宿主機磁盤占用,

a. 虛擬機磁盤占用與宿主機占用

  • CentOS 桌面版創建、啟動后的系統磁盤占用:
  • 查看宿主機磁盤大小:發現可用容量減少了幾GB
  • 關機后查看宿主機磁盤:可用容量增加4GB左右
  • 安裝jdk、hadoop環境之后,開機與關機分別占用宿主機的磁盤大小
    待補充

b. 虛擬機設定值過大會怎么樣

  • 將本來100GB的磁盤空間擴展為400GB,擴容后、啟動虛擬機,打開任務管理器,

    結果顯示可以正常創建、使用,不過推測肯定不能存盤400GB資料(實際上我電腦所有盤的可用空間加起來都沒有400GB了),虛擬機理論上要小于宿主機的可用空間,

c. 小結
虛擬機磁盤大小只是設定一個可用磁盤上限,并不是實際占用,也不是實際可用(所以可以隨便點,不要太小就可以),這里根據我們的需求,需創建3個虛擬機,每個100GB就可以了,

4. cpu數與核心數

cpu虛擬化

  • 不考慮計算機虛擬化技術的話,虛擬機臺數 * 虛擬機cpu個數 * cpu核心數 <= 宿主機cpu個數 * cpu核心數,我的電腦只有8核,要創建3個虛擬機,2 2 4是比較合理的分配,

  • 但是既然cpu有虛擬化技術,我們試下多配置幾個核心,

    不讓配!多次測驗后發現最多只能配置8個,那我們多開個虛擬機試試,
    創建、啟動虛擬機后,查看虛擬機的基本資訊(這次是最小安裝,用命令列看一下),

    這里測驗了2個4核虛擬機,1個8核虛擬機可以同時正常運行,

  • 小結

單個虛擬機配置有要求,多個虛擬機cpu內核總數可超過宿主機cpu核心數,根據我們需求,三各虛擬機,4 4 4分配,或者2 2 4都是可以的,

5. 記憶體
  1. 開啟虛擬機后,宿主機的記憶體變化時很明顯的,理論上來說,虛擬機占用記憶體+宿主機占用記憶體<宿主機物理記憶體,
  2. 但根據實踐,是有一些偏差的,
  3. 宿主機常用軟體與windows大概占用40%(6.4GB)左右,測驗中開啟3個4GB記憶體的虛擬機(每個配置了4GB記憶體),宿主機記憶體占用70%-80%,
  4. 如果計算配置記憶體(每個虛擬機4GB),肯定超過了宿主機的實際記憶體,顯然并不是配置了多少記憶體開機就占用多少,
  5. 虛擬機實際占用記憶體 = 200MB(最小化安裝)+800MB(圖形化安裝)+200MB(最小化安裝)+虛擬機記憶體損耗,這樣比較合理,
  6. 小結:雖然配置記憶體并不代表實際占用記憶體,但是配置記憶體過高時,虛擬機使用到了,會導致宿主機記憶體不夠用,根據需求,三個虛擬機4GB 3GB 3GB這樣來配置,
6. 網路

這里有兩個需要注意的地方:1.能連網 2.配置靜態ip(linux默認ip自動分配,被坑過,關、開機一次ip變了)

安裝時點了一下以太網模塊的開啟按鈕,啟動虛擬機直接就連上了,但這是我之前配置好了VMware的結果,
總體來講需要配置3個地方:宿主機,VMware,虛擬機,

1.電腦(運行虛擬機的windows)(PS:網上很多博客缺少這部分)

設定->查找設定->網路連接->啟用VMnet8->滑鼠右鍵點擊VMnet8->屬性->ipv4設定

IP地址:使用下面的IP地址

設定 value
IP地址 192.168.10.15
子網掩碼 255.255.255.0
默認網關 192.168.10.2

dns設定:使用下面的DNS地址

設定 value
首選DNS 192.168.10.2
備用DNS 8.8.8.8
2.vmware設定

編輯->虛擬網路編輯器->右下的'更改設定'

VMnet資訊

  • 選中NAT模式
  • 子網IP:192.168.10.0
  • 子網掩碼:255.255.255.0

編輯->虛擬網路編輯器->右下的'更改設定'->NAT設定

  • 網關:192.168.10.2
3.虛擬機設定
vi /etc/sysconfig/network-scripts/ifcfg-ens33

#替換為以下內容
#注意這里第四行配置了靜態ip

DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.10.102
PREFIX=24
GATEWAY=192.168.10.2
DNS1=192.168.10.2
#重啟網卡
/etc/init.d/network restart 
7. 最小安裝與圖形化的使用體驗

GOME圖形化安裝:

  • 使用方便,設定密碼、查看圖形化任務管理器、火狐瀏覽器、視頻播放器、文本編輯器等都很好用,喜歡命令列也可以隨時打開終端進行操作,

最小化安裝:

  • 安裝快, 圖形化安裝1400個包,最小化安裝300個包,
  • 占用記憶體小,最小安裝需要不到200MB記憶體,而圖形化系統需要多于800MB記憶體,

小結:這里取舍有點難,記憶體緊張,用最小化吧,

8. 最終確認比較合理的虛擬機配置

記憶體4GB 4核心(2 * 2)磁盤100GB 最小化安裝 名稱:superPC01 ip:192.168.10.135
記憶體3GB 2核心(1 * 2)磁盤100GB 最小化安裝 名稱:superPC02 ip:192.168.10.136
記憶體3GB 2核心(1 * 2)磁盤100GB 最小化安裝 名稱:superPC03 ip:192.168.10.137

弄好一個,克隆,修改,
安裝個 network-tools.x86_64,可以使用ifconfig命令看ip地址,
配一下靜態ip,并確認網路暢通,

#使用命令列測驗網路
ping www.baidu.com

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/501557.html

標籤:其他

上一篇:(Nosql)列式存盤是什么?

下一篇:開源專案丨一文詳解一站式大資料平臺運維管家ChengYing如何部署Hadoop集群

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more