一、實驗環境
- 系統:window 10
- 配置:記憶體16GB;可用磁盤:300G;cpu核心數:8
- 使用軟體與版本:
vmware 15.5 pro
linux CentOS 7.5
- 如何查看cpu核心數:https://www.cnblogs.com/zhangchao0515/p/15250319.html
(完成難度:低)
二、學習探索內容
- 基本需求:完成linux虛擬機創建啟動,并使用linux虛擬機搭建Hadoop分布式大資料處理環境,
- 進階1:基于Hadoop環境,完成離線、實時資料處理任務,并使環境、任務穩定運行一段時間,
- 進階2:學習探索虛擬機搭建、大資料環境搭建程序中磁盤、記憶體、網路等指標的范圍與需求,
- 進階3:學習探索Hadoop大資料組件的基礎配置與配置調優,
- 進階4:搭建、維護k8s集群,
三、安裝vmware
參考博客:https://www.cnblogs.com/fuzongle/p/12760193.html
(完成難度:低)
四、使用vmware創建虛擬機
1. CentOS7.5鏡像下載:鏈接:https://pan.baidu.com/s/18hdcWE4tYQOxMov2w0IlBQ?pwd=486k 提取碼:486k
2. 安裝程序參考:https://blog.csdn.net/bdqn_zyjy/article/details/120975586
(完成難度:中等)
根據這篇博客,我們就可以搭建一個linux虛擬機,其中的記憶體、磁盤、cpu數、核心數可根據宿主機配置與需求修改,下面會詳細分析一下,
3. 安裝位置與磁盤
安裝位置不建議放默認的C盤,可以在其他盤創建一個專門存放虛擬機的檔案夾,關于虛擬機磁盤大小,即使給虛擬機分配了100GB磁盤,只是創建、啟動并不會占用多少宿主機磁盤(啟動會占用記憶體),但是再后續使用的程序中虛擬機下載安裝軟體、存放資料,會增大宿主機磁盤占用,
a. 虛擬機磁盤占用與宿主機占用
- CentOS 桌面版創建、啟動后的系統磁盤占用:

- 查看宿主機磁盤大小:發現可用容量減少了幾GB

- 關機后查看宿主機磁盤:可用容量增加4GB左右

- 安裝jdk、hadoop環境之后,開機與關機分別占用宿主機的磁盤大小
待補充
b. 虛擬機設定值過大會怎么樣
- 將本來100GB的磁盤空間擴展為400GB,擴容后、啟動虛擬機,打開任務管理器,

結果顯示可以正常創建、使用,不過推測肯定不能存盤400GB資料(實際上我電腦所有盤的可用空間加起來都沒有400GB了),虛擬機理論上要小于宿主機的可用空間,

c. 小結
虛擬機磁盤大小只是設定一個可用磁盤上限,并不是實際占用,也不是實際可用(所以可以隨便點,不要太小就可以),這里根據我們的需求,需創建3個虛擬機,每個100GB就可以了,
4. cpu數與核心數
cpu虛擬化
-
不考慮計算機虛擬化技術的話,虛擬機臺數 * 虛擬機cpu個數 * cpu核心數 <= 宿主機cpu個數 * cpu核心數,我的電腦只有8核,要創建3個虛擬機,2 2 4是比較合理的分配,
-
但是既然cpu有虛擬化技術,我們試下多配置幾個核心,

不讓配!多次測驗后發現最多只能配置8個,那我們多開個虛擬機試試,
創建、啟動虛擬機后,查看虛擬機的基本資訊(這次是最小安裝,用命令列看一下),

這里測驗了2個4核虛擬機,1個8核虛擬機可以同時正常運行, -
小結
單個虛擬機配置有要求,多個虛擬機cpu內核總數可超過宿主機cpu核心數,根據我們需求,三各虛擬機,4 4 4分配,或者2 2 4都是可以的,
5. 記憶體
- 開啟虛擬機后,宿主機的記憶體變化時很明顯的,理論上來說,虛擬機占用記憶體+宿主機占用記憶體<宿主機物理記憶體,
- 但根據實踐,是有一些偏差的,
- 宿主機常用軟體與windows大概占用40%(6.4GB)左右,測驗中開啟3個4GB記憶體的虛擬機(每個配置了4GB記憶體),宿主機記憶體占用70%-80%,
- 如果計算配置記憶體(每個虛擬機4GB),肯定超過了宿主機的實際記憶體,顯然并不是配置了多少記憶體開機就占用多少,
- 虛擬機實際占用記憶體 = 200MB(最小化安裝)+800MB(圖形化安裝)+200MB(最小化安裝)+虛擬機記憶體損耗,這樣比較合理,
- 小結:雖然配置記憶體并不代表實際占用記憶體,但是配置記憶體過高時,虛擬機使用到了,會導致宿主機記憶體不夠用,根據需求,三個虛擬機4GB 3GB 3GB這樣來配置,
6. 網路
這里有兩個需要注意的地方:1.能連網 2.配置靜態ip(linux默認ip自動分配,被坑過,關、開機一次ip變了)
安裝時點了一下以太網模塊的開啟按鈕,啟動虛擬機直接就連上了,但這是我之前配置好了VMware的結果,
總體來講需要配置3個地方:宿主機,VMware,虛擬機,
1.電腦(運行虛擬機的windows)(PS:網上很多博客缺少這部分)
設定->查找設定->網路連接->啟用VMnet8->滑鼠右鍵點擊VMnet8->屬性->ipv4設定
IP地址:使用下面的IP地址
| 設定 | value |
|---|---|
| IP地址 | 192.168.10.15 |
| 子網掩碼 | 255.255.255.0 |
| 默認網關 | 192.168.10.2 |
dns設定:使用下面的DNS地址
| 設定 | value |
|---|---|
| 首選DNS | 192.168.10.2 |
| 備用DNS | 8.8.8.8 |
2.vmware設定
編輯->虛擬網路編輯器->右下的'更改設定'
VMnet資訊
- 選中NAT模式
- 子網IP:192.168.10.0
- 子網掩碼:255.255.255.0
編輯->虛擬網路編輯器->右下的'更改設定'->NAT設定
- 網關:192.168.10.2
3.虛擬機設定
vi /etc/sysconfig/network-scripts/ifcfg-ens33
#替換為以下內容
#注意這里第四行配置了靜態ip
DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.10.102
PREFIX=24
GATEWAY=192.168.10.2
DNS1=192.168.10.2
#重啟網卡
/etc/init.d/network restart
7. 最小安裝與圖形化的使用體驗
GOME圖形化安裝:
- 使用方便,設定密碼、查看圖形化任務管理器、火狐瀏覽器、視頻播放器、文本編輯器等都很好用,喜歡命令列也可以隨時打開終端進行操作,
最小化安裝:
- 安裝快, 圖形化安裝1400個包,最小化安裝300個包,
- 占用記憶體小,最小安裝需要不到200MB記憶體,而圖形化系統需要多于800MB記憶體,
小結:這里取舍有點難,記憶體緊張,用最小化吧,
8. 最終確認比較合理的虛擬機配置
記憶體4GB 4核心(2 * 2)磁盤100GB 最小化安裝 名稱:superPC01 ip:192.168.10.135
記憶體3GB 2核心(1 * 2)磁盤100GB 最小化安裝 名稱:superPC02 ip:192.168.10.136
記憶體3GB 2核心(1 * 2)磁盤100GB 最小化安裝 名稱:superPC03 ip:192.168.10.137
弄好一個,克隆,修改,
安裝個 network-tools.x86_64,可以使用ifconfig命令看ip地址,
配一下靜態ip,并確認網路暢通,
#使用命令列測驗網路
ping www.baidu.com
轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/501557.html
標籤:其他
上一篇:(Nosql)列式存盤是什么?
