主頁 > 資料庫 > hadoop前期環境搭建

hadoop前期環境搭建

2023-05-09 08:24:36 資料庫

主機名 ip ssh免密登陸

#修改主機名
hostnamectl set-hostname node1

#修改ip地址
 vim /etc/sysconfig/network-scripts/ifcfg-ens33 
#node1
IPADDR="192.168.88.101"
NETMASK="225.225.225.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"
#重啟網卡
systemctl stop network
systemctl start network

#或者直接
systemctl restart network




配置主機名映射

#linux中修改hosts
# vim /etc/hosts
192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

配置ssh免密登陸

 #生成ssh密鑰 一直enter
 ssh-keygen -t rsa -b 4096
 
 #進入生成的ssh密鑰檔案夾
 cd .ssh/
 #設定自己免密登陸
 ssh-copy-id node1
 #ssh免密登陸node1
 ssh node1
 
 #


后面的大資料軟體不會用root用戶啟動(安全)

#現在為每臺機器 創建一個單獨的hadoop用戶,并為三臺服務器同樣配置hadoop用戶的免密互通
#創建hadoop用戶
useradd hadoop
#設定用戶密碼 123456
passwd hadoop
#在每臺機器切換帶hadoop用戶
su - hadoop
#執行 創建ssh密鑰
ssh-keygen-t rsa -b 4096
#在每臺機器都執行 免密 (切換用戶喔)
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3


Jdk環境部署

#1.創建檔案夾()用來部署jdk
mkdir -p /export/server
#使用rz命令上傳 
#2,解壓jdk 安裝檔案
tar -zxvf jdk-8u361-linux-x64.tar.gz -C /export/server/
#cd進入/export/server/ 查看當前目錄 ll命令
#3.配置jdk軟鏈接
ln -s /export/server/jdk1.8.0_361/ jdk#名為jdk
#查看
ls -l;
#4.配置JAVA_HOME環境變數
vim /etc/profile#編輯這個檔案
#在end加入下main下面
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin
#5.讓環境變數生效
source /etc/profile
#6.配置Java執行程式的軟鏈接
rm -f /usr/bin/java#洗掉系統自帶的java程式
ln -s /export/server/jdk/bin/java /usr/bin/java#軟連接我們自己安裝的Java程式
#7.執行驗證
Java -version

node2通過node1遠程復制檔案夾

scp -r jdk1.8.0_361 node2:`pwd`/

防火墻,SELinux,時間同步等系統配置

#關閉防火墻(每臺都執行)
systemctl stop firewalld
systemctl disable firewalld
#SElinux安全模塊
vim /etc/sysconfig/selinux 
SELINUX=disabled#保存退出,重啟虛擬機,不要把disabled單詞寫錯,不然無法啟動系統
init 0 或者init 6 #重啟系統

#查看防火墻的狀態
systemctl status firewalld

修改時區并配置自動同步

#1.安裝ntp軟體
yum install -y ntp
date#查看時間
#2.洗掉系統自帶的 軟連接上海的
rm -f /etc/localtime 
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
#3. 通過阿里云矯正
ntpdate -u ntp.aliyun.com
#4.設定開機自動校正
systemctl start ntpd
systemctl enable ntpd#設定開機自啟
systemctl status ntpd#查看狀態

拍攝快照保存狀態

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/551969.html

標籤:大數據

上一篇:作業中,我們經常用到哪些SQL陳述句呢?

下一篇:返回列表

標籤雲
其他(158685) Python(38123) JavaScript(25407) Java(18024) C(15222) 區塊鏈(8262) C#(7972) AI(7469) 爪哇(7425) MySQL(7171) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5871) 数组(5741) R(5409) Linux(5336) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4567) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2432) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1965) Web開發(1951) HtmlCss(1932) python-3.x(1918) 弹簧靴(1913) C++(1912) xml(1889) PostgreSQL(1874) .NETCore(1857) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • hadoop前期環境搭建

    主機名 ip ssh免密登陸 #修改主機名 hostnamectl set-hostname node1 #修改ip地址 vim /etc/sysconfig/network-scripts/ifcfg-ens33 #node1 IPADDR="192.168.88.101" NETMASK="22 ......

    uj5u.com 2023-05-09 08:24:36 more
  • 作業中,我們經常用到哪些SQL陳述句呢?

    (Oracle常用SQL) 作業中我們基本上每天都要與資料庫打交道,資料庫的知識點呢也特別多,全部記住呢也是不可能的,也沒必要把所有的記住(有些陳述句命令可能我們一輩子都用不到)。 所以呢在作業之余,把作業中經常用到的一些陳述句整理出來,忘記的時候可以當做字典來查。 個人在作業中用Oracle資料庫比較 ......

    uj5u.com 2023-05-08 08:42:02 more
  • 作業中,我們經常用到哪些SQL陳述句呢?

    (Oracle常用SQL) 作業中我們基本上每天都要與資料庫打交道,資料庫的知識點呢也特別多,全部記住呢也是不可能的,也沒必要把所有的記住(有些陳述句命令可能我們一輩子都用不到)。 所以呢在作業之余,把作業中經常用到的一些陳述句整理出來,忘記的時候可以當做字典來查。 個人在作業中用Oracle資料庫比較 ......

    uj5u.com 2023-05-08 08:41:26 more
  • 讀SQL進階教程筆記15_SQL編程思維

    1. 還原論 1.1. 認為可以把高級現象還原為低級基本現象的學說 1.2. 將復雜的東西看成是由簡單單元組合而成的 1.2.1. 以賦值、條件分支、回圈等作為基本處理單元,并將系統整體分割成很多這樣的單元的思維方式 1.2.2. 檔案系統也是將大量的資料分割成記錄這樣的小單元進行處理的 2. 整體 ......

    uj5u.com 2023-05-08 08:29:10 more
  • shp資料插入sde連接的PostgreSQL庫(一)----基于 IntelliJ IDE的G

    前言 早就聽聞大名鼎鼎的GeoTools,因為自己不搞Java,所以之前沒用過, 背景 最近有個需求,一個白模系統,具體是資料是用SDE匯入到postgresql中,然后用arcgis server發布了矢量,最后用 arcgis api for js 4.x拉伸,得到有高度的白模。以前的資料都是通 ......

    uj5u.com 2023-05-08 08:23:31 more
  • 資料庫系統概論—安全、完整性

    資料庫系統概論—基礎篇(3) 三.資料庫安全性 1.資料庫安全性概述 資料庫的安全性指保護資料庫以防不合法使用所造成的資料泄露、更改或破壞 2.資料庫安全性控制 2.1用戶身份鑒別 靜態口令鑒別 動態口令鑒別 生物鑒別特征 智能卡鑒別 2.2存取控制 自主存取控制:給用戶限權(DAC,C1級) 強制 ......

    uj5u.com 2023-05-08 08:21:50 more
  • 2、etcd單機部署和集群部署

    上一章我們認識了etcd,簡單的介紹了 etcd 的基礎概念,但是理解起來還是比較抽象的。這一章我們就一起來部署下 etcd 。這樣可以讓我們對 etcd 有更加確切的認識。 1、etcd單實體部署 對于平常的學習,其實搭建一個單機節點是夠了的。接下來就講講怎么搭建單機節點。 本次部署是在 cent ......

    uj5u.com 2023-05-07 09:20:22 more
  • ☆常用的Sql陳述句匯總(DDL/DML)

    常用的sql陳述句匯總 1、獲取所有表名、表資訊 里面有表注釋 | 資料庫種類 | sql | 備注 | | | | | | mysql | -- 獲取所有表名、視圖名show tables-- 獲取 dev_test_data資料庫 所有表、視圖資訊select * from information ......

    uj5u.com 2023-05-07 09:20:02 more
  • Semi-Join Subquery優化策略

    Semi-Join Subquery優化策略 Semi-Join Subquery(半連接子查詢):對應IN或EXISTS子查詢,僅需要檢查"外表記錄"在"子查詢結果集"中是否存在匹配記錄,不需要計算"子查詢結果集"中記錄匹配次數,也不需要回傳"子查詢結果集"中匹配記錄內容 在MariaDB(MyS ......

    uj5u.com 2023-05-07 09:19:40 more
  • 實驗小記之Linux上的Oracle11gR2單實體靜默安裝和建庫

    說明:本文的所有步驟不適用于生產環境,僅用于個人測驗環境的快速部署和學習,下述操作程序在Oracle Linux 7.9上安裝Oracle 11.2.0.4單實體為例。 1 安裝環境檢查 安裝環境的檢查可以參考官方檔案Oracle Database Quick Installation Guide ......

    uj5u.com 2023-05-07 09:19:31 more