主頁 > 資料庫 > hadoop前期環境搭建

hadoop前期環境搭建

2023-05-09 08:26:08 資料庫

主機名 ip ssh免密登陸

#修改主機名
hostnamectl set-hostname node1

#修改ip地址
 vim /etc/sysconfig/network-scripts/ifcfg-ens33 
#node1
IPADDR="192.168.88.101"
NETMASK="225.225.225.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"
#重啟網卡
systemctl stop network
systemctl start network

#或者直接
systemctl restart network




配置主機名映射

#linux中修改hosts
# vim /etc/hosts
192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

配置ssh免密登陸

 #生成ssh密鑰 一直enter
 ssh-keygen -t rsa -b 4096
 
 #進入生成的ssh密鑰檔案夾
 cd .ssh/
 #設定自己免密登陸
 ssh-copy-id node1
 #ssh免密登陸node1
 ssh node1
 
 #


后面的大資料軟體不會用root用戶啟動(安全)

#現在為每臺機器 創建一個單獨的hadoop用戶,并為三臺服務器同樣配置hadoop用戶的免密互通
#創建hadoop用戶
useradd hadoop
#設定用戶密碼 123456
passwd hadoop
#在每臺機器切換帶hadoop用戶
su - hadoop
#執行 創建ssh密鑰
ssh-keygen-t rsa -b 4096
#在每臺機器都執行 免密 (切換用戶喔)
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3


Jdk環境部署

#1.創建檔案夾()用來部署jdk
mkdir -p /export/server
#使用rz命令上傳 
#2,解壓jdk 安裝檔案
tar -zxvf jdk-8u361-linux-x64.tar.gz -C /export/server/
#cd進入/export/server/ 查看當前目錄 ll命令
#3.配置jdk軟鏈接
ln -s /export/server/jdk1.8.0_361/ jdk#名為jdk
#查看
ls -l;
#4.配置JAVA_HOME環境變數
vim /etc/profile#編輯這個檔案
#在end加入下main下面
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin
#5.讓環境變數生效
source /etc/profile
#6.配置Java執行程式的軟鏈接
rm -f /usr/bin/java#洗掉系統自帶的java程式
ln -s /export/server/jdk/bin/java /usr/bin/java#軟連接我們自己安裝的Java程式
#7.執行驗證
Java -version

node2通過node1遠程復制檔案夾

scp -r jdk1.8.0_361 node2:`pwd`/

防火墻,SELinux,時間同步等系統配置

#關閉防火墻(每臺都執行)
systemctl stop firewalld
systemctl disable firewalld
#SElinux安全模塊
vim /etc/sysconfig/selinux 
SELINUX=disabled#保存退出,重啟虛擬機,不要把disabled單詞寫錯,不然無法啟動系統
init 0 或者init 6 #重啟系統

#查看防火墻的狀態
systemctl status firewalld

修改時區并配置自動同步

#1.安裝ntp軟體
yum install -y ntp
date#查看時間
#2.洗掉系統自帶的 軟連接上海的
rm -f /etc/localtime 
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
#3. 通過阿里云矯正
ntpdate -u ntp.aliyun.com
#4.設定開機自動校正
systemctl start ntpd
systemctl enable ntpd#設定開機自啟
systemctl status ntpd#查看狀態

拍攝快照保存狀態

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/551975.html

標籤:其他

上一篇:[20230508]crack oracle執行檔案.txt

下一篇:返回列表

標籤雲
其他(158687) Python(38123) JavaScript(25407) Java(18024) C(15222) 區塊鏈(8262) C#(7972) AI(7469) 爪哇(7425) MySQL(7172) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5871) 数组(5741) R(5409) Linux(5336) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4567) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2432) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1965) Web開發(1951) HtmlCss(1932) python-3.x(1918) 弹簧靴(1913) C++(1912) xml(1889) PostgreSQL(1875) .NETCore(1857) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • hadoop前期環境搭建

    主機名 ip ssh免密登陸 #修改主機名 hostnamectl set-hostname node1 #修改ip地址 vim /etc/sysconfig/network-scripts/ifcfg-ens33 #node1 IPADDR="192.168.88.101" NETMASK="22 ......

    uj5u.com 2023-05-09 08:26:08 more
  • [20230508]crack oracle執行檔案.txt

    [20230508]crack oracle執行檔案.txt--//昨天看了鏈接:https://www.xifenfei.com/2023/04/ora-07445-kglsget.html--//提到open階段執行如下: Current SQL Statement for this sessi ......

    uj5u.com 2023-05-09 08:26:03 more
  • PostgreSQL JDBC 開發指導

    Java Database Connectivity (JDBC) 是一個應用程式編程介面 (API),用于 編程語言 Java,它定義了客戶端如何訪問資料庫。 它是Java標準版平臺的一部分,提供查詢和 更新資料庫中的資料,并面向關系資料庫。

    PostgreSQL JDBC驅動程式(簡稱pgJD... ......

    uj5u.com 2023-05-09 08:25:35 more
  • 作業中,Oracle常用函式

    (作業中,Oracle常用函式) 1、序言 Oracle提供了不少內置函式,熟練使用這些函式,可以大大提高我們作業效率。函式可以接受0個或多個入參,并回傳一個輸出結果。 2、Oracle函式分類 Oracle函式分為單行函式和聚合函式 單行函式:對每一個函式應用在表的記錄中時,只能輸入一行結果,回傳 ......

    uj5u.com 2023-05-09 08:25:23 more
  • [20230508]crack oracle執行檔案.txt

    [20230508]crack oracle執行檔案.txt--//昨天看了鏈接:https://www.xifenfei.com/2023/04/ora-07445-kglsget.html--//提到open階段執行如下: Current SQL Statement for this sessi ......

    uj5u.com 2023-05-09 08:25:18 more
  • 存盤程序

    存盤程序 介紹 存盤程序是事先經過編譯并存盤在資料庫中的一段SQL陳述句的集合,呼叫存盤程序可以簡化應用開發人員的很多作業,減少資料在資料庫和應用服務器之間的傳輸,對于提高資料處理的效率是有好處的。 存盤程序思想上很簡單,就是資料庫SQL語言層面的代碼封裝與重用,類似于函式或者說API,封裝了系列操作 ......

    uj5u.com 2023-05-09 08:24:59 more
  • hadoop前期環境搭建

    主機名 ip ssh免密登陸 #修改主機名 hostnamectl set-hostname node1 #修改ip地址 vim /etc/sysconfig/network-scripts/ifcfg-ens33 #node1 IPADDR="192.168.88.101" NETMASK="22 ......

    uj5u.com 2023-05-09 08:24:36 more
  • 作業中,我們經常用到哪些SQL陳述句呢?

    (Oracle常用SQL) 作業中我們基本上每天都要與資料庫打交道,資料庫的知識點呢也特別多,全部記住呢也是不可能的,也沒必要把所有的記住(有些陳述句命令可能我們一輩子都用不到)。 所以呢在作業之余,把作業中經常用到的一些陳述句整理出來,忘記的時候可以當做字典來查。 個人在作業中用Oracle資料庫比較 ......

    uj5u.com 2023-05-08 08:42:02 more
  • 作業中,我們經常用到哪些SQL陳述句呢?

    (Oracle常用SQL) 作業中我們基本上每天都要與資料庫打交道,資料庫的知識點呢也特別多,全部記住呢也是不可能的,也沒必要把所有的記住(有些陳述句命令可能我們一輩子都用不到)。 所以呢在作業之余,把作業中經常用到的一些陳述句整理出來,忘記的時候可以當做字典來查。 個人在作業中用Oracle資料庫比較 ......

    uj5u.com 2023-05-08 08:41:26 more
  • 讀SQL進階教程筆記15_SQL編程思維

    1. 還原論 1.1. 認為可以把高級現象還原為低級基本現象的學說 1.2. 將復雜的東西看成是由簡單單元組合而成的 1.2.1. 以賦值、條件分支、回圈等作為基本處理單元,并將系統整體分割成很多這樣的單元的思維方式 1.2.2. 檔案系統也是將大量的資料分割成記錄這樣的小單元進行處理的 2. 整體 ......

    uj5u.com 2023-05-08 08:29:10 more