Hadoop都是在Linux上安裝、配置、操作的,那么Hadoop可以在Windows上安裝、運行嗎?
答:我們知道Hadoop官網只提供了Hadoop的tar.gz安裝包,顯然是屬于Linux系統的,但其實Windows系統也可以安裝Hadoop,如果想在Windows上安裝,我們將linux上的tar.gz這個安裝包解壓縮一下就可以了,(使用軟體7-zip)
一、Windows上安裝hadoop步驟
第一步 將linux上的tar.gz安裝包解壓縮
需要解壓縮兩次:第一次解壓縮結果:

第二次解壓縮結果:

第二步 在Windows上配置環境變數


此時我們cmd驗證一下:

hadoop運行沒問題,但其中會報JAVA_HOME的錯
原因:hadoop運行需要java的支持,我們需要把本地的JAVA_HOME和hadoop關聯一下,
按照報錯指示
Please update F:\秋招學習\Hadoop\資料\hadoop-2.8.5\etc\hadoop\hadoop-env.cmd
我們去修改一下,
重啟一下就好了,
二、HDFS的JavaAPI操作
hadoop在window本地安裝成功之后,下一步就可以撰寫HDFS代碼了
我們需要解決一個問題:因為操作HDFS 我們得需要引入操作HDFS的依賴
第一種引入方式:自己找jar包(source原始碼jar包、test測驗jar包不需要)
hdfs編程所需要的jar包都在Hadoop安裝目錄的share目錄下
第二種引入方式:使用maven進行參考(建議)
測驗:使用Java代碼連接HDFS分布式檔案存盤系統
注意:所謂的連接起始連接的是我們的namenode,因為namenode是整個集群的管理者
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
public class Test {
public static void main(String[] args) throws IOException {
/**
* 創建一個組態檔 指定我們再去連接HDFS的時候 我們應該采取什么樣的配置
* 比如HDFS中namenode的訪問路徑
*/
Configuration conf = new Configuration();
//配置hdfs的訪問路徑
conf.set("fs.defaultFS","hdfs://192.168.10.3:9000");
//格局配置向去獲取檔案系統
FileSystem fileSystem = FileSystem.get(conf);
System.out.println(fileSystem);
Path p = new Path("/a.txt");
fileSystem.create(p);
}
}
執行成功,在hdfs上創建了一個新檔案a.txt
hadoop在Windows上成功配置,
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/293907.html
標籤:其他
上一篇:一文詳細決議kafka重平衡機制
下一篇:近期面試review

