由于我是大資料領域的初學者,安裝了 Hadoop 3.3.1 和 Hive 并在 Hive 上上傳了資料。我有一些問題和困惑:
我沒有在 core-site.xml 中配置 hadoop.tmp.directory,但是在 hdfs-site.xml 中配置了 datanode 和 namenode dir 路徑。如果我不在 core-site.xml 中配置 tmp 目錄,這會影響我的 mapreduce 作業嗎?
因為我已經集群了從屬和主控,并且還安裝了配置單元并上傳了資料,現在如果我在任何集群主控或任何一個從屬服務器中更改配置(重新配置,如 core-site.xml 中的 tmp 目錄路徑),我應該這樣做hdfs namenode -format每次重新配置后,我會通過格式化 namenode 丟失配置單元和上傳的資料嗎?
這是我的 hdfs-site.xml 和 core-site.xml 配置。請告訴我這些配置是否正確。
核心站點.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-master:9000</value>
</property>
</configuration>
主機中的 hdfs-site.xml:
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/home/hdoop/dfsdata/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hdoop/dfsdata/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
從站中的 hdfs-site.xml:
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/home/hdoop/dfsdata/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
uj5u.com熱心網友回復:
hadoop.tmp.dir 默認為/tmp/hadoop-${user.name}. 沒有特別的理由改變它
是的,重新格式化 namenode 會洗掉所有 HDFS 資料,但不會截斷您的 Hive 元存盤
轉載請註明出處,本文鏈接:https://www.uj5u.com/qiye/415584.html
標籤:
上一篇:HBase到增量表
