文章目錄
- 1、集群規劃、版本、環境變數
- 2、Solr集群部署
- 3、安裝Maven
- 4、編譯Atlas
- 5、安裝Atlas服務
- 配置Atlas存盤到外部HBase
- Atlas集成Solr
- Atlas集成Hive
1、集群規劃、版本、環境變數
-
Atlas安裝分為：集成自帶的HBase+Solr 和 集成外部的HBase+Solr
本文是集成外部的
安裝Solr前需要裝好JDK、Zookeeper、Kafka、HBase、Hive -
集群規劃
https://yellow520.blog.csdn.net/article/details/115536550 -
環境變數
https://blog.csdn.net/Yellow_python/article/details/112692486
2、Solr集群部署
- Apache SolrTM是 建立在Apache LuceneTM之上的 開源的企業搜索平臺
- 在此處，Solr的作用是：加快元資料的搜索
- 下載地址：https://solr.apache.org/
在每個節點創建名為Solr的系統用戶
useradd solr
echo solr | passwd --stdin solr
解壓、修改戶主
tar -zxvf solr-7.7.3.tgz -C $B_HOME/
cd $B_HOME
mv solr-7.7.3 solr
chown -R solr:solr solr
修改組態檔
vim $B_HOME/solr/bin/solr.in.sh
ZK_HOST="hadoop102:2181,hadoop103:2181,hadoop104:2181"
分發到每個節點
rsync.py $B_HOME/solr
在每個節點，使用solr用戶來啟動Solr（前提是ZooKeeper在運行）
sudo -i -u solr $B_HOME/solr/bin/solr start
Web埠為8983，任意節點都可
注意：界面出現Cloud選單欄時，Cloud模式才算部署成功
3、安裝Maven
- Maven是一個專案管理工具，可對Java專案進行構建、依賴管理
在本文，Maven的作用是對Atlas原始碼進行編譯
Maven官網：https://maven.apache.org/ - Atlas版本指定
2.1.0Maven版本指定3.6.1
wget https://archive.apache.org/dist/maven/maven-3/3.6.1/binaries/apache-maven-3.6.1-bin.tar.gz
解壓
tar -zxvf apache-maven-3.6.1-bin.tar.gz
mv apache-maven-3.6.1 $B_HOME/maven
配置
vim $MAVEN_HOME/conf/settings.xml
4、編譯Atlas
下載Atlas原始碼
wget https://dlcdn.apache.org/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz
解壓
tar -zxvf apache-atlas-2.1.0-sources.tar.gz
cd apache-atlas-sources-2.1.0
編譯Atlas
export MAVEN_OPTS="-Xms2g -Xmx2g"
mvn clean -DskipTests install
mvn clean -DskipTests package -Pdis
執行時間較長，會下載很多依賴，期間報錯可能是因為網路超時，重試即可
編譯完后查看distro/target/？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？
apache-atlas-2.1.0-server.tar.gz
apache-atlas-2.1.0-hive-hook.tar.gz
5、安裝Atlas服務
cd apache-atlas-sources-2.1.0/distro/target/
tar -zxvf apache-atlas-2.1.0-server.tar.gz
mv apache-atlas-2.1.0 $B_HOME/atlas
配置Atlas存盤到外部HBase
修改圖的存盤地址（Zookeeper地址，本集群的HBase集群依賴ZooKeeper的，HMaster借助ZooKeeper來管理HRegionServer）
vim $B_HOME/atlas/conf/atlas-application.properties
atlas.graph.storage.hostname=hadoop102:2181,hadoop103:2181,hadoop104:2181
告訴Atlas，HBase配置路徑
vim $B_HOME/atlas/conf/atlas-env.sh
export HBASE_CONF_DIR=$HBASE_HOME/conf
Atlas集成Solr
vim /opt/module/atlas/conf/atlas-application.properties
atlas.graph.index.search.backend=solr
atlas.graph.index.search.solr.mode=cloud
atlas.graph.index.search.solr.zookeeper-url=hadoop102:2181,hadoop103:2181,hadoop104:2181
Atlas集成Hive
安裝Hive Hook
cd $B_HOME/apache-atlas-sources-2.1.0/distro/target/
tar -zxvf apache-atlas-2.1.0-hive-hook.tar.gz
將Hive Hook依賴復制到Atlas安裝路徑
cp -r apache-atlas-hive-hook-2.1.0/* /opt/module/atlas/
Hive Hook配置
mv hive-env.sh.template hive-env.sh
vim hive-env.sh
export HIVE_AUX_JARS_PATH=/opt/module/atlas/hook/hive
修改Hive組態檔
vim $HIVE_HOME/conf/hive-site.xml
<property>
<name>hive.exec.post.hooks</name>
<value>org.apache.atlas.hive.hook.HiveHook</value>
</property>
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/423218.html
標籤：其他
上一篇：節前國債逆回購