銀行每一天都有大量的轉賬、交易需要保存、處理，用戶每進行一筆交易或者轉賬，銀行都需要將用戶轉賬的所有相關資訊保存下來，
四大銀行：
銀行有非常多的用戶，四大銀行擁有數10億的用戶，要保存的資料量可想而知，如果說有的資料，都同等對待，為了保證使用資料的性能，采用的是高性能存盤，這將是一筆不小的資源浪費，實際上，超過一定時間的資料，資料訪問的頻率要低得多，例如：用戶查詢5年前的轉賬記錄、要比查詢1年類的轉賬記錄頻率要低得多，
所以，為了能夠更好地利用資源，需要對資料進行分層，也就是不同時間范圍的資料，放在不同的層（冷熱溫）中，
5.1 存盤分層策略
按照以下配置，在HDFS的source目錄中創建以下幾個檔案夾：
檔案夾路徑 存盤策略 說明
/source/bank/transfer/log_lte1y DISK 存盤一年以內采集的資料 /source/bank/transfer/log_gt1y ARCHIVE 存盤1年以上的資料
5.2 測驗
創建檔案夾
hdfs dfs -mkdir -p /source/bank/transfer/log_lte1y
hdfs dfs -mkdir -p /source/bank/transfer/log_gt1y
指定存盤策略
hdfs storagepolicies -setStoragePolicy -path /source/bank/transfer/log_lte1y -policy HOT
hdfs storagepolicies -setStoragePolicy -path /source/bank/transfer/log_gt1y -policy COLD
查看存盤策略
hdfs storagepolicies -getStoragePolicy -path /source/bank/transfer/log_lte1y
hdfs storagepolicies -getStoragePolicy -path /source/bank/transfer/log_gt1y
上傳檔案測驗
上傳檔案到linux
rz
一年
hdfs dfs -put /root/bank_record.csv
/source/bank/transfer/log_lte1y/bank_record_2020_9.csv
五年
hdfs dfs -put /root/bank_record.csv
/source/bank/transfer/log_gt1y/bank_record_2015_9.csv
假設現在到了2021年10年，我們可以將之前的資料移動到log_gt1y
hdfs dfs -mv /source/bank/transfer/log_lte1y/bank_record_2020_9.csv
/source/bank/transfer/log_gt1y/bank_record_2020_9.csv
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/304535.html
標籤：其他
上一篇：資料存盤題 練手