第一部分：java私塾Hive 引數
hive.exec.max.created.files
?說明：所有hive運行的map與reduce任務可以產生的檔案的和
?默認值:100000
hive.exec.dynamic.partition
?說明：是否為自動磁區
?默認值：false
hive.mapred.reduce.tasks.speculative.execution
?說明：是否打開推測執行
?默認值：true
hive.input.format
?說明：Hive默認的input format
?默認值： org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
?如果有問題可以使用org.apache.hadoop.hive.ql.io.HiveInputFormat
hive.exec.counters.pull.interval
?說明：Hive與JobTracker拉取counter資訊的時間
?默認值：1000ms
hive.script.recordreader
?說明：使用腳本時默認的讀取類
?默認值： org.apache.hadoop.hive.ql.exec.TextRecordReader
hive.script.recordwriter
?說明：使用腳本時默認的資料寫入類
?默認值： org.apache.hadoop.hive.ql.exec.TextRecordWriter
hive.mapjoin.check.memory.rows
?說明： 記憶體里可以存盤資料的行數
?默認值： 100000
hive.mapjoin.smalltable.filesize
?說明：輸入小表的檔案大小的閥值，如果小于該值，就采用普通的join
?默認值： 25000000
hive.auto.convert.join
?說明：是不是依據輸入檔案的大小，將Join轉成普通的Map Join
?默認值： false
hive.mapjoin.followby.gby.localtask.max.memory.usage
?說明：map join做group by 操作時，可以使用多大的記憶體來存盤資料，如果資料太大，則不會保存在記憶體里
?默認值：0.55
hive.mapjoin.localtask.max.memory.usage
?說明：本地任務可以使用記憶體的百分比
?默認值： 0.90
hive.heartbeat.interval
?說明：在進行MapJoin與過濾操作時，發送心跳的時間
?默認值1000
hive.merge.size.per.task
?說明： 合并后檔案的大小
?默認值： 256000000
hive.mergejob.maponly
?說明： 在只有Map任務的時候 合并輸出結果
?默認值： true
hive.merge.mapredfiles
?默認值： 在作業結束的時候是否合并小檔案
?說明： false
hive.merge.mapfiles
?說明：Map-Only Job是否合并小檔案
?默認值：true
hive.hwi.listen.host
?說明：Hive UI 默認的host
?默認值：0.0.0.0
hive.hwi.listen.port
?說明：Ui監聽埠
?默認值：9999
hive.exec.parallel.thread.number
?說明：hive可以并行處理Job的執行緒數
?默認值：8
hive.exec.parallel
?說明：是否并行提交任務
?默認值：false
hive.exec.compress.output
?說明：輸出使用壓縮
?默認值： false
hive.mapred.mode
?說明： MapReduce的操作的限制模式，操作的運行在該模式下沒有什么限制
?默認值： nonstrict
hive.join.cache.size
?說明： join操作時，可以存在記憶體里的條數
?默認值： 25000
hive.mapjoin.cache.numrows
?說明： mapjoin 存在記憶體里的資料量
?默認值：25000
hive.join.emit.interval
?說明： 有連接時Hive在輸出前，快取的時間
?默認值： 1000
hive.optimize.groupby
?說明：在做分組統計時，是否使用bucket table
?默認值： true
hive.fileformat.check
?說明：是否檢測檔案輸入格式
?默認值：true
hive.metastore.client.connect.retry.delay
?說明： client 連接失敗時,retry的時間間隔
?默認值：1秒
hive.metastore.client.socket.timeout
?說明: Client socket 的超時時間
?默認值：20秒
mapred.reduce.tasks
?默認值：-1
?說明：每個任務reduce的默認值
-1 代表自動根據作業的情況來設定reduce的值
hive.exec.reducers.bytes.per.reducer
?默認值： 1000000000 （1G）
?說明：每個reduce的接受的資料量
如果送到reduce的資料為10G,那么將生成10個reduce任務
hive.exec.reducers.max
?默認值：999
?說明： reduce的最大個數
hive.exec.reducers.max
?默認值：999
?說明： reduce的最大個數
hive.metastore.warehouse.dir
?默認值：/user/hive/warehouse
?說明： 默認的資料庫存放位置
hive.default.fileformat
?默認值：TextFile
?說明： 默認的fileformat
hive.map.aggr
?默認值：true
?說明： Map端聚合，相當于combiner
hive.exec.max.dynamic.partitions.pernode
?默認值：100
?說明：每個任務節點可以產生的最大的磁區數
hive.exec.max.dynamic.partitions
?默認值：1000
?說明： 默認的可以創建的磁區數
hive.metastore.server.max.threads
?默認值：100000
?說明： metastore默認的最大的處理執行緒數
hive.metastore.server.min.threads
?默認值：200
?說明： metastore默認的最小的處理執行緒數
uj5u.com熱心網友回復：
不錯，寫的很詳細uj5u.com熱心網友回復：
不錯，寫的很詳細uj5u.com熱心網友回復：
接分，順便 make轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/111436.html
標籤：云存儲
上一篇：如何實作遠程攻擊
下一篇：Omnet4.4安裝出錯