我最近發現 AWS Athena 表可能具有的磁區數量有限制(目前為 20000,此處提到:https ://docs.aws.amazon.com/athena/latest/ug/partitions.html ) .
同一頁提到 AWS Glue 表可能有 1000 萬個磁區,所以我打開了我的 AWS Glue 控制臺來重新創建我迄今為止在 Athena 中使用的表,并且驚訝地看到我在 Athena 控制臺中創建的所有表都也在 AWS Glue 控制臺中列出。
因此有一個問題,這是否意味著在 Athena 控制臺中創建的每個表都將成為 AWS Glue 表并支持 1000 萬個磁區?
我目前正在使用 Athena SDK for Java ( https://docs.aws.amazon.com/athena/latest/ug/code-samples.html )使用在 Hive 中動態生成磁區的查詢從表中選擇資料并將其加載t1到表中格式(即)。我還能用嗎?是否有任何其他專門用于 Glue 表的 SDK?我目前關心的是表:它將很快達到 20000 個磁區的限制,所以我想知道我是否還需要擔心這個問題?t2INSERT INTOcol1=<...>/col2=<...>/...t2
如果在 AWS Glue 控制臺中列出的事實并不意味著支持 10M 磁區,那么如何使現有的 Athena 表支持 10M 磁區?是否應該使用“添加表”在 AWS Glue 控制臺中創建表以獲得 10M 磁區支持?
uj5u.com熱心網友回復:
是和不是。如果您使用 Glue 資料目錄來查詢 Athena(默認情況下是這樣),那么 Athena 支持查詢具有 10m 磁區的表。但是,它實際上一次只能使用 1m 個這些磁區。資源
轉載請註明出處,本文鏈接:https://www.uj5u.com/caozuo/493714.html
