我們正在將 Hadoop 作業負載遷移到 Azure Databricks。在現有的 Hadoop 生態系統中,我們有一些 HBase 表,其中包含一些資料(不大)。由于 Azure Databricks 不支持 Hbase,因此我們計劃是否可以將 HBase 表替換為 Delta 表。這在技術上是否可行,如果是,我們在遷移程序中或在目標系統中是否可能面臨任何挑戰或問題。
uj5u.com熱心網友回復:
這一切都涉及訪問模式。HBase 是 OLTP 系統,您通常在其中對單個記錄進行操作(讀取/插入/更新/洗掉)并期望亞秒(或毫秒)回應時間。另一方面,Delta Lake 是 OLAP 系統,旨在有效地同時處理許多記錄,但是當您讀取單個記錄時,它可能會變慢,尤其是當您更新或洗掉它們時。
如果您的應用程式需要亞秒級查詢,尤其是更新,那么設定測驗以檢查 Delta Lake 是否是正確的選擇是有意義的 - 您可能需要查看 Databricks SQL,它正在為快速資料訪問進行大量優化.
如果它不能滿足您的要求,那么您可以查看 Azure 生態系統中的其他產品,例如專為 OLTP 樣式資料處理而設計的 Azure Redis 或 Azure CosmosDB。
轉載請註明出處,本文鏈接:https://www.uj5u.com/qiye/415583.html
標籤:
