我想在 HDFS 中存盤 flink 存盤，以便在崩潰后我可以從 HDFS 恢復 flink 狀態。我計劃每 60 秒將狀態寫入 HDFS。我怎樣才能做到這一點？這是我需要遵循的配置嗎？ https://ci.apache.org/projects/flink/flink-docs-release-1.4/ops/state/state_backends.html#setting-default-state-backend
我在哪里指定檢查點間隔？任何鏈接或示例代碼都會有所幫助
uj5u.com熱心網友回復：
選擇檢查點的存盤位置（例如 HDFS）與決定使用哪個狀態后端來管理您的作業狀態（可以在堆上，或在由 RocksDB 庫管理的本地檔案中）是分開的。
這兩個概念在 Flink 1.12 中被清晰地分開了。在 Flink 的早期版本中，這兩者的相關性似乎比實際更緊密，因為檔案系統和 RocksDB 狀態后端建構式將檔案 URI 作為引數，指定檢查點應該存盤在哪里。
管理所有這些的最好方法是將其排除在您的代碼之外，并指定您想要的配置flink-conf.yaml，例如，
state.backend: filesystem
state.checkpoints.dir: hdfs://namenode-host:port/flink-checkpoints
execution.checkpointing.interval: 10s
uj5u.com熱心網友回復：
有關檢查點和保存點的資訊可以在https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance/checkpointing/找到
關于如何將 HDFS 配置為檔案系統，您應該查看https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/filesystems/overview/
轉載請註明出處，本文鏈接：https://www.uj5u.com/gongcheng/345169.html