Flink 1.12 Release 檔案解讀

注：本文翻譯的時候還沒正式 Release 1.12，處于 1.12.0-rc3 階段

Flink 從入門到精通 系列文章

本文的 Release 檔案描述了在 Flink 1.11 和 Flink 1.12 之間更改的重要方面，例如配置，行為或依賴項，如果您打算將 Flink 版本升級到 1.12，請仔細閱讀這些說明，

API

移除掉 ExecutionConfig 中過期的方法

移除掉了 ExecutionConfig#isLatencyTrackingEnabled 方法, 你可以使用 ExecutionConfig#getLatencyTrackingInterval 方法代替.

移除掉了 ExecutionConfig#enable/disableSysoutLogging、ExecutionConfig#set/isFailTaskOnCheckpointError 過期的方法，

移除掉了 -q CLI 引數，

移除掉過期的 RuntimeContext#getAllAccumulators 方法

過期的 RuntimeContext#getAllAccumulators 方法被移除掉了，請使用 RuntimeContext#getAccumulator 方法作為代替，

由于資料丟失的風險把 CheckpointConfig#setPreferCheckpointForRecovery 方法標為過期

CheckpointConfig#setPreferCheckpointForRecovery 方法標記為過期了, 因為作業在進行恢復時，如果使用較舊的 Checkpoint 狀態而不使用新的 Save point 狀態資料，可能會導致資料丟失，

FLIP-134: DataStream API 的批處理執行

• 允許在 KeyedStream.intervalJoin() 的配置時間屬性，在 Flink 1.12 之前 KeyedStream.intervalJoin() 算子的時間屬性依賴于全域設定的時間屬性，在 Flink 1.12 中我們可以在 IntervalJoin 方法后加上 inProcessingTime() 或 inEventTime() ，這樣 Join 就不再依賴于全域的時間屬性，

• 在 Flink 1.12 中將 DataStream API 的 timeWindow() 方法標記為過期，請使用 window(WindowAssigner)、TumblingEventTimeWindows、 SlidingEventTimeWindows、TumblingProcessingTimeWindows 或者 SlidingProcessingTimeWindows，

• 將 StreamExecutionEnvironment.setStreamTimeCharacteristic() 和 TimeCharacteristic 方法標記為過期，在 Flink 1.12 中，默認的時間屬性改變成 EventTime 了，于是你不再需要該方法去開啟 EventTime 了，在 EventTime 時間屬性下，你使用 processing-time 的 windows 和 timers 也都依舊會生效，如果你想禁用水印，請使用 ExecutionConfig.setAutoWatermarkInterval(long) 方法，如果你想使用 IngestionTime，請手動設定適當的 WatermarkStrategy，如果你使用的是基于時間屬性更改行為的通用 'time window' 算子(eg: KeyedStream.timeWindow())，請使用等效操作明確的指定處理時間和事件時間，

• 允許在 CEP PatternStream 上顯式配置時間屬性在 Flink 1.12 之前，CEP 算子里面的時間依賴于全域配置的時間屬性，在 1.12 之后可以在 PatternStream 上使用 inProcessingTime() 或 inEventTime() 方法，

API 清理

• 移除了 UdfAnalyzer 配置，移除了 ExecutionConfig#get/setCodeAnalysisMode 方法和 SkipCodeAnalysis 類，

• 移除了過期的 DataStream#split 方法，該方法從很早的版本中已經標記成為過期的了，你可以使用 Side Output 來代替，

• 移除了過期的 DataStream#fold() 方法和其相關的類，你可以使用更加高性能的 DataStream#reduce，

擴展 CompositeTypeSerializerSnapshot 以允許復合序列化器根據外部配置遷移

不再推薦使用 CompositeTypeSerializerSnapshot 中的 isOuterSnapshotCompatible(TypeSerializer) 方法，推薦使用 OuterSchemaCompatibility#resolveOuterSchemaCompatibility(TypeSerializer) 方法，

將 Scala Macros 版本升級到 2.1.1

Flink 現在依賴 Scala Macros 2.1.1，意味著不再支持 Scala 版本小于 2.11.11，

SQL

對 aggregate 函式的 SQL DDL 使用新型別推斷

aggregate 函式的 CREATE FUNCTION DDL 現在使用新型別推斷，可能有必要將現有實作更新為新的反射型別提取邏輯，將 StreamTableEnvironment.registerFunction 標為過期，

更新決議器模塊 FLIP-107

現在 METADATA 屬于保留關鍵字，記得使用反引號轉義，

將內部 aggregate 函式更新為新型別

使用 COLLECT 函式的 SQL 查詢可能需要更新為新型別的系統，

Connectors 和 Formats

移除 Kafka 0.10.x 和 0.11.x Connector

在 Flink 1.12 中，移除掉了 Kafka 0.10.x 和 0.11.x Connector，請使用統一的 Kafka Connector（適用于 0.10.2.x 版本之后的任何 Kafka 集群），你可以參考 Kafka Connector 頁面的檔案升級到新的 Flink Kafka Connector 版本，

CSV 序列化 Schema 包含行分隔符

csv.line-delimiter 配置已經從 CSV 格式中移除了，因為行分隔符應該由 Connector 定義而不是由 format 定義，如果用戶在以前的 Flink 版本中一直使用了該配置，則升級到 Flink 1.12 時，應該洗掉該配置，

升級 Kafka Schema Registry Client 到 5.5.0 版本

flink-avro-confluent-schema-registry 模塊不再在 fat-jar 中提供，你需要顯式的在你自己的作業中添加該依賴，SQL-Client 用戶可以使用flink-sql-avro-confluent-schema-registry fat jar，

將 Avro 版本從 1.8.2 升級到 1.10.0 版本

flink-avro 模塊中的 Avro 版本升級到了 1.10，如果出于某種原因要使用較舊的版本，請在專案中明確降級 Avro 版本，

注意：我們觀察到，與 1.8.2 相比，Avro 1.10 版本的性能有所下降，如果你擔心性能，并且可以使用較舊版本的 Avro，那么請降級 Avro 版本，

為 SQL Client 打包 flink-avro 模塊時會創建一個 uber jar

SQL Client jar 會被重命名為 flink-sql-avro-1.12.jar，以前是 flink-avro-1.12-sql-jar.jar，而且不再需要手動添加 Avro 依賴，

Deployment（部署）

默認 Log4j 配置了日志大小超過 100MB 滾動

默認的 log4j 配置現在做了變更：除了在 Flink 啟動時現有的日志檔案滾動外，它們在達到 100MB 大小時也會滾動，Flink 總共保留 10 個日志檔案，從而有效地將日志目錄的總大小限制為 1GB（每個 Flink 服務記錄到該目錄），

默認在 Flink Docker 鏡像中使用 jemalloc

在 Flink 的 Docker 鏡像中，jemalloc 被用作默認的記憶體分配器，以減少記憶體碎片問題，用戶可以通過將 disable-jemalloc 標志傳遞給 docker-entrypoint.sh 腳本來回滾使用 glibc，有關更多詳細資訊，請參閱 Docker 檔案上的 Flink，

升級 Mesos 版本到 1.7

將 Mesos 依賴版本從 1.0.1 版本升級到 1.7.0 版本，

如果 Flink 行程在超時后仍未停止，則發送 SIGKILL

在 Flink 1.12 中，如果 SIGTERM 無法成功關閉 Flink 行程，我們更改了獨立腳本的行為以發出 SIGKILL，

介紹非阻塞作業提交

提交作業的語意略有變化，提交呼叫幾乎立即回傳，并且作業處于新的 INITIALIZING 狀態，當作業處于該狀態時，對作業做 Savepoint 或者檢索作業詳情資訊等操作將不可用，

一旦創建了該作業的 JobManager，該作業就處于 CREATED 狀態，并且所有的呼叫均可用，

Runtime

FLIP-141: Intra-Slot Managed Memory 共享

python.fn-execution.buffer.memory.size 和 python.fn-execution.framework.memory.size 的配置已洗掉，因此不再生效，除此之外，python.fn-execution.memory.managed 默認的值更改為 true， 因此默認情況下 Python workers 將使用托管記憶體，

FLIP-119 Pipelined Region Scheduling

從 Flink 1.12 開始，將以 pipelined region 為單位進行調度，pipelined region 是一組流水線連接的任務，這意味著，對于包含多個 region 的流作業，在開始部署任務之前，它不再等待所有任務獲取 slot，取而代之的是，一旦任何 region 獲得了足夠的任務 slot 就可以部署它，對于批處理作業，將不會為任務分配 slot，也不會單獨部署任務，取而代之的是，一旦某個 region 獲得了足夠的 slot，則該任務將與所有其他任務一起部署在同一區域中，

可以使用 jobmanager.scheduler.scheduling-strategy：legacy 啟用舊的調度程式，

RocksDB optimizeForPointLookup 導致丟失時間視窗

默認情況下，我們會將 RocksDB 的 ReadOptions 的 setTotalOrderSeek 設定為true，以防止用戶忘記使用 optimizeForPointLookup，同時，我們支持通過RocksDBOptionsFactory 自定義 ReadOptions，如果觀察到任何性能下降，請將 setTotalOrderSeek 設定為 false（根據我們的測驗，這是不可能的），

自定義 OptionsFactory 設定似乎對 RocksDB 沒有影響

過期的 OptionsFactory 和 ConfigurableOptionsFactory 類已移除，請改用 RocksDBOptionsFactory 和 ConfigurableRocksDBOptionsFactory，如果有任何擴展 DefaultConfigurableOptionsFactory 的類，也請重新編譯你的應用程式代碼，

基于 Apache Flink 的實時監控告警系統關于資料中臺的深度思考與總結（干干貨）日志收集Agent，陰暗潮濕的地底世界
2020 繼續踏踏實實的做好自己


公眾號(zhisheng)里回復 面經、ClickHouse、ES、Flink、 Spring、Java、Kafka、監控 等關鍵字可以查看更多關鍵字對應的文章，

點個贊+在看，少個 bug ????