我正在嘗試實作一個大約每 5 秒更新一次的實時或接近實時的管道。
我創建了一個生產者，它每秒將 1 條記錄寫入 kinesis 資料流，并將其連接到運行 spark 流的膠水作業。運行作業后，我觀察到 s3 和 Athena 中資料的更新，并觀察到批處理和保存新資料需要 2-3 分鐘。
我將作業人員的數量從 2 個增加到 20 個，但這只會加快它每 1-2 分鐘更新一次。
這是火花的限制嗎？他們怎么說火花接近實時而不是實際實時？
我將嘗試使用 lambda 和 dynamodb 更快地實作某些東西，但我真的很想知道使用 Glue 進行 5 秒更新是否可行。
謝謝！
uj5u.com熱心網友回復：
默認情況下，AWS Glue 在 100 秒的視窗中處理和寫出資料。這允許有效地處理資料并允許對晚于預期到達的資料執行聚合。您可以修改此視窗大小以提高及時性或聚合準確性。
您可以嘗試使用此功能并更改windowSize
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/435509.html
第一季必考 https://www.bilibili.com/video/BV1FE411y79Y?from=search&seid=15921726601957489746 第二季分布式 https://www.bilibili.com/video/BV13f4y127ee/?spm_id_fro ......
uj5u.com 2020-09-10 05:35:24 more北航OO（2020）第四單元博客作業暨課程總結博客 本單元作業的架構設計 在本單元中，由于UML圖具有比較清晰的樹形結構，因此我對其中需要進行查詢操作的元素進行了包裝，在樹的父節點中存盤所有孩子的參考。考慮到性能問題，我采用了快取機制，一次查詢后盡可能快取已經遍歷過的資訊，以減少遍歷次數。 本單元我 ......
uj5u.com 2020-09-10 05:35:48 more一、UML決議器設計 ? 先看下題目：第四單元實作一個基于JDK 8帶有效性檢查的UML(Unified Modeling Language)類圖，順序圖，狀態圖分析器 MyUmlInteraction，實際上我們要建立一個有向圖模型，UML中的物件（元素）可能與同級元素連接，也可與低級元素相連形成 ......
uj5u.com 2020-09-10 05:35:54 more1. 第四單元：StarUml檔案決議 本單元采用了圖模型決議UML。 UML檔案可以抽象為圖、子圖、邊的邏輯結構。 在實作中，圖的節點包括類、介面、屬性，子圖包括狀態圖、順序圖等。 采用了三次遍歷UML元素的方法建圖，第一遍遍歷建點，第二、三次遍歷設定屬性、連邊，實作圖物件的初始化。這里借鑒了一些 ......
uj5u.com 2020-09-10 05:36:06 more面向物件三要素：封裝、繼承、多型。 封裝和繼承，這兩個比較好理解，但要理解多型的話，可就稍微有點難度了。今天，我們就來講講多型的理解。 我們應該經常會看到面試題目：請談談對多型的理解。 其實呢，多型非常簡單，就一句話：呼叫同一種方法產生了不同的結果。 具體實作方式有三種。 一、多載 多載很簡單。 p ......
uj5u.com 2020-09-10 05:36:09 more背景 python 的unittest 沒有自帶資料驅動功能。 所以如果使用unittest，同時又想使用資料驅動，那么就可以使用DDT來完成。 DDT是 “Data-Driven Tests”的縮寫。 資料：http://ddt.readthedocs.io/en/latest/ 使用方法 dd. ......
uj5u.com 2020-09-10 05:36:13 more那我就一下面積個問題對xlrd模塊進行學習一下： 1.什么是xlrd模塊？ 2.為什么使用xlrd模塊？ 3.怎樣使用xlrd模塊？ 1.什么是xlrd模塊？ ?python操作excel主要用到xlrd和xlwt這兩個庫，即xlrd是讀excel，xlwt是寫excel的庫。 今天就先來說一下xl ......
uj5u.com 2020-09-10 05:36:28 morejdk1.7中的底層實作程序（底層基于陣列+鏈表） 在我們new HashMap()時，底層創建了默認長度為16的一維陣列Entry[ ] table。當我們呼叫map.put(key1,value1)方法向HashMap里添加資料的時候： 首先，呼叫key1所在類的hashCode()計算key1 ......
uj5u.com 2020-09-10 05:36:38 more* 中介者模式是一種行為型設計模式，它可以用來減少類之間的直接依賴關系，
* 將物件之間的通信封裝到一個中介者物件中，從而使得各個物件之間的關系更加松散。
* 在中介者模式中，物件之間不再直接相互互動，而是通過中介者來中轉訊息。 ......
他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點，專案投資大概1億，包括了礦山的各方面的內容，顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃，有很多煤礦行業專家的加持，他們的描述是非常完美，但是去年底應該上線的平臺，現在還沒有看到影子。他們確實有很多場景需求，但是被... ......
uj5u.com 2023-04-20 08:20:25 more設計是一個讓人夢想成真程序，開始編碼、測驗、除錯之前進行需求分析和架構設計，才能保證關鍵方面都做正確 ......
uj5u.com 2023-04-20 08:20:17 more作為一個技術架構師，不僅僅要緊跟行業技術趨勢，還要結合研發團隊現狀及痛點，探索新的交付方案。在日常中，你是否遇到如下問題 “ 業務需求排期長研發是瓶頸；非研發角色感受不到研發技改提效的變化；引入ISV 團隊又擔心質量和安全，培訓周期長“等等，基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......
uj5u.com 2023-04-20 08:20:10 more* 中介者模式是一種行為型設計模式，它可以用來減少類之間的直接依賴關系，
* 將物件之間的通信封裝到一個中介者物件中，從而使得各個物件之間的關系更加松散。
* 在中介者模式中，物件之間不再直接相互互動，而是通過中介者來中轉訊息。 ......
他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點，專案投資大概1億，包括了礦山的各方面的內容，顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃，有很多煤礦行業專家的加持，他們的描述是非常完美，但是去年底應該上線的平臺，現在還沒有看到影子。他們確實有很多場景需求，但是被... ......
uj5u.com 2023-04-20 08:19:07 more設計是一個讓人夢想成真程序，開始編碼、測驗、除錯之前進行需求分析和架構設計，才能保證關鍵方面都做正確 ......
uj5u.com 2023-04-20 08:18:57 more作為一個技術架構師，不僅僅要緊跟行業技術趨勢，還要結合研發團隊現狀及痛點，探索新的交付方案。在日常中，你是否遇到如下問題 “ 業務需求排期長研發是瓶頸；非研發角色感受不到研發技改提效的變化；引入ISV 團隊又擔心質量和安全，培訓周期長“等等，基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......
uj5u.com 2023-04-20 08:18:49 more軟體工程的方方面面都遵循一個最基本的道理：沒有銀彈，架構分層模型更是如此，每一種都有各自優缺點，所以請根據不同的業務場景，并遵循簡單、可演進這兩個重要的架構原則選擇合適的架構分層模型即可。 ......
uj5u.com 2023-04-19 08:42:41 more