我有一個簡單的任務：
訂閱 Redis 頻道上的訊息
轉換訊息，例如
HASH：
'<user_id>|<user_type>|<event_type>|...'與專案：{ 'param_1': 'param_1_value', 'param_2': 'param_2_value', ... }成表格形式
| 用戶身份 | 事件型別 | 引數_1 | 引數_2 | ... |
|---|---|---|---|---|
| <user_id> | <事件型別> | 已清理（param_1_value） | 已清理（param_2_value） | ... |
- 追加到 Postgres 中的現有表
附加背景關系：
- 活動規模比較小
- 茶點必須最多每約 15 分鐘進行一次
- 解決方案必須可在本地部署
- 使用 Redis 以外的其他東西作為佇列不是一種選擇
我想出的最佳解決方案是使用 Kafka，使用 Kafka Redis Source Connector ( https://github.com/jaredpetersen/kafka-connect-redis )，然后使用 Kafka Postgres Sink Connector ( https://github.com/ibm -messaging/kafka-connect-jdbc-sink）。這似乎是合理的，但是對于 Postgres ETL，這項任務似乎是通用的 Redis，我想知道是否真的沒有更簡單的開箱即用解決方案。
uj5u.com熱心網友回復：
您可以撰寫一個腳本并通過 cron 執行它。但是看看 Benthos 專案，因為您可以輕松地在 prem 上運行它，并且您所描述的可以完全通過 Redis -> Postgres 的配置來完成。
轉載請註明出處，本文鏈接：https://www.uj5u.com/qiye/528923.html
標籤：PostgreSQL阿帕奇卡夫卡雷迪斯等apache-kafka-连接
下一篇：從JSONB列中洗掉JSON值