我被分配了一個任務,我必須做一個批處理,每半小時呼叫一個API獲取一些資料,這些資料必須存盤在s3桶的不同檔案中。
我已經通過在一個BufferedOutputStream中復制資料,然后在一個擴展FlatFileItemWriter<T>的類中用uploadPart上傳至s3。
但是我想知道是否有其他方法可以通過Spring Batch的分塊處理將資料寫入桶中的現有檔案?至少可以減少每次呼叫的處理量,因為我從API獲得的資料增長很快,因為每次請求的原始API回應大小越來越大(比如1000多)。
這將在未來成為流媒體,但由于我們正在進行遷移,我需要一個臨時的解決方案,而我所呼叫的API正在被遷移
。uj5u.com熱心網友回復:
根據https://forums.aws.amazon.com/message.jspa?messageID=540395,沒有辦法追加到一個s3檔案。
基于此,你需要生成一個新的檔案并再次上傳,以取代之前的檔案。
轉載請註明出處,本文鏈接:https://www.uj5u.com/ruanti/324179.html
標籤:
下一篇:不能在模型中映射一對一的關系
