大家好，我正在為資料管道而苦苦掙扎。
我有一個管道，我首先從 api 獲取一些資料。該資料除其他外包含一列 id。我已經設定了一個資料副本，并將 json 結果保存在一個 blob 中。
我接下來要做的是遍歷所有 id 并對這些 id 進行 api 呼叫。
但是我一生都無法弄清楚如何迭代ID。我已經考慮過使用查找和 for-each，但似乎查找僅限于 5000 個結果，我只有 70k 多一點。
對我有什么指示嗎？
uj5u.com熱心網友回復：
作為一種解決方法，您可以將 API 呼叫結果磁區并存盤到較小的 JSON 檔案中。然后根據你得到的檔案數量使用多個管道，并迭代來實作這一點。
由于ForEach 活動最多可以進行 50 的 batchCount 并行處理，并且最多可以處理 100,000 個專案。僅針對查找部分遵循
使用GetMetadata Activity 了解要迭代的磁區檔案的數量及其名稱以傳遞給LookupActivity的引數化源資料集。
使用執行管道呼叫另一個管道，該管道將使用LookupActivity和WebActivity來呼叫 id
在子管道內，您有一個LookupActivity，其中包含要查看的引數化源檔案。當ForEach 活動迭代時，對于每個檔案，子管道都會在LookupActivity的源中使用一個檔案觸發。這解決了限制問題。
您可以將查找結果存盤在變數中或按原樣使用動態運算式。
轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/417347.html
標籤：
上一篇：如何在DocumentClient類的CreateDocumentQuery方法中使用IS_DEFINEDcosmosdb函式？