我設定視窗的總長度是1天，10秒滑動一次，但是每次滑動都會導致window操作的task數量增加，執行時間越來越長，這是什么原因呢，我想把每個stage的task數設定成固定的，但是我設定屬性值怎么不生效呢，
.set("spark.sql.shuffle.partitions","30")
.set("spark.default.parallelism","30");
即使我沒傳遞資料task數量也在增加，先是10個，然后20，30.。。。。。等等
還有我沒傳遞資料進spark但是為什么input的值還是在一直增加呢。
uj5u.com熱心網友回復：
視窗的長度是一天，十秒執行一次，但是每次執行都會使block的數量增加，從而task也跟著增加，執行速度變的很慢。如何能把block合并呢？每次都生成那么多的block一點用處也沒有。
uj5u.com熱心網友回復：
你視窗內的資料還沒完整吧？資料一直在增長，那block數自然增長啊uj5u.com熱心網友回復：
對，資料還一直在增長，不過我換成createStream的方式去接收資料task就可以按照我配置的引數固定住了，但是用createDriectStream的方式就不行，只要資料視窗還沒走完整就會一直在增加task數量，設定引數也控制不了。uj5u.com熱心網友回復：
對，資料還一直在增長，不過我換成createStream的方式去接收資料task就可以按照我配置的引數固定住了，但是用createDriectStream的方式就不行，只要資料視窗還沒走完整就會一直在增加task數量，設定引數也控制不了。
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/65998.html
標籤：Spark