我有一個 .csv 檔案，其中包含 1000 行資料，我正在嘗試撰寫一行代碼，只顯示最后 5 行資料。
private SparkSession spark;
private JavaSparkContext sc;
private JavaRDD<String> lines;
private JavaRDD<PurchaseOrder> orders;
public OrderProcessingRDDSparkApp(String ...args) throws IOException {
spark = SparkSession.builder().appName("OrderProcessingSparkApp").config("spark.master", "local[1]").getOrCreate();
sc = new JavaSparkContext(spark.sparkContext());
sc.setLogLevel("ERROR");
lines = sc.textFile(args[0]);
orders = lines.map( line -> new PurchaseOrder(line));
我可以嘗試什么來解決這個問題？
uj5u.com熱心網友回復：
import scala.util.Random
val sorted = rdd.sortBy(_.apply(3).toInt) //sort asc or desc...
sorted.take(5) //get last 5...
您可以使用 Java 實作這種方法。
可能是[重復]
轉載請註明出處，本文鏈接：https://www.uj5u.com/net/429917.html