最近看的spark學習視頻，視頻里面都是用scala操作spark的，對scala語言學習較少，想要入門，可以通過下面的這個例子去用java語言思想去理解scala，主要是函式式編程思想：
一種Map Reduce的計算示例
//定義兩個字串文本
*
val txt1=“I am into Spark so much”
*
val txt2=“Scala is powerful”
*
//正常的mapReduce操作
println(List(txt1,txt2).flatMap{x=>x.split(" ")}.map {x=>(x,1)}.map(x=>x.2).reduce((x,y)=>x+y))
*
//第一次簡化
println(List(txt1,txt2).flatMap{x=>x.split(" ")}.map {(,1)}.map{(.2)}.reduce((x,y)=>x+y))
*
//第二次簡化
println(List(txt1,txt2).flatMap{x=>x.split(" ")}.map {(,1)}.map{(.2)}.reduce(+_))
計算程序
List(“I am into Spark so much”,“Scala is powerful”) -> .flatMap{x=>x.split(" ")
->
List(I, am, into, Spark, so, much, Scala, is, powerful) -> .map {x=>(x,1)}
->
List((I,1), (am,1), (into,1), (Spark,1), (so,1), (much,1), (Scala,1), (is,1), (powerful,1)) -> .map(x=>x.2)
->
List(1, 1, 1, 1, 1, 1, 1, 1, 1) -> .reduce(+_)
->
9
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/431489.html
標籤：其他